자연어처리 (nlp)

자연어 처리, Natural Language Processing (NLP).

  • 컴퓨터가 인간의 언어를 알아들을 수 있게 만드는 학문분야.
  • 인공지능의 하위 분야
    • 일반적인 인공지능을 만들려던 1960년대의 시도가 실패한 후
    • 인간의 언어를 분석하고 해석하여 처리하는 인공지능이 세분화되면서 생긴 학문 분야
    • 우리가 아는 말하는 컴퓨터 및 인간과 대화하는 컴퓨터 관련 기술을 말함
  • 연구분야
    • 언어공학
    • 컴퓨터과학
    • 인공지능
    • 전산언어학(Computational Linguistics)
  • 세부 연구 과정
    • 자연어를 컴퓨터로 해석
    • 의미를 분석
    • 자연어를 이해
    • 자동으로 생성하는 것
  • 하위 분류
  • 정보 추출
  • 자동 교정
  • 대화 시스템
  • 기계 번역

자연 언어(또는 자연어, Natural Language)란

  • 사람이 일상생활과 의사소통에 사용해 온, 한국어, 영어와 같이 오랜 세월에 걸쳐 자연적으로 만들어진 언어
  • 2017년 현재, 아직 컴퓨터가 자연 언어를 사람처럼 이해하지는 못함
  • 언어에 대한 깊은 이해없이 피상적인 확률 및 통계를 이용하여 대량의 정보를 처리하는 기술은 많이 발전한 상태
  • 대표적인 예
    • 구글로 대표되는 검색 엔진들
    • 검색 엔진은 인간의 언어를 깊이 이해하지 않고,
    • 단어간의 통계적 유사성에 바탕을 두고 문서를 검색

NLP 시스템을 테스트하는 방법

  • 튜링 테스트