자연어 처리

자연어 처리

자연어 처리(Natural Language Processing, NLP)는 컴퓨터가 인간의 텍스트와 음성 언어를 이해, 해석, 생성할 수 있도록 하는 인공지능과 언어학의 교차 분야이다.

핵심

• 텍스트 분류, 기계 번역, 감성 분석, 질의응답, 요약 등 다양한 과제를 포함한다
• 전통적으로 규칙 기반 → 통계적 방법 → 딥러닝 순으로 발전했다
• 트랜스포머 아키텍처와 사전 훈련 언어 모델(BERT, GPT 등)이 현재 표준이다
• 토큰화, 임베딩, 언어 모델링이 NLP의 핵심 기반 기술이다
• LLM의 등장으로 다양한 NLP 과제에서 인간 수준을 초과하는 성능이 보고되고 있다