LLM

LLM(Large Language Model, 대규모 언어 모델)은 수십억~수조 개 파라미터 규모의 트랜스포머 기반 신경망으로, 대규모 텍스트 코퍼스에서 다음 토큰을 예측하도록 사전 학습된 모델을 가리킨다.

훈련 단계는 보통 사전 훈련 → 지도 파인튜닝 → RLHF·DPO 등 정렬 학습 순서로 이뤄진다. 사전 훈련에서 언어와 세계 지식을 흡수하고, 정렬 단계에서 사람이 원하는 형태의 응답을 출력하도록 다듬는 구조다.

ChatGPT 등장 이후 Claude, Gemini, Llama, Mistral 등 다양한 가족이 경쟁하며, 코드 작성·문서 요약·번역·에이전트 운영 등 광범위한 작업에 활용된다. 생성형 AI 붐의 핵심 기반 기술이다.