Token Prediction

Token Prediction은 LLM이 텍스트를 생성하는 근본 원리다.

문장을 토큰(token) 단위로 잘게 쪼갠 뒤, 지금까지의 맥락을 바탕으로 다음에 올 토큰의 확률 분포를 계산해 가장 그럴듯한 것을 고르는 방식이다.

"나는 ...을 먹었다"라는 문장에서 빈칸에 '밥'이 올 확률 42%, '피자' 31%, '사랑' 0.1% 식으로 계산한다. AI는 의미를 이해하는 게 아니라 확률적으로 그럴듯한 다음 단어를 선택할 뿐이다.

이 구조 때문에 할루시네이션이 발생한다. 사실 여부와 무관하게 확률적으로 자연스러운 토큰을 선택하다 보면, 없는 정보도 그럴듯하게 만들어낼 수 있다.