Emergence

Emergence(창발)는 개별 요소를 볼 때는 예측할 수 없었던 능력이 규모가 커지면서 갑자기 나타나는 현상이다. 물 분자 하나에는 '축축함'이 없지만 모이면 축축해지는 것과 같은 원리다.

LLM에서는 파라미터 수가 일정 규모를 넘는 순간 번역, 추론, 코딩 등의 능력이 명시적으로 학습시키지 않았는데도 갑자기 나타났다. 이 현상은 AI 연구자들에게도 충격이었고, 스케일링 법칙(Scaling Law) 연구의 핵심 논거가 됐다.

다만 창발이 정말 갑작스러운 것인지, 아니면 평가 지표의 한계 때문에 그렇게 보이는 것인지에 대한 논쟁은 여전히 진행 중이다.