증류

Knowledge Distillation. 크고 성능이 좋은 Teacher 모델의 출력을 학습 데이터로 삼아 작고 효율적인 Student 모델을 훈련시키는 기법입니다.

원리

Teacher 모델이 각 클래스에 할당하는 소프트 확률값(soft label)에는 단순한 정답 레이블보다 더 많은 정보가 담겨 있습니다. 예를 들어 고양이 이미지에 대해 "고양이 0.8, 개 0.15, 토끼 0.05"라는 출력은 고양이와 개의 유사성까지 인코딩합니다. Student는 이 분포를 모방하도록 훈련합니다.

AI 산업에서의 활용

오늘날 AI 기업들은 GPT 계열, Claude, Gemini 같은 대형 LLM이 생성한 데이터로 더 작고 저렴한 모델을 학습시킵니다. 파인튜닝의 한 형태로도 쓰이며, 비용을 대폭 줄이면서 성능을 유지하는 핵심 기술입니다.

위험성

2026년 Anthropic, UC Berkeley, 바르샤바 공대 공동 연구(Nature 게재)에 따르면, 증류 과정에서 Teacher 모델에 심어진 특징이 숫자 시퀀스만으로도 Student 모델에 전파될 수 있습니다. 콘텐츠 필터링을 통과하고, 다른 AI 모델이 검사해도 감지되지 않습니다. 대형 모델의 편향이나 비정렬이 하위 모델 전체로 조용히 퍼질 수 있다는 구조적 취약점입니다.