전이 학습

전이 학습

전이 학습(Transfer Learning)은 대규모 데이터로 사전 훈련된 모델의 학습된 표현과 지식을 다른 관련 과제에 재사용하는 머신러닝 패러다임이다. LLM 개발의 핵심 전략이다.

핵심

• 사전 훈련(pre-training)으로 일반적인 표현을 학습하고, 미세 조정(fine-tuning)으로 특정 과제에 적응한다
• 처음부터 학습하는 것보다 훨씬 적은 데이터와 연산으로 좋은 성능을 달성한다
• BERT, GPT, T5 등이 전이 학습의 대표 성공 사례이다
• LoRA, 프롬프트 튜닝 등 효율적 미세 조정 방법이 발전했다
• 사전 훈련 데이터 분포와 목표 과제 사이의 도메인 차이가 성능에 영향을 준다