혼합 전문가 모델

혼합 전문가 모델(Mixture of Experts, MoE)은 신경망의 피드포워드 층을 여러 개의 전문가(expert)로 나누고, 게이팅 메커니즘이 입력 토큰마다 상위 \(k\)개의 전문가만 활성화하여 전체 매개변수 수에 비해 실제 연산량을 줄이는 아키텍처입니다.

핵심

• 희소 활성화(sparse activation)로 연산량을 줄이면서 모델 용량은 늘립니다
• 게이팅 네트워크가 각 토큰에 대해 어떤 전문가를 활성화할지 학습합니다
• Mixtral, DeepSeek, GPT-4 등 최신 LLM에 적용되어 있다고 알려집니다
• 전문가 간 부하 균형(load balancing)이 중요한 훈련 과제입니다
• 전문가 수를 늘려도 추론 비용이 선형 증가하지 않아 확장성이 높습니다