김나연

김나연

김나연은 카카오 Kanana LLM 팀의 AI 리서처입니다. 서울대학교를 졸업했고, 카카오의 이중언어 모델 시리즈 Kanana의 사전학습(pretraining) 파트를 맡아 왔습니다.

대표 연구

COLM 2026에 게재된 Let's Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts의 제1저자이자 교신저자입니다. MLA와 Muon 옵티마이저를 쓰는 MoE 구조에 μP를 다시 유도하고, 토큰 축으로 학습률을 외삽하는 2단계 프레임워크를 제안했습니다. 이 방법으로 결정한 학습률로 총 155B·활성 17B 파운데이션 모델을 10조 토큰 학습했습니다.

카카오 Kanana 시리즈의 여러 기술 보고서에 사전학습 기여자로 이름이 올라 있습니다.