Let's Scale Step by Step - Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts

N. Kim, H. Lee, Y. Bak, J. Park, and B. Kim, "Let's Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts," arXiv:2608.20061, 2026.

저자

카카오 Kanana LLM 팀입니다. 1저자이자 교신저자인 김나연과 공동 교신저자인 김보섭, 그리고 백윤주, 박재선이 카카오 소속이고, 이호진은 지금 업스테이지 AI에 있지만 이 작업은 카카오 재직 중에 했다고 논문에 명시돼 있습니다.

이 팀이 이 논문을 쓴 이유는 분명합니다. 방법론을 먼저 만들고 검증할 대상을 찾은 것이 아니라, 총 155B에 활성 17B인 Kanana 2 최상위 모델을 실제로 학습해야 했고 그 앞에서 학습률을 어떻게 정할지 답이 없었기 때문입니다. 논문의 마지막 절이 곧 그 모델의 사전학습 기록입니다. 그래서 이 글은 이론 논문이라기보다 10조 토큰짜리 학습을 앞둔 팀의 결정 기록에 가깝습니다.

김보섭은 2021년 EMNLP에 실린 HyperCLOVA 논문의 제1저자이기도 합니다. 한국어 대규모 모델의 학습 레시피를 공개하는 일을 5년째 하고 있는 셈입니다.

배경

MoE는 이제 대형 모델의 기본값입니다. DeepSeek-V3, Qwen3-235B-A22B, Kimi K2.5, GLM-5가 모두 MoE이고, 토큰당 활성 파라미터를 줄여 추론 비용을 억제하면서 용량을 키웁니다.

문제는 튜닝 비용입니다. MoE는 라우팅과 로드 밸런싱 관련 하이퍼파라미터가 추가로 붙어 탐색 공간이 밀집 모델보다 넓습니다. 그중에서도 학습률이 성패를 가르는데, 최적 학습률은 모델 크기와 토큰 예산 양쪽에 민감합니다. 스케일이 조금만 바뀌어도 탐색을 처음부터 다시 해야 한다는 뜻입니다.

μP(Maximal Update Parameterization)와 μ-Transfer가 이 문제의 절반을 풀어 뒀습니다. 파라미터화 방식을 바꿔 두면 작은 프록시 모델에서 찾은 최적 학습률이 큰 모델로 그대로 옮겨갑니다. 다만 남은 절반이 세 갈래로 벌어져 있습니다.

첫째, μP는 밀집 모델과 AdamW를 전제로 유도됐습니다. 지금 대형 MoE를 굴리는 실제 조합은 MLA와 Muon입니다. 옵티마이저가 바뀌면 업데이트 스케일 규칙이 달라지므로 μP 공식이 그대로 성립한다는 보장이 없습니다.

둘째, MoE에는 폭 말고 희소성이라는 축이 하나 더 있습니다. 100B를 넘어가면 은닉 차원만 키우는 것은 추론 비용과 하드웨어 제약 때문에 현실성이 떨어지고, 활성 전문가 수를 고정한 채 전체 전문가 수를 늘리는 쪽이 실용적입니다. 그런데 희소성은 폭과 다른 스케일링 거동을 보인다고 알려져 있어서, 폭 기준으로 유도된 전이 규칙이 여기까지 따라오는지가 불분명했습니다.

셋째, μP는 애초에 모델 크기 방향의 전이입니다. 토큰 예산 방향은 다루지 않습니다. 그런데 요즘 사전학습에서 정작 돈이 들어가는 축은 토큰 쪽입니다.

어떻게 만들었나

저자들의 답은 두 축을 분리하는 것입니다. 폭은 μP로 옮기고, 토큰은 스케일링 법칙으로 외삽합니다.

왼쪽이 기존 방식입니다. 모델 규모 \(M\)과 토큰 규모 \(D\)를 함께 늘려 가며 2차원 격자를 훑어야 타깃 지점을 예측할 수 있습니다. 오른쪽이 이 논문의 방식으로, μP가 세로축을 공짜로 만들어 주므로 가로축만 훑는 1차원 탐색으로 줄어듭니다.

μP를 MoE에 맞추기

먼저 파라미터를 폭 스케일링에 대한 형태 불변성으로 나눕니다. 무한히 확장 가능한 차원이 하나인 것이 벡터형, 둘인 것이 행렬형입니다. 벡터형에는 μP 초기화만 적용하고, 행렬형에는 초기화와 학습률 스케일링을 모두 적용합니다.

MoE 층에서의 분류가 이 논문의 실무적 기여입니다. 라우터 파라미터와 전문가 FC1 가중치는 행렬형인데, 전문가 FC2 가중치는 벡터형으로 둡니다. FC2의 실효 입력 차원이 고정된 활성 전문가 수와 고정된 MoE 중간 차원에 묶여 있어 무한히 커지지 않기 때문입니다.

MLA도 특이한 대목을 하나 만듭니다. 질의와 키·밸류의 저차원 프로젝션 차원을 폭 스케일링 동안 고정해 두는데, 이 차원이 뒤따르는 업프로젝션 행렬의 fan-in입니다. 그러면 해당 행렬의 학습률 스케일링 계수가 1로 축소돼 사실상 아무 효과가 없습니다. 규칙을 적용하되 특정 행렬에는 적용되지 않는다는 것을 알고 넘어가야 하는 지점입니다.

Muon 쪽은 보정으로 처리합니다. Muon의 업데이트 RMS를 AdamW에 맞추려고 학습률에 \(0.2 \cdot \sqrt{\max(A, B)}\)를 곱합니다. \(A\)와 \(B\)는 해당 행렬 파라미터의 fan-in과 fan-out입니다. 이 보정 덕분에 AdamW용으로 튜닝한 학습률과 가중치 감쇠를 Muon으로 그대로 옮길 수 있습니다.

폭을 키울 때는 활성 전문가 수 \(k\)와 전문가 MLP의 중간 차원을 고정한 채 은닉 차원과 전체 전문가 수를 함께 늘립니다. 그러니까 이 논문에서 폭과 희소성은 독립 축이 아니라 하나로 묶여 움직입니다. 저자들은 이것이 μP의 스펙트럴 조건 관점과 어긋나지 않는다고 설명합니다. 전문가 수를 늘려 활성 비율을 바꾸는 것은 개별 전문가의 fan-in이나 fan-out에 폭 스케일링 이상의 변화를 주지 않기 때문입니다.

토큰 축으로 외삽하기

μP가 폭을 해결해도 10조 토큰짜리 탐색은 여전히 불가능합니다. 작은 프록시로도 그렇습니다.

여기서 저자들이 쓴 우회로가 EMA입니다. 원래대로라면 타깃과 같은 WSD 스케줄러를 쓰고 감쇠 구간까지 돌려야 유효한 데이터포인트가 하나 나옵니다. 토큰 예산별로 최적 학습률을 그리려면 독립 실험을 잔뜩 돌려야 하고, 중간에 감쇠를 앞당기면 손실 추정에 편향이 낍니다.

대신 감쇠 없이 안정 구간에서 학습을 끊고 가중치에 지수이동평균을 겁니다.

\[\theta^{(t)}_{\text{EMA}} = \alpha \cdot \theta^{(t-1)}_{\text{EMA}} + (1 - \alpha) \cdot \theta^{(t)}\]

\(\alpha = 0.6\)으로 두고 약 2B 토큰 간격으로 EMA를 갱신한 뒤, 10B 토큰마다 체크포인트를 뽑아 분석에 씁니다. EMA가 파라미터 궤적의 노이즈를 깎고 업데이트를 늦추기 때문에 학습률 감쇠와 비슷한 효과를 냅니다. 한 번의 학습에서 여러 토큰 예산에 해당하는 데이터포인트를 통째로 건져 올리는 셈입니다.

각 토큰 예산 \(B\)에서, 로그 학습률과 검증 손실 사이를 2차 다항식으로 맞춥니다.

\[L(\eta) = a (\log \eta)^2 + b (\log \eta) + c\]

이 포물선의 꼭짓점이 그 예산의 최적 학습률입니다. \(\log \eta^{\ast} = -b / 2a\)이므로 \(\eta^{\ast} = \exp(-b/2a)\)입니다.

그다음 이 최적값들을 토큰 예산에 대해 로그-로그 공간에서 선형 회귀합니다.

\[\log(\eta^{\ast}) = \beta \log(B) + \gamma\]

여기까지 오면 추가 계산 없이 10조 토큰 지점의 학습률을 바로 뽑을 수 있습니다.

배치 크기는 일부러 뺐습니다. 배치 크기는 모델링 하이퍼파라미터이기도 하지만 처리량을 맞추려고 학습 도중에 바꾸는 시스템 변수이기도 하고, 최적 배치 크기가 학습 연산량에 붙는지 토큰 예산에만 붙는지 문헌이 갈려 있습니다. 그래서 배치 크기는 GPU 효율에 맞춰 고정하고 학습률만 전이 대상으로 삼습니다. 이렇게 분리해 두면 하드웨어가 바뀌어 배치 크기를 다시 잡아도 학습률 법칙은 그대로 쓸 수 있다는 것이 저자들의 주장입니다.

결과

폭 방향 전이

기저 프록시는 총 0.6B에 활성 0.3B인 MoE입니다. 은닉 차원 256, 전체 전문가 16개, 어텐션 헤드 4개, 층 48개입니다. 여기서 폭을 2배, 4배, 8배로 늘립니다.

모두 1.3B 토큰을 학습하고 최대 학습률을 \(\{1, 3, 6\} \times 10^{-4}\), \(\{1, 3, 4, 6\} \times 10^{-3}\), \(\{1, 3\} \times 10^{-2}\)로 훑었습니다.

왼쪽 SP에서는 폭이 커질수록 손실 곡선의 최저점이 왼쪽으로 밀립니다. 기저 프록시에서 찾은 값을 8배 모델에 그대로 쓰면 최적이 아닙니다. 오른쪽 μP에서는 네 모델의 꼭짓점이 같은 세로선 위에 모입니다. 부록의 밀집 MLA 모델(0.24B에서 8.02B까지) 실험에서도 같은 그림이 나옵니다.

토큰 방향 외삽

이번 프록시는 총 10.8B에 활성 3.3B로, 타깃인 155B·17B 모델의 폭 기준 1/4입니다. 약 500B 토큰을 학습하면서 10B 간격으로 최적 학습률을 추정했습니다.

왼쪽이 토큰 예산별 2차 다항식 피팅이고, 별 표시가 각 포물선의 꼭짓점입니다. 토큰 예산이 커질수록 최적 학습률이 완만하게 내려갑니다. 오른쪽이 그 꼭짓점들에 대한 로그-로그 선형 회귀입니다. 배치 크기를 8M에서 32M으로 올린 뒤 학습 동역학이 안정된 255B 이후 구간만 회귀에 넣었고, \(R^2 = 0.95\)가 나왔습니다. 여기서 외삽한 10조 토큰 지점의 최적 학습률이 \(3.85 \times 10^{-4}\)입니다.

이 외삽이 맞는지를 부록에서 홀드아웃으로 확인합니다. 255B에서 350B 사이 11개 예산만 써서 회귀를 맞춘 뒤, 500B 부근의 못 본 예산 다섯 개를 예측하고 실제 추정값과 비교했습니다.

평균 오차가 약 4.4%입니다. 다섯 건 모두 예측값이 실제값보다 높은 쪽으로 치우쳐 있다는 점은 눈에 띕니다. 회귀선의 기울기가 실제보다 완만하게 잡혔다는 뜻이고, 그렇다면 토큰 예산이 500B에서 10T로 20배 늘어나는 구간에서 이 편향이 어떻게 누적될지는 이 표만으로 알 수 없습니다.

절약된 계산량

2차원 스윕을 했다면 프록시 실행 비용 64.8 ZFLOPs 위에 모델 규모 탐색(프록시보다 1.5배, 2배 넓은 모델) 240.3 ZFLOPs가 추가로 들어갑니다. μP가 이 세로축을 없앱니다. 그리고 타깃 학습의 총 연산량은 프록시 실행들의 합보다 약 98배 큽니다.

실제 모델

예측한 \(3.85 \times 10^{-4}\)로 총 155B·활성 17B 모델을 10조 토큰 학습했습니다. 1단계 데이터 혼합은 영어 45%, 수학·STEM 12.5%, 코드 27.5%, 다국어 15%로 시작했다가 6T 토큰 지점에서 영어 22.5%, 수학·STEM 27.5%, 코드 25%, 다국어 25%로 바꿉니다.

손실 곡선에 스파이크가 없습니다. 200B 토큰 이후 배치 크기를 올렸는데도 궤적이 흔들리지 않습니다. 평가는 영어(MMLU, MMLU-Pro, BBH), 다국어(Global-MMLU 한국어·일본어·베트남어·중국어), 수학(MATH, GSM8K), 코드(MBPP, HumanEval) 네 갈래로 했습니다.

비교는 활성 파라미터가 비슷한 오픈웨이트 MoE 베이스 모델들과 했습니다. 학습 연산량은 \(6ND\) 근사에 \(N\)을 활성 파라미터로 넣어 추정했습니다. 논문은 이 비교를 표가 아니라 산점도 하나로만 제시하므로 아래 수치는 그림에서 읽은 근사값입니다.

파레토 프런티어 위에 올라가 있습니다. 비슷하거나 더 적은 연산량으로 dots.llm1과 GLM-4.5-Air보다 MMLU-Pro가 높습니다. 다만 이 그림이 증명하는 것은 학습률 예측이 옳았다는 사실이 아니라, 예측한 학습률로 돌린 학습이 망하지 않았다는 사실입니다. 두 문장은 같지 않습니다.

회고

저자들이 결론에서 먼저 인정하는 대목이 이 논문의 가장 정직한 부분입니다. 예측한 \(3.85 \times 10^{-4}\)가 정말 최적인지 전면 스윕으로 검증하는 것은 계산상 불가능합니다. 부록의 계산에 따르면 타깃의 1/10 크기 프록시로 학습률 다섯 개를 10조 토큰씩 훑기만 해도 155B 모델 전체 학습의 절반가량을 먹습니다. 그래서 남는 증거는 손실 궤적이 안정적이었다는 것과 벤치마크 점수가 나쁘지 않았다는 것, 둘 다 간접 증거입니다.

희소성 축도 분리되지 않았습니다. 이 논문의 대규모 레시피는 희소성과 폭을 함께 키웠기 때문에, 전이가 성립한 것이 폭 때문인지 희소성 때문인지 아니면 둘의 결합 때문인지 구분할 수 없습니다. 저자들은 희소성 축만 따로 통제한 대규모 연구가 필요하다고 적었습니다.

적용 범위도 좁습니다. MLA와 Muon 조합에 한정되고, 다른 MoE 구조나 옵티마이저로의 일반화는 향후 과제로 남겼습니다. 여기에 top-k 라우팅 때문에 전문가마다 실효 배치 크기와 그래디언트 노이즈 스케일이 달라진다는 문제가 있습니다. 전문가별로 학습률을 따로 적응시키면 더 얻을 것이 있겠지만, 라우팅이 학습 중에 어떻게 변하는지와 데이터 혼합 레시피가 전문가별 배치에 어떤 영향을 주는지를 모두 감안해야 해서 미뤘습니다.

부록에는 본문에 없는 관찰이 둘 더 있습니다. 하나는 2단계 학습에서 전문가 라우팅 편향을 어떻게 다룰지의 문제입니다. 데이터 분포가 바뀌므로 1단계 값을 이어받는 것이 나을지, 얼릴지, 아예 없앨지 세 가지를 비교했습니다. 계속 갱신하는 쪽이 전문가 이용률이 가장 균형 잡혔고, 얼릴 거라면 1단계 값을 승계하는 것보다 0으로 초기화하는 편이 나았습니다. 1단계 분포에 맞춰진 편향이 바뀐 분포에 맞지 않는다는 뜻입니다. 그런데 세 설정의 학습 손실 궤적이 거의 똑같습니다. 라우팅 균형이 눈에 띄게 갈리는데도 최종 최적화에는 영향이 미미하다는 것이고, 저자들은 이를 2단계에서 심각한 라우팅 붕괴가 일어날 가능성이 낮다는 근거로 읽습니다.

다른 하나는 층별 라우팅 분석입니다. 전체 이용률 불균형을 재는 MaxVio는 대부분의 MoE 층에서 안정적인데, 도메인 조건부 전문화를 재는 정규화 상호정보량과 도메인 쌍 사이 평균 젠슨-섀넌 발산은 깊은 층으로 갈수록 커져 마지막 MoE 층에서 최대가 됩니다. 균형 잡힌 라우팅이 곧 전문화가 약하다는 뜻은 아니라는 결론입니다. 전문가들이 전체적으로는 고르게 쓰이면서도 도메인에 따라 다른 선호를 보일 수 있습니다.

초록과 본문 사이 수치 불일치는 찾지 못했습니다. \(R^2 = 0.95\), 10조 토큰, 155B·17B가 모두 일치합니다.

정리

• μP를 다시 유도한 것이 기여입니다. μP 자체는 2022년 것인데 밀집 모델과 AdamW를 전제로 만들어졌고, 지금 대형 MoE를 굴리는 조합은 MLA와 Muon입니다. 이 논문이 하는 일은 μP를 쓰는 것이 아니라 현재 스택에 맞춰 분류표와 스케일링 계수를 다시 짜는 것입니다. 이론이 현장 조합을 못 따라갈 때 무슨 일이 벌어지는지의 사례입니다.
• 진짜 새로운 축은 토큰 방향입니다. μP는 원래 모델 크기 방향의 전이인데, 현대 사전학습에서 예산의 대부분을 먹는 축은 토큰입니다. 여기에 로그-로그 선형 회귀를 얹어 10조 토큰 지점을 찍는 것은 스케일링 법칙을 성능 예측이 아니라 하이퍼파라미터 예측에 쓰는 최근 흐름의 한 형태이고, 한 번의 프록시 학습에서 EMA로 여러 예산 데이터포인트를 뽑는 실행 요령이 그것을 싸게 만듭니다.
• 검증의 한계가 이 방법의 성격을 규정합니다. 타깃 스케일에서 최적성을 직접 확인할 방법이 없다는 것은, 이 프레임워크가 최적 학습률을 보장하는 절차가 아니라 스윕 없이 안전한 구간을 찍어 주는 도구라는 뜻입니다. 155B 학습을 스파이크 없이 완주했다는 사실이 그 도구의 값어치를 말해 주지만, 그 값어치는 최적성이 아니라 재현 가능한 안정성 쪽에 있습니다.