SLAI T-Rex - Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD

AI Training Platform Team, Shenzhen Loop Area Institute, "SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD," arXiv:2607.20145, 2026.

대규모 LLM 학습 이야기는 거의 전부 CUDA 위에서 벌어집니다. 논문도 그렇고 블로그 글도 그렇습니다. 그래서 "NVIDIA가 아닌 하드웨어에서 프런티어급 모델을 실제로 학습시키면 어떤 숫자가 나오나"라는 질문에는 대체로 추측만 돌아다닙니다.

이 보고서는 그 질문에 숫자로 답합니다. Ascend CloudMatrix384 SuperPOD에서 1.6조 파라미터 DeepSeek-V4-Pro를 전체 파라미터 후속학습하면서, MFU를 11.67%에서 34.22%까지 올린 과정을 단계별로 기록했습니다.

저자

개인 저자 이름이 없습니다. 선전허타오학원의 AI Training Platform Team이 기관 명의로 냈고, SLAI2 Training Platform Technical Report Part I이라는 부제가 붙어 있습니다.

기관 성격이 논문의 성격을 그대로 설명합니다. 선전허타오학원은 중국 교육부가 AI 대학원 과정 시범 운영을 승인한 곳으로, 광둥·홍콩·마카오 대만구 접경 지구에 있습니다. AI 칩 설계와 차세대 AI 시스템 아키텍처를 다루는 연구 센터를 두고 있고, 홍콩중문대학교와 협력 협약을 맺었습니다.

즉 이 글은 개별 연구자의 아이디어 논문이 아니라 플랫폼 팀의 엔지니어링 보고서입니다. Part I이라는 표기가 시리즈를 예고하고 있고, 저자들도 본문에서 "1단계 실무(first-stage practice)"라고 스스로 규정합니다.

배경

DeepSeek-V4-Pro는 1.6조 파라미터 규모에 대형 MoE 레이어와 하이브리드 희소 어텐션을 결합했습니다. 이 구조가 학습 인프라에 요구하는 것은 세 가지입니다. 조 단위 규모의 파라미터·옵티마이저 상태 관리, A2A 통신이 집중되는 세밀한 전문가 라우팅, 그리고 전용 커널 최적화가 필요한 불규칙 희소 어텐션 연산입니다.

문제는 기존의 대규모 MoE 후속학습 연구가 대부분 CUDA나 TPU 기반 인프라에 강하게 결합돼 있다는 점입니다. 이들은 SIMT 실행 모델이나 시스톨릭 어레이 가속기를 전제로 설계됐습니다. SIMD 계열 하드웨어에서 조 단위 모델을 전체 파라미터로 후속학습하는 경로는 상대적으로 탐색되지 않았습니다.

여기에 도메인 선택이 하나 더 얹힙니다. 최근 후속학습 연구는 수학, 코딩, 에이전트형 소프트웨어 엔지니어링처럼 검증 가능한 추론 영역에 몰려 있는데, 산업 의사결정 영역은 상대적으로 비어 있습니다. 저자들은 운영과학(Operations Research)을 택했습니다. 스케줄링, 운송, 공급망, 자원 배분 같은 실제 최적화 문제를 다루면서 수학적 정식화와 구조적 추론과 코드 생성을 동시에 요구하기 때문입니다. 그리고 솔버가 정답을 검증해 주므로 피드백이 확실합니다.

어떻게 만들었나

병목부터 재기

최적화 이전에 프로파일링이 먼저 나옵니다. 이 부분이 이 보고서에서 가장 재미있는 대목입니다.

전체 지연을 네 조각으로 나누면 연산이 41%, 겹치지 않은 통신이 38%, 파이프라인 버블이 7%, NPU 유휴가 15%입니다. 학습 스텝 지연은 다음과 같이 분해됩니다.

\[T_{\text{step}} = T_{\text{comp}} + T_{\text{comm}}^{\text{non-overlapped}} + T_{\text{bubble}} + T_{\text{idle}}\]

통신은 전체 디바이스 커널 시간의 52.2%, 40.76초를 차지합니다. 그 안을 병렬화 축별로 쪼개면 이렇습니다.

직관과 어긋나는 결과가 여기 있습니다. MoE 하면 보통 All-to-All 통신을 병목으로 떠올리는데, 실제로는 전체의 7.6%에 그칩니다. SuperPOD의 고속 인터커넥트가 그 부담을 상당히 흡수했기 때문입니다. 진짜 병목은 TP·DP 파티션에서 부분 결과를 모으는 쪽이고, 전통적인 1F1B 파이프라인 병렬화의 P2P가 그다음입니다.

커널 쪽도 마찬가지로 예상 밖입니다. DeepSeek-V4가 도입한 계층적 희소 어텐션이 Ascend NPU에서 무겁게 돌아, 희소 어텐션 계열이 비통신 커널 시간의 약 4분의 1을 차지합니다. 조밀한 MatMulV3와 MoE의 GroupedMatmul을 합친 것보다 큽니다. 특정 레이어 설정 탓이 아니라 아키텍처에 내재한 특성입니다. 희소 KV 컨텍스트를 고르는 lightning indexer와 그걸 소비하는 shared-KV 어텐션이 모든 어텐션 블록에서 호출되므로, 비용이 네트워크 깊이에 그대로 비례합니다.

병목의 성질도 다릅니다. MatMulV3와 GroupedMatmul은 연산 바운드로 CUBE 코어를 90% 넘게 쓰면서 지연을 유용한 행렬 처리량으로 바꿉니다. 반면 희소 어텐션 커널은 반대라, 벡터 연산 활용률이 약 15%에 그칩니다. 같은 "느림"이어도 처방이 달라지는 지점입니다.

AuraKernel과 연산자 융합

최적화는 두 갈래입니다. 하나는 AuraKernel이라는 AscendC 커널 최적화 에이전트입니다. 기존의 커널 에이전트 접근이 주로 하네스 구성과 루프 수준 엔지니어링에 기댔던 것과 달리, 여기서는 운영과학 기반 타일링 최적화를 에이전트 워크플로에 집어넣었습니다. AscendC용 OR 솔버로 타일링을 고르게 만든 것인데, 논문의 두 축인 시스템 최적화와 운영과학이 여기서 한 번 교차합니다.

다른 하나는 연산자 체인 융합입니다. 이쪽은 개별 연산자를 빠르게 만드는 것이 아니라 실행 단위 자체를 바꿉니다. Python·torch·autograd가 내보내는 이거(eager) 체인 전체, 또는 이전에 내려가 있던 일반 Triton 커널이 기준선입니다.

전역 배치 1024 기준입니다. SwiGLU 전방의 \(8.86\times\)가 눈에 띄는데, 레코드 수가 5376개에서 896개로 줄어든 것과 함께 보면 성격이 분명해집니다. 수학적 연산량은 그대로 두고 커널 실행, 중간 텐서, dtype 왕복, scatter 형태의 되쓰기를 걷어낸 결과입니다.

운영과학 특화

시스템 최적화 위에 후속학습 워크플로가 올라갑니다. 대상은 Pro가 아니라 더 작은 DeepSeek-V4-Flash입니다. 솔버로 검증한 합성 최적화 문서와 수집한 도메인 자료를 섞어 CPT 데이터를 만들고, 자기증류로 SFT 데이터를 만든 뒤 계약 기반 정제를 거칩니다. 최종 SFT 데이터는 4개 과제 범주와 3개 문제 표현을 포괄하는 10K 샘플입니다.

결과

시스템 쪽 성과가 먼저입니다. MFU는 네 단계로 올라갑니다. 오픈소스 레시피 11.67%, 병렬화 최적화 25.80%, NPU-CPU 공동 최적화 27.00%, 커널 최적화 34.22%입니다. 총 \(2.93\times\) 개선이고, 개선폭의 대부분은 첫 단계인 병렬화 재설계에서 나왔습니다.

34.22%라는 숫자를 어떻게 읽어야 할지는 짚어 둘 필요가 있습니다. 대규모 MoE 학습의 MFU는 조밀 모델보다 원래 낮게 나오고, GPU 클러스터에서도 30% 안팎이 흔히 보고되는 구간입니다. 즉 이 수치는 "GPU를 이겼다"가 아니라 "GPU에서 기대할 만한 범위에 들어왔다"에 가깝습니다. 그리고 저자들이 강조하는 것도 절대 수치보다 \(2.93\times\)라는 개선폭, 즉 기본 레시피 그대로 돌리면 성능의 3분의 1밖에 못 쓴다는 사실입니다.

운영과학 쪽 결과입니다. 4개 벤치마크 평균으로 비교합니다.

평균 71.81%로 1위이고, 기준 모델보다 11.27포인트, GPT-5.4-Mini보다 3.98포인트 앞섭니다. 다만 항목별로 보면 이야기가 갈립니다. 실행 가능성을 보는 B4O-Feasible에서는 GPT-5.4-Mini에 밀리고, OptiBench에서는 Gemini-3-Flash에 밀립니다. 압도적으로 앞서는 곳은 구조적 등가성을 보는 B4O-ORGEval 하나이며, 여기서 59.39 대 46.95로 벌어집니다.

CPT와 SFT의 역할 분담도 깔끔하게 분리됩니다. 동일한 10K 데이터, 220 SFT 반복, 최대 학습률 \(5 \times 10^{-6}\), 전역 배치 128, 시퀀스 길이 8192로 조건을 맞춰 비교했습니다.

CPT 초기화가 얹은 이득은 NL4OPT +2.59, OptiBench +2.95, B4O-Feasible +5.29, B4O-ORGEval +10.66 포인트입니다. SFT는 감독된 과제 정렬을 제공하고, CPT는 도메인 구조 사전지식을 공급한다는 해석이 수치와 맞아떨어집니다.

일반 능력은 유지됩니다. MMLU 88.5(+0.9), CMMLU 92.4(+0.3), GSM8K 90.3(+0.5)로 소폭 올랐고, MMLU-Pro 69.2(-1.8), MATH 56.7(-1.7), HumanEval 68.8(-0.6)로 소폭 내렸습니다. 파국적 망각의 조짐은 없습니다. CPT 데이터를 운영과학 약 75%에 일반 코퍼스를 섞어 구성한 결과입니다.

회고

데이터 규모에 관한 결과가 이 보고서에서 가장 실용적인 부분입니다.

자기증류 데이터를 10K에서 50K로 늘렸더니 단조 개선이 나오지 않았고, OptiBench는 62.67에서 58.68로 오히려 떨어졌습니다. 3K·10K·50K가 거의 같은 구성 설계를 따르므로 데이터 혼합 변화로는 설명하기 어렵고, 저자들은 반복적 증류가 낮은 품질 샘플을 들이면서 모델 자신의 잡음을 증폭한 결과로 봅니다.

더 눈에 띄는 것은 정제 전 SFT-10K가 NL4OPT와 OptiBench에서 기준 모델보다 낮다는 점입니다. 계약 기반 정제와 CoT 강화를 거친 뒤에야 86.93과 64.17로 기준선을 넘습니다. 즉 10K 데이터의 문제는 규모 부족이 아니라 자연어 모델링 능력을 훼손할 만큼 강한 의미 잡음이었습니다.

정제로도 안 되는 부분은 저자들이 그대로 적어 뒀습니다. NL4OPT에서 잘못된 목적함수·모델 오류는 52건에서 31건으로 줄었지만, OptiBench의 비선형·잘못된 Gurobi 형식 오류는 49건에서 56건으로 오히려 늘었습니다. 어떤 모델을 세울지는 개선되지만 비선형 항이나 비율, 평균, 이차항을 Gurobi에서 어떻게 표현할지는 개선되지 않는다는 뜻입니다.

한계도 명시적입니다. 후속학습 실험은 전부 Flash에서만 이루어졌습니다. 시스템 최적화는 1.6조 Pro에서 했고 도메인 특화는 Flash에서 했으므로, 두 성과가 같은 모델에서 결합된 결과는 이 보고서에 없습니다. Pro로 확장해 결과를 공개하는 것을 향후 과제로 남겨 뒀습니다.

CPT 데이터 구성 소거 실험도 짚어 둘 만합니다. 운영과학 데이터만 쓴 Pure OR 설정은 일반 벤치마크에서 10에서 15포인트가 떨어지면서 운영과학 성능은 균형 혼합보다 오히려 약간 낮았습니다. 도메인 데이터만 넣는 것이 도메인 성능에도 도움이 되지 않는다는 결과입니다.

정리

첫째, 대규모 MoE 학습의 병목은 짐작과 다를 수 있습니다. All-to-All이 아니라 TP·DP의 AllReduce 계열이 통신의 절반을 먹었고, 희소 어텐션이 조밀 행렬곱보다 무거웠습니다. 최적화를 시작하기 전에 프로파일링부터 해야 하는 이유입니다.

둘째, 기본 레시피 그대로는 SuperPOD 성능의 3분의 1만 쓰게 됩니다. 11.67%에서 34.22%로 가는 \(2.93\times\)는 알고리즘이 아니라 병렬화 재설계와 커널에서 나왔습니다.

셋째, 도메인 특화에서 데이터는 양보다 검증입니다. 10K에서 50K로 키우면 나빠졌고, 같은 10K를 정제하고 CoT를 다듬으니 좋아졌습니다.