쑨하오하이

🏷️ LLM

개요

쑨하오하이(Sun Haohai)는 중국 AI 스타트업 MiniMax의 사전학습 파이프라인 총괄 리드입니다. MiniMax-01, MiniMax-M1, MiniMax-M2, 그리고 MiniMax Sparse Attention 기술 보고서에 이르기까지 MiniMax LLM 시리즈의 핵심 사전학습 작업을 일관되게 이끌었습니다.

MiniMax 공동창업자 자오펑위가 MiniMax-M2 공개 당시 X(트위터)에서 "pre-training lead Haohai Sun"이라고 직접 소개하며 역할을 공식 확인했습니다.

생애

쑨하오하이의 세부 학력과 MiniMax 합류 시기는 공개된 정보가 없습니다. MiniMax 외부에서의 공개 이력이 거의 없어, 커리어 대부분을 MiniMax 내에서 쌓아온 내부 성장형 연구 리드로 보입니다.

MiniMax는 상하이 기반의 AI 기업으로, 멀티모달 생성 AI 분야에서 중국 내 주요 플레이어로 자리잡고 있습니다. 쑨하오하이는 이 회사가 MiniMax-01 단계에서 MiniMax-M2 단계로 성장하는 동안 사전학습 전 과정을 총괄했습니다.

업적

쑨하오하이의 핵심 기여는 MiniMax-M2 사전학습 설계입니다. MiniMax-M2는 희소 어텐션(sparse attention) 대신 풀 어텐션(full attention)으로 회귀하는 결정을 내린 모델로, 이 결정의 근거를 쑨하오하이가 커뮤니티 기술 블로그를 통해 직접 설명했습니다. 실험 결과 효율적 어텐션 방식이 산업 규모에서 풀 어텐션을 확실히 앞서지 못한다는 것을 확인했다는 내용이었습니다.

MiniMax Sparse Attention 논문에서는 희소 어텐션 패턴이 적용된 상태로 109B MoE 모델을 3T 토큰 예산으로 전훈련하는 작업에 참여했습니다. 이 실험은 MSA(MiniMax Sparse Attention)가 풀 어텐션과 동등하거나 그 이상의 품질을 스케일에서 낼 수 있음을 검증한 핵심 근거로 제시됩니다.

MiniMax-M1 단계에서는 라이트닝 어텐션을 활용해 테스트 타임 컴퓨트 스케일링을 효율적으로 구현하는 사전학습 작업을 이끌었습니다.

여담

쑨하오하이는 공개적인 학술 프로필이 거의 없는 인물이지만, MiniMax 기술 보고서에서의 존재감은 상당합니다. 회사 창업자가 직접 트위터에서 이름을 언급하며 역할을 설명했다는 것은, 사전학습 파이프라인에서 그의 위치가 얼마나 중심적인지를 보여줍니다.

중국 AI 산업에서 주목받는 모델 시리즈를 이끌면서도 개인 공개 정보가 거의 없다는 점은, 연구 성과보다 제품 완성에 집중하는 산업 연구자의 전형적 모습이기도 합니다.

주요 논문