류저춘

🏷️ 인물 딥러닝 오픈소스

개요

류저춘(Zechun Liu)은 Meta Reality Labs 소속 연구자로, 대형 언어모델(LLM)의 양자화(quantization)와 온디바이스 배포 효율화를 전문으로 합니다. SpinQuant, LLM-QAT, MobileLLM, ParetoQ 등 LLM 압축 분야의 주요 방법론을 주도했으며, 극저비트(1-4비트) 양자화에서 정밀도 손실을 최소화하는 기술을 지속적으로 개발하고 있습니다.

그의 연구는 대형 모델을 스마트폰·엣지 디바이스에서 실행 가능하게 만드는 온디바이스 AI 분야와 직결됩니다. 모델 크기를 줄이되 추론 성능을 유지하는 것이 핵심 과제이며, 이를 위해 양자화 인식 학습(QAT), 사후 학습 양자화(PTQ), 회전 기반 양자화 등 다양한 방법론을 다룹니다.

생애

류저춘은 박사 학위 취득 후 Meta Reality Labs에 합류해 LLM 압축 연구를 이어오고 있습니다. 그가 속한 Reality Labs는 AR/VR 디바이스에서 AI 기능을 구동하기 위해 모델 경량화가 필수적인 환경이며, 이것이 그의 연구 방향에 직접적인 맥락을 제공합니다.

학술 활동으로는 NeurIPS, ICLR, CVPR 등 주요 머신러닝 학회에 꾸준히 논문을 발표하고 있습니다. SpinQuant는 ICLR 2025에 채택되었고, ParetoQ는 NeurIPS 2025에 발표되었습니다. 대부분의 연구 코드를 오픈소스로 공개하며, Meta facebookresearch GitHub 조직을 통해 배포합니다.

업적

류저춘의 대표 기여는 네 가지 방향으로 정리할 수 있습니다.

첫째, SpinQuant(ICLR 2025)입니다. 양자화 오류의 주원인인 아웃라이어(outlier)를 회전 행렬로 제거하는 방법으로, Cayley 최적화를 통해 작은 검증 세트에서 회전 행렬을 직접 학습합니다. 가중치, 활성화, KV 캐시를 4비트로 양자화했을 때 LLaMA-2 7B 기준 풀정밀 대비 격차를 2.9점으로 좁혔으며, LLM-QAT 대비 19.1점, SmoothQuant 대비 25.0점을 앞섰습니다.

둘째, LLM-QAT(데이터 없는 양자화 인식 학습)입니다. 추가 데이터 없이 모델 자신이 생성한 데이터로 양자화 인식 학습을 수행하는 방법으로, 학습 데이터 확보가 어려운 환경에서도 양자화 품질을 높일 수 있습니다.

셋째, MobileLLM(2024)입니다. 10억 파라미터 미만 모델을 온디바이스 용도로 최적화하는 연구로, 딥-씬(depth-first) 설계 원칙을 적용해 작은 모델에서 성능을 끌어올렸습니다. 후속 연구 MobileLLM-R1은 추론(reasoning) 능력까지 확장했습니다.

넷째, ParetoQ(NeurIPS 2025)입니다. 극저비트 양자화에서의 스케일링 법칙(scaling laws)을 분석하고, 모델 크기와 비트 수의 파레토 최적 조합을 탐색하는 연구입니다.

여담

류저춘은 양자화 분야에서 이론보다 실용에 방점을 두는 연구 스타일로 알려져 있습니다. SpinQuant 논문 발표 당시 Meta가 직접 코드를 GitHub에 공개했고, 이후 커뮤니티에서 다양한 모델에 적용하는 사례가 이어졌습니다.

그가 참여한 양자화된 추론 모델 연구에서, 양자화가 단순히 성능을 낮추는 것을 넘어 모델의 "추론 행동 방식"을 바꿀 수 있다는 관찰이 제기되었습니다. 양자화가 추론 토큰 생성 패턴에 미치는 영향은 아직 연구가 진행 중인 분야입니다.

주요 논문