둥리

개요

Li Dong(董力)은 Microsoft Research Asia(MSRA)의 수석 연구원(Principal Researcher)입니다. 2018년 12월부터 MSRA에 재직하며 대규모 언어 모델 사전학습, 멀티모달 파운데이션 모델, 에이전트 LLM 세 방향을 한 그룹 안에서 이끌어왔습니다. UniLM 시리즈, MiniLM, InfoXLM, Kosmos 시리즈 등 NLP와 멀티모달 분야의 굵직한 작업들이 그의 이름과 함께합니다.

연구자로서의 특징은 사전학습 패러다임을 꾸준히 확장해온 일관성입니다. 인코더-디코더 통합 사전학습(UniLM)에서 시작해 크로스링구얼 정보이론 기반 학습(InfoXLM), task-agnostic 증류(MiniLM), 멀티모달 기초 모델(Kosmos), 그리고 최근의 에이전트 추론(agentic reasoning)까지 방향이 자연스럽게 이어집니다. EMNLP, NAACL, ACL, NeurIPS, ICLR, ICML 등 주요 학회에서 Area Chair를 반복적으로 맡아왔습니다.

MSRA NLP/멀티모달 라인에서 웨이푸루와 함께 사실상 두 축을 이루며, 인턴 출신 연구자를 멘토링해 정규직으로 연결하는 패턴이 여러 차례 반복된 조직 내 멘토이기도 합니다. 현재도 agentic LLM 전환을 주도하며 활발히 논문을 발표 중입니다.

생애

학부와 석박사 이력은 공개된 자료에서 구체적으로 확인되지 않으나, 2018년 이전부터 NLP 연구자로 활동했습니다. 2018년 12월 Microsoft Research Asia 합류 이후 NLP 사전학습 연구에 집중했고, 이 시기 발표한 UniLMv1(NeurIPS 2019)이 그의 대표작으로 자리 잡았습니다.

2020년대 초반에는 MiniLM(NeurIPS 2020), InfoXLM(NAACL 2021)을 거쳐 연구 범위를 멀티링구얼·크로스링구얼 방향으로 넓혔습니다. 2022~2023년에는 멀티모달 파운데이션 모델 Kosmos 시리즈를 이끌며 언어 이외의 지각(perception) 처리로 확장했고, 2024~2025년에는 에이전트 추론과 agentic 조직 학습 쪽으로 라인을 이동했습니다.

NeurIPS 2025에는 "The Era of Agentic Organization"과 "Reward Reasoning Model", "Native Hybrid Thinking Models" 등 여러 논문을 발표하며 agentic LLM 전환 이후에도 활발한 연구 활동을 유지하고 있습니다.

업적

UniLM·UniLMv2는 BERT 스타일 인코더(양방향 마스크 언어 모델), GPT 스타일 디코더(단방향 생성), seq2seq(시퀀스 변환) 세 가지 사전학습 목표를 단일 모델에 통합한 작업입니다. UniLMv1은 NeurIPS 2019에 수록되어 당시 여러 NLG 벤치마크에서 최고 성능을 기록했고, 이후 인코더-디코더 통합 사전학습의 대표 라인이 되었습니다.

MiniLM(NeurIPS 2020)은 task-agnostic 방식으로 사전학습된 트랜스포머를 압축하는 방법론입니다. 어텐션 관계의 자기 지식 증류(self-attention distillation)를 핵심으로 하여, 다운스트림 파인튜닝 없이도 다양한 태스크에서 교사 모델 수준의 성능을 작은 모델로 달성할 수 있도록 했습니다.

Kosmos 시리즈(2023)는 언어와 시각·오디오를 단일 디코더 안에서 처리하는 멀티모달 파운데이션 모델 라인입니다. Kosmos-1은 언어가 지각 정렬(perception alignment)의 핵심임을 주장했고, Kosmos-2는 멀티모달 LLM의 세계 기반화(grounding)를 다루었습니다. 이 라인은 이후 MSRA의 멀티모달 연구 흐름에 직접적인 영향을 미쳤습니다.

에이전트 LLM 방향에서는 웨이푸루와 함께 "The Era of Agentic Organization: Learning to Organize with Language Models" 연구를 진행했고, 치쩌원, 둥칭슈 등 인턴 출신 연구자들과의 공동 작업으로 이어졌습니다.

여담

MSRA 내에서 인턴을 정규직으로 키워내는 멘토로 알려져 있습니다. 여러 논문에서 인턴 출신 공동저자가 이후 MSRA 정규직으로 합류하는 패턴이 반복되고 있으며, 이는 그가 단순한 공동저자 이상으로 커리어 설계에도 관여한다는 것을 시사합니다.

NeurIPS 2025 한 시즌에 복수의 논문을 발표하는 생산성도 인상적입니다. 사전학습 시대에서 agentic 시대로의 전환을 주도하며 연구 방향을 일관되게 유지하는 한편, 다수의 학회 Area Chair 역할을 병행하며 커뮤니티 기여도 이어가고 있습니다.

웨이푸루와의 협업은 MSRA NLP 연구의 중심축으로 평가됩니다. 두 사람이 함께한 프로젝트 목록이 UniLM부터 최근 agentic 연구까지 거의 전 기간에 걸쳐 있습니다.

주요 논문

• Unified Language Model Pre-training for Natural Language Understanding and Generation (UniLM, NeurIPS 2019)
• UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training (ICML 2020)
• MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers (NeurIPS 2020)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training (NAACL 2021)
• Language Is Not All You Need: Aligning Perception with Language Models (Kosmos-1, 2023)
• Kosmos-2: Grounding Multimodal Large Language Models to the World (2023)
• Language Models are General-Purpose Interfaces (2022)
• Reward Reasoning Model (NeurIPS 2025)
• Native Hybrid Thinking Models (NeurIPS 2025)
• The Era of Agentic Organization: Learning to Organize with Language Models (2025)