Dayiheng Liu

🏷️ LLM NLP

Dayiheng Liu는 Alibaba DAMO(달마원) Algorithm Expert로, Qwen 팀의 핵심 기여자 중 한 명이다. 개인 홈페이지(liudayiheng.github.io)를 통해 연구 활동을 공개하고 있다.

ACL, ICML, NeurIPS, EMNLP, AAAI 등 주요 학회에 50편 이상의 논문을 발표했으며, Qwen, PolyLM, ProphetNet, GLGE 등 GitHub에서 5,000개 이상의 스타를 받은 오픈소스 프로젝트에 핵심 기여자로 이름을 올리고 있다. ProphetNet(EMNLP 2020)은 자기회귀 생성 모델에 n-gram 예측을 통합한 시퀀스-to-시퀀스 모델로, 요약과 질문 생성 벤치마크에서 당시 최고 성능을 기록했다.

2025년 5월 공개한 Gated Attention for Large Language Models - Non-linearity, Sparsity, and Attention-Sink-Free(arXiv:2505.06708)의 공동 교신저자로 참여했다. Zihan Qiu, Junyang Lin과 함께 Qwen Team 아키텍처 연구의 방향을 공동 책임지는 역할이다. 이 논문은 NeurIPS 2025 Best Paper Award를 수상했고, 연구 결과는 Qwen3-Next 모델의 기본 어텐션 구조로 채택됐다.