리우 즈웨이

🏷️ 인물 딥러닝 멀티모달 교수

개요

리우 즈웨이(Liu Ziwei, 刘子维)는 난양공과대학교(NTU) 컴퓨팅·데이터과학대(CCDS) 부교수이자 MMLab@NTU의 PI입니다. Provost's Chair in AI 직함을 보유하고 있으며, 생성형 AI와 대형 멀티모달 모델 분야에서 DragGAN, GAN2Shape, CogVideo 등 다수의 주목받는 연구를 이끌어 왔습니다. 2025년에는 싱가포르 대통령 과학기술상(Young Scientist Award)을 수상했으며, 2026년에는 Microsoft Research Fellowship을 받았습니다.

MMLab@NTU는 약 40명 규모의 연구 그룹으로, 생성형 AI, 대형 멀티모달 모델, 3D 비전, 동작 생성 등 다양한 분야를 다룹니다. SenseNova-U1 프로젝트에서 Senior Project Lead 6인 중 1인으로 참여하며 산업 협력에도 적극적으로 관여하고 있습니다.

생애

리우 즈웨이는 중국 출신으로 CUHK MMLab에서 박사 학위를 취득했습니다. 박사 지도 교수는 Dahua Lin과 Chen Change Loy입니다. 졸업 후 2017년부터 2018년까지 UC Berkeley에서 박사후 연구원으로 재직하며 Trevor Darrell 그룹과 협업했고, 2018년부터 2020년까지는 CUHK 리서치 펠로우로 돌아와 연구를 이어갔습니다. 2020년 NTU CCDS에 교수로 부임하면서 S-Lab for Advanced Intelligence를 창설하고 MMLab@NTU를 이끌기 시작했습니다.

CUHK MMLab 시절부터 이어진 Dahua Lin 교수와의 협업 관계는 NTU 이후에도 계속되어, 두 사람이 공동 저자로 이름을 올린 멀티모달 논문이 다수 있습니다. 싱가포르에 자리를 잡은 이후에는 NTU-CUHK 라인과 함께 SenseTime 등 중화권 AI 기업과의 산학 협력도 활발히 이어가고 있습니다.

업적

리우 즈웨이의 연구 중 가장 넓은 주목을 받은 것은 DragGAN(SIGGRAPH 2023)입니다. 이미지에서 원하는 포인트를 마우스로 드래그하여 실시간으로 내용을 편집하는 인터랙티브 이미지 편집 기법으로, 공개 직후 소셜 미디어에서 폭발적인 반응을 얻었습니다. 이외에도 단일 이미지에서 3D 형상을 추론하는 GAN2Shape, 오픈 어휘 영역 인식을 위한 OpenPSG, 생성형 AI와 멀티모달 모델의 평가 프레임워크 등 폭넓은 연구 성과를 냈습니다.

멀티모달 방향에서는 "Native Multimodal Models: Architecture, Post-Training, and Evaluation"을 주제로 2025년 ICCV 등 주요 학회에서 초청 강연을 진행하며 연구 방향성을 제시했습니다. SenseNova-U1에서는 NEO-unify의 생성 측 디자인과 데이터 큐레이션, 공간 지능 평가 벤치마크(EASI 포함) 트랙에 NTU 라인을 결합한 역할을 맡았습니다. 2025년에는 LMMs-Lab이 중국 오픈소스 상위 10위 프로젝트로 선정되기도 했습니다.

여담

DragGAN 데모 영상은 공개 직후 며칠 만에 수백만 회 조회를 기록하며 AI 연구 역사상 가장 바이럴한 데모 중 하나로 꼽힙니다. 기술적 복잡성보다 직관적인 인터랙션을 전면에 내세운 시연 방식이 연구자 외 일반 사용자들에게까지 닿은 사례입니다.

40명 규모 그룹을 NTU에서 구축하면서 동시에 SenseNova-U1 같은 대형 산업 프로젝트에도 참여하는 병행 방식은, 학술 연구 역량과 산업 스케일을 연결하는 데 적극적인 그의 연구 철학을 잘 보여 줍니다.

주요 논문