밍유 리우

개요

밍유 리우(Ming-Yu Liu, 劉洺堉)는 NVIDIA Research의 부사장(VP of Research)이자 IEEE Fellow입니다. NVIDIA에서 Deep Imagination Research 그룹과 Cosmos Lab을 이끌며, 기계가 세상을 인식하는 것을 넘어 시뮬레이션하고 추론하며 상호작용하게 만드는 월드 파운데이션 모델(world foundation model) 연구를 총괄하고 있습니다.

GAN 기반 이미지-투-이미지 변환 분야에서 가장 많이 인용되는 연구자 중 한 명으로, Google Scholar 피인용 수는 5만 2,000회를 넘습니다. 7편의 GAN 관련 논문이 각각 1,000회 이상 인용되었으며, CVPR, NeurIPS, ICLR 등 최상위 컴퓨터 비전 학회에서 꾸준히 논문을 발표하고 있습니다.

2025년 SIGGRAPH에서는 NVIDIA Research의 차세대 AI 방향을 발표하는 특별 세션에 참가했으며, 2026년에는 Cosmos 3를 발표해 Physical AI 분야 선도 연구자로서의 위치를 공고히 했습니다.

생애

밍유 리우는 대만 출신으로, 국립교통대학교(National Chiao Tung University, 현 국립양밍교통대학교)에서 2003년 학사 학위를 받았습니다. 이후 메릴랜드대학교 칼리지파크(University of Maryland, College Park) 전기공학과에서 석사(2011)와 박사(2012) 학위를 취득했으며, 박사 지도교수는 라마 첼라파(Rama Chellappa)였습니다. 박사 과정에서는 얼굴 인식과 영상 처리를 주로 연구했습니다.

박사 학위 취득 후 인텔 소프트웨어 엔지니어를 거쳐 미쓰비시 전기 연구소(MERL, Mitsubishi Electric Research Laboratories)에서 수석 연구 과학자로 근무했습니다. MERL 재직 중에는 모션 캡처와 자율주행 관련 연구를 수행했습니다.

2016년 NVIDIA에 합류하여 연구직을 시작했고, 이후 Deep Imagination Research 그룹을 이끌며 생성 AI 분야에서 연속적인 성과를 냈습니다. GauGAN(SPADE), pix2pixHD, vid2vid 등의 연구는 학계와 산업계 모두에서 큰 반향을 일으켰습니다. 2021년에는 Forbes Most Disruptive Innovator 어워드를 수상했고, SIGGRAPH Real-Time Live에서도 2019년과 2021년 두 차례 Best in Show 상을 받았습니다.

업적

밍유 리우의 가장 대표적인 업적은 SPADE(Spatially-Adaptive Denormalization) 기반 GauGAN 연구입니다. CVPR 2019에서 구두 발표(Oral)된 이 논문은 의미론적 레이아웃 이미지에서 고해상도 사실적 이미지를 합성하는 방법을 제시하여, 이후 수많은 이미지 생성 연구의 기반이 되었습니다. GauGAN은 NVIDIA Canvas라는 제품으로 상용화되어 일반 사용자도 스케치만으로 사실적 풍경 이미지를 생성할 수 있게 했습니다.

비디오 생성 분야에서도 핵심 기여를 남겼습니다. pix2pixHD는 고해상도 이미지-투-이미지 변환을, vid2vid는 시간적 일관성을 유지한 비디오 변환을 가능하게 했습니다. 이 연구들은 NVIDIA Maxine 제품군으로 발전하여 영상 커뮤니케이션 분야에 적용되었습니다.

최근에는 Physical AI를 위한 월드 파운데이션 모델 연구로 무게 중심을 이동했습니다. Cosmos Lab을 이끌며 NVIDIA Cosmos 시리즈를 개발했습니다. 2026년 COMPUTEX에서 발표된 Cosmos 3는 비전 추론과 텍스트, 비디오, 이미지, 환경음, 액션을 하나의 모델에서 처리하는 멀티모달 생성 모델로, 로보틱스와 자율주행 등 Physical AI 애플리케이션 개발을 위한 플랫폼을 제공합니다.

여담

밍유 리우는 학계와 산업계를 오가며 연구 결과를 실제 제품으로 이어가는 능력으로 정평이 나 있습니다. GauGAN, Maxine, Cosmos 모두 학술 연구가 NVIDIA 제품으로 직결된 사례입니다. 이 흐름은 NVIDIA가 AI 연구 조직을 운영하는 방식, 즉 논문 발표와 제품 출시를 동시에 추진하는 문화를 잘 보여줍니다.

박사 지도교수인 라마 첼라파는 컴퓨터 비전 분야의 저명한 연구자로, 밍유 리우는 그의 지도 아래 얼굴 인식과 영상 처리를 연구했습니다. MERL 근무 시절에는 모션 캡처와 자율주행 관련 연구를 하다가 NVIDIA 합류 이후 생성 모델로 전환한 것이 커리어의 전환점이 되었습니다.

2025년 SIGGRAPH 특별 세션에서는 생성 AI가 엔터테인먼트와 Physical AI를 어떻게 바꾸고 있는지를 주제로 발표했습니다. "장면이 어떻게 보이는가"에서 "기계가 세상에서 어떻게 행동하는가"로 연구 목표를 확장한 것이 Cosmos의 핵심 문제의식이라는 점을 직접 설명했습니다.

주요 논문

• Semantic Image Synthesis with Spatially-Adaptive Normalization (CVPR 2019, Oral) -- GauGAN / SPADE. 의미론적 레이아웃으로 고해상도 이미지를 합성하는 핵심 방법론.
• High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs (CVPR 2018) -- pix2pixHD. 고해상도 이미지-투-이미지 변환 연구.
• Video-to-Video Synthesis (NeurIPS 2018) -- vid2vid. 시간적 일관성을 유지한 비디오 변환 연구.
• Few-Shot Video-to-Video Synthesis (NeurIPS 2019) -- 소수 예시만으로 비디오 스타일을 변환하는 방법론.
• UNIT: Unsupervised Image-to-Image Translation Networks (NeurIPS 2017) -- 비지도 이미지 변환 네트워크.
• Coupled Generative Adversarial Networks (NeurIPS 2016) -- CoGAN. 결합 GAN으로 도메인 간 공유 표현 학습.
• Cosmos: World Foundation Model Platform for Physical AI (2025) -- Physical AI를 위한 월드 파운데이션 모델 플랫폼.
• DragGAN: Interactive Point-based Manipulation on the Generative Image Manifold (SIGGRAPH 2023, 공저) -- GAN 잠재 공간의 포인트 기반 인터랙티브 편집.
• Diverse Image-to-Image Translation via Disentangled Representations (ECCV 2018) -- 다양성을 갖춘 이미지 변환을 위한 분리 표현 학습.