얀 카우츠

🏷️ 인물 컴퓨터비전 딥러닝 교수

개요

얀 카우츠(Jan Kautz)는 NVIDIA Learning and Perception Research(LPR)의 부사장(VP Research)으로, 컴퓨터비전과 딥러닝 전반을 총괄하는 연구 리더입니다. 저수준 비전(노이즈 제거, 초해상도), 기하 비전(SfM, SLAM, 옵티컬 플로), 고수준 비전(검출, 인식, 분류), 생성 모델, 효율적 딥러닝까지 넓은 스펙트럼을 다룹니다. NVAE, NeuralAngelo, Cosmos 시리즈 등 NVIDIA 연구소의 대표 프로젝트들이 그의 LPR 팀에서 나왔습니다.

최근에는 컴퓨터비전 파운데이션 모델, 멀티모달 LLM, 임바디드 AI(Physical AI)로 연구 범위를 넓히고 있습니다. CVPR 2026에서 팀의 NitroGen 연구가 Best Paper Honorable Mention을 수상했으며, NeurIPS 2025와 ICLR 2025에서도 다수의 논문을 발표하는 등 2025~2026년에도 높은 연구 생산성을 유지하고 있습니다.

밍유 리우, 산야 피들러와 함께 NVIDIA Research의 비전 연구 방향을 이끄는 시니어 인물 중 하나입니다.

생애

얀 카우츠는 에를랑겐-뉘른베르크 대학교에서 컴퓨터과학을 전공(1999)했으며, 워털루 대학교에서 MMath 학위를 취득(1999)했습니다. 이후 막스-플랑크 컴퓨터과학 연구소(Max-Planck-Institut fur Informatik)에서 박사학위를 받았습니다(2003). 박사학위 이후에는 MIT에서 박사후 연구원으로 3년을 보냈습니다(2003-2006).

2006년부터 2013년까지 유니버시티 칼리지 런던(University College London)에서 정년 교수(tenured faculty)로 재직했습니다. 이 시기에 렌더링, 이미지 합성, 비전 알고리즘 등 다양한 분야에서 독자적인 연구 그룹을 이끌었습니다.

2013년 NVIDIA에 합류한 이후 현재까지 LPR 팀을 키워왔습니다. NVIDIA에서의 첫 10년이 생성 모델과 효율적 딥러닝의 기반을 닦는 시기였다면, 2020년대 이후에는 파운데이션 모델과 Physical AI라는 새로운 축으로 연구 방향을 전환하고 있습니다.

업적

얀 카우츠의 대표 업적 가운데 하나는 NVAE(A Deep Hierarchical Variational Autoencoder, NeurIPS 2020 Spotlight)입니다. 아라쉬 바흐다트와 공동 개발한 NVAE는 깊은 계층적 구조를 VAE에 적용해 당시 256×256 해상도 자연 이미지에 적용된 첫 VAE로 기록됐으며, 비자기회귀 우도 기반 모델 중 최고 성능을 달성했습니다.

NeuralAngelo(2023)는 Instant NGP 기술을 기반으로 멀티뷰 RGB 영상에서 고밀도 3D 표면 구조를 복원하는 방법입니다. 이전 방법들을 크게 능가하는 정밀도로 대규모 장면 복원을 가능하게 했으며, 3D 재건 분야에서 주요 기준점 중 하나로 자리잡았습니다.

잠재 공간 점수 기반 생성 모델(Score-based Generative Modeling in Latent Space, 2021)에서는 아라쉬 바흐다트, 카르스텐 크라이스와 함께 확산 모델을 잠재 공간에서 작동하도록 확장하는 방법론을 제시했습니다. 이 연구는 이후 Latent Diffusion Model 계열의 발전에 중요한 이론적 토대를 제공했습니다.

Cosmos 시리즈에서는 Physical AI를 위한 오미모달 세계 모델 개발에 참여했습니다. Cosmos 3 - Omnimodal World Models for Physical AI는 언어, 이미지, 비디오, 오디오, 행동 시퀀스를 단일 모델에서 처리하고 생성하는 새로운 방향을 제시했습니다. CVPR 2026에서 팀의 NitroGen이 Best Paper Honorable Mention을 수상한 것은 최근 성과 중 하나입니다.

여담

얀 카우츠는 UCL 정년 교수직을 떠나 산업계 연구소로 이동한 사례로 자주 언급됩니다. 학계를 떠난 이유에 대해 NVIDIA가 제공하는 컴퓨팅 자원과 데이터 규모가 학문적 자유 못지않게 중요하다고 밝힌 바 있습니다.

그의 연구 조직인 LPR은 비전 기초 연구부터 로보틱스, 자율주행까지 폭넓게 걸치는 대형 팀으로, 단일 연구자가 이만큼 다양한 분야에서 주저자급 논문을 꾸준히 내는 경우는 드뭅니다. 실제로 그의 Google Scholar 피인용 수는 수만 건에 달하며, 여러 분야에서 고루 인용됩니다.

NVIDIA의 Physical AI 전략이 구체화될수록 얀 카우츠의 LPR 팀이 담당하는 역할도 커지고 있습니다. Cosmos 3 이후 임바디드 AI 기반 연구들이 그의 팀을 거쳐 발표되고 있어, 향후 방향성도 주목받고 있습니다.

주요 논문