Video Generation Models are General-Purpose Vision Learners

L. Wang, C. Zhang, R. Kabra, J. Uijlings, S. Waslander, A. Zisserman, J. Carreira, K. He, M. Andriluka, E. G. Bazavan, A. Zanfir, and C. Sminchisescu, "Video Generation Models are General-Purpose Vision Learners," arXiv:2607.09024, 2026.

저자

이 연구는 Google DeepMind의 인간 중심 비디오 인식 팀이 주도했습니다. 1저자 Letian Wang은 토론토대 박사과정생으로, Steven Waslander 교수 지도 아래 자율주행과 비전 로봇을 연구하다 DeepMind 인턴십에서 이 프로젝트를 이끌었습니다.

시니어 저자 측에는 ResNet과 MAE를 만든 Kaiming He(MIT + DeepMind Distinguished Scientist), I3D와 Kinetics를 만든 Joao Carreira, 그리고 교신저자인 Cristian Sminchisescu(DeepMind + 룬드대)가 있습니다. Sminchisescu는 Carreira의 박사 지도교수이기도 해서, 사제지간이 함께 범용 비전 모델을 만든 셈입니다.

팀의 출발점은 인간 특화 비디오 모델 THFM(2026)이었습니다. GenCeption은 그 후속으로, 인간이라는 특정 도메인을 넘어 비디오 생성 표현이 범용 비전 지식으로 기능할 수 있는지를 검증합니다.

배경

NLP는 번역·요약·분류가 모두 별개의 모델이었던 시대에서, 다음 토큰 예측이라는 단일 사전학습 목표로 수천 가지 과제를 동시에 처리하는 파운데이션 모델 시대로 전환했습니다.

비전은 아직 전환 전입니다. DepthAnything 시리즈는 깊이 추정에, SAM 시리즈는 분할에 특화돼 있습니다. 각 모델은 독자적인 백본·헤드·손실 함수를 가집니다. 단일 아키텍처가 시각 지능 전반을 담당하는 모델은 아직 없습니다.

저자들은 범용 비전 사전학습이 되려면 세 가지 조건을 충족해야 한다고 봅니다.

1. 시공간 진화: 세계는 4차원 연속체입니다. 사전학습 목표가 시간적 인과성과 물리 법칙을 내면화해야 합니다.
2. 비전-언어 정렬: 시각 특징이 언어 의미론과 기본적으로 정렬돼야 지시 따르기가 가능합니다.
3. 확장성: 데이터와 연산 규모를 키울 수 있어야 창발적 지능이 나타납니다.

대규모 텍스트-투-비디오 생성 모델은 이 세 조건을 동시에 충족합니다. 고화질 비디오를 생성하려면 3D 기하학·물체 영속성·물리적 상호작용을 내면화해야 합니다. 텍스트 조건화로 언어 정렬이 내장됩니다. 낮은 어노테이션 비용과 높은 상업 가치 덕분에 대규모 스케일업이 이미 이뤄졌습니다.

이 흐름에서 선행 연구들이 있었습니다. Marigold는 이미지 확산 모델(Stable Diffusion)을 깊이 추정기로 전환했고, NormalCrafter·DepthCrafter는 비디오 확산 모델로 시간적 일관성 문제를 해결했습니다. 하지만 이들은 모두 단일 과제에 머물렀습니다. GenCeption은 하나의 모델이 텍스트 프롬프트만으로 과제를 전환하는 범용 아키텍처를 추구합니다.

어떻게 만들었나

GenCeption은 공개 텍스트-투-비디오 모델 WAN 2.1을 백본으로 사용합니다. WAN 2.1은 VAE 인코더·디코더, 텍스트 인코더, 확산 트랜스포머(DiT)로 구성됩니다.

피드포워드 전환. 원래 WAN은 가우시안 노이즈에서 출발해 50번의 반복 디노이징을 거쳐 비디오를 생성합니다. GenCeption은 이 과정을 단일 순방향 패스로 바꿉니다. 핵심 아이디어는 입력 비디오의 클린 잠재 표현을 그대로 DiT에 입력하고, 조건 타임스텝을 \(t = 0\)으로 고정하는 것입니다.

WAN은 Rectified Flow 목표로 학습돼 속도 \(v = \epsilon - x_0\)를 예측합니다. \(t = 0\)에서 DiT의 출력을 부호 반전하면 \(-v = x_0 - \epsilon\)이 되어 클린 잠재와 가깝게 정렬됩니다. 이 부호 반전이 수렴 속도와 성능 모두를 높인다는 것을 저자들은 실험으로 확인했습니다.

통합 과제 표현. 밀집 과제(깊이·법선·분할·DensePose·Raymap)는 모두 3채널 \([0, 1]\) RGB 공간으로 통일합니다. 깊이는 단일 채널이지만 세 채널에 복사하고, 법선·DensePose는 세 채널에 직접 대응합니다. 깊이 추정의 스케일 모호성은 데이터 수준에서 해결합니다. 각 비디오의 깊이 맵을 씬 중앙값 깊이로 정규화한 뒤, 아래 비선형 매핑을 적용합니다.

\[d' = \text{clip}(\alpha \log(d + 1),\; 0,\; 1)\]

파라미터 \(\alpha\)가 근거리 세부와 원거리 구조 사이의 집중도를 조절합니다.

카메라 포즈는 6채널 레이맵(ray origin 3채널 + ray direction 3채널)을 공간 분할로 3채널에 압축합니다. 프레임 중앙 영역에는 회전 성분, 주변부에는 이동 성분을 배치하는 "Rothko" 레이맵입니다.

희소 과제(2D·3D 키포인트, 카메라 포즈)는 학습 가능한 토큰으로 처리합니다. 비디오 프레임마다 토큰 하나를 추가로 붙여 DiT를 통과시킨 뒤, MLP로 \(K\)차원 좌표를 디코딩합니다. 토큰의 공간 위치는 학습하고, 시간 위치는 포지션 인터폴레이션으로 사전학습 범위 안에 맞춥니다.

손실 함수. 모든 과제에 단일 \(L^2\) 손실만 사용합니다. 과제별 특수 손실이 없으니 다과제 확장 시 손실 가중치 조정이 필요 없습니다. 과제별 맞춤은 데이터 표현 설계에서 해결한다는 것이 핵심 원칙입니다.

합성 데이터. 어노테이션이 풍부한 실세계 비디오 데이터셋이 부족하므로 합성 데이터를 만들었습니다. 800개 RenderPeople 에셋과 CMU 모션 캡처 데이터베이스의 200가지 모션을 조합하고 다양한 배경과 카메라 경로를 변주해 총 7,500개 합성 비디오를 생성했습니다. 깊이·법선·분할 마스크는 Blender 렌더 패스로, 2D/3D 키포인트는 리깅된 에셋에서 직접 추출했습니다.

학습. WAN 2.1 기반(1.3B 또는 14B 파라미터), 480x832 해상도, 81프레임, 24 FPS. 256개 TPU v6e에서 배치 64로 15,000스텝 학습했습니다.

결과

메인 결과는 표준 벤치마크에서 전문 모델과의 비교입니다. GenCeption은 분류 1개 태그 논문, 표에 나타나지 않은 과제에 대해서는 "-"로 처리합니다.

Table 1. 전문 모델과 비교 (주요 과제 요약)

Generalist 모델(단일 모델로 전 과제 처리)이 Specialist(과제별 개별 학습)에 근접하거나 일부 과제에서 앞섭니다. 법선 추정에서 Generalist가 29.3으로 Specialist 29.7을 앞선 것이 주목할 만합니다.

Table 2. 사전학습 패러다임 비교 (깊이 추정, 동일 학습 데이터)

같은 7,500개 합성 비디오로 학습했을 때, 생성 사전학습(WAN 2.1)이 V-JEPA와 VideoMAE를 큰 폭으로 앞섭니다. 전문 모델들(D4RT는 약 100만 비디오, VGGT-Omega는 약 300만 비디오)과 비교하면, GenCeption-L은 8,080개 비디오로 평균 AbsRel 0.071을 달성해 VGGT-Omega(0.067)에 근접합니다. 7배에서 500배 적은 데이터로 동등한 성능을 낸 셈입니다.

추론 비용은 1.3B 모델 기준 TPU v6e 1개에서 81프레임을 5.92초에 처리합니다(13.6 FPS). 원래 WAN의 50스텝 확산 대비 대폭 효율화됐습니다.

회고

논문이 솔직하게 인정하는 한계가 있습니다. 밀집 과제와 희소 과제를 함께 학습하면 3D 키포인트 추정 성능이 크게 저하됩니다. 저자들은 두 가지 이유를 듭니다. 첫째, 명시적 좌표 회귀(학습 가능한 토큰)는 생성 모델의 픽셀 공간 사전학습과 성격이 다릅니다. 둘째, 스크래치에서 학습하는 추가 토큰이 사전학습된 DiT 레이어의 어텐션 패턴을 교란합니다. 이 관찰에서 저자들은 하나의 설계 원칙을 추출합니다. 사전학습 백본에 대한 아키텍처 수정은 최소화해야 한다는 것입니다.

반면 긍정적인 창발 행동도 여러 가지가 나타납니다.

• 합성-실세계 전이: 합성 데이터만으로 학습했는데 실세계 비디오에서도 세밀한 디테일(고양이 수염, 머리카락 soft segmentation)이 합성 훈련 데이터의 품질을 초과합니다.
• 다중 개체 일반화: 단일 개체 합성 비디오로 학습했는데 실세계 멀티플 개체 비디오에서 제로샷으로 동작합니다.
• 범주 외 일반화: 인간 비디오만으로 학습했는데 동물·로봇 등 다른 범주로 전이됩니다.

세 창발 행동은 모두 비디오 생성 모델이 학습한 표현의 범용성에서 비롯됩니다. 텍스트-투-비디오 사전학습이 특정 도메인이 아니라 세계의 일반 물리 법칙을 학습한다는 논문의 핵심 주장을 뒷받침합니다.

논문에 명시적으로 언급되지 않은 한계도 있습니다. 합성 데이터 7,500개는 인간 중심 비디오로, 비인간 물체나 실내외 복잡 환경에서의 일반화 한계가 여전히 미지수입니다. 또한 14B 파라미터 WAN 2.1은 엣지 디바이스 배포에 무거우며, 42.8GB VRAM 요구 사항은 실용화의 제약 요인입니다.

정리

• 비디오 생성 사전학습이 LLM의 다음 토큰 예측 역할을 합니다. 같은 합성 데이터로 V-JEPA와 VideoMAE를 큰 폭 앞서며, 7배에서 500배 적은 데이터로 전문 모델에 준하는 성능을 달성합니다.
• 단일 아키텍처, 단일 손실, 텍스트 프롬프트로 과제 전환. 깊이·법선·분할·DensePose·Raymap·2D/3D 키포인트를 백본·헤드·손실 함수 변경 없이 처리합니다.
• 합성-실세계 전이와 범주 외 일반화가 창발합니다. 인간 합성 데이터만으로 학습해도 동물·로봇, 멀티플 개체로 제로샷 전이되는 것은 생성 표현의 범용성을 시사합니다.