Wan-Streamer v0.1 - End-to-end Real-time Interactive Foundation Models

Wan Team, Alibaba Group, "Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models," arXiv:2606.25041, 2026.

저자

Wan-Streamer를 만든 팀은 Alibaba Group의 Wan Team입니다. 핵심 기여자로는 Lianghua Huang, Zhi-Fan Wu, Wei Wang, Yupeng Shi, Mengyang Feng, Junjie He, Chen-Wei Xie, Yu Liu, Jingren Zhou 9명이 이름을 올렸습니다. 이 팀은 2025년 초 오픈 영상 생성 모델 Wan(arXiv:2503.20314)을 발표한 뒤, 그 단일-모델 철학을 실시간 인터랙션으로 확장하기 위해 Wan-Streamer를 이어 개발했습니다. 영상 생성, 음성 처리, 언어 모델 분야의 전문가가 한 팀에 모인 구성이 이 프로젝트를 가능하게 한 기반입니다.

배경

사람이 대화할 때는 말하는 동시에 상대방을 보고, 고개를 끄덕이며, 상대가 말을 이을지 멈출지 판단합니다. 이것이 full-duplex(동시 송수신) 상호작용입니다. 그런데 현재 AI 대화 시스템 대부분은 이를 ASR(음성인식) → LLM → TTS(음성합성) → 아바타 렌더링 순서로 처리합니다. 모듈 경계마다 대기 시간이 쌓이고 오류가 누적됩니다. 응답 타이밍, 끊기 처리, 얼굴 표정 동기화를 시스템 전체가 함께 학습할 수도 없습니다.

Moshi, GPT-4o Realtime API, Qwen-Omni 같은 시스템이 이 한계를 일부 극복했지만 음성만 다루거나 영상 생성 모듈은 외부에 두었습니다. Wan-Streamer는 "처음부터 하나의 모델로 짜면 어떻게 되는가"라는 질문을 시스템 설계 원칙으로 삼았습니다. streamability를 나중에 덧붙이는 최적화가 아니라, 모델 설계의 제약 조건으로 봐야 한다는 것이 핵심 주장입니다.

어떻게 만들었나

인터리브 시퀀스 표현

\(k\)번째 스트리밍 단위에서 사용자 관찰을 \(u_k = (u_k^t, u_k^a, u_k^v)\), 에이전트 응답을 \(y_k = (y_k^t, y_k^a, y_k^v)\)로 표기합니다. 텍스트 토큰, 오디오 토큰, 비디오 토큰이 시간 순서대로 뒤섞인 하나의 인과적 스트림으로 표현합니다.

전체 상호작용 확률 분해는 다음과 같습니다:

\[p_\theta(y_{1:K} | u_{1:K}) = \prod_{k=1}^K p_\theta\!\left(y_k^t, y_k^a, y_k^v \,\middle|\, u^t_{\le k}, u^a_{\le k}, u^v_{\le k}, y^t_{<k}, y^a_{<k}, y^v_{<k}\right)\]

언어 응답 \(y_k^t\)는 다음 토큰 예측(cross-entropy)으로, 오디오·비디오 응답 \(y_k^a, y_k^v\)는 조건부 플로우 매칭(conditional flow matching)으로 학습합니다.

플로우 매칭에서 깨끗한 목표 latent \(z_0^m\)과 가우시안 잡음 \(\epsilon^m\)을 시각 \(\tau\)에서 혼합하면:

\[z_\tau^m = (1 - \tau)z_0^m + \tau\epsilon^m, \qquad \frac{\partial z_\tau^m}{\partial \tau} = \epsilon^m - z_0^m\]

이 속도 필드를 예측하는 손실로 오디오와 비디오 생성을 동시에 학습합니다.

Block-Causal Attention

완전 양방향 어텐션(BERT 계열)은 미래 토큰을 참조하므로 스트리밍이 불가능합니다. 단방향 인과 어텐션(GPT 계열)은 스트리밍은 되지만 같은 시간 단위 내 멀티모달 상호작용을 충분히 포착하지 못합니다. Wan-Streamer는 160ms 블록 단위로 어텐션을 구성합니다. 블록 내부에서는 텍스트·오디오·비디오 토큰이 서로 참조할 수 있고, 미래 블록은 참조할 수 없습니다. 한 블록이 완성되면 히스토리로 커밋돼 다음 블록의 문맥이 됩니다.

이 설계는 어텐션에 그치지 않습니다. VAE, 오디오·비디오 인코더/디코더가 모두 strictly causal하게 구현되어야 스트리밍 전체가 성립합니다.

3단계 학습

1단계 — 독립 과제 사전학습: Qwen 언어 모델로 초기화한 뒤, 이미지·오디오·비디오 이해와 생성 데이터를 혼합해 학습합니다. 이해와 생성을 동시에 학습해 단일 시퀀스 모델 안에서 퍼셉션·언어 추론·latent 생성이 정렬됩니다.

2단계 — 엔드투엔드 인터랙션 학습: 사용자 text/audio/video 입력과 에이전트 text/audio/video 출력을 같은 인과 스트림에 올려 학습합니다. 응답 타이밍, 듣는 행동, 끊기 처리가 이 단계에서 학습됩니다.

3단계 — 저지연 스트리밍 증류: CFG(classifier-free guidance)와 더 많은 플로우-매칭 스텝을 쓰는 강한 교사 모델을 효율적인 학생 모델로 증류합니다. rolling distillation로 학생이 자신의 생성 히스토리 위에서 학습해 train-test 불일치를 줄입니다.

Thinker-Performer 추론

단일 모델이지만 실제 서빙에서는 두 GPU로 분리해 파이프라이닝합니다.

**Thinker(GPU 0)**는 현재 사용자 관찰 인코딩 + KV 캐시 업데이트 + 직전 프레임 디코딩을 담당합니다. **Performer(GPU 1)**는 flow-matching solver만 실행해 다음 오디오·비디오 latent를 생성합니다.

스트리밍 단위 \(k\)에서 Thinker가 인코딩·업데이트를 처리하는 동안, Performer는 이미 \(k-1\)단계의 KV 캐시를 받아 \(y_k\) latent를 만들고 있습니다. Thinker의 짧은 처리 시간이 Performer의 긴 flow-matching 시간 안에 숨겨지는 구조입니다. KV 슬라이스와 clean latent는 스텝마다 교환됩니다.

결과

응답 지연 비교에서 Wan-Streamer의 측정 기준이 다른 시스템과 다르다는 점을 먼저 이해해야 합니다. 다수의 시스템은 모델 내부 latency, 첫 패킷 도착 시간, API TTFB 등 서로 다른 기준을 보고합니다.

Wan-Streamer는 이 목록에서 유일하게 영상을 동기화된 에이전트 출력으로 내보내면서 단일 모델로 구현된 경우입니다. ~550ms 전체 지연에는 350ms 양방향 네트워크 지연이 포함되어 있습니다. 순수 모델 측 지연은 ~200ms입니다.

비주얼 에이전트 비교에서도 VASA-1, StreamAvatar 같은 아바타 렌더러들은 외부 음성·언어 모듈을 별도로 두고 있어 전체 인터랙션 지연을 직접 비교하기 어렵습니다. X-Streamer, MIDAS 등 full-loop 시스템들은 절대적 signal-to-signal 지연을 공개하지 않았습니다.

자연스러운 행동 측면에서, 에이전트가 말하지 않는 유휴 상태에서도 시선·호흡·미세 표정을 유지하고, 사용자가 말할 때 고개 끄덕임·시선 이동 같은 비언어적 반응을 생성합니다. 음성과 영상 latent가 디코딩 전에 같은 문맥에서 생성되기 때문에 입술 움직임과 프로소디가 사후 정렬 없이 동기화됩니다.

회고

논문이 솔직하게 인정하는 한계는 두 가지입니다. 첫째, v0.1 결과는 192p 출력 해상도에서만 검증됐습니다. "고해상도 확장은 간단하고 향후 작업으로 남긴다"고 했지만, 720p/1080p 수준의 실용적 해상도에서의 검증은 없습니다. 둘째, 정량적 품질 평가가 없습니다. 지연 비교는 있지만 생성된 영상·음성 품질에 대한 MOS나 표준 벤치마크 비교가 없어 "얼마나 자연스럽게 들리고 보이는가"를 수치로 파악할 수 없습니다.

훈련 데이터 구성도 미공개입니다. 이해·생성·인터랙션 데이터를 어떤 비율로 혼합했는지, 풀-듀플렉스 인터랙션 데이터의 규모가 어느 수준인지가 공개되지 않아 재현 가능성이 낮습니다.

정리

• 캐스케이드 파이프라인(ASR→LLM→TTS→렌더러)을 단일 Transformer로 대체해 모달리티 경계 지연과 오류 누적을 구조적으로 제거합니다.
• Block-causal attention이 핵심 메커니즘입니다. 160ms 블록 내부에서 멀티모달 상호작용을 허용하면서 스트리밍 인과성을 유지합니다.
• v0.1 단계이며 192p 해상도와 품질 평가 부재라는 한계가 있습니다. 실용적 완성도는 다음 버전을 기다려야 합니다.