ABot-World-0 - Infinite Interactive World Rollout on a Single Desktop GPU

F. Jiang, Z. Sun, M. Wang, Z. Zhu, et al., "ABot-World-0: Infinite Interactive World Rollout on a Single Desktop GPU," arXiv:2607.19191, 2026.

월드 모델 논문을 읽을 때 늘 걸리는 대목이 있습니다. 데모는 근사한데 어디서 돌아가는지가 안 적혀 있거나, 적혀 있으면 클러스터입니다. 이 논문은 제목에 답을 먼저 박아 뒀습니다. 데스크톱 GPU 한 장입니다.

저자

AMAP CV Lab은 알리바바의 지도 서비스 AMAP(高德地图) 산하 컴퓨터비전 연구팀입니다. 원래 위성 영상으로 도시 규모 3D 장면을 만드는 쪽이 주력이었는데, 이 논문은 게임 영상과 시뮬레이션 엔진 데이터로 인터랙티브 월드 모델을 학습시킵니다. 지도 회사가 왜 여기까지 왔는지가 저자 구성에 드러납니다.

프로젝트 스폰서 두 명 중 한 명이 궈닝입니다. AMAP의 CEO이고, AMAP을 길 안내 도구에서 공간 지능 에이전트로 재정의하겠다고 선언한 사람입니다. 공간을 이해하고 다음 상태를 예측하는 능력이라는 축에서 보면 내비게이션과 월드 모델은 같은 문제입니다. 나머지 한 명은 쉬무로 AMAP CV Lab의 연구 전반을 총괄합니다. ABot-Earth, ABot-AgentOS, ABot-World로 이어지는 시리즈를 한 조직 안에서 굴리는 구조를 설계한 사람입니다.

실무는 다섯 팀으로 갈라져 있습니다. Foundation Model 팀은 장판이 이끄는데, 이전에 FantasyWorld로 영상 예측과 3D 예측을 통합하는 작업을 했던 연구자입니다. Data 팀 리드 판훙위는 세 갈래 소스를 하나의 액션 표현으로 모으는 인프라를 맡았습니다. Benchmark 팀 리드 쉬팅빙은 이 논문이 평가에 쓰는 WorldRoamBench의 1저자이기도 합니다. 뒤에서 다시 짚겠지만, 모델을 만드는 팀과 그 모델을 재는 자를 만드는 팀이 같은 조직 안에 있다는 사실은 결과를 읽을 때 감안해야 할 조건입니다.

배경

월드 모델을 만들 때 붙잡아야 하는 병목은 네 가지이고, 서로 얽혀 있습니다.

첫째는 데이터입니다. 인터넷 영상은 시각적으로 다양하지만 어떤 조작이 그 화면을 만들었는지가 기록돼 있지 않습니다. 게임 녹화는 입력이 정확하게 남지만 스타일이 좁습니다. 시뮬레이션은 기하와 조작성을 주지만 궤적을 사람이 설계해야 합니다. 어느 하나로는 부족합니다.

둘째는 조작 인터페이스입니다. 사용자가 표현하려는 의도에 카메라 이동과 캐릭터 조작이 함께 들어 있는데, 이 둘을 하나의 표현으로 묶어야 합니다.

셋째가 이 논문의 기술적 본론인 드리프트입니다. 자기회귀 생성 모델은 자기가 만든 프레임을 다음 입력으로 먹습니다. 그러면 예측 오차가 컨텍스트에 쌓이고, 롤아웃이 길어질수록 모델이 학습 때 본 적 없는 상태로 밀려납니다. 짧은 구간 학습으로는 이 영역에 감독 신호가 거의 닿지 않습니다.

넷째는 배포입니다. 생성 속도만 빨라도 안 되고 디코딩까지 포함한 전체 경로가 사람의 조작에 반응할 만큼 빨라야 합니다.

Genie 계열이 플레이 가능한 환경 학습을, GameNGen과 Oasis가 게임 시뮬레이션을, Cosmos가 물리 AI 쪽을 각각 밀어 왔습니다. 다만 어느 한 축에서 강해도 로컬에서 계속 돌아가는 지속형 시뮬레이터로는 쓸 수 없는 경우가 많았습니다. ABot-World-0은 네 병목을 따로 풀지 않고 한 스택 안에서 같이 푸는 쪽을 택했습니다.

데이터를 서보 루프로 돌리기

이 논문에서 가장 덜 화려하지만 실제로는 가장 큰 결정이 데이터 쪽입니다. 데이터 수집을 한 번 끝내는 전처리 단계가 아니라 학습과 맞물려 도는 서보 루프로 바꿨습니다.

WorldExplorer라는 에이전트가 가상 환경을 24시간 돌아다니면서 동기화된 멀티모달 궤적을 모읍니다. NavMesh 기반으로 게임 안을 자율 주행하고, RGB와 포즈와 액션을 함께 캡처합니다. 여기서 끝이 아니라 모델 평가에서 드러난 약한 구간, 그러니까 특정 모션이나 시점이나 환경에서 모델이 무너진다는 신호가 다시 수집 정책으로 돌아갑니다. 데이터 분포를 한 번 모으는 게 아니라 계속 성형하는 구조입니다.

품질 필터링은 여섯 개 차원에 걸친 14개 결정론적 검사와 VLM 기반 의미 판정을 3단계로 배치했습니다. 1단계는 파일 무결성과 프레임 수 일치, 해상도, 프레임 드롭 같은 빠른 검사입니다. 2단계에서 UI 오버레이와 로딩 화면, 지형 클리핑에 따른 수직 변위 점프, 사망 시퀀스와 컷신, 맵 경계를 걸러냅니다. 3단계는 하드 리젝션이 아니라 소프트 신호입니다. 액션과 포즈의 일관성 점수, 화면 색 이동 플래그 같은 메타데이터를 붙여 학습 시 샘플 가중치와 커리큘럼에 씁니다. 완벽하지 않지만 정보가 있는 샘플을 버리지 않기 위한 설계입니다.

액션 라벨은 소스별로 다르게 얻어 하나의 표준 형식으로 변환합니다. 게임은 런타임 API에서 정답 신호를 직접 받고, 시뮬레이션은 설계된 궤적에서 결정론적으로 유도하고, 인터넷 영상은 추정 포즈의 변위를 투영하고 임계 처리해 의사 라벨을 만듭니다. 마지막 것은 노이즈가 있지만 다양성을 크게 늘려 줍니다.

어떻게 만들었나

학습은 두 국면으로 나뉩니다. 시각적 동역학의 품질과 온라인에서 요구되는 인과 제약을 분리한 것이 핵심입니다.

목표는 다음 확률을 모델링하는 것입니다. 시각 이력 \(v_{0:t-1}\)과 앞으로의 액션 \(a_{t:t+L-1}\), 텍스트 프롬프트와 참조 이미지를 묶은 조건 \(c\)가 주어졌을 때 길이 \(L\)의 다음 청크를 예측합니다.

\[p_\theta\left(v_{t:t+L-1} \mid v_{0:t-1},\, a_{t:t+L-1},\, c\right)\]

먼저 양방향 교사를 학습합니다. 초기 프레임 \(v_0\)와 전체 액션 열 \(a_{1:T}\)을 조건으로 전체 구간을 한꺼번에 생성하는 모델입니다.

\[p^{\text{bi}}_\phi\left(v_{1:T} \mid v_0,\, a_{1:T},\, c\right)\]

인과 제약이 없으니 정보가 시간축 전체를 오갈 수 있고, 그래서 시각 일관성과 모션 품질, 액션 정렬 면에서 좋은 목표를 만들어 줍니다. 사전학습된 Wan2.2 백본에서 출발해 전체 파라미터를 파인튜닝했습니다.

액션을 어떻게 넣는가

조작 신호는 원시 키보드 입력 하나뿐입니다. 프레임마다 8차원 멀티핫 벡터로 표현하는데, W/A/S/D가 캐릭터 또는 카메라 이동이고 I/J/K/L이 카메라 회전입니다.

\[a_{1:T} = \{a_1, \dots, a_T\}, \quad a_t \in \{0,1\}^8\]

VAE의 시간 압축률이 4이므로 연속한 4프레임의 액션을 채널 방향으로 묶어 32차원 토큰 하나로 만듭니다.

\[\tilde{a}_\tau = \mathrm{Concat}\left(a_{4\tau-3},\, a_{4\tau-2},\, a_{4\tau-1},\, a_{4\tau}\right) \in \{0,1\}^{32}\]

이 토큰을 Action Control Adapter \(F_\psi\)에 통과시킨 뒤, DiT의 패치 임베딩에 그냥 더합니다.

\[\hat{z} = \mathrm{PatchEmbed}(z) + F_\psi\!\left(\tilde{a}_{1:T/4}\right)\]

어댑터는 PixelUnshuffle과 컨볼루션, 잔차 블록으로 구성되고 다운샘플 비율을 VAE의 공간 압축률에 맞춰 두어 출력이 DiT 잠재 토큰의 시공간 해상도와 정확히 정렬되게 했습니다. 복잡한 크로스 어텐션 없이 덧셈으로 끝내는 이유는 논의 섹션에 적혀 있습니다. 키보드 입력은 이산적이고 영상과 시간 정렬이 되어 있고 사용자 의도를 직접 반영하므로, 굳이 정교한 조건화가 필요 없다는 것입니다.

3인칭 롤아웃에서 캐릭터 외형이 서서히 변하는 문제는 참조 캐릭터 메모리로 막습니다. 정면과 후면, 좌우 측면 네 방향 썸네일을 뽑고 얼굴 완성을 거쳐 표준 정면 초상을 합성한 뒤, 같은 VAE로 인코딩해 아이덴티티 메모리 토큰으로 만듭니다. 이 토큰에는 음수 시간 RoPE 인덱스를 주고 영상 토큰에는 0 이상의 인덱스를 줘서 정적 정체성과 생성 궤적을 시간축에서 분리합니다. 어텐션도 비대칭입니다. 영상 토큰은 메모리 토큰을 보지만 메모리 토큰은 영상 토큰을 보지 않습니다. 메모리가 롤아웃에 오염되지 않게 하려는 설계입니다.

교사를 학생으로

양방향 교사는 전체 시퀀스를 한꺼번에 생성하고 반복 디노이징을 하므로 그대로는 실시간 상호작용에 못 씁니다. 그래서 3단계로 인과 학생을 뽑아냅니다.

1단계는 티처 포싱입니다. 학생을 처음부터 학습시키지 않고 교사에서 초기화한 뒤, 인과 어텐션 마스크를 씌우고 이력 프레임은 깨끗한 정답 잠재로, 타깃 청크는 노이즈로 주는 목적으로 적응시킵니다. 교사가 익힌 시각 사전지식과 장기 동역학을 유지하면서 정보 구조만 추론 시점에 맞추는 단계입니다.

2단계는 ODE 증류입니다. 1단계 인과 모델을 얼려 두고, 그 모델의 확률 흐름 ODE 궤적 위 중간 잠재 \(z^c_s\)에서 출발해 깨끗한 종점으로 적분한 결과를 직접 예측하도록 학습합니다.

\[z^c_0 = \Phi_{\theta_c,\, s \to 0}\left(z^c_s;\, C_t\right), \qquad C_t = \left(v_{0:t-1},\, a_{t:t+L-1},\, c\right)\]

\[\mathcal{L}_{\text{ODE}} = \mathbb{E}_{s,\, z^c_s,\, C_t}\left[\left\| f_\theta\!\left(z^c_s, s, C_t\right) - \mathrm{sg}\!\left(z^c_0\right) \right\|_2^2\right]\]

여기서 \(\mathrm{sg}(\cdot)\)는 stop-gradient입니다. 참조 모델과 증류 모델이 같은 인과 분해를 따르고 같은 조건 \(C_t\)를 보게 만든 것이 요점입니다. 그래야 증류 목표가 배포 시점에 실제로 있는 정보만으로 정의되고, 미래 프레임을 요구하지 않습니다.

LongForcing

여기까지 오면 학생은 몇 스텝 디노이징으로 롤아웃할 수 있습니다. 그런데 드리프트는 그대로 남습니다. 각 예측이 앞서 생성된 프레임에 조건화되므로 작은 분포 오차가 누적되고, 롤아웃이 학습 때 거의 등장하지 않던 컨텍스트로 밀려납니다. 그 영역에는 분포 매칭 감독이 얇게밖에 닿지 않습니다.

LongForcing은 이 문제를 프레임 단위로 맞추려 하지 않고 분포 수준에서 풉니다. 학생이 스스로 길게 롤아웃한 궤적 위에서 학습하되, 마지막 DMD 단계의 교사 감독 구간을 길게 늘립니다. 오차가 쌓일 시간을 충분히 준 후반부 상태들이 감독 범위 안에 들어오게 하는 것입니다.

논의 섹션에 이 선택의 이유가 적혀 있습니다. 어텐션 싱크나 고정 참조 프레임으로 컨텍스트를 붙들어 두면 드리프트를 늦출 수는 있지만, 지나치게 붙들면 모델이 초기 관측 근처에 머물러 움직임과 장면 변화가 죽습니다. LongForcing은 새 내용을 계속 상상하도록 두되 그 분포만 교사로 규제합니다. 저자들은 장기 안정성이 국소 전이의 정확도만이 아니라 폐루프 롤아웃 분포가 교사 감독이 덮는 시간 영역 안에 머무느냐에 달렸다고 정리합니다.

데스크톱 한 장에 밀어 넣기

논문이 반복해서 강조하는 시스템 쪽 교훈이 하나 있습니다. 디노이징 스텝을 줄인다고 실시간 상호작용이 저절로 되지는 않는다는 것입니다. DiT를 증류하고 나면 병목이 VAE 디코딩, 어텐션 연산, 메모리 전송, KV 캐시의 용량과 대역폭으로 옮겨갑니다.

그래서 다섯 가지를 함께 손봤습니다. TAEHV에서 착안한 경량 디코더 LightVAE로 청크 디코딩 시간과 피크 메모리를 줄였고, FramePack의 모듈 스와핑에서 착안한 메모리 인지 스케줄링으로 전체 파이프라인이 동시에 GPU에 상주하지 않아도 되게 했습니다. Fast-RoPE는 지역 어텐션 윈도 안에서 시간 RoPE를 재고정해 전체 가시 컨텍스트에 대한 반복 계산을 줄이고 Triton 커널로 회전 연산을 가속합니다. 어텐션 백엔드는 SageAttention2를 씁니다. 그리고 KV 캐시는 롤링 축출을 쓰는 지역 컨텍스트 한정 캐시로 묶어, 캐시 크기가 총 롤아웃 길이와 무관하게 유지되도록 했습니다.

측정 결과가 이 주장을 뒷받침합니다. 1280 × 704 해상도, 배치 1, RTX 5090 한 장 기준입니다.

각 행은 위 행에 누적으로 최적화를 더한 구성입니다. 청크 하나가 잠재 프레임 3장이고 디코딩하면 영상 프레임 12장이 나옵니다.

읽어야 할 대목은 맨 위 두 줄입니다. 기본 구성도, 어텐션 커널만 빠르게 바꾼 구성도 메모리 부족으로 아예 돌지 않습니다. 빠른 커널 하나로는 파이프라인이 데스크톱에 올라가지도 못한다는 뜻입니다. 처음으로 돌아가는 구성을 만든 것은 LightVAE였고, 이때 9.12 FPS에 20.49GiB였습니다. 원래 VAE가 메모리 실현 가능성의 중요한 병목이었다는 이야기입니다.

FP8 양자화가 DiT 시간을 1191.1ms에서 845.2ms로 줄이면서 피크 메모리도 20.49GiB에서 15.93GiB로 내립니다. 여기에 Fast-RoPE를 더하면 DiT는 786.9ms로 더 빨라지는데 피크 메모리는 오히려 19.28GiB로 올라갑니다. 개별 연산자의 비용이 아니라 전체 런타임 구성이 피크 VRAM을 정한다는 예시입니다.

논문은 FP8을 품질 기준 기본값으로 두고, 더 공격적인 저비트는 처리량 상한을 넓히는 용도로 씁니다. 최적화된 저비트 구성들에 걸쳐 최대 16 FPS, 피크 VRAM 19.3GiB 이하가 이 논문이 내세우는 운영 범위입니다. 액션에서 첫 프레임까지의 지연은 1.2초로 보고하는데, 이 값을 샘플링 속도가 아니라 키를 누른 순간부터 응답 프레임이 실제로 디코딩되어 나올 때까지의 벽시계 시간으로 정의한 점은 정직한 측정입니다.

결과

평가는 WorldRoamBench에서 이뤄집니다. 액션 조작성, 시각 타당성, 물리 일관성, 시간적 기억을 네 축으로 재는 벤치마크입니다.

논문 본문은 이 결과를 경쟁력 있는 수준이라고 표현하는데, 표를 그대로 읽으면 그 표현이 정확합니다. 1위는 하나도 없습니다. HappyOyster가 7개 항목 중 5개에서 앞서고, Genie 3가 나머지 2개를 가져갑니다. ABot-World-0은 대체로 2위이거나 근소한 3위입니다.

다만 크기를 같이 봐야 합니다. ABot-World-0은 5B이고, 같은 표에서 14B인 LingBot-World와 8.3B인 HY-World 1.5를 큰 폭으로 앞섭니다. Genie 3와 HappyOyster는 크기가 공개되지 않았습니다. 5B로 상위권에 붙었다는 사실이 이 논문의 실질적 성취이고, 그래야 19GiB 안에 들어갑니다.

가장 눈에 띄는 약점은 Memory입니다. 0.5041로 Genie 3의 0.6073, HappyOyster의 0.6309에 확실히 뒤집니다. 그리고 이 항목은 장면과 주체의 기억 충실도를 재는 축이라, 지역 컨텍스트 한정 KV 캐시로 메모리 사용량을 잡은 선택과 정확히 맞물립니다. 캐시를 롤아웃 길이와 무관하게 묶으면 VRAM은 예측 가능해지지만 오래전에 본 장면을 기억할 근거도 함께 잘려 나갑니다. 참조 캐릭터 메모리가 외형 정체성은 붙들어 주지만 장면 기억까지 대신해 주지는 못합니다. 논문은 이 연결을 명시적으로 짓지 않지만, 표와 설계를 나란히 놓으면 대가가 어디서 지불됐는지가 보입니다.

LongForcing의 효과는 별도 실험에서 봅니다. Causal Forcing 방식 베이스라인을 같은 롤아웃 프로토콜로 맞춰 두고, 60초 롤아웃 동안 HPSv3 미학 점수와 고채도 픽셀 비율, 지각 블러 점수, 패치 반복 비율을 프레임별로 비교했습니다. 두 변형 모두 학생 자기 롤아웃 위에서 학습하고 마지막에 DMD를 적용하며, 차이는 그 단계의 교사 감독 구간 길이뿐입니다.

전반부에는 두 곡선이 붙어 있다가 후반부에서 갈라집니다. 베이스라인은 HPSv3가 점진적으로 떨어지면서 채도와 블러와 패치 반복이 함께 올라갑니다. 화면이 물 빠지고 뭉개지면서 같은 텍스처가 반복되는, 자기회귀 영상 생성에서 익숙한 붕괴 양상입니다. LongForcing은 같은 구간에서 HPSv3를 더 높게 유지하고 아티팩트 지표를 더 낮게 유지합니다. 감독 구간을 늘린 것 하나로 후반부가 달라진다는 결과이고, 드리프트를 분포 이동 문제로 본 진단이 맞았다는 근거입니다.

정성 결과에서는 시간 단위와 하루 단위 롤아웃을 제시합니다. 60분짜리 롤아웃 다섯 개를 6분 간격 키프레임으로 보여주는데, 샘플된 시점들에서 환경과 시점과 조작 대상이 알아볼 수 있는 형태로 유지됩니다. 학습 분포 밖 장면과 캐릭터 조합에서도 생성된 모션이 입력 액션을 따라갑니다. 물리 쪽에서는 상자를 밀면 밀리고, 물 위를 걸으면 시간적으로 일관된 파문이 생기고, 눈 위를 걸으면 발자국이 남고, 벽에 막히고, 난간을 통과하지 않고 부딪칩니다. 충돌 규칙이나 물리 주석을 명시적으로 학습한 적이 없는데도 나오는 결과입니다.

회고

논문이 스스로 인정하는 한계와, 읽으면서 걸리는 지점을 함께 정리합니다.

제목의 "무한"은 문자 그대로가 아닙니다. 저자들은 하루 단위 롤아웃에서 "샘플된 시점에서" 붕괴가 관찰되지 않았다고 조심스럽게 씁니다. 키프레임 스트립은 6분 간격 스냅숏이므로 그 사이 구간이 어땠는지는 이 자료로 알 수 없습니다. 정량 열화 곡선은 60초 구간에서만 제시됩니다. 즉 검증된 안정성 구간은 60초이고, 시간·하루 단위는 정성 관찰입니다. 무한 롤아웃이라는 표현은 캐시가 롤아웃 길이와 무관하게 유지된다는 구조적 성질을 가리키는 것으로 읽는 편이 정확합니다.

평가의 독립성 문제도 짚어야 합니다. WorldRoamBench는 같은 AMAP CV Lab에서 나온 벤치마크이고, 이 논문의 Benchmark 팀 리드 쉬팅빙이 그 벤치마크의 1저자입니다. 자체 벤치마크로 자체 모델을 평가한 셈입니다. 다만 결과가 자기 유리하게 나오지 않았다는 점, 그러니까 1위를 하나도 못 가져갔다는 점이 오히려 이 우려를 어느 정도 덜어 줍니다. 벤치마크 논문 쪽에서 10개 이상 모델 중 모든 차원을 만족하는 모델이 없었다고 밝힌 것도 같은 맥락입니다.

비교 대상 정보도 고르지 않습니다. Genie 3와 HappyOyster는 파라미터 수가 표에 없어 효율 비교가 반쪽입니다. 5B로 상위권에 붙었다는 주장을 확인하려면 상대 크기를 알아야 하는데 그 부분이 비어 있습니다.

저자들이 직접 남긴 향후 과제도 있습니다. 양자화 인식 학습을 적용하면 속도와 메모리와 품질의 트레이드오프를 더 개선할 수 있을 것이라고 적었고, 이번에는 다루지 않았습니다. 덧셈 조건화는 키보드처럼 명시적인 신호에 맞는 방식이고, 잠재 액션이나 연속 카메라 궤적, 의미 수준 지시처럼 모호한 신호에는 더 정교한 조건화가 필요할 것이라고 인정합니다. 다중 스케일 LongForcing과 지속형 장면 메모리도 앞으로의 방향으로 남겨 뒀습니다. 마지막 항목이 특히 Memory 점수와 이어지는 대목입니다.

정리

첫째, 장기 드리프트는 국소 예측 정확도 문제가 아니라 분포 이동 문제입니다. LongForcing은 학생이 스스로 길게 롤아웃한 궤적에 교사 감독 구간을 늘려 덮는 방식으로 이를 다루고, 60초 구간에서 미학 점수 유지와 아티팩트 억제로 효과를 보입니다. 컨텍스트를 붙들어 안정화하는 접근과 달리 모델이 새 내용을 계속 만들도록 두면서 분포만 규제한다는 점이 차이입니다.

둘째, 실시간 상호작용은 디노이징 스텝 수의 문제가 아닙니다. 어텐션 커널만 바꾼 구성이 메모리 부족으로 아예 돌지 않았다는 표 한 줄이 이 논문의 시스템 쪽 주장 전부를 요약합니다. VAE 디코딩, 정밀도, 위치 인코딩, 컨텍스트 메모리, 런타임 상주를 함께 설계해야 720P 16FPS가 나옵니다. 인터랙티브 월드 모델에서는 스텝 수보다 액션에서 첫 프레임까지의 지연과 지속 처리량과 메모리 풋프린트가 더 의미 있는 지표라는 결론도 같이 붙습니다.

셋째, 이 논문의 성취는 최고 점수가 아니라 도달 가능성입니다. 벤치마크 1위는 없지만 5B 모델을 19.3GiB 안에 넣어 소비자용 GPU 한 장에서 계속 돌아가게 만들었습니다. 그 대가는 Memory 점수에서 지불됐고, 지역 컨텍스트 한정 KV 캐시라는 선택과 맞물려 있습니다. 무엇을 포기하고 무엇을 얻었는지가 표에 그대로 드러나는, 읽기 좋은 종류의 기술 보고서입니다.

코드와 모델은 github.com/amap-cvlab/ABot-World에 공개돼 있습니다.