월드 모델의 계보

요즘 arXiv에 월드 모델이 하루가 멀다 하고 올라옵니다. 하지만 각 연구마다 월드 모델의 의미가 다릅니다. 현실 세계의 로봇 제어를 위한 연구나 3D 공간 시뮬레이션을 위한 연구도 있습니다. 하지만 계보를 거슬러 올라가면 하나의 출발점이 있습니다. 오늘은 LLM과는 다른 시선으로 인공지능을 바라보는 연구 분야, 월드 모델에 대해서 알아보겠습니다.

1943년

딥러닝이라는 단어가 만들어지기도 전인 1943년, 영국 심리학자 케네스 크레이크는 이런 이야기를 했습니다. 동물의 뇌 안에는 바깥 세상을 축소한 모형이 들어 있고, 동물은 실제로 움직이기 전에 그 모형 안에서 먼저 해본다는 겁니다. 절벽 앞에 선 짐승이 일단 뛰어보고 아픈지 확인하지는 않으니까요. 크레이크가 주장하는 생각의 본질은 예측이 아닙니다. 몸을 쓰지 않고 대안을 시험해 보는 겁니다.

이걸 신경망으로 옮긴 사람이 유르겐 슈미트후버입니다. 1990년 논문 "Making the World Differentiable"를 보면 "신경망 하나는 환경이 어떻게 변할지 예측하도록 학습시키고, 다른 신경망은 그 예측 안에서 행동을 익힌다"고 이야기합니다. 지금 월드 모델이라고 부르는 것과 구조가 같습니다.

하지만 시대를 잘못 만났죠. 계산 자원도, 데이터도 없어서 이 발상은 30년 가까이 장난감 문제에만 머물렀습니다. 아이디어가 틀린 게 아니라 돌릴 컴퓨터가 없었던 겁니다.

꿈에서 배운 총알 피하기

교착을 깬 건 2018년 데이비드 하와 슈미트후버가 발표한 "World Models"였습니다. 이 논문을 유명하게 만든 실험이 있습니다. 컴퓨터에게 둠을 알려주는 겁니다.

모델은 세 부분으로 나뉩니다. 장면을 요약하는 쪽, 다음 일을 예측하는 쪽, 행동을 고르는 쪽입니다.

• V(Vision) : 화면 픽셀을 짧은 숫자 뭉치로 압축합니다. 사진을 요약하는 부분이죠.
• M(Memory) : 그 요약을 받아 다음에 무슨 일이 벌어질지 예측합니다. 다만 "이게 일어난다"가 아니라 "이럴 가능성이 높다"는 식으로 답합니다.
• C(Controller) : 요약과 예측을 보고 행동을 고릅니다.

둠은 화면 가득 날아오는 불덩이를 피하는 게임입니다. 연구진은 먼저 아무렇게나 움직이는 조작으로 게임을 돌려 기록을 모읍니다. 그 기록으로 V와 M을 학습시킵니다. 게임이 어떻게 생겼고 어떻게 흘러가는지만 익히는 단계죠. 게임 장면을 학습한 M은 가짜 게임 장면을 만들어낼 수 있습니다. C는 M이 만들어낸 가짜 둠에서만 연습합니다. 실제 게임은 전혀 하지 않습니다.

그런데 C가 가짜 게임으로 기른 실력이 진짜 게임에도 통했습니다. 논문은 이걸 꿈속 학습이라고 부릅니다. 학습된 시뮬레이터가 진짜 환경을 대신할 수 있다는 걸 증명한 겁니다.

꿈이 너무 선명하면 오히려 안 된다는 대목도 재미있습니다. 시뮬레이터가 매끄러우면 C가 그 허점을 파고들어 꿈에서만 통하는 반칙 기술을 찾아냅니다. 그래서 연구진은 꿈에 일부러 잡음을 섞었고, 흐릿한 꿈에서 잘하던 에이전트가 실제 게임에서도 잘했습니다.

하나 더, 행동을 고르는 C는 파라미터가 겨우 수백 개입니다. 무거운 쪽은 세상을 이해하는 부분이고, 그 위에서 행동을 고르는 일은 놀랄 만큼 가볍습니다. 세상을 제대로 요약해 두면 판단은 단순해진다는 이야기죠. 그래서 이후 연구는 세상을 어떻게 담을지를 두고 갈라집니다. 판단에 필요한 만큼만 요약할 것인가, 아니면 눈에 보이는 화면까지 그려낼 것인가.

지우는 쪽

첫 번째 갈래는 요약을 택했습니다. 목표는 어디까지나 로봇을 움직이는 것이고 세상을 예측하는 건 거기 쓰는 도구니까, 결정에 필요 없는 건 버려도 됩니다. 이 계열의 역사는 무엇을 더 버릴 수 있느냐를 밀어붙인 과정입니다.

PlaNet(2019)이 먼저 화면을 버렸습니다. 앞일을 그려 보는 대신 압축된 요약만 가지고 계획을 세웠죠. 그림을 안 그리니 훨씬 적은 경험으로 학습이 됩니다.

Dreamer가 버린 건 계획 그 자체입니다. PlaNet은 매 순간 여러 선택지를 시뮬레이션해 보고 제일 좋은 걸 골랐는데, 손이 많이 가는 방식이었죠. Dreamer는 그 고민을 없애고 상상 속에서 시행착오를 반복하며 정책을 몸에 익혀 둡니다. 실전에서는 떠올리기만 하면 됩니다. 효과는 분명했습니다. DreamerV2가 Atari에서 사람 수준에 닿았고, DreamerV3는 설정 하나로 150개가 넘는 과제를 풀었습니다. 상징적인 장면은 마인크래프트예요. 아무 사전 지식 없이 다이아몬드를 캐냈는데, 나무를 얻고 도구를 만들고 굴을 파는 긴 순서를 스스로 찾아낸 겁니다.

MuZero(2020, Nature)가 이 흐름의 끝을 보여줍니다. 여기서는 화면 복원을 아예 포기했습니다. 바둑판이 어떻게 생겼는지 재현하지 않고, 이 수가 얼마나 좋은지만 맞히면 된다는 겁니다. 극단적으로 들리지만 통했죠. 규칙을 배우지 않은 상태로 바둑, 체스, 쇼기, Atari를 전부 다뤘습니다. 세상을 그릴 필요는 없고 무엇이 유리한지만 알면 된다는 증명입니다.

그래서 이 계열의 성격은 뚜렷합니다. 계속 지웁니다. 세상 전체를 담는 대신 판단에 필요한 만큼만 남기죠.

픽셀은 낭비

지우는 쪽이 강화학습에서 하나씩 버려 나가는 동안, 아예 처음부터 픽셀을 버리고 시작하자는 주장도 나왔습니다. 얀 르쿤이 밀어온 JEPA입니다.

르쿤의 지적은 이렇습니다. 다음 화면을 픽셀 단위로 맞히라고 시키면 모델이 엉뚱한 데 힘을 씁니다. 바람에 흔들리는 나뭇잎, 화면 노이즈, 물결의 반짝임처럼 맞힐 수도 없고 맞혀도 쓸데없는 것들에 용량을 쏟거든요. 그래서 JEPA는 예측을 픽셀에서 걷어내 요약끼리의 비교로 바꿉니다. 답도 요약이고 예측도 요약이니, 애초에 예측 불가능한 잡음은 요약 단계에서 사라집니다. 나뭇잎을 세지 않고 "나무가 있다"까지만 남기는 겁니다.

르쿤이 오래 해온 주장이 여기 걸려 있습니다. 다음 단어를 맞히는 방식으로는 세상의 구조를 배울 수 없고 추상적인 수준에서 예측해야 한다는 거죠. 이 노선은 Vision Pretraining for Dense Spatial Perception 같은 연구로 이어집니다.

그리는 쪽

두 번째 갈래는 뿌리가 아예 다릅니다. 강화학습이 아니라 영상 생성에서 왔죠.

계기는 Sora였습니다. OpenAI가 영상 생성 모델을 두고 세계 시뮬레이터라는 표현을 썼을 때 월드 모델이라는 단어의 주인이 하나 더 늘었습니다. 영상 모델을 키우다 보니 공이 굴러가고 물이 튀는 게 어설프게나마 맞아 들어가기 시작했으니, 이것도 세상을 배운 게 아니냐는 주장이었죠. 다만 여기서 곧 벽이 드러납니다. 잘 만든 영상은 볼 수만 있고 들어가서 왼쪽으로 걸어볼 수는 없으니까요. 그래서 경쟁의 초점이 상호작용으로 옮겨갔습니다.

Genie 계열이 이 축을 끌고 왔습니다. 두 해 동안의 변화를 보면 무엇이 빨리 좋아지고 무엇이 안 좋아지는지가 같이 보입니다.

2026년 1월에는 Project Genie라는 이름으로 일반 구독자에게도 열렸습니다. 다만 한 번에 60초까지만 돌아다닐 수 있죠.

기술적으로 재미있는 대목은 조작을 어디서 배웠느냐입니다. 조작 가능한 세계를 학습하려면 어떤 버튼이 어떤 변화를 만드는지 알아야 하는데, 유튜브 영상에는 그런 기록이 없습니다. 누가 방향키를 눌렀는지 아무도 적어두지 않았으니까요. Genie는 이걸 뒤집어서 풉니다. 라벨을 찾는 대신 연속한 두 프레임의 차이를 보고 "그 사이에 이런 조작이 있었을 것"이라고 역추론하죠. 덕분에 라벨 없는 영상 더미만으로 조작 가능한 세계를 만들 수 있게 됐고, 이 계열이 열렸습니다.

목적지는 회사마다 다릅니다. Cosmos는 엔비디아가 로봇과 자율주행을 겨냥해 만드는데, 실제 쓰임은 로봇 학습용 데이터를 대량으로 찍어내는 공장입니다. Cosmos 3는 언어, 이미지, 영상, 소리, 행동을 하나의 백본에 몰아넣었습니다.

Marble은 World Labs가 2025년 11월에 상용화했습니다. Genie가 전부 학습으로 밀어붙이는 데 비해 Marble은 3차원 공간 구조를 명시적으로 넣죠. 건축 도면처럼 치수가 맞아야 하는 용도에서 유리한 대신, 학습만으로 얻어지는 뜻밖의 유연함은 줄어듭니다. 중국 쪽도 빠릅니다. 알리바바의 DreamX-World 1.0은 5B 파라미터로 8B, 14B 모델을 종합 점수에서 앞섰습니다.

같은 벽

여기까지가 성과입니다. 그런데 두 갈래 모두 같은 벽에 걸려 있고, 이 벽은 2018년에도 있었습니다.

오차가 눈덩이처럼 쌓입니다. 예측 모델을 여러 번 연달아 돌리면 틀림이 복리로 붙습니다. 모델이 자기가 만든 출력을 다시 입력으로 받는 순간 배운 적 없는 영역으로 넘어가고, 거기서 나온 답은 더 멀리 벗어나죠. 앞에서 본 흐릿한 꿈이 이 문제의 응급처치였는데, 여덟 해가 지나도 근본 해법은 안 나왔습니다.

오래 버티지 못합니다. Genie 3의 지속성이 1분이라는 건 그 뒤로는 무너진다는 뜻입니다. 뒤를 돌아봤다 다시 보면 방금 그 건물이 그대로 있는지, 10분 뒤에도 같은 마을인지 보장되지 않죠.

측정을 못 합니다. 그리고 이게 지금 제일 큰 병목입니다. 영상 품질 점수는 그림이 예쁜지는 잡아내지만 그 세계가 세계로서 작동하는지는 못 잡습니다. 눈으로 보기엔 훌륭한데 들어가서 움직이면 엉망인 경우를 걸러내지 못하거든요. 그래서 2025년 말부터 실제로 조작해 보고 채점하는 평가들이 나왔습니다.

WorldRoamBench가 그중 하나인데, 네 가지를 따로 봅니다.

• 조작이 먹히는가 누른 대로 움직이는지 프레임마다 확인합니다.
• 중간에 무너지지 않는가 시작과 끝만 비교하면 중간에 붕괴됐다 돌아온 걸 놓치니 구간을 쪼개 봅니다.
• 물리가 맞는가 단, 조작이 제대로 먹힌 경우만 채점합니다. 애초에 움직이지도 않았으면 물리가 맞는 게 당연하니까요.
• 기억하는가 아까 본 장면으로 돌아왔을 때 같은 장소인지 3차원으로 복원해 맞춰 봅니다.

600개가 넘는 사례에 10종 이상의 모델을 붙였고, 결과는 냉정합니다. 네 가지를 모두 만족한 모델이 없고 1등도 중간 점수에 그쳤습니다. Genie 3가 1인칭 시점에서 가장 높고 3인칭에서 2위였지만, 이건 상대 순위일 뿐 문제가 풀렸다는 뜻이 아니죠.

다시 만나다

벽이 같으니 해법도 겹칩니다. 2026년의 흐름은 갈라졌던 두 갈래가 서로를 향해 되돌아오는 모양입니다.

그리는 쪽이 먼저 움직였습니다. 앞에서 본 Cosmos 3가 영상만 만들지 않고 행동까지 한 백본에 넣은 게 그 신호고, DreamX-World가 기억 검색을 붙인 것도 같은 방향입니다. 예쁜 화면으로는 부족하다는 걸 인정한 셈이죠. 지우는 쪽은 반대로 너무 많이 지우면 현실로 옮겨지지 않는다는 걸 알고 그리는 능력을 되찾고 있습니다.

World Action Models 서베이가 이 합류점에 이름을 붙였습니다. 보고 바로 움직이는 모델과 앞일을 예측하는 모델이 한 몸이 되는 흐름을 정의, 구조, 데이터, 평가로 나눠 정리했죠.

언어 쪽에서도 같은 일이 벌어집니다. Qwen-AgentWorld는 7개 영역을 한 모델로 시뮬레이션하는데, 여기서 세계는 픽셀이 아닙니다. 도구를 호출했을 때 무엇이 돌아오고 상태가 어떻게 바뀌는지가 세계죠. 에이전트를 훈련시키려면 환경 자체를 예측하게 만들어야 한다는 주장입니다. Looped World Models는 또 다른 데를 건드립니다. 같은 트랜스포머 블록을 반복해서 통과시키며 상태를 다듬는 구조로 1B 파라미터로 훨씬 큰 모델을 앞섰는데, 모델을 넓히는 대신 같은 자리에서 더 오래 생각하게 만든 셈입니다.

남는 이야기

누군가 월드 모델을 말할 때는 어느 쪽 이야기인지부터 물어보는 게 좋습니다. Dreamer의 후손을 말하는 사람은 지우는 이야기를 하고 있고, Genie의 후손을 말하는 사람은 그리는 이야기를 하고 있으니까요. 목표가 다릅니다.

돈은 그리는 쪽에 쏠려 있습니다. 2026년 상반기에만 월드 모델 스타트업에 30억 달러 넘게 들어갔다고 하는데, 대부분 눈에 보이는 결과물이 나오는 쪽이죠. 다만 벤치마크가 말해주는 건 그쪽이 아직 시연과 제품 사이에 있다는 사실입니다.

저는 합류 지점이 가장 볼 만하다고 생각합니다. 예쁜 화면을 만드는 능력과 그 안에서 계획을 세우는 능력은 오랫동안 따로 놀았는데, 이제 하나의 목표 아래 모으려는 시도가 늘고 있으니까요. 돌아보면 크레이크가 1943년에 한 말의 핵심도 예측이 아니었습니다. 몸을 쓰지 않고 대안을 시험해 보는 것이었죠. 요즘 벤치마크가 화면이 예쁜지 말고 조작이 먹히는지, 물리가 맞는지를 따로 재기 시작한 것도 결국 같은 질문으로 돌아가는 길로 보입니다. 80년 걸려서 원래 질문에 도착한 셈입니다.

참고 자료: World Models (Ha & Schmidhuber, 2018), World Models: A Comprehensive Survey, WorldRoamBench, Genie (world model)