VBVR-Pro - A Scalable and Verifiable Suite for Native Visual Reasoning

J. Xu, R. Wang, F. Pu, M. Wang, et al., "VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning," arXiv:2608.26105, 2026.

언어모델의 성공 이후 기계 추론 연구의 기질은 사실상 언어 하나였습니다. 그런데 물리 세계의 지능 중 상당수는 원래 언어적이지 않습니다. 공간 변환, 시간적 연속성, 물체 영속성, 동적 상호작용 같은 것들입니다.

이 논문이 미는 개념은 네이티브 시각 추론입니다. 이미지와 영상이 이해할 입력이나 렌더링할 출력이 아니라 문제 풀이가 일어나는 1급 기질이 된다는 것입니다. 문제는 이 주장을 검증할 방법이 없었다는 데 있습니다. 학습시킬 과제도, 믿을 만한 피드백도, 통제된 비교도 없었습니다. VBVR-Pro는 그 세 자리를 한꺼번에 채우려는 인프라입니다.

저자

저자 50명 이상에 기관이 20곳입니다. 난양공과대학교, UC 버클리, UC 샌디에이고, 도쿄대, 홍콩중문대, 미시간대, 존스홉킨스, 컬럼비아, 스탠퍼드, 옥스퍼드, 카네기멜런, Mila 등이 들어 있고 VBVR Community Contributors라는 이름의 커뮤니티 기여자 항목도 따로 있습니다. 논문 스스로 50명 넘는 연구자와 엔지니어가 참여한 대규모 협업이라고 밝힙니다.

공동 1저자이자 프로젝트를 이끈 사람은 Junxiang Xu입니다. 확산 기반 비디오 모델이 프레임을 만들면서 추론을 하는지를 반복해 물어온 사람이고, VBVR 계열이 그 질문을 측정 가능한 형태로 옮긴 결과입니다.

교신저자는 두 명인데 배경이 정반대입니다. Zhongang Cai는 SMPLer-X로 흩어진 데이터 출처를 하나로 모아 인체 포즈·형상 추정을 제너럴리스트 파운데이션 모델까지 밀어올린 스케일업 쪽 사람입니다. Hokin Deng은 반대로 발달심리학에서 도구를 가져오는 쪽입니다. GrowAI 프로젝트에서 대상 영속성이나 A-not-B 과제 같은 고전 실험 1,503개를 12개 인지 개념으로 정리해 비전언어모델을 재 왔습니다.

이 조합이 논문의 두 축을 그대로 설명합니다. 한쪽은 과제를 300개까지 늘리는 일이고 다른 한쪽은 그 300개를 무엇을 기준으로 조직할 것인가입니다. 그래서 분류 체계가 태스크 목록이 아니라 지각, 공간, 변환, 추상, 지식이라는 다섯 인지 능력으로 짜여 있습니다.

시니어 쪽에는 Ziwei Liu, Dahua Lin, Lei Yang이 이름을 올렸습니다. 눈에 띄는 것은 계산신경과학자와 철학자가 함께 있다는 점입니다. 표상 유사도 분석을 제안한 Nikolaus Kriegeskorte, 심리철학 쪽의 Raphaël Millière와 Vincent C. Müller, 그리고 Chandra Sripada가 저자 명단에 있습니다. 인지 능력의 분류를 세우고 그 분류가 말이 되는지를 검증하는 자리에 이런 이력이 필요했던 것으로 보입니다. 컴퓨터비전 쪽에서는 Philip Torr, Alan Yuille, Daniel Khashabi, 그리고 ControlNet의 Lvmin Zhang이 참여했습니다.

배경

이런 관점에서 연구를 하려면 갖춰져야 할 것들이 있습니다.

첫째, 학습 가능한 과제가 없습니다. 기존 벤치마크들은 능력을 다양하게 덮지만 평가용으로 설계돼 학습 데이터를 거의 주지 않습니다. 반대로 대규모 합성 데이터는 단순화된 기호 환경에 몰려 있어서, 거기서 배운 것이 실제로 전이되는 시각 추론 기술인지가 불확실합니다.

둘째, 믿을 만한 피드백이 없습니다. 지금 주류인 VLM-as-a-judge는 개방형 출력에 붙이기 쉬워서 널리 쓰이지만, 시각 추론에서는 정확한 개수, 세밀한 공간 관계, 시간적 일관성, 규칙 만족처럼 딱 떨어지는 판정이 필요합니다. 심판이 흐리면 평가도 흐리고 보상도 흐립니다.

셋째, 어떤 생성 기질이 시각 추론에 가장 맞는지 아무도 통제된 조건에서 비교하지 않았습니다. 영상 생성은 연속적인 시간 궤적을 주고, 이미지 생성은 한 장으로 압축해 효율을 주고, 인터리브드 생성은 시각과 텍스트를 엮습니다. 그런데 이 셋이 같은 과제 분포와 같은 검증 프로토콜 아래에서 학습되고 평가된 적이 거의 없었습니다.

어떻게 만들었나

과제를 프로그램으로 만들기

300개 과제 각각이 생성기 프로그램입니다. 150개는 선행 작업 VBVR에서 다시 구현하고 고친 것이고 150개는 새로 설계했습니다. 각 생성기는 격자 크기, 물체 개수, 배치, 겉모습, 난이도 같은 구조화된 파라미터 공간에서 설정을 뽑아 문제 인스턴스를 찍어냅니다. 그리고 과제마다 전용 solver가 정답을 계산합니다.

여기가 이 논문의 핵심 트릭입니다. 정답을 사람이 붙이는 게 아니라 프로그램이 계산합니다. 문제를 만든 쪽이 답의 구조를 이미 알고 있으므로, 나중에 채점기가 무엇을 봐야 하는지도 이미 정해져 있습니다. 생성된 인스턴스마다 난수 시드, 문제 명세, 전체 해답, 핵심 요소 속성이 담긴 메타데이터 파일이 함께 나옵니다. 이 메타데이터가 채점기의 정답 근거가 되고 중복 제거와 학습·평가 분리에도 쓰입니다.

과제 설계 원칙 네 가지가 걸려 있습니다. 핵심 추론 과정이 시각 네이티브여야 하고, 결과가 모호하지 않고 엄밀히 검사 가능해야 하며, 겉모습과 배치와 프롬프트 표현을 무작위화해 시각적 다양성을 확보해야 하고, 한 단계 지각이나 패턴 매칭이 아니라 여러 단계 추론이 필요해야 합니다.

새로 만든 150개가 기존 150개보다 실제로 어려운지도 재봤습니다. 질문 프레임에서 서로 구분되는 연결 색 영역의 중앙값이 새 과제는 80개, 재작업 과제는 12개입니다. 추론 깊이 쪽은 더 명확합니다. 재작업 과제 중 여러 단계 추론이 필요한 것은 7%인데 새 과제는 47%입니다. 눈을 가린 쌍대 비교에서도 150쌍 중 113쌍에서 새 과제가 더 깊은 추론을 요구한다고 판정됐습니다.

같은 문제를 세 가지로 렌더링하기

인스턴스 하나가 영상과 이미지로 동시에 렌더링됩니다. 여기서 중요한 설계 결정이 하나 있는데, 이미지 모달리티는 영상에서 프레임을 그냥 뽑아 만든 게 아닙니다. 과제마다 답이 온전해지려면 필요한 궤적 정보의 양이 다르기 때문입니다.

그래서 이미지 쪽은 세 가지 출력 방식을 씁니다. Last-Frame은 최종 상태 하나로 답이 되는 과제에, Key-Frame은 미로 탐색처럼 몇 개의 핵심 전이 상태가 필요한 과제에, Multi-Frame은 과정의 온전함이나 시간적 연속성 자체를 평가하는 과제에 씁니다. 논문이 강조하는 것은 영상과 이미지가 별개 코퍼스가 아니라 같은 문제의 다른 렌더링이고 해답이 동등하다는 점입니다. 이래야 영상과 이미지를 같은 조건에서 비교할 수 있습니다.

인터리브드 설정에서는 Gemini-3.1-Pro-Preview로 중간 해결 단계의 텍스트 설명을 붙였습니다. 과제마다 전용 프롬프트를 설계해 그 과제의 모든 인스턴스에 똑같이 적용했습니다.

심판을 규칙으로 바꾸기

VLM 심판의 실패 유형 세 가지를 예시로 못박습니다. 첫째는 세밀한 지각에서 부정확한 경우입니다. 가산혼합 색 섞기 과제에서 생성된 공의 색상이 틀렸는데 세 VLM 심판이 전부 0.80 이상을 줬고 논문의 채점기는 0.40을 줬습니다. 둘째는 결정적 오류를 그냥 넘기는 경우입니다. 동심원 과제에서 보존해야 할 원의 크기와 색이 바뀌었는데도 심판들은 높은 점수를 줬습니다. 셋째는 과제 자체를 오해하는 경우입니다. 패턴 완성 과제에서 정답이 채점기로는 0.94인데 VLM 심판들은 0.24에서 0.80 사이를 줬습니다. 과대평가와 과소평가가 양방향으로 일어납니다.

재현성 문제는 더 심각합니다. 온도를 0으로 두고 같은 영상을 다시 평가해도 점수가 바뀝니다.

가장 강한 심판이 가장 불안정하다는 점이 눈에 띕니다. Gemini-3.1-Pro는 같은 영상을 다시 볼 때마다 92.8%의 경우 다른 점수를 냅니다. 평가 지표로 쓸 때도 곤란하지만, 이 점수를 샘플별 보상으로 쓰면 학습 신호 자체가 매 스텝 흔들립니다.

대안으로 만든 것이 과제별 검증 가능 채점기입니다. VBVR-Pro-Bench의 100개 과제 각각에 전용 채점기를 붙였습니다. 설계 원칙은 픽셀 차이를 피하고 과제와 관련된 의미 단위 위에서 판정한다는 것입니다. HSV 색 분할, 윤곽 검출, 렌더링된 숫자와 라벨에 대한 OCR, 프레임 간 궤적 추적 같은 고전적 컴퓨터비전 기법으로 관심 객체를 찾아 색, 모양, 위치, 개수 같은 속성을 뽑고, 그 속성 위에서 채점합니다. 픽셀 비교는 살짝 어긋난 위치나 렌더링 스타일 차이 때문에 정답을 깎는데 속성 비교는 그러지 않습니다.

집계 방식이 과제 성격에 따라 갈립니다. 물렁한 기준을 가진 과제는 가중합으로 묶고, 벽을 통과하면 안 된다 같은 딱딱한 제약이 있는 과제는 곱셈으로 묶어 한 번의 위반이 최종 점수를 크게 떨어뜨리게 합니다. 채점기는 API 호출이 필요 없고 OCR에만 선택적으로 GPU를 쓰며 완전히 결정론적입니다.

무엇으로 구성돼 있나

300개 과제 중 50개를 도메인 밖 평가용으로 떼어놓고, 나머지 250개에서 과제당 5,000개씩 뽑아 125만 개 학습 인스턴스를 만들었습니다. VBVR-Pro-Bench는 그 50개 도메인 밖 과제에 학습 데이터가 있는 250개 중 50개를 도메인 안 과제로 더해 총 100개로 구성됩니다. 강화학습용 학습 세트가 별도로 있습니다.

표에서 읽어야 할 것은 규모보다 오른쪽 두 칸입니다. 비교 대상 대부분이 영상이면 영상만, 이미지면 이미지만 지원하고 평가는 VLM 심판에 맡깁니다. 세 모달리티를 하나의 과제 분포 아래 놓으면서 전 과제를 검증 가능하게 채점하는 것은 VBVR-Pro뿐입니다. 강화학습용 분할을 따로 둔 것도 여기가 유일합니다.

결과

벤치마크

30종 넘는 생성기를 붙였습니다. 주요 결과만 추리면 이렇습니다.

학습한 오픈소스 모델이 상용 모델을 도메인 안에서 크게 앞서는 것은 예상대로입니다. 흥미로운 쪽은 도메인 밖입니다. 상용 모델들은 도메인 밖 점수가 도메인 안보다 높습니다. Nano Banana Pro는 0.480 대 0.648이고 Seedream-5.0-Pro는 0.485 대 0.629입니다. 학습한 모델들은 반대로 도메인 밖에서 떨어집니다. 도메인 밖 과제 쪽이 상용 모델의 일반 능력에 더 가깝다는 뜻으로 읽힙니다.

모달리티 비교에서 저자들이 뒤집은 상식이 하나 있습니다. 영상이 조밀한 시간 연속성을 주니 인터리브드보다 당연히 나을 것이라는 예상인데, 학습 후에는 가장 강한 인터리브드 모델과 가장 강한 영상 모델이 도메인 안 과제 다수에서 비슷합니다. 0.811 대 0.808입니다. 과제 구조를 일단 배우고 나면 희소하지만 과제와 관련된 시각 상태의 나열만으로 충분한 문제가 많다는 것입니다. 게다가 인터리브드 쪽이 생성과 추론 비용이 훨씬 쌉니다.

영상의 우위가 남는 자리는 명확합니다. 상태 전이를 정확히 모델링해야 할 때, 즉 도메인 안 변환 과제와 도메인 밖 전반에서 영상이 앞섭니다. 반면 단일 이미지 생성은 두 궤적 기반 표현보다 확실히 약하고 특히 변환 과제에서 그렇습니다. 끝점 이미지 한 장은 해결 과정의 중간 상태를 담지 못하기 때문입니다.

텍스트를 자리표시자로 바꿔도 됩니다

이 논문에서 가장 눈에 띄는 실험입니다. 인터리브드 모델의 학습 궤적에서 텍스트와 이미지 각각의 기여를 떼어봤습니다.

중간 시각 상태를 한 장으로 압축하면 SenseNova-U1은 0.638에서 0.527로, ThinkMorph는 0.373에서 0.349로 떨어집니다. 반면 의미 있는 중간 텍스트를 의미 없는 자리표시자로 바꾸면 0.638이 0.629가 되고, ThinkMorph는 오히려 0.373에서 0.374로 올라갑니다.

읽는 방향은 이렇습니다. 이 과제들에서 모델이 실제로 기대고 있는 것은 언어로 적힌 사고 사슬이 아니라 시각 상태의 궤적입니다. 인터리브드 모델의 텍스트는 상당 부분 장식이었다는 뜻이 됩니다.

추론 시점 개입 실험도 같은 방향을 가리킵니다.

문장을 바꿔 써도 0.638이 0.640으로 사실상 그대로이고, 이미지를 뒤집어도 0.613으로 크게 안 흔들립니다. 표면 형태에 기대고 있지 않다는 뜻입니다. 반면 입력 이미지를 빼면 0.064로 붕괴하고 중간 이미지를 빼면 0.099로 붕괴합니다. 중간 텍스트를 아예 지우거나 모순되게 바꿔도 0.53대에 머무는 것과 대비됩니다.

밖으로 전이됩니다

베이스 모델 대비 V-ReasonBench가 10.21에서 38.22로, VideoThinkBench가 25.71에서 52.86으로 올랐습니다. BabyVision은 0.36에서 12.50입니다. 일곱 벤치마크 중 Veo-3.1과 직접 비교되는 여섯 항목에서 네 개를 앞섭니다.

여기서 당연히 나오는 의심이 있습니다. 합성 데이터를 잔뜩 부었으니 지시 패턴에 맞춘 것 아닌가. 저자들은 최근접 이웃 분석으로 답합니다. 질의 사례에 대해 CLIP과 DINOv2로 초기 이미지의, BGE로 지시문의 가장 가까운 학습 샘플을 찾아보면, 지시문은 관련이 있어도 시각적 겉모습이 확연히 다릅니다. 로봇 집기 과제 같은 것은 절차 생성된 추상 도형과 아예 다른 세계입니다. 이 논문이 강조하는 결론은 인스턴스 수를 늘리는 것보다 추론 메커니즘을 넓게 덮는 것이 전이에 더 중요하다는 쪽입니다.

검증 가능한 보상이 강화학습에서도 낫습니다

같은 초기화, 같은 학습 데이터로 SFT와 두 종류 강화학습을 비교했습니다.

VLM 심판을 보상으로 쓴 쪽은 SFT 대비 0.503에서 0.508로 거의 안 움직입니다. 검증 가능 보상은 0.548까지 갑니다. 도메인 밖에서도 0.328에서 0.377로 오릅니다. 강화학습에 도메인 밖 과제를 전혀 쓰지 않았는데도 그렇습니다.

정리

VLM 심판 강화학습은 학습 400에서 500스텝 사이에 성능이 일시적으로 떨어집니다. 저자들이 그 지점의 체크포인트를 뜯어보니 원인은 추론 능력의 붕괴가 아니었습니다. 전경의 변환은 대체로 맞는데 배경이 점점 회색으로 변해가고 있었습니다. 샘플링 확률성을 키울수록 심해졌고 600스텝쯤 되면 대체로 회복됐습니다.

해석이 중요합니다. 범용 VLM 심판은 미묘한 배경색 편차를 제대로 벌하지 않습니다. 그래서 이 오류가 최적화 과정에서 걸러지지 않고 계속 남아 증폭됩니다. 전경 과제를 제대로 풀었으니 심판은 계속 높은 점수를 줍니다. 보상 함수가 보지 않는 축으로 모델이 새는 전형적인 모습이고, 과제 기반 채점기는 그 편차를 명시적으로 잡기 때문에 같은 일이 일어나지 않습니다.

강화학습이 무엇을 바꿨는지도 사례로 들여다봤습니다. 색 순서 완성 과제에서 강화학습 전 모델은 디노이징 초반 몇 스텝 안에 답을 정하고 끝까지 다시 고려하지 않습니다. RLVR 모델도 처음에는 틀리는데 6스텝에서 예측을 바꾸고 29스텝에서 정답으로 수렴합니다. 두 모델의 샘플링 스케줄이 같은 30스텝이므로 추론 연산을 더 쓴 결과가 아닙니다. 미로 과제에서는 강화학습 전 모델이 프레임마다 에이전트를 끊긴 위치에 놓는데, RLVR 모델은 연결된 통로를 따라 일관된 경로를 만듭니다. 점수로는 0.2249에서 0.8692입니다.

한계도 남습니다. 채점기 100개는 사람이 과제별로 손으로 짰고 검사 항목의 가중치도 사람이 보정했습니다. 300개 과제 전체가 아니라 벤치마크에 들어간 100개에만 채점기가 있습니다. 이 방식은 과제가 늘어나는 만큼 채점기 작성 비용이 그대로 늘어납니다. 그리고 절차 생성 과제는 정답 구조를 프로그램이 알고 있어야 성립하므로, 정답이 프로그램으로 계산되지 않는 종류의 시각 추론은 애초에 이 틀 밖에 있습니다.

• 시각 생성을 출력 형식이 아니라 추론 기질로 보자는 주장을 검증 가능한 인프라로 옮겼습니다. 과제를 프로그램으로 만들면 정답 구조를 이미 알게 되고, 그러면 채점기를 규칙으로 짤 수 있습니다. 검증 채널을 확보하는 방식이 EnvHarness - Awakening Static Worlds for Agent Learning이나 Agentic Game Development as a Verifiable Trajectory Data Engine for Scaling World Models와 같은 계열입니다.
• VLM 심판은 온도 0에서도 같은 영상에 다른 점수를 줍니다. Gemini-3.1-Pro가 92.8%로 가장 불안정합니다. 평가 지표로도 문제지만 보상으로 쓰면 학습 신호가 매 스텝 흔들리고, 실제로 배경이 회색으로 변해가는 것을 못 잡아 강화학습이 그쪽으로 샜습니다.
• 중간 텍스트를 의미 없는 자리표시자로 바꿔도 성능이 거의 안 떨어지는데 중간 이미지를 빼면 0.638이 0.099로 무너집니다. 이 과제들에서 모델이 실제로 딛고 있는 것은 언어로 적힌 사고 사슬이 아니라 시각 상태의 궤적입니다.