SynthDocBench - Controlled Benchmark for Long-Context Visual Document Understanding

A. Verma, K. Mahajan, A. K. Saha, S. Radhakrishna, S. Davasam, V. Yadav, and S. Rajeswar, "SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding," arXiv:2607.10400, 2026.

저자

Abhigya Verma, Khyati Mahajan, Amit Kumar Saha 세 명이 공동 1저자이며 모두 ServiceNow AI 소속입니다. 교신저자는 Verma입니다. 시니어 저자 Sai Rajeswar는 Aaron Courville 지도로 Mila에서 박사 학위를 마친 뒤 ServiceNow AI 수석 연구 과학자로 재직 중이며 Mila 겸임 교수를 겸합니다.

이 조합은 논문의 성격을 그대로 설명합니다. ServiceNow는 기업용 문서 처리를 제품으로 다루는 회사라 긴 보고서를 읽는 VLM의 실제 실패에 관심이 큽니다. Rajeswar의 연구 축인 멀티모달 지각이 여기에 붙어, 실패를 그냥 측정하는 것이 아니라 원인별로 분리하려는 진단용 벤치마크가 나왔습니다.

배경

단일 페이지 문서 이해는 포화에 가깝습니다. 프런티어 모델이 DocVQA에서 95%, ChartQA에서 89%를 넘습니다. 그런데 같은 모델을 MMLongBench-Doc(평균 47.5페이지)에 올리면 최고 성능이 57%로 주저앉습니다. 긴 문서에서 무언가가 무너집니다.

문제는 무엇이 무너지는지 기존 벤치마크로는 알 수 없다는 데 있습니다. 실제 문서는 길이, 레이아웃 밀도, 차트 유형, 증거가 놓인 위치가 한꺼번에 섞여 있습니다. 모델이 틀렸을 때 그 원인이 문서가 길어서인지, 차트가 문서 중간에 있어서인지, 텍스트와 차트를 함께 봐야 해서인지를 분리할 방법이 없습니다. 이 교란 변수들이 서로 얽혀 있어 하나만 떼어 볼 수가 없습니다.

합성 벤치마크는 이런 분해를 위해 오래 쓰여 왔습니다. 프로그램으로 데이터를 생성하면 변수를 하나씩 통제할 수 있기 때문입니다. bAbI와 SCAN이 NLP에서 추론 요소를 분리했고, CLEVR와 RAVEN이 시각 관계 추론과 유추 추론에서 같은 일을 했습니다. 생태적 타당성을 조금 내주는 대신 해석 가능성을 얻는 거래입니다. 긴 문서 시각 이해에는 아직 이런 도구가 없었고, 교란이 가장 심한 영역이 바로 여기입니다. 이 공백을 메우려는 것이 SynthDocBench입니다.

어떻게 만들었나

세 단계로 나뉩니다. 문서 생성, QA 생성, 그리고 시각 전용 평가입니다. 정답을 사람이 라벨링하지 않고, 문서를 만들 때 쓴 구조화된 자료에서 결정론적으로 끌어내는 것이 전체 설계의 핵심입니다.

문서 생성은 토픽 씨드 \(\tau\)에서 시작합니다. 관련 근거를 검색해 섹션 경계, 데이터가 담긴 구간, 핵심 콘텐츠 단위가 드러나는 구조화된 중간 표현으로 정리합니다. 이후 단계는 자유 형식 텍스트가 아니라 이 표현 위에서 작동해 증거 추적이 정밀하게 유지됩니다.

그다음 레이아웃 아키타입 \(a \in A\)를 뽑습니다. 주제 조건부 분포에서 0.6, 균일 분포에서 0.4 확률로 샘플링합니다. 이 40% 무작위 오버라이드가 주제와 레이아웃 사이의 헛된 상관을 끊습니다. 모델이 "이 주제면 대시보드"라는 식의 지름길을 외우지 못하게 막는 장치입니다. 아키타입은 Dashboard, Magazine, Editorial, Brutalist, Infographic, Academic 6종입니다.

시각화는 두 형태로 동시에 생성됩니다. 문서에 보이는 D3.js 차트 하나, 그리고 축, 데이터 포인트, 파생 인사이트를 담은 숨겨진 구조화 메타데이터 객체 \(V_k\) 하나입니다. 이 이중 출력 덕분에 정답이 생성 시점에 이미 확정됩니다. 차트를 나중에 파싱하거나 사람이 붙일 필요가 없습니다. 표와 차트의 수치는 구조화된 데이터에서 다시 계산해 검증한 뒤 확정하고, 최종 문서는 HTML로 조립해 Playwright로 PDF까지 렌더링합니다.

QA 생성은 완성된 문서를 텍스트, 표, 시각화 채널로 파싱해 증거 단위를 복원하고, 이를 조합해 상위 질문을 만듭니다. 자동 교정과 대립 검증(adversarial verification)을 거쳐 취약하거나 모호한 항목을 걸러냅니다. 마지막으로 세 겹 품질 관리를 겹칩니다. 수치 재계산, 자동 일관성 필터링, 그리고 100개 샘플 수동 검토입니다. 수동 검토에서 수용률 96% 이상을 확인했습니다.

무엇으로 구성돼 있나

합성 문서 200개, 질문 1,788개입니다. 문서당 평균 51.1페이지, 차트 16.7개, 약 20,568단어이며 전체 차트 수는 3,340개입니다. Table 1 기준으로 페이지는 최소 24에서 최대 91, 차트는 최소 5에서 최대 32 사이에 좁게 몰려 있습니다. 실제 문서의 두꺼운 꼬리 분포와 달리 통제된 생성 파이프라인이라 분포가 단봉으로 조밀합니다. 덕분에 문서 복잡도를 고정한 채 다른 축(모달리티, 질문 유형, 레이아웃)만 바꾸는 절제 실험이 가능합니다.

질문은 세 갈래로 균형 있게 나뉩니다.

• chart-reading (597개): 24종 D3.js 차트에서 값을 직접 읽는 질문입니다. 덤벨 플롯, 로리팝 차트, 스파크라인 그리드처럼 주변 텍스트로는 추론할 수 없는 유형이 포함됩니다.
• complex multi-hop (597개): 2개에서 4개 증거 단위를 조합하는 복합 추론입니다. 난이도 L1에서 L5로 나뉩니다.
• cross_modal (594개): 텍스트 증거와 차트가 문서의 떨어진 섹션에 흩어져 있어 둘을 함께 참조해야 답할 수 있는 질문입니다.

난이도 L1은 값을 그대로 조회하는 수준, L5는 여러 섹션을 넘나드는 교차 합성입니다. 질문마다 구조화된 증거 추적이 함께 붙습니다.

결과

평가는 시각 전용 프로토콜입니다. 모델은 렌더링된 페이지 이미지만 받고 HTML 소스나 메타데이터에는 접근하지 못합니다. PDF는 144 DPI로 래스터화해 5페이지 단위 세로 스트립으로 묶어 넣습니다. 채점은 GPT-5가 맡아 각 답변에 \([0, 10]\) 점수를 주고, 임계값 \(\tau = 6\) 이상을 정답으로 봅니다. 이 기준은 MMLongBench-Doc과 같습니다.

\[\text{ACC}(f_\theta) = \frac{1}{|Q_\text{valid}|} \sum_{q \in Q_\text{valid}} \mathbf{1}\bigl[J(\hat{a}_q, a^*_q) \geq 6\bigr]\]

평가 대상은 프런티어 VLM 8종입니다. 왼쪽 두 열은 기존 벤치마크(DocVQA 단일 페이지, MMLongBench-Doc 다중 페이지) 성능이고, 오른쪽이 SynthDocBench입니다.

MMLB-Doc은 MMLongBench-Doc입니다. 값은 모두 ACC이며 DocVQA와 MMLB-Doc만 백분율입니다.

Gemini-3.1-Pro가 네 개 하위 집합 전부에서 1위입니다. 눈여겨볼 지점은 순위가 기존 벤치마크와 어긋난다는 것입니다. Qwen3-VL-235B는 DocVQA 96.5, MMLongBench-Doc 57.0으로 두 벤치마크 모두 최고인데, SynthDocBench에서는 0.586으로 3위이고 파라미터가 절반인 Qwen3.5-VL-122B(0.655)에게 밀립니다. 실제로 SynthDocBench 순위와 MMLongBench-Doc 순위의 상관은 Spearman \(\rho = 0.657\)로 중간 정도에 그칩니다. 기존 벤치마크로는 잡히지 않던 능력 차이를 이 벤치마크가 새로 벌려 놓는다는 뜻입니다. GPT-4o(0.386)와 InternVL3-78B(0.383)는 구조가 전혀 다른데도 통계적으로 구분되지 않습니다.

논문이 지목하는 실패 모드는 세 가지입니다.

첫째, 난이도가 오를수록 급락합니다. Gemini를 뺀 모든 모델이 L1에서 L5로 갈수록 단조 감소합니다. Claude-Sonnet-4.5는 L1 0.382에서 L5 0.154로 23pp 떨어지고, Gemini는 0.784에서 0.670 사이로 평탄합니다. Qwen3.5-VL-122B도 L1 0.707에서 L5 0.528로 완만해 Gemini를 근접 추격합니다. GPT-4o는 L1(0.271)이 오히려 중간 난이도보다 낮아, 정밀한 값 추출이 복합 추론보다 어렵다는 특이 패턴을 보입니다.

둘째, 증거의 위치에 따라 성능이 흔들립니다. 차트를 문서 앞(Early), 중간(Middle), 뒤(Late) 세 구간으로 나눠 chart-reading 정확도를 본 결과입니다.

8개 중 5개 모델에서 중간 구간이 가장 어렵고, Early 대비 5pp에서 18pp 낮아집니다. LLM의 긴 텍스트에서 알려진 "잃어버린 중간"(lost-in-the-middle) 효과가 시각 문서에서도 나타나는 셈입니다. 두 패턴을 구분해야 합니다. Qwen3.5-VL-122B는 Early에서 Middle로 낙폭(−18.5pp)이 가장 크지만 Late에서 일부 회복해 \(\Delta\)가 −0.160이 됩니다. 반면 Claude-Sonnet-4.5는 Early, Middle, Late로 계속 떨어지는 단조 감소가 가장 가팔라(−11.7pp) 뒤로 갈수록 증거를 놓칩니다. Gemini는 중간만 살짝 파이는 U자형이라 위치 편향이 거의 없습니다. GPT-5.4, Qwen3-VL-235B, InternVL3-78B는 오히려 \(\Delta\)가 양수라 위치 편향이 뚜렷하지 않습니다.

셋째, 긴 문서 안에서 차트 이해가 무너집니다. 이 부분은 GPT-4o를 대상으로 시각 입력과 OCR 텍스트 입력을 비교해 드러냈습니다. PyMuPDF로 페이지 텍스트를 뽑아 이미지 없이 GPT-4o에게 답하게 한 것입니다.

패턴이 정반대로 뒤집힙니다. 복합 추론은 텍스트만으로도 0.798까지 나와, 증거 상당수가 텍스트로 복원 가능함을 보여줍니다. 반대로 차트 읽기는 OCR이 0.297로 시각(0.457)보다 낮아, 픽셀 단위의 시각 디코딩이 반드시 필요함을 확인합니다. OCR 차트 정확도(0.297)와 Gemini의 차트 정확도(0.759) 사이 46pp 격차가 시각 지각이 이 벤치마크의 주된 병목임을 못박습니다. 8개 모델이 전부 3점 이하를 준 109개의 최난이도 질문에서도 cross-modal이 가장 많고, 오류 유형은 차트에 없는 그럴듯한 값을 지어내는 시각 환각이 대부분입니다.

한 가지 절제 실험이 이 진단을 뒷받침합니다. 스트립당 페이지 수를 1에서 10으로 늘리면 Gemini의 정확도가 0.369에서 0.792로 단조 상승하고, 특히 cross-modal이 0.339에서 0.707로 가장 크게 오릅니다. 다중 페이지 맥락을 한 번에 넣어주는 것이 성능에 결정적이라는 뜻입니다.

회고

저자들이 본문에서 인정하는 한계가 하나 있고, 리뷰어로서 짚어둘 지점이 둘 더 있습니다.

저자들이 스스로 밝히는 교란은 Gemini 우위의 해석입니다. Gemini(0.725)와 Qwen3-VL-235B(0.586) 사이 13.9pp 격차가 순수한 긴 문맥 추론 능력 차이라고 단정할 수 없습니다. SynthDocBench는 차트를 HTML과 D3.js로 렌더링하는데, 이 스타일이 Gemini의 학습 분포와 겹칠 가능성을 배제하지 못합니다. 다른 렌더링 백엔드로 재검증해야 확인되는 문제이고, 저자들도 이를 명시합니다.

여기서 채점자 설정을 함께 볼 필요가 있습니다. 논문은 GPT-5를 주 채점자로 쓰되, 응답 일부를 Gemini-3.1-Pro와 Claude-Sonnet-4.5로 다시 채점해 교차 검증했습니다. GPT-5와 Gemini 채점이 ACC 3.5점 이내로 일치하고 Pearson \(r \geq 0.94\)라 순위가 채점자 선택에 강건하다고 보고합니다. 채점 신뢰도를 점검한 것은 분명한 강점입니다. 다만 주 채점자 GPT-5는 평가 대상인 GPT-5.4와 같은 계열이고, 교차 채점에 쓴 Gemini 역시 1위 모델의 계열입니다. 참가 모델과 무관한 제3의 채점자를 넣지 않은 점, 그리고 Claude-as-judge 결과 수치는 본문에 자세히 제시되지 않은 점은 남는 아쉬움입니다. GPT-5.4가 4위(0.423)에 그친 것을 보면 계열 편애가 순위를 크게 왜곡했다고 보긴 어렵지만, 렌더링 친숙도 교란과 채점자 계열이 모두 Gemini 쪽에 유리한 방향이라는 점은 함께 기억할 만합니다.

숫자 정합성도 preprint답게 흔들립니다. 초록은 "seven frontier VLMs", "5 of 6 models", "steepest decline 8.3pp"라고 적었지만, 본문 §4.1과 Table 4는 명확히 8개 모델을 평가하고 "5 of 8", 최대 단조 감소 −11.7pp를 제시합니다. 결론은 또 "four of six", "three of six"로 다르게 적혀 있습니다. Table 4가 정본이며 이 글의 위치 편향 서술은 표 기준으로 맞춘 것입니다. 초록과 결론이 이전 버전 숫자로 남은 것으로 보이는데, 인용할 때는 본문 표를 기준으로 삼아야 합니다.

정리

• DocVQA와 ChartQA가 포화하는 동안 긴 문서 VLM 평가에는 진단 능력이 없었습니다. SynthDocBench는 길이, 레이아웃, 모달리티, 질문 유형을 독립 축으로 통제해 실패 원인을 분리하는 첫 도구입니다.
• 프런티어 모델의 공통 약점은 셋입니다. 난이도가 오를수록 급락, 문서 중간 구간 위치 편향, 긴 문서 안 차트의 픽셀 디코딩 실패입니다. 특히 시각 지각이 주된 병목이라는 점을 OCR 비교와 46pp 격차로 못박습니다.
• Gemini-3.1-Pro가 선두(0.725)이지만 D3.js 렌더링 친숙도 교란이 남습니다. 공개 가중치 모델 중에서는 Qwen3.5-VL-122B(0.655)가 두 배 큰 235B 모델을 앞서, 이 벤치마크가 기존 순위를 다시 흔든다는 것을 보여줍니다.

코드와 데이터셋은 GitHub와 HuggingFace에 공개됩니다.