Scalable Visual Pretraining for Language Intelligence
Y. Zhang, Z. Zhao, W. Zhang, H. Zhao, et al., "Scalable Visual Pretraining for Language Intelligence," arXiv:2607.09657, 2026.
저자
상하이인공지능실험실(Shanghai AI Lab)이 이 연구의 주축입니다. 교신저자는 두 명입니다. 상하이AI랩 대형 모델 센터장 Kai Chen은 InternLM·InternVL·OpenMMLab 시리즈를 이끌어온 인물이고, 저장대 UIUC 연구소의 Gaoang Wang은 비디오 이해와 체화 지능을 연구합니다.
공동 제1저자 셋 중 Wenwei Zhang은 MMDetection을 장기간 리드하다가 Intern-S1/S2 포스트트레이닝으로 옮긴 연구자입니다. Yiming Zhang과 Zhonghan Zhao는 각각 USTC와 저장대 소속으로 이번 연구를 함께 주도했습니다. 전체 저자 16명 중 다수가 상하이AI랩 소속이며, InternLM 팀의 대규모 실험 인프라가 이 연구를 가능하게 했습니다.
배경
대형 파운데이션 모델의 사전학습은 오랫동안 텍스트 코퍼스를 기반으로 해왔습니다. 그런데 과학 논문이나 교재를 생각해보면, 그 안의 수식·도표·페이지 레이아웃은 OCR이나 PDF 파서로 텍스트 변환할 때 상당 부분이 손실됩니다. 벤 다이어그램의 집합 관계, 물리 회로도의 공간 배치, 수식의 계층 구조 같은 것들은 평문으로 완전히 재현되지 않습니다.
Platonic Representation Hypothesis(2024)는 이 직관을 수학적으로 뒷받침합니다. 서로 다른 모달리티로 학습한 모델의 표현이 같은 현실 추상으로 수렴한다면, 텍스트 변환을 거치지 않고 원본 시각 문서에서 직접 학습하면 더 풍부한 표현을 얻을 수 있을 것입니다.
선행 연구는 두 방향으로 갈립니다. 데이터 수준에서는 MinerU·Nougat 같은 PDF 파서가 텍스트를 추출해 LLM에 공급하고, 학습 수준에서는 InternVL·LLaVA 같은 멀티모달 모델이 이미지를 조건 입력으로 받되 텍스트 토큰만 예측합니다. 두 방법 모두 원본 시각 정보를 학습 목표 바깥에 두는 공통점이 있습니다. 이 논문은 그 가정 자체를 뒤집습니다.
어떻게 만들었나
Visual Pretraining(VP)의 핵심은 PDF 페이지를 텍스트 없이, 이미지 패치 시퀀스로 직접 오토리그레시브 학습한다는 것입니다.
희소 전경 토큰 추출. 렌더링된 문서 페이지 \(\mathcal{I}\)를 동결된 ViT 인코더 \(\varphi_{\text{ViT}}\)로 인코딩합니다.
\[\mathcal{Z} = E_v(\mathcal{I}) = (z_1, \ldots, z_N)\]
여백과 공백은 학습에 불필요하므로, 각 패치의 픽셀 분산 \(\sigma_i^2\)과 평균 밝기 \(\ell_i\)로 전경 마스크를 계산합니다. 배경 조건은 다음과 같습니다.
\[b_i = \mathbf{1}\left[\sigma_i^2 < \tau_\sigma \;\wedge\; \left(\ell_i > \tau_\ell^+ \;\vee\; \ell_i < \tau_\ell^-\right)\right]\]
전경 패치만 래스터 스캔 순서로 나열하면 희소 시퀀스 \(\mathcal{U} = (u_1, \ldots, u_L)\)이 됩니다. 여기서 \(L \ll N\)이므로 문맥 길이를 크게 절약합니다. 동결된 공간 병합기(spatial merger)를 거쳐 정규화된 비주얼 피처 공간 \(\mathbb{R}^{d_v}\)로 변환됩니다.
다음 비주얼 래턴트 예측. 각 전경 피처를 선형 투영 \(W_{\text{in}}\)으로 LLM 임베딩 공간에 매핑합니다. LLM 백본은 인과 어텐션 마스크 아래 다음 전경 피처를 예측합니다.
\[h_i = \Phi_{\text{LLM}}(x_{\leq i}), \quad \hat{u}_{i+1} = \psi(h_i)\]
예측 헤드 \(\psi\)는 2층 MLP(\(W_2 \, \text{GELU}(W_1 h)\))입니다. 타깃은 동결된 비주얼 피처 \(u_{i+1}\)이며, 배치 내 네거티브를 활용한 대조 InfoNCE 손실로 학습합니다.
\[\mathcal{L}_{\text{VP}} = -\frac{1}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} \log p_{ii}, \quad p_{ij} = \text{softmax}_j\!\left(\frac{\cos(\hat{u}_{i+1}, u_{j+1})}{\tau}\right)\]
공동 학습. 최종 학습 목표는 텍스트 교차 엔트로피 손실과 시각 래턴트 예측 손실의 가중합입니다.
\[\mathcal{L} = \lambda_{\text{text}} \, \mathcal{L}_{CE} + \lambda_{\text{vis}} \, \mathcal{L}_{VP}\]
업데이트 대상은 LLM, 입력 투영 \(W_{\text{in}}\), 예측 헤드 \(\psi\)입니다. ViT 인코더와 공간 병합기는 동결 상태로 유지됩니다.
실험 설계. 핵심은 통제된 비교입니다. VP와 텍스트 사전학습(TP) 모두 완전히 동일한 과학 PDF 코퍼스를 사용하되, TP는 MinerU 2.5로 파싱한 텍스트로, VP는 렌더링된 이미지 패치로 학습합니다. 동일한 시작 체크포인트, 동일한 SFT 레시피를 적용해 문서 표현 방식의 차이만을 분리합니다. 학습 프레임워크는 XTuner를 사용했습니다.
결과
모델 |
방법 |
MMLU-Pro |
GPQA |
AIME-25 |
HLE |
|---|---|---|---|---|---|
Qwen 3.5 |
Base |
82.31 |
77.84 |
81.56 |
14.39 |
Qwen 3.5 |
TP |
83.91 |
76.24 |
89.58 |
15.70 |
Qwen 3.5 |
VP |
85.09 |
79.29 |
90.21 |
16.67 |
Qwen 3 |
Base |
81.21 |
75.06 |
75.44 |
10.59 |
Qwen 3 |
TP |
81.52 |
74.94 |
74.99 |
11.39 |
Qwen 3 |
VP |
81.94 |
77.08 |
76.98 |
11.77 |
Llama 3.2 Vision |
Base |
47.24 |
27.46 |
8.02 |
6.41 |
Llama 3.2 Vision |
TP |
50.60 |
30.24 |
13.75 |
6.08 |
Llama 3.2 Vision |
VP |
51.52 |
33.08 |
18.54 |
7.00 |
Llama 3.1 |
Base |
59.48 |
39.71 |
24.17 |
6.75 |
Llama 3.1 |
TP |
60.64 |
43.88 |
23.65 |
6.79 |
Llama 3.1 |
VP |
62.77 |
47.10 |
24.27 |
7.17 |
VP는 멀티모달 모델과 언어 전용 모델 모두에서 TP를 앞섭니다. 주목할 만한 수치는 Qwen 3.5에서 GPQA가 TP 76.24에서 VP 79.29로 3.05점 상승한 것입니다. 같은 모델에서 TP는 오히려 Base보다 GPQA가 낮아졌는데(-1.6점), 이는 텍스트 변환 과정이 물리·화학·생물 등 시각 정보가 풍부한 도메인에서 오히려 노이즈를 추가한다는 해석을 지지합니다.
효율성. 같은 PDF 코퍼스에서 TP는 80B 텍스트 토큰, VP는 20B 비주얼 토큰을 사용합니다. 토큰 예산을 25%만 쓰면서도 VP의 정규화된 성능 향상은 MMLU-Pro 1.27배, GPQA 2.02배, AIME-25 2.88배입니다.
교차 모달 정렬. VP는 이미지-텍스트 쌍 감독 없이도 모달리티 정렬을 개선합니다.
지표 |
원본 |
VP |
변화 |
|---|---|---|---|
Centroid Separation (\(\downarrow\)) |
1.665 |
0.661 |
-1.004 |
Cosine Similarity (\(\uparrow\)) |
0.631 |
0.907 |
+0.276 |
Linear CKA (\(\uparrow\)) |
0.657 |
0.745 |
+0.088 |
Mutual \(k\)-NN@1 (\(\uparrow\)) |
0.140 |
0.310 |
+0.170 |
이미지-텍스트 검색 평가에서도 Recall@1이 64.0%에서 99.0%로 급등했습니다. VP 이후에는 배치 내 타깃 피처의 분산이 크게 줄어(\(\sigma\): 0.168 → 0.043) 허브 어트랙터 현상이 사라진 결과입니다.
멀티모달 벤치마크(MMMU-Pro, ChartQAPro, MathVista 등)에서도 VP는 TP보다 일관되게 우수합니다. 특히 시각 구조 밀도가 높은 예시일수록 VP의 우위가 커졌는데, 저밀도 페이지에서는 VP와 TP가 비슷하지만 수식·도표가 많은 고밀도 페이지에서는 최대 3.8점 차이가 납니다.
주의 지도 분석에서는 수학 문제에 대해 텍스트 모드와 비주얼 모드의 어텐션이 거의 동일한 의미 영역(질문 제약 조건과 중간 계산 단계)에 집중된다는 사실을 보여줍니다. 두 모달리티가 다른 내부 경로를 통해서도 같은 추론 근거를 활성화한다는 간접 증거입니다.
회고
저자들이 직접 인정한 한계가 세 가지입니다.
첫째, VP는 텍스트 사전학습을 완전히 대체하지 않습니다. 텍스트 CPT 위에 비주얼 래턴트 예측을 추가하는 구조이므로, 관찰된 성능 향상은 "VP 단독"이 아니라 "텍스트 사전학습을 보완"한 결과로 해석해야 합니다.
둘째, 비주얼 래턴트 디코딩과 텍스트 디코딩을 어떻게 조율할지는 미해결입니다. 손실 스케줄링, 전경 인식 토큰 선택, 파라미터 효율적 시각 모듈 등 최적화 여지가 많이 남아 있습니다.
셋째, 실험 범위가 과학 PDF에 집중돼 있습니다. 자연 이미지나 비디오 같은 넓은 시각 코퍼스에서도 같은 패러다임이 통할지는 아직 열린 문제입니다.
부록 C에서는 MAR 스타일 생성 디코더를 추가해 픽셀 재구성 감독까지 도입한 변형을 실험했습니다. 결과는 약 동등하지만 학습 처리량이 30~40% 감소하고 수렴에 1.4배 더 많은 시간이 걸렸습니다. 동결 래턴트 예측만으로도 충분하다는 결론입니다.
정리
- 텍스트 추출 없이 PDF 페이지 이미지를 오토리그레시브 학습(VP)하면, 동일 코퍼스 텍스트 사전학습보다 과학 추론이 일관되게 향상됩니다
- 토큰 예산은 25%(20B vs 80B)만 소비하고, GPQA 기준 2배, AIME 기준 2.88배 이득을 냅니다
- 이미지-텍스트 쌍 감독 없이도 교차 모달 정렬이 크게 개선됩니다 (Cosine Sim 0.631 → 0.907)