VibeThinker-3B - Exploring the Frontier of Verifiable Reasoning in Small Language Models

S. Xu, S. Liu, W. Wang, J. Min, Y. Dai, Z. Yin, Y. Chen, X. Zhou, and J. Zhang, "VibeThinker-3B: Exploring the Frontier of Verifiable Reasoning in Small Language Models," , 2026.

저자

Sen Xu와 Junlin Zhang이 이끄는 Sina Weibo Inc. AI 팀 9명이 작성한 테크니컬 리포트입니다. Sina Weibo는 중국 최대 소셜 미디어 플랫폼으로, 순수 AI 연구소가 아닌 인터넷 기업에서 이 수준의 추론 연구를 내놓았다는 점이 눈에 띕니다.

이 팀은 2025년 11월 VibeThinker-1.5B (arXiv:2511.06221)를 통해 처음으로 소형 모델 추론 가능성을 공개했습니다. 당시 1.5B 모델이 DeepSeek R1(400배 큰 모델)을 세 개 수학 벤치마크에서 초과하는 결과를 냈고, 훈련 비용이 7,800달러에 불과해 주목을 받았습니다. VibeThinker-3B는 그 직접 후속작으로, "1.5B가 추론을 할 수 있다는 걸 보였다면, 3B는 실제 1군 수준에 진입할 수 있는지를 묻는다"는 설계 의도로 출발합니다.

두 논문 모두 MIT 라이선스로 가중치와 코드를 공개했습니다. HuggingFace의 WeiboAI 조직에서 모델을 내려받을 수 있습니다.

배경

LLM 추론 능력이 파라미터 규모에 선형으로 의존한다는 통념이 있습니다. 수십억, 수천억 파라미터의 플래그십 모델들이 수학·코딩에서 선두를 달리는 동안, 3B 이하 소형 모델은 "배포 효율이 좋지만 추론은 약하다"는 인식이 자리 잡혀 있었습니다.

VibeThinker-3B는 이 통념에 도전합니다. 핵심 주장은 간단합니다. 검증 가능한 추론(verifiable reasoning), 즉 수학이나 코딩처럼 정답 여부를 명확히 확인할 수 있는 태스크는 "넓은 사실을 기억하는 것"이 아니라 "탐색, 조건 충족, 오류 수정, 다단계 합성"을 수행하는 것입니다. 이 종류의 능력은 파라미터 밀도 측면에서 압축이 가능하다는 게 이 팀의 핵심 가설입니다.

어떻게 만들었나

기반 모델은 Qwen2.5-Coder-3B입니다. 여기에 5단계 포스트트레이닝 파이프라인을 순차 적용합니다.

전체 파이프라인의 설계 원칙을 **Spectrum-to-Signal Principle(SSP)**이라고 부릅니다. SFT가 다양한 해법 공간("Spectrum")을 구축하고, RL이 그 안에서 올바른 신호("Signal")를 증폭하는 구조입니다.

1단계 · 2단계: Curriculum SFT

SFT를 두 단계로 나눕니다.

1단계(Broad Coverage)는 수학, 코드, STEM, 일반 대화, 명령 수행을 아우르는 혼합 데이터셋으로 훈련합니다. 각 도메인에서 강력한 교사 모델이 여러 추론 경로를 샘플링해 다양한 해법 스펙트럼을 구성합니다. 단일 정답 경로만 학습하지 않고, Pass@K 기준으로 가장 좋은 체크포인트를 도메인별로 따로 뽑아 파라미터 수준 병합(Diversity-Exploring Distillation)합니다.

2단계(Hard-Reasoning SFT)는 추론 체인이 5K 토큰 미만인 샘플을 제거하고, VibeThinker-1.5B를 기준 모델로 8회 롤아웃해 오류율 0.75 미만인 쉬운 문제를 걸러냅니다. 어렵고 긴 추론 샘플에만 집중하는 단계입니다.

3단계: Multi-domain Reasoning RL (MGPO)

RL 알고리즘은 VibeThinker-1.5B에서 도입한 **MGPO(MaxEnt-Guided Policy Optimization)**를 그대로 사용합니다.

각 프롬프트 \(q\)에 대해 \(G\)개의 응답을 샘플링하고 경험적 정확도를 계산합니다.

\[p(q) = \frac{1}{G}\sum_{i=1}^{G} \mathbf{1}(r_i = 1)\]

\(p(q) \approx 0\)이면 너무 어렵고, \(p(q) \approx 1\)이면 이미 포화 상태입니다. MGPO는 최대 엔트로피 분포(\(p_0 = 0.5\))에 가장 가까운 프롬프트, 즉 모델의 현재 능력 경계에 있는 문제에 더 높은 가중치를 부여합니다.

\[w(q) = \exp(-\gamma D_{ME}(p(q) \| p_0)), \quad p_0 = 0.5\]

이 가중치가 GRPO 스타일의 클립 목적함수 안에 적용됩니다. 수학 RL은 정확도 최우선으로 시작하고, 이후 Long2Short 단계에서 효율을 최적화합니다.

Long2Short Math RL은 정확한 응답 중 더 짧은 것에 보상을 더 줘 불필요한 추론을 줄입니다. 각 샘플의 이진 정확도 보상 \(r_i \in \{0, 1\}\)에서, 정답 집합 \(C = \{i \mid r_i = 1\}\)에 대해 간결성 점수 \(s_i = 1/L_i\) (\(L_i\)는 응답 길이)를 정의하고 중심화된 보상 조정을 적용합니다.

\[r'_i = r_i + \lambda \cdot \frac{s_i - \bar{s}}{\max_{j \in C} |s_j - \bar{s}|}, \quad i \in C, \quad \lambda = 0.2\]

이 설계는 정답 집합 내 보상 재분배 합이 0이 되도록 해(\(\sum_{i \in C}(r'_i - r_i) = 0\)), 전체 그룹 평균 보상 기준선을 흔들지 않습니다.

수학 RL 이후 코드 RL, STEM RL을 순서대로 진행합니다.

4단계: Offline Self-Distillation

Math, Code, STEM RL 각 단계의 체크포인트에서 고품질 추론 경로를 추출합니다. 각 경로의 학습 가치를 추정하는 학습 잠재력 점수는 학생 모델의 길이 정규화 음의 로그 우도로 정의합니다.

\[S_{LP}(q, y) = -\frac{1}{|y|}\sum_{t=1}^{|y|} \log \pi_{\theta}^{stu}(y_t \mid q, y_{<t})\]

점수가 높을수록 교사가 생성했지만 학생이 아직 잘 모델링하지 못하는 경로로, 증류 가치가 높습니다. 이 경로들을 통합해 오프라인 SFT로 학생 모델에 역주입합니다.

5단계: Instruct RL

마지막으로 Instruct RL을 적용합니다. 명시적 제약이 있는 프롬프트에는 형식·키워드·순서 등을 검사하는 규칙 기반 보상을, 열린 프롬프트에는 유용성·일관성·지시 준수를 평가하는 루브릭 기반 보상 모델을 사용합니다. 추론 능력을 유지하면서 사용자 요청 준수 능력을 강화하는 단계입니다.

**CLR(Claim-Level Reliability Assessment)**은 훈련이 아니라 추론 시점 스케일링 전략입니다. 문제당 \(K = 32\)개 후보 경로를 생성하고, 각 경로에서 \(M = 5\)개의 핵심 판단 클레임을 추출합니다. 모델 자신이 각 클레임을 검증(\(v_{k,m} \in \{0, 1\}\))하며, 비선형 신뢰도 점수를 계산합니다.

\[r_k = \left(\frac{1}{M}\sum_{m=1}^M v_{k,m}\right)^M\]

이 점수를 기반으로 동등한 최종 답끼리 군집화한 뒤, 신뢰도 가중 합이 가장 높은 답을 선택합니다.

\[Score(G) = \sum_{\{k \mid y_k \in G\}} r_k\]

전체 과정을 8회 독립 실행하고 평균 Pass@1을 "+ CLR"로 보고합니다.

결과

핵심 벤치마크 (Table 1, 소형 및 중형 모델 비교)

VibeThinker-3B의 AIME26 94.3은 GPT-OSS-20B(90.2)와 Nemotron-30B(90.1)를 명확히 앞서고, LCBv6 80.2는 560B인 LongCat Flash(79.4)와 대등합니다. 수학 성능만이 아니라 IFEval 93.4로 명령 수행 능력도 유지했습니다.

최상위 플래그십 비교 (Table 2)

CLR 없이도 AIME26 94.3은 DeepSeek V3.2(671B, 94.2)와 Kimi K2.5(1T, 93.3)를 상회합니다. CLR을 적용하면 AIME26 97.1, BruMO25 99.2로 GLM-5나 Qwen3.6 Plus를 넘어섭니다.

GPQA-Diamond에서는 기본 70.2, CLR 적용 시 72.9로 Kimi K2.5(87.6), GLM-5(86.0) 대비 15점 이상 차이가 납니다. 수학·코딩과 달리 지식 집약적 태스크에서는 대형 모델과 격차가 존재합니다.

OOD 코딩 일반화 (Table 3, LeetCode 위클리 컨테스트)

2026년 4월 25일부터 5월 31일 사이 LeetCode 위클리·바이위클리 컨테스트 8회를 파이썬 원샷 생성으로 평가했습니다.

96.1%는 GPT-5.2, Kimi K2.5, Claude 4.6 시리즈를 상회합니다. 이 컨테스트는 모델이 학습한 적 없는 신규 문제로 구성되며, 실행 기반으로 채점하기 때문에 실제 코딩 일반화 능력을 측정합니다.

회고

저자들이 직접 인정하는 한계는 두 가지입니다.

첫째, GPQA-Diamond 격차입니다. 수학 추론에서 1군 성능을 보여도 지식 집약적 태스크에서는 대형 모델 대비 15점 이상 뒤처집니다. 저자들은 이를 반박이 아닌 자신들의 가설의 근거로 해석합니다. Parametric Compression-Coverage Hypothesis에 따르면, 검증 가능한 추론은 파라미터 밀도 측면에서 압축이 가능한 능력이지만, 백과사전적 지식은 파라미터 규모에 의존하는 "커버리지 문제"입니다. 3B 모델이 지식에서 약한 것은 예측된 결과입니다.

둘째, 컨텍스트 창 확장 전략의 반전입니다. VibeThinker-1.5B에서는 컨텍스트 창을 점진적으로 늘리는 다단계 RL 전략이 효과적이었습니다. 그런데 3B에서는 초기 단계에 짧은 컨텍스트를 쓰면 오히려 긴 추론 능력이 약해지는 반대 효과가 나타났습니다. 더 강한 SFT 초기화 덕분에 기존 긴 추론 패턴이 잘 형성되어 있어, 짧은 컨텍스트 워밍업이 고품질 장문 추론을 방해했다는 게 저자들의 해석입니다. 결국 단일 64K 롱컨텍스트 창으로 처음부터 RL을 진행하는 방향을 택했습니다.

OJBench에서의 38.6은 수학 성능 대비 상대적으로 낮습니다. 이 격차가 코딩 능력의 실제 한계를 반영하는지, 아니면 벤치마크 특성의 차이인지에 대한 분석은 본문에 없습니다. LeetCode OOD 결과와의 불일치를 어떻게 해석할지는 독자에게 남겨진 질문입니다.

정리

• Spectrum-to-Signal Principle(SSP) 기반 5단계 포스트트레이닝으로 3B 모델이 AIME26 94.3을 달성했습니다. CLR 적용 시 97.1로 대부분의 플래그십 시스템을 상회합니다.
• Parametric Compression-Coverage Hypothesis는 검증 가능한 추론과 지식 저장이 파라미터 요구 구조가 다르다고 주장합니다. 소형 모델이 수학·코딩에서 강하면서 GPQA에서 약한 패턴이 이 가설과 일치합니다.
• 소형 모델 연구가 배포 효율의 차선책이 아니라, 대규모 스케일링과 상보적인 독립 연구 방향임을 이 결과가 시사합니다.