Weak-to-Strong Generalization via Direct On-Policy Distillation

S. Feng, H. Zhou, W.-Y. Ma, Y.-Q. Zhang, et al., "Weak-to-Strong Generalization via Direct On-Policy Distillation," arXiv:2607.05394, 2026.

검증가능 보상 강화학습(RLVR)은 수학이나 코드처럼 정답을 채점할 수 있는 과제에서 큰 모델의 추론 능력을 끌어올리는 표준 도구가 됐습니다. 문제는 비용입니다. 모델을 키울 때마다 그 큰 모델 위에서 강화학습을 처음부터 다시 돌려야 합니다. Tsinghua AIR와 ByteDance Seed 연구진이 낸 이 논문은 그 재실행을 없앨 수 있다고 주장합니다.

무엇을 이식하는가

핵심 발상은 교사 모델의 절대적인 정책을 베끼지 않는다는 데 있습니다. 대신 강화학습이 정책을 어느 방향으로 얼마나 바꿨는지, 그 변화량만 뽑아냅니다.

먼저 작은 모델에서 강화학습을 돌립니다. 강화학습 전 체크포인트와 후 체크포인트가 생기는데, 두 정책의 로그 확률 차이가 곧 강화학습이 만든 변화입니다. 이 차이를 큰 학생 모델에 암묵적 보상으로 넣고 온폴리시로 증류합니다. 학생은 교사가 무엇을 정답이라 여기는지를 통째로 외우는 대신, 강화학습이 어떤 행동을 더 하게 만들고 어떤 행동을 덜 하게 만들었는지를 배웁니다.

이렇게 하면 약한 모델에서 얻은 신호로 강한 모델을 개선하는 약대강 일반화가, 강한 모델 위에서 강화학습을 다시 돌리지 않고도 성립합니다.

결과

Qwen3-1.7B를 놓고 AIME 2024에서 정확도가 48.3%에서 58.3%로 올랐습니다. 10%포인트 차이입니다. 비용도 낮습니다. A100 여덟 장에서 네 시간 안에 끝납니다. 희소 보상 강화학습을 큰 모델에서 처음부터 돌리는 것과 비교하면 훨씬 가볍습니다.

의미는 분명합니다. 강화학습의 산물을 모델 크기마다 재생산하지 않고, 한 번 뽑아낸 정책 변화 신호를 여러 모델에 옮겨 쓸 수 있다는 것입니다.

한계

검증은 수학 추론, 그중에서도 AIME에 집중돼 있습니다. 코드나 일반 지시 따르기처럼 다른 과제로 얼마나 옮겨가는지는 이 논문만으로 단정하기 어렵습니다. 실험은 Qwen3 계열에 한정됐고, 교사와 학생이 같은 계열이라는 동질성 가정 위에 서 있습니다. 계열이 다른 모델 사이에서도 정책 변화 신호가 그대로 통하는지는 열린 질문입니다. 아직 동료 심사를 거치지 않은 프리프린트입니다.

그럼에도 강화학습 결과를 자산처럼 이식한다는 방향은 실용적입니다. 모델을 새로 낼 때마다 드는 강화학습 비용이 계속 커지는 상황에서, 변화량만 옮겨 재사용하는 방식은 비용 곡선을 눕히는 한 가지 방법입니다.

출처: Weak-to-Strong Generalization via Direct On-Policy Distillation (arXiv:2607.05394) / 프로젝트 페이지