SEED - Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning

J. Wu, S. Yang, Z. Lu, F. Zhang, Y. Shen, L. Feng, H. Luo, Z. Lian, S. Zhang, Z. Wen, and J. Tao, "SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning," arXiv:2607.14777, 2026.

에이전트 강화학습에는 고질적인 문제가 있습니다. 에피소드가 끝나야 보상이 하나 주어지는데, 그 보상은 "성공/실패"만 알려줄 뿐 중간 결정의 어느 부분이 좋았고 어느 부분이 나빴는지는 말해주지 않습니다. 수십 단계에 걸친 행동 중 단 하나의 숫자로만 평가받는 셈입니다.

SEED는 이 문제를 다른 각도에서 풉니다. 에피소드가 끝난 뒤에는 전체 기록이 남습니다. 돌이켜 보면 어디서 실수했는지, 어떤 전략이 효과적이었는지 알 수 있습니다. SEED는 이 "사후 지식(hindsight)"을 자동으로 추출해 다시 정책 모델에 주입하는 루프를 만듭니다.

저자

Jinyang Wu가 프로젝트를 이끌었으며 Shuo Yang이 공동 1저자입니다. 두 사람 모두 Jianhua Tao 교수 지도 아래 청화대학교 자동화학과에서 에이전틱 RL을 연구하고 있습니다. Zhengxi Lu는 SEED가 직접 기반으로 삼는 SDAR 논문을 공동 개발한 저장대학교 연구자로, 이번에도 공저자로 합류했습니다. 같은 팀에서 나온 OPID를 비롯해 SPARK, SDAR까지 에이전틱 RL 방법론을 꾸준히 쌓아온 그룹입니다.

배경

에이전트 RL의 표준 방식은 GRPO 같은 결과 기반(outcome-based) 강화학습입니다. 에피소드 단위로 성공/실패를 집계해 그룹 정규화 어드밴티지를 계산하고, 이를 모든 토큰에 동일하게 적용합니다. 효과적이지만 한계가 있습니다. 보상이 트래젝토리 수준에 머물러 개별 결정 토큰에는 세밀한 감독 신호가 닿지 않습니다.

기존 보완책으로는 크게 두 방향이 있었습니다. 하나는 스킬 프롬프트를 추론 시간에 삽입하는 방식, 다른 하나는 외부 교사 모델에서 증류하는 방식입니다. 스킬 프롬프트는 배포 시 추가 컨텍스트가 필요하고, 외부 교사는 정책이 발전하면서 생겨나는 새로운 실패 패턴에 맞게 업데이트되지 않습니다. SDAR(Lu et al., 2026)가 시그모이드 게이트로 이 문제를 일부 해결했지만, 스킬 소스가 정적이라는 근본 한계는 남아 있었습니다.

SEED가 추가로 요구하는 조건은 세 가지입니다. 첫째, 온-폴리시(on-policy). 감독은 현재 정책이 만든 상태와 실패에 맞아야 합니다. 둘째, 밀집(dense). 트래젝토리 수준 힌드사이트가 개별 토큰을 안내해야 합니다. 셋째, 자기진화(self-evolving). 정책이 발전할수록 감독도 함께 발전해야 합니다.

어떻게 만들었나

SEED는 두 단계로 구성됩니다.

Stage 1: 힌드사이트 스킬 SFT

먼저 베이스 정책으로 \(M = 180\)개 훈련 태스크에서 각 \(K_0 = 8\)회 롤아웃을 수집합니다. 총 1,440개의 완성된 트래젝토리가 만들어집니다. 외부 분석기(GLM-5.2)가 각 트래젝토리를 보고 "재사용 가능한 전략", "실패 원인 및 교정 지침" 형태의 힌드사이트 스킬 \(s_\tau\)를 생성합니다. 형식 검증을 통과한 쌍 \((x_\tau, s_\tau)\)로 정책 모델을 SFT합니다. 이 단계를 거친 모델은 완성된 트래젝토리를 보고 힌드사이트 스킬을 스스로 쓸 수 있게 됩니다.

\[\mathcal{L}_{\text{sft}}(\theta) = -\mathbb{E}_{(x_\tau, s_\tau) \sim \mathcal{D}_{\text{sft}}} \left[ \sum_{\ell=1}^{|s_\tau|} \log \pi_\theta(s_{\tau,\ell} \mid x_\tau, s_{\tau,<\ell}) \right]\]

Stage 2: 자기진화 온-폴리시 증류

핵심은 하나의 모델이 두 역할을 동시에 맡는다는 것입니다. 현재 정책 스냅샷 \(\pi_{\theta_{\text{old}}}\)가 환경과 상호작용해 트래젝토리를 만들고(액터), 같은 스냅샷이 그 트래젝토리를 분석해 힌드사이트 스킬을 추출합니다(분석기). 정책이 업데이트되면 다음 이터레이션에서 스냅샷도 갱신됩니다. 행동과 분석이 같은 속도로 진화하는 루프입니다.

증류 신호는 다음과 같이 만들어집니다. 샘플링된 행동 \(a_{q,n,t}\)를 두 가지 컨텍스트에서 재채점합니다.

• 교사 분기: 힌드사이트 스킬 \(s_q^{(n)}\)이 삽입된 컨텍스트 \(\tilde{h}_{q,n,t}\) 아래의 로그 확률
• 학생 분기: 원래 상호작용 이력 \(h_{q,n,t}\) 아래의 로그 확률

두 로그 확률의 차이 \(\Delta_{q,n,t,\ell}\)가 스킬이 해당 토큰을 얼마나 지지하는지 나타냅니다. 이를 시그모이드 게이트 \(g = \sigma(\beta_{\text{opd}} \cdot \Delta)\)로 변환해 가중치를 줍니다. OPD 손실은 다음과 같습니다.

\[\mathcal{L}_{\text{opd}}(\theta) = \mathbb{E}_{q,n,t,\ell} \left[ m_{q,n,t,\ell} \cdot g_{q,n,t,\ell} \cdot \text{sg}\!\left[\ell^{\text{skill}}_{q,n,t,\ell} - \ell^\theta_{q,n,t,\ell}\right] \right]\]

결과적으로 이 손실은 교사가 지지하는 온-폴리시 토큰의 확률을 높이는 가중 음의 로그 우도와 동치입니다. 최종 학습 목표는 GRPO 기반 RL 손실과의 합입니다.

\[\mathcal{L}_{\text{SEED}}(\theta) = \mathcal{L}_{\text{rl}}(\theta) + \lambda_{\text{opd}} \mathcal{L}_{\text{opd}}(\theta)\]

추론 시에는 분석기를 제거합니다. 스킬 뱅크도, 검색 모듈도, 추가 프롬프트도 필요 없습니다.

결과

세 가지 벤치마크(ALFWorld, Search-based QA, WebShop)에서 Qwen2.5-3B/7B, Qwen3-1.7B 세 백본으로 평가했습니다.

Qwen2.5-3B-Instruct 기준. GRPO 대비 ALFWorld +16.8pt, WebShop 성공률 +15.6pt.

GRPO 대비 개선폭은 모델 크기에 따라 달라집니다. 3B 모델에서는 ALFWorld 평균 +16.8점, 7B에서는 +14.9점, 1.7B에서는 무려 +45.9점입니다. 가장 작은 모델에서 개선이 두드러지는 것은 SEED의 밀집 감독이 희소 보상으로 학습하기 어려운 소형 모델에게 특히 유효하기 때문입니다.

세 가지 추가 분석이 이 해석을 뒷받침합니다.

샘플 효율. SEED는 훈련 데이터 60%로 GRPO의 100% 성능(75.0점)을 초과합니다(80.7점). 트래젝토리당 더 많은 정보를 추출하기 때문입니다.

크로스 도메인 일반화. ALFWorld 비공개 분할(unseen)에서 GRPO 70.9% 대비 SEED 86.2%, +15.3점 차이입니다. 특히 Heat 태스크에서 +35.0점으로 가장 큰 격차를 보입니다.

훈련 동역학. 40번째 업데이트 시점에 SEED는 이미 약 57% 성공률을 달성하지만 GRPO는 35%에 머뭅니다. 에피소드 길이도 SEED가 더 빠르게 줄어듭니다(28턴 → 13턴 vs. GRPO 16턴). 짧은 에피소드가 높은 성공률과 함께 나타난다는 것은 불필요한 탐색이 줄었다는 신호입니다.

회고

애블레이션이 가장 큰 단서를 줍니다. 세 구성 요소를 하나씩 제거했을 때의 ALFWorld 평균 성능 변화입니다.

가장 큰 하락은 "온-폴리시 스킬"을 정적 오프라인 스킬 라이브러리로 교체했을 때입니다. 즉, 감독의 출처가 현재 정책 자신의 트래젝토리여야 한다는 점이 가장 중요합니다.

저자들이 솔직하게 인정하는 한계도 있습니다. Stage 1 SFT에서 외부 분석기(GLM-5.2)에 의존하므로, 이 분석기의 품질이 힌드사이트 스킬의 품질을 제약합니다. 또한 이론적 분석(부록 A)은 SEED 업데이트가 온-폴리시, 밀집, 자기진화 속성을 갖는다는 것을 형식화하지만, 이것이 단조로운 성능 향상을 보장하지는 않는다고 명시합니다. 생성된 힌드사이트 스킬이 행동적으로 유익해야 한다는 전제가 추가로 필요합니다.

정리

• SEED는 완성된 트래젝토리를 힌드사이트 스킬로 변환해 정책 모델에 토큰 수준으로 재증류합니다. 보상 신호가 희소한 장기 에이전트 RL에서 밀집 감독을 얻는 방법입니다.
• 핵심은 "자기진화 루프"입니다. 분석기와 액터가 같은 모델을 공유하므로 정책이 발전할수록 힌드사이트 감독도 자동으로 적응합니다. 추론 시에는 이 구조가 완전히 제거되어 추가 비용이 없습니다.
• 소형 모델(1.7B)에서 GRPO 대비 +45.9점이라는 큰 격차는 밀집 감독의 효과가 모델 용량이 낮을수록 두드러진다는 것을 보여줍니다. 에이전틱 RL의 실용화 문턱을 낮추는 방향의 연구입니다.