Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation

B. Li, H. Wang, H. Xiong, F. Wu, et al., "Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation," arXiv:2607.24731, 2026.

저자

저자 여덟 명 전원이 알리바바 Qwen 사업부(Qwen Business Unit) 소속입니다. 1저자는 리빈난, 교신저자는 류자밍입니다.

리빈난은 UC 샌디에이고 Zhuowen Tu 그룹에서 OverLayBench를 1저자로 냈던 연구자입니다. 바운딩 박스가 크게 겹칠 때 레이아웃-투-이미지 생성이 무너진다는 문제를 짚고, 그 난이도를 재는 지표를 만들어 벤치마크로 묶은 작업이었습니다. 기존 평가가 놓치는 자리를 지목하는 유형의 연구입니다.

이번 논문은 질문의 형태가 비슷합니다. 다만 대상이 평가 지표가 아니라 학습 목적함수입니다. 기존 손실이 무엇을 구속하지 못하는가를 묻습니다.

알리바바가 Qwen 브랜드 아래 언어 모델과 영상 생성(Wan 계열)을 함께 굴리고 있다는 점이 이 논문의 배경입니다. 학술적으로는 증류 목적함수 이야기지만, 실무적으로는 무거운 컨트롤 모델을 가벼운 입력만 받는 모델로 옮기는 배포 문제에 닿아 있습니다.

배경

classifier-free guidance는 요즘 확산 모델에 거의 빠짐없이 들어가 있습니다. 그런데 CFG로 노이즈를 제거할 때 쓰는 속도는 네트워크가 직접 뱉은 값이 아닙니다.

CFG는 모델을 두 번 평가합니다. 목표 텍스트 조건으로 한 번(양의 분기), 널 조건이나 네거티브 텍스트 조건으로 한 번(음의 분기)입니다. 그리고 두 속도 예측을 다음과 같이 합성합니다.

\[\tilde{v} = \gamma v^{+} + (1 - \gamma) v^{-}\]

가이던스 스케일 \(\gamma\)는 추론 시점에 고르는 배포 노브입니다. 학습이 끝나고 한참 뒤에 정해지는 값이라는 점이 중요합니다.

on-policy 증류(OPD)는 학생이 현재 정책으로 노이즈 제거 궤적을 만들게 하고, 학생이 방문한 바로 그 상태에서 교사와 학생을 평가한 뒤, 학생이 교사의 국소 속도를 따라가도록 갱신하는 방식입니다. 학생이 실제로 가는 상태를 덮는다는 점과 스텝마다 조밀한 감독이 붙는다는 점 때문에, 오프라인 증류나 스칼라 보상 최적화의 대안으로 주목받아 왔습니다. 목적함수는 이렇습니다.

\[\mathcal{L}_{\text{OPD}} = \mathbb{E}_{x^{S}_t \sim p_\theta,\, t} \left[ w(t) \left\| v_T(x^{S}_t, t, c_T) - v_S(x^{S}_t, t, c_S) \right\|_2^2 \right]\]

여기서 교사와 학생의 조건 \(c_T\), \(c_S\)가 같을 필요는 없습니다. 교사가 학생에게 없거나 일부만 주어지는 특권 정보(privileged information)를 갖고 있을 수 있습니다.

이제 CFG를 쓰는 교사를 만나면 선택지가 생깁니다. 어떤 방법은 CFG로 정의된 교사 필드를 학생의 단일 예측 하나에 흡수시켜 버립니다. 이 논문이 다루는 설정은 다릅니다. 교사와 학생 모두 원래 모델의 표준 CFG 인터페이스를 유지하고 양·음 예측을 따로 냅니다. 그러면 자연스러운 확장은 합성된 속도끼리 맞추는 것입니다.

\[\mathcal{L}_{\text{naive}} \propto \left\| \tilde{v}_T - \tilde{v}_S \right\|_2^2\]

두 분기가 그대로 남아 있으니 추론 때 다른 가이던스 스케일로 평가할 수도 있습니다. 그런데 학습 손실은 학습 시점 스케일에서의 합성만 구속합니다. 여기서 문제가 시작됩니다.

어떻게 만들었나

분기별 오차를 다음과 같이 둡니다.

\[e^{+} = v_T^{+} - v_S^{+}, \qquad e^{-} = v_T^{-} - v_S^{-}\]

이것을 합성 매칭 목적함수에 대입하면 손실이 이렇게 됩니다.

\[\mathcal{L}_{\text{naive}} = \mathbb{E}_{x^{S}_t \sim p_\theta,\, t} \left[ w(t) \left\| \gamma e^{+} + (1 - \gamma) e^{-} \right\|_2^2 \right]\]

감독된 상태에서 가이드된 예측을 맞추려면 다음 조건만 만족하면 됩니다.

\[\gamma e^{+} + (1 - \gamma) e^{-} = 0 \quad \Longleftrightarrow \quad e^{+} = \frac{\gamma - 1}{\gamma} e^{-}\]

0이 아닌 분기 오차 쌍이 무한히 많이 이 조건을 만족합니다. 두 오차가 합성된 예측을 바꾸지 않으면서 서로를 보정할 수 있다는 뜻입니다. 목적함수가 분기 수준에서 미결정 상태입니다.

모호성이 언제 해로워지는가

저자들이 조심스럽게 짚는 지점이 여기입니다. 분기 모호성이 있다는 것만으로 실패가 되지는 않습니다. 파라미터를 공유하는 갱신이 두 분기 오차를 함께 줄여 줄 수도 있기 때문입니다.

그래서 두 가지 이미지 도메인 설정을 대조해 학습 내내 양·음 분기 오차를 추적합니다.

첫 번째는 텍스트 렌더링 증류입니다. SD3.5-Medium 기반의 OCR 특화 교사를 쓰고, 교사와 학생이 양의 분기에서 같은 프롬프트를, 음의 분기에서 같은 널 조건을 받습니다.

\[c_T^{+} = c_S^{+} = y, \qquad c_T^{-} = c_S^{-} = \varnothing\]

두 번째는 참조 조건부 증류입니다. FLUX-2-klein-base-4B를 쓰고, 교사만 참조 이미지 \(r\)을 봅니다. 학생은 텍스트만 받습니다.

\[c_T^{+} = (y, r), \quad c_S^{+} = y, \qquad c_T^{-} = (\varnothing, r), \quad c_S^{-} = \varnothing\]

교사가 음의 분기에서까지 특권 정보를 쥐고 있는 구조입니다.

결과가 정반대로 갈립니다. 텍스트 렌더링 증류에서는 양의 분기만 학습시키는 조건에서도 두 오차가 함께 줄어듭니다. 양의 분기 갱신이 음의 분기도 개선한다는 뜻입니다. naive 매칭과 PDM도 같은 양상을 보입니다. 무해한 영역입니다.

참조 조건부 증류에서는 반대입니다. 양의 분기만 학습시키면 양의 오차는 줄지만 음의 오차가 눈에 띄게 커집니다. naive 매칭도 같은 길을 갑니다. 양의 오차를 줄이면서 음의 오차를 키웁니다. 저자들은 이 적대적 분기 오차 동역학을 Negative Branch Asymmetry(NBA)라고 부릅니다.

NBA가 무서운 이유는 학습 시점 가이던스 스케일에서는 숨어 있기 때문입니다. 서로 반대 방향인 두 오차가 합성된 예측 안에서 상쇄되니까요. 그런데 추론 때 가이던스 스케일이 바뀌면 두 분기가 다른 가중치로 다시 합쳐지고, 학습 때 맞춰 둔 보정이 더 이상 성립하지 않습니다. 가이던스 스케일 민감도가 NBA의 직접 관찰 가능한 결과인 셈입니다.

한 가지 더 짚어야 합니다. 가이던스 스케일을 바꿨을 때 성능이 떨어진다는 사실 자체는 NBA의 증거가 아닙니다. 교사 본인이 CFG에 본질적으로 의존할 수 있기 때문입니다. 진단 신호는 초과 열화입니다. 학생이 교사의 가이던스 스케일 거동에서 벗어나거나, 분기 인지 대응물보다 더 크게 무너지는 경우입니다.

PDM

해법은 합성 이전에 감독하는 것입니다. 모델 \(M \in \{T, S\}\)의 CFG 조건 방향을 다음과 같이 정의합니다.

\[d_M = v_M^{+} - v_M^{-}\]

주 목적함수인 Positive-Direction Matching(PDM)은 양의 예측과 조건 방향을 따로 맞춥니다.

\[\ell_{\text{PDM}} = \left\| e^{+} \right\|_2^2 + \lambda \left\| d_T - d_S \right\|_2^2 = \left\| e^{+} \right\|_2^2 + \lambda \left\| e^{+} - e^{-} \right\|_2^2\]

앞 항이 양의 예측을 고정하고, 뒤 항이 CFG 조건 방향을 보존합니다. PDM 손실이 0이 되려면 \(e^{+} = e^{-} = 0\)이어야 하므로, 합성 매칭이 갖고 있던 보정의 자유가 사라집니다.

비교군으로 Independent Branch Matching(IBM)도 함께 봅니다.

\[\ell_{\text{IBM}} = \gamma^2 \left\| e^{+} \right\|_2^2 + (\gamma - 1)^2 \left\| e^{-} \right\|_2^2\]

IBM은 전개된 naive 목적함수의 분기별 가중치는 유지하되 교차 항만 제거한 형태입니다. PDM과 마찬가지로 \(\gamma > 1\)에서 분기 수준의 유일한 영손실 해를 갖지만, 양의 예측과 조건 방향을 보존하는 대신 두 분기를 직접 맞춥니다.

감독 구간 줄이기

영상에서 전체 궤적 OPD는 비쌉니다. 모든 노이즈 제거 상태마다 교사를 평가해야 하기 때문입니다. 저자들은 학생 궤적의 앞부분만 감독해도 성능이 유지된다는 것을 독립적으로 찾았습니다.

\[\mathcal{L}^{(K)}_{\text{OPD}} = \mathbb{E}\left[ \frac{1}{K} \sum_{k=0}^{K-1} w(t_k)\, \ell(x^{S}_{t_k}, t_k) \right]\]

학생은 여전히 전체 롤아웃을 돕니다. 교사 감독만 앞 \(K\)개 상태에서 계산합니다. \(K = N\)이면 전체 궤적 감독으로 돌아갑니다.

결과

먼저 무해한 영역부터입니다. 텍스트 렌더링 증류에서 1,018개 held-out 프롬프트에 대한 OCR 보상을 가이던스 스케일별로 봅니다.

\(\gamma = 1\)에서 세 모델 모두 점수가 떨어집니다. 하지만 교사도 같이 떨어집니다. 즉 이 하락은 교사의 본질적 CFG 의존을 물려받은 것이지 증류가 만든 것이 아닙니다. 어느 목적함수도 교사 이상의 민감도를 도입하지 않았습니다.

참조 조건부 증류는 다릅니다. 교사는 가이던스 스케일이 바뀌어도 참조가 준 스타일을 유지하고 PDM도 그 거동을 바짝 따라가는데, naive 매칭은 교사에서 이탈해 시각적 왜곡과 스타일 드리프트를 보입니다. \(\gamma = 1\)에서 가장 심한데, 그 지점에서 CFG가 양의 예측만 남기기 때문입니다.

영상 컨트롤 전이

본 응용은 dense-to-sparse 영상 컨트롤입니다. Wan-VACE 기반으로, 교사는 프레임마다 조밀한 컨트롤 시퀀스를 보고 학생은 희소한 키프레임 네 개만 받습니다. OpenHumanVid에서 만든 600개 테스트 클립으로 포즈·깊이·스크리블을 평가합니다.

학습 가이던스 스케일 \(\gamma = 5\)에서의 결과입니다. 포즈 컨트롤 부분만 옮깁니다.

교사 행은 상한선이므로 굵게 표기에서 제외했습니다. 깊이 컨트롤에서도 PDM이 CORR 91.24, RMSE 11.95로 naive(90.58 / 12.39)를 앞서고, 스크리블 컨트롤에서도 F1 76.22로 naive(75.00)를 앞섭니다.

여기서 중요한 것은 이 결과가 학습 스케일과 같은 \(\gamma = 5\)에서 나왔다는 점입니다. 가이던스 스케일 이동과 무관하게, 분기 인지 감독 자체가 dense-to-sparse 지식 전이를 개선합니다. 오프 스케일 열화를 고치는 것만이 아니라는 뜻입니다.

가이던스 스케일 일반화

\(\gamma_{\text{train}} = 5\)로 학습한 포즈 전용 모델을 다른 스케일에서 평가한 결과입니다.

이 표가 논문의 핵심 증거입니다. naive는 \(\gamma = 1\)에서 FID가 14.05에서 78.20으로, FVD가 67.44에서 507.70으로 무너집니다. 각각 5.6배와 7.5배입니다. 같은 조건에서 PDM은 FID 13.83에서 15.25, FVD 58.65에서 60.97로 거의 움직이지 않습니다.

여기가 NBA 가설의 검증 지점입니다. 학습 스케일에서는 naive와 PDM의 차이가 크지 않은데, 스케일을 옮기는 순간 격차가 폭발합니다. 학습 때 상쇄로 숨겨 둔 오차가 재합성되면서 드러난 것입니다.

하이퍼파라미터

방향 매칭 가중치 \(\lambda\)는 1이 기본값입니다. \(\lambda = 0\)이면 PDM이 양의 예측만 맞추는 형태로 퇴화합니다. \(\lambda\)를 키우면 분포 품질 지표(FID, FVD)는 일부 좋아지지만 컨트롤 정확도가 떨어집니다.

감독 구간 \(K\)는 8이 기본값입니다. 학습 비용이 스텝당 \(K = 1\)에서 약 23초, \(K = 8\)에서 약 132초, 전체 궤적 감독(\(K = 50\))에서 약 790초입니다. 그런데 \(K = 50\)이 \(K = 8\)보다 오히려 나쁩니다. MPJPE 4.65 대 4.27입니다. 전체 궤적을 감독하는 것이 항상 낫지 않다는 뜻이고, 비용이 6배인데 성능도 떨어지니 실용적으로 확실한 선택입니다.

회고

저자들이 결론에서 인정한 한계가 명확합니다. PDM과 IBM은 퇴화하지 않는 가중치에서 같은 분기 수준 영손실 해를 공유합니다. 그런데 실험에서는 PDM이 대체로 낫습니다. 이 우위가 왜 생기는지는 현재 이론이 아니라 관찰입니다. 두 목적함수의 최적화 거동이 어떻게 다른지는 앞으로의 과제로 남겼습니다.

여기에 몇 가지를 더 짚고 싶습니다.

검증 범위가 좁습니다. 실용 응용은 dense-to-sparse 영상 컨트롤 하나이고, 이미지 도메인 실험 두 건은 NBA가 언제 나타나는지를 보이기 위한 진단 사례입니다. 특권 조건부 증류가 나타나는 다른 상황, 예를 들어 멀티모달 조건이나 다른 종류의 가이던스 메커니즘에서도 같은 이야기가 성립하는지는 확인되지 않았습니다. 저자들도 이 확장을 향후 과제로 적었습니다.

메인 결과와 스케일 일반화 실험의 학습 프로토콜이 다르다는 점도 유의해야 합니다. 메인 결과는 세 모달리티 공동 학습이고, 가이던스 스케일과 하이퍼파라미터 연구는 반복 학습 비용을 줄이려고 포즈 전용 모델을 씁니다. 논문이 이 점을 명시하며 두 프로토콜의 수치를 직접 비교하지 말라고 못 박습니다. 표를 옮겨 읽을 때 조심해야 하는 부분입니다.

그럼에도 이 논문의 구조는 견고합니다. 문제를 식으로 정확히 정의하고(\(\gamma e^{+} + (1-\gamma) e^{-} = 0\)이 무한히 많은 해를 갖는다), 그 모호성이 언제 무해하고 언제 해로운지를 대조 실험으로 가르고, 해로운 경우를 잡는 목적함수를 제안하고, 그 효과가 드러나는 관찰 가능한 지표(가이던스 스케일 이동 시 초과 열화)를 제시합니다. 주장과 증거의 대응이 깔끔합니다.

한 가지 실용적 함의를 덧붙이면, 이 논문은 배포 시점에 정해지는 노브가 학습 목적함수를 어떻게 오염시키는지를 보여 주는 사례이기도 합니다. \(\gamma\)는 학습이 끝난 뒤에 사용자가 돌리는 값인데, 학습 손실이 특정 \(\gamma\)에서의 합성만 구속하면 나머지 \(\gamma\)에서의 거동은 정의되지 않은 채 남습니다. 추론 시점 하이퍼파라미터가 있는 다른 시스템에도 같은 질문을 던져 볼 수 있습니다.

정리

CFG를 쓰는 확산 모델을 on-policy로 증류할 때 합성된 속도만 맞추면, 양의 분기 오차와 음의 분기 오차가 서로 상쇄돼 학습 목적이 분기 수준에서 결정되지 않습니다. 조건을 만족하는 오차 쌍이 무한히 많습니다.

이 모호성은 교사와 학생이 음의 분기 조건을 공유할 때는 무해합니다. 두 오차가 함께 줄어들기 때문입니다. 하지만 교사가 음의 분기에 특권 정보를 쥐고 있으면 적대적 동역학이 생깁니다. 양의 오차가 줄면서 음의 오차가 커집니다. 이것이 Negative Branch Asymmetry이고, 학습 스케일에서는 숨어 있다가 추론 가이던스 스케일이 바뀌면 드러납니다. 포즈 컨트롤 실험에서 naive OPD의 FVD가 \(\gamma = 5\)의 67.44에서 \(\gamma = 1\)의 507.70으로 무너지는 것이 그 결과입니다.

해법은 합성 이전에 감독하는 것입니다. 양의 예측과 CFG 조건 방향을 따로 구속하면 영손실 해가 \(e^{+} = e^{-} = 0\) 하나로 고정됩니다. 같은 조건에서 PDM은 FVD 58.65에서 60.97로 거의 흔들리지 않고, 학습 스케일에서의 컨트롤 정확도 자체도 SFT와 오프폴리시 증류를 앞섭니다.