OrbitQuant - Data-Agnostic Quantization for Image and Video Diffusion Transformers
D. Lee, J. Chavan, D. Nguyen, S. Huang, L. Jiang, P. Panda, T. Mertens, and S. Shukla, "OrbitQuant: Data-Agnostic Quantization for Image and Video Diffusion Transformers," arXiv:2607.02461, 2026.
저자
교신저자는 Saurabh Shukla(Cantina Labs)와 Donghyun Lee(USC)입니다. Donghyun Lee는 Cantina Labs 인턴십 중에 이 작업을 수행했으며, USC의 Priyadarshini Panda 교수 랩에 소속돼 있습니다. Jitesh Chavan, Sam Huang, Liming Jiang, Timo Mertens는 Cantina Labs, Duy Nguyen은 UIUC 겸 Cantina Labs입니다.
Cantina Labs는 영상·이미지 생성 모델의 효율적인 배포에 집중하는 산업 연구소입니다. 이 팀이 DiT 양자화를 연구하게 된 자연스러운 동기는 자사 제품에서 직접 FLUX와 Wan 계열 모델을 실행해야 하는 배포 압력입니다.
배경
Diffusion Transformer(DiT)는 이미지·영상 생성의 표준이 됐지만 추론이 비쌉니다. LLM 추론과 달리 DiT는 배치 1에서도 컴퓨팅이 병목이므로 가중치만 양자화해선 속도가 안 나옵니다. 가중치와 활성화를 동시에 양자화해야 메모리와 연산 양쪽을 줄일 수 있습니다.
LLM PTQ는 이미 활성화 이상값(outlier)을 스케일이나 회전으로 처리하는 방법이 성숙해 있습니다. 그런데 DiT는 LLM과 다릅니다. DiT의 활성화는 타임스텝마다, 프롬프트마다, 분류기 자유 유도(CFG) 조건·비조건 분기마다 분포가 달라집니다. 기존 DiT PTQ 방법(SVDQuant, AdaTSQ, ViDiT-Q)은 이 드리프트를 캘리브레이션 데이터로 흡수하기 때문에 새 체크포인트, 새 해상도, 새 모달리티마다 캘리브레이션 세트를 다시 수집해야 합니다.
OrbitQuant는 이 드리프트를 아예 제거합니다. 활성화를 회전된 정규화 기저로 옮기면 어떤 입력이 들어와도 좌표가 하나의 고정된 분포를 따릅니다. 그 분포를 알면 코드북을 오프라인으로 한 번만 만들면 됩니다.
방법
OrbitQuant의 핵심 아이디어는 세 단계입니다.
1. DiT 활성화는 캘리브레이션할 수 없다. 타임스텝 \(t = 0\)과 \(t = 49\)의 활성화 분포는 확연히 다릅니다. CFG의 조건부·비조건부 분기도 마찬가지입니다. 어느 한 집합으로 피팅한 스케일은 다른 타임스텝에서 빗나갑니다.
2. RPBH 회전이 분포를 고정한다. Randomized Permuted Block-Hadamard(RPBH) 회전 \(\Pi_d\)는 임의 입력 \(x\)를 정규화 후 회전해 좌표를 고정 분포 \(f_d \approx \mathcal{N}(0, 1/d)\)에 수렴시킵니다. 이 수렴은 입력에 무관합니다. RPBH는 \(O(d \log h)\) 변환을 허용하며, 밀집 Haar 회전(\(O(d^2)\))보다 26배 빠릅니다. 순열 \(P_\pi\)를 데이터 기반이 아닌 균일 무작위로 뽑아도 Proposition 1의 분산 집중 보장을 통해 저비트에서도 분포가 잘 유지됩니다.
3. 단일 Lloyd-Max 코드북이 전체를 커버한다. \(f_d\)가 고정돼 있으므로 차원 \(d\)와 비트폭 \(b\)별 MSE 최적 Lloyd-Max 코드북 \(\mathcal{C}_{d,b}\)를 오프라인으로 한 번 계산합니다. 이 코드북이 모든 레이어, 모든 타임스텝, 모든 프롬프트, 이미지와 영상 DiT 모두에 동일하게 사용됩니다.
가중치는 오프라인에서 \(W' = W\Pi_d^\top\)으로 회전한 뒤 Lloyd-Max로 양자화합니다. 추론 시에는 활성화 \(x\)에 \(\Pi_d\)를 적용하면 두 회전이 행렬 곱 안에서 서로 상쇄됩니다(\(\hat{W}'\hat{x}' \approx W\Pi_d^\top \Pi_d x = Wx\)). 런타임에는 순방향 RPBH 회전 한 번만 남습니다.
AdaLN 조절 프로젝션은 타임스텝 의존 스케일-시프트를 출력하므로 회전을 인접 가중치로 흡수할 수 없습니다. 이 레이어는 INT4 RTN으로 따로 처리합니다.
결과
이미지 생성 (GenEval)
FLUX.1-schnell, FLUX.1-dev, Z-Image-Turbo 세 모델에서 평가했습니다.
모델 |
방법 |
비트 |
Single ↑ |
Two ↑ |
Count ↑ |
Colors ↑ |
Position ↑ |
Color Attr ↑ |
Overall ↑ |
|---|---|---|---|---|---|---|---|---|---|
FLUX.1-schnell |
FP16 |
16/16 |
0.997 |
0.884 |
0.600 |
0.742 |
0.275 |
0.488 |
0.664 |
AdaTSQ |
W4A4 |
0.997 |
0.894 |
0.622 |
0.793 |
0.278 |
0.498 |
0.680 |
|
OrbitQuant |
W4A4 |
0.991 |
0.881 |
0.706 |
0.803 |
0.323 |
0.512 |
0.703 |
|
QuaRot |
W2A4 |
0.006 |
0.000 |
0.000 |
0.000 |
0.000 |
0.000 |
0.001 |
|
ViDiT-Q |
W2A4 |
0.006 |
0.000 |
0.000 |
0.000 |
0.000 |
0.000 |
0.001 |
|
OrbitQuant |
W2A4 |
0.972 |
0.697 |
0.575 |
0.766 |
0.198 |
0.420 |
0.604 |
|
FLUX.1-dev |
FP16 |
16/16 |
0.984 |
0.823 |
0.769 |
0.771 |
0.203 |
0.450 |
0.667 |
AdaTSQ |
W4A4 |
0.981 |
0.770 |
0.640 |
0.708 |
0.260 |
0.350 |
0.618 |
|
OrbitQuant |
W4A4 |
0.988 |
0.768 |
0.691 |
0.755 |
0.178 |
0.420 |
0.633 |
|
OrbitQuant |
W2A4 |
0.956 |
0.424 |
0.481 |
0.678 |
0.110 |
0.203 |
0.475 |
|
Z-Image-Turbo |
FP16 |
16/16 |
1.000 |
0.907 |
0.709 |
0.859 |
0.468 |
0.583 |
0.754 |
AdaTSQ |
W4A4 |
0.994 |
0.891 |
0.681 |
0.872 |
0.520 |
0.613 |
0.762 |
|
OrbitQuant |
W4A4 |
0.997 |
0.889 |
0.781 |
0.888 |
0.450 |
0.598 |
0.767 |
|
OrbitQuant |
W2A4 |
0.703 |
0.194 |
0.275 |
0.500 |
0.128 |
0.113 |
0.319 |
W4A4에서 OrbitQuant는 FP16 대비 손실이 없거나 오히려 높은 Overall을 기록하며 모든 PTQ 베이스라인을 앞섭니다. W2A4에서는 QuaRot, SmoothQuant, ViDiT-Q가 세 모델 모두 Overall \(\approx 0.001\)로 붕괴하는 반면 OrbitQuant만 생성 가능한 품질을 유지합니다. W2A4 전 세계 최초 사용 가능한 이미지 DiT PTQ입니다.
영상 생성 (VBench)
Wan 2.1-1.3B와 CogVideoX-2B에 동일한 레시피를 적용했습니다.
모델 |
방법 |
비트 |
Imaging Qual ↑ |
Aesthetic ↑ |
Motion Smooth ↑ |
Dynamic Deg ↑ |
Overall Consist ↑ |
|---|---|---|---|---|---|---|---|
Wan 2.1-1.3B |
Full Prec. |
16/16 |
64.30 |
58.21 |
97.37 |
70.28 |
24.67 |
ViDiT-Q |
W4A6 |
56.24 |
50.18 |
94.81 |
52.43 |
19.58 |
|
OrbitQuant |
W4A6 |
61.25 |
56.08 |
97.76 |
59.78 |
24.35 |
|
OrbitQuant |
W4A4 |
58.58 |
53.41 |
97.42 |
53.89 |
23.86 |
|
CogVideoX-2B |
Full Prec. |
16/16 |
59.15 |
54.49 |
97.43 |
67.78 |
25.06 |
OrbitQuant |
W4A6 |
55.59 |
54.42 |
97.02 |
57.50 |
24.55 |
|
OrbitQuant |
W4A4 |
52.62 |
51.66 |
96.99 |
42.78 |
23.86 |
두 영상 모델 모두 W4A6과 W4A4에서 PTQ 기준 최고 Overall Consistency를 기록합니다.
레이턴시와 메모리
FLUX.1-dev(H100, 1024\(^2\), 50스텝) 기준 가중치+활성화 양자화 방법 중 OrbitQuant의 오버헤드가 가장 낮습니다. SmoothQuant가 BF16 대비 1.09\(\times\), QuaRot 1.28\(\times\), ViDiT-Q 1.40\(\times\)인데 OrbitQuant는 그보다 낮습니다. 활성화 양자화가 고정 코드북의 최근접 중심 조회로 끝나기 때문입니다. 이미지에서 피크 메모리도 BF16과 동일합니다.
회고
저자들이 명시한 사항입니다. 현재 평가는 모두 fake quantization(가중치·활성화를 BF16으로 역양자화한 뒤 행렬곱)입니다. 실제 저비트 커널이 없어 측정된 것은 양자화 품질 오버헤드일 뿐, 실제 하드웨어 속도향상은 제시하지 않습니다.
또한 Table 3의 회전 클래스 비교에서 W3A3 기준 Block-RHT(순열 없는 RPBH)가 0.642로 가장 낮고 RPBH가 0.674인 반면 Full RHT는 0.672입니다. 순열의 기여가 실험적으로 확인되지만 W4A4에서는 네 회전이 노이즈 범위 안에 있습니다.
AdaLN 조절 레이어는 타임스텝 의존성 때문에 OrbitQuant 방식을 적용할 수 없어 INT4 RTN으로 처리합니다. 이 레이어가 FLUX 아키텍처 전체 가중치의 27%를 차지해, BF16으로 유지하면 압축비가 \(4\times\)에서 \(2.21\times\)로 줄어듭니다. W2로 내리면 FLUX.1-dev와 -schnell이 붕괴합니다.
정리
- DiT 활성화의 타임스텝·프롬프트별 드리프트를 RPBH 회전으로 고정 분포로 수렴시키고, 단일 Lloyd-Max 코드북으로 캘리브레이션 없이 가중치와 활성화를 동시에 양자화합니다.
- GenEval W4A4에서 FP16과 동등하거나 더 높은 Overall을 기록하며, W2A4에서 모든 기존 PTQ 방법이 \(\approx 0.001\)로 붕괴할 때 유일하게 생성 가능한 품질(0.604~0.319)을 유지합니다. 이미지와 영상 DiT에 동일한 레시피가 무조정으로 전이됩니다.
- 실제 저비트 하드웨어 속도향상 미검증과 AdaLN 레이어의 RPBH 미적용이 남은 한계입니다.