Multi-Resolution Flow Matching - Training-Free Diffusion Acceleration via Staged Sampling

X. Zheng, X. Liu, Y. Ding, W. Feng, J. Lin, J. Guo, and H. Qin, "Multi-Resolution Flow Matching: Training-Free Diffusion Acceleration via Staged Sampling," arXiv:2607.01642, 2026.

저자

베이항대학교(Beihang University) 복잡·임계 소프트웨어 환경 국가중점실험실의 Xingyu Zheng과 Xianglong Liu가 주도했습니다. Xianglong Liu가 책임 저자입니다. Yifu Ding이 난양공대(NTU)와 공동 참여했고, Weilun Feng은 중국과학원 AI 안전 국가중점실험실 소속으로 참여했습니다. Haotong Qin은 ETH 취리히 소속입니다. 확산 모델 가속, 슈퍼해상도, 이미지 생성 품질 평가를 모두 다루는 팀 구성이 이 논문의 성격을 잘 보여줍니다.

배경

플로우 매칭 기반 확산 모델이 텍스트-이미지 생성의 주류가 됐습니다. FLUX, Qwen-Image 같은 모델이 그 결과물입니다. 그런데 품질 향상은 필연적으로 연산 비용 증가를 수반합니다. Qwen-Image-20B는 Nvidia A100에서 \(1024 \times 1024\) 이미지를 생성하는 데 47초가 걸립니다.

가속 전략은 크게 두 계열입니다. 하드웨어에 의존하는 양자화·효율적 어텐션 계열과, 샘플링 수를 줄이는 타임스텝 증류·피처 캐싱 계열입니다. 타임스텝 증류는 \(4\times\) 이상의 가속이 가능하지만 재훈련 비용이 만만치 않습니다. 재훈련 없이 \(5\times\) 이상을 달성한 다중 해상도 전략도 있었지만, 기존 방법들은 잠재 공간에서 업샘플링을 수행해 아티팩트나 블러 문제를 피하지 못했습니다.

MrFlow는 이 두 문제를 동시에 해결합니다. 재훈련 없이 \(10\times\)를 달성하면서, 업샘플링을 픽셀 공간에서 처리해 품질 저하를 최소화합니다.

어떻게 만들었나

MrFlow의 핵심 관찰은 단순합니다. 노이즈 제거 초반 스텝은 전역 구조와 의미 레이아웃을 결정하고, 후반 스텝은 세부 디테일을 다듬습니다. 초반 스텝에 고해상도 처리 능력이 필요하지 않습니다.

파이프라인은 4단계로 구성됩니다.

1단계: 저해상도 잠재 공간 샘플링. 저해상도 잠재 공간에서 초기 노이즈를 샘플링합니다.

\[\mathbf{z}_1^{LR} \sim \mathcal{N}(\mathbf{0}, \mathbf{I}), \quad \mathbf{z}_1^{LR} \in \mathbb{R}^{C \times H_L \times W_L}\]

이후 \(K_L = 12\)스텝 오일러 적분으로 클린 잠재값을 얻습니다.

\[\mathbf{z}_0^{LR} = \Phi_{\mathbf{v}_\theta, \mathbf{c}}^{K_L}(\mathbf{z}_1^{LR})\]

저해상도 단계는 두 가지 이유로 고해상도보다 빠릅니다. 첫째, 이미지 토큰 수가 각 변이 \(2\times\) 줄면 전체 연산이 \(4\times\) 감소합니다. 둘째, 저해상도에서는 필요한 스텝 수 자체가 줄어듭니다. 10 저해상도 스텝 + 1 고해상도 스텝 조합이 11 고해상도 스텝보다 품질이 높으면서 지연시간은 절반 이하입니다.

2단계: 픽셀 공간 슈퍼해상도. VAE 디코더로 픽셀 이미지를 얻은 뒤, Real-ESRGAN으로 픽셀 공간에서 \(2\times\) 업샘플링합니다.

\[\mathbf{x}_{SR} \leftarrow U(\mathbf{x}_{LR}), \quad \mathbf{x}_{SR} \in \mathbb{R}^{3 \times H_H^{\text{px}} \times W_H^{\text{px}}}\]

잠재 공간 업샘플링 대신 픽셀 공간 GAN을 선택한 이유가 있습니다. 자연 이미지의 엣지, 질감, 파워 스펙트럼 사전(prior)이 픽셀 도메인에 내재해 있기 때문입니다. VAE 인코더는 고주파 성분을 자연스럽게 감쇠시키므로, 픽셀 공간에서 슈퍼해상도 후 인코딩하면 잠재 공간 업샘플링보다 구조 보존력이 높습니다.

3단계: 약한 노이즈 주입. GAN 슈퍼해상도가 만들어낸 국소적 아티팩트를 제거하기 위해, VAE 재인코딩 후 낮은 강도의 노이즈를 주입합니다.

\[\mathbf{z}_t^{HR} = (1 - \sigma_t)\mathbf{z}_0^{SR} + \sigma_t \epsilon, \quad \epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})\]

\(\sigma_t \in [0.1, 0.15]\)의 작은 값을 사용합니다. 노이즈 강도의 하한은 클린 잠재값의 고주파 파워 \(\lambda_{\text{hf}}\)로부터 유도됩니다.

\[\sigma_t \geq \sigma_t^* = \frac{\sqrt{\lambda_{\text{hf}}}}{1 + \sqrt{\lambda_{\text{hf}}}}\]

이 부등식은 SR 오류가 주로 고주파 방향에 국한되어 있을 때 성립합니다. 저주파 구조는 저해상도 단계에서 이미 결정돼 있으므로 건드리지 않습니다.

4단계: 단 1스텝 고해상도 정제.

\[\mathbf{z}_0^{HR} = \Phi_{\mathbf{v}_\theta, \mathbf{c}}^{K_H}(\mathbf{z}_t^{HR}), \quad K_H = 1\]

클린 이미지에 가까운 타임스텝에서는 속도 필드 크기가 작아 단일 스텝 오일러 오차가 매우 작습니다. SD3의 타임스텝 이동 특성에서 알려진 현상으로, \(s = 0.1\)에서 단일 스텝 CLIP 일관성이 8스텝 기준 대비 0.9999 중 0.9974에 달합니다.

결과

실험은 FLUX.1-dev와 Qwen-Image-20B에서 \(1024 \times 1024\) 해상도로 진행했으며, Geneval, DPG-Bench, OneIG-Bench로 평가했습니다. 모든 속도는 단일 Nvidia A100에서의 종단간 실측값입니다.

재훈련 없는 가속 비교 (FLUX.1-dev 기준):

MrFlow (20,1)은 기존 최고 재훈련-없는 방법보다 \(1.25\times\) 더 빠르면서 Geneval에서 우위를 보입니다. Qwen-Image에서 MrFlow (12,1) 설정은 10.3× 가속을 달성하면서 Geneval 0.86, OneIG 0.52를 유지합니다.

타임스텝 증류 모델과 결합하면 성능이 더 올라갑니다. Pi-Flow와 결합한 MrFlow†는 Qwen-Image에서 25.1× 가속을 달성하면서 Geneval 0.85, OneIG-En 0.52를 유지합니다. 네이티브 50스텝 대비 1% 이내 품질 손실입니다.

회고

저자들이 밝히는 한계는 두 가지입니다.

첫째, SR 모델이 학습 분포를 벗어난 경우의 아티팩트 문제입니다. 저해상도 이미지가 SR 모델의 학습 분포와 다른 텍스처를 포함할 때, 노이즈 주입 강도 \(\sigma_t\)를 높여야 하는데 그러면 저해상도 단계에서 확보한 유용한 SR 디테일이 씻겨 나갑니다. 이 전제는 SR 출력이 국소적으로 그럴듯하고 잔차 오류가 주로 고주파에 국한될 때만 성립합니다.

둘째, 현재 파이프라인이 단일 SR 모델(Real-ESRGAN \(2\times\))에 고정됩니다. 더 다양한 SR 선택지와의 비교, 또는 학습 없이 SR을 내재화하는 방향의 탐색이 후속 연구 과제입니다.

정리

1. 플로우 매칭 확산 모델의 초반 스텝은 고해상도 처리 능력이 필요하지 않습니다. 이 관찰이 \(10\times\) 재훈련-없는 가속의 출발점입니다.
2. 업샘플링을 잠재 공간이 아닌 픽셀 공간에서 GAN으로 수행하면 아티팩트를 피하면서 구조 보존력을 높일 수 있습니다.
3. 타임스텝 증류 모델과 직교적으로 결합할 수 있어 최대 \(25\times\)까지 확장됩니다. 재훈련이 필요한 증류 방법과 재훈련이 필요 없는 다중 해상도 방법이 겹치지 않는 이유입니다.