PerceptionDLM - Parallel Region Perception with Multimodal Diffusion Language Models

Y. Sun, Y. Wang, J. Li, Y. Tian, et al., "PerceptionDLM: Parallel Region Perception with Multimodal Diffusion Language Models," arXiv:2606.19534, 2026.

멀티모달 모델에게 사진 한 장을 주고 "이 영역, 저 영역, 그리고 저쪽 영역을 각각 설명해줘"라고 하면, 지금까지의 모델은 영역을 하나씩 차례로 처리했습니다. 영역이 다섯 개면 다섯 번, 열 개면 열 번 돌려야 합니다. 자기회귀(autoregressive) 생성의 구조적 한계입니다. PerceptionDLM은 이 순차성을 정면으로 공격합니다. 확산 언어 모델의 병렬 디코딩 특성을 살려, 여러 영역의 설명을 단 한 번의 디노이징 과정에서 동시에 만들어냅니다.

저자

베이징대학교 MSALab과 ByteDance가 함께 만들었고, 일부 저자는 ByteDance 인턴십 기간에 작업했습니다. 공동 1저자는 Yueyi Sun과 Yuhao Wang입니다. Yueyi Sun은 SAM2와 LLaVA를 결합한 Sa2VA의 공저자로, 이미지·비디오의 밀집 그라운딩을 다뤄온 멀티모달 인식 연구자입니다.

저자 명단에는 확산 모델 쪽에서 익숙한 이름들이 보입니다. Ling Yang은 확산 모델 대표 서베이를 공저하고 MMaDA·ReasonFlux 같은 확산-추론 작업을 이어온 연구자로 현재 프린스턴대학교 포스닥입니다. Jinbin Bai는 싱가포르국립대학교 Show Lab에서 마스크드 생성 모델과 통합 멀티모달 생성을 연구하며 Muddit·Meissonic을 발표했습니다. 교신저자는 베이징대학교 MSALab을 이끄는 Yunhai Tong 교수입니다.

확산 기반 생성을 깊게 다뤄온 팀이, 그 병렬성을 "인식" 태스크로 끌고 온 셈입니다. 생성 모델의 장점을 인식에 이식하는 시도라는 점에서 저자 구성이 자연스럽습니다.

배경

멀티모달 대형 언어 모델(MLLM)은 이미지 단위 이해에서는 이미 뛰어납니다. 문제는 한 이미지 안의 특정 영역들을 세밀하게 설명해야 하는 영역 단위 캡셔닝입니다. 자율주행·로보틱스·문서 이해처럼 "이 부분은 무엇이고 저 부분은 무엇인지"를 동시에 알아야 하는 응용에서 핵심 능력입니다.

기존 접근은 거의 모두 자기회귀입니다. 영역 \(R_i\) 하나에 대해 설명 \(y_i = f(I, R_i)\)를 토큰 단위로 순차 생성합니다. 영역 수가 늘면 추론 비용과 지연이 선형으로 커집니다. DAM(Describe Anything)이나 GAR 같은 강력한 영역 캡셔닝 모델들도 이 구조에서 자유롭지 못합니다.

한편 확산 언어 모델(DLM)이 자기회귀의 대안으로 떠올랐습니다. LLaDA 계열은 텍스트 생성을 마스크 디노이징 과정으로 보고, 비자기회귀 생성과 토큰 단위 병렬성을 자연스럽게 얻습니다. 그런데 확산 기반 비전-언어 모델을 세밀한 영역 인식으로 확장하는 일은 잘 풀리지 않았습니다. 기존 멀티모달 확산 모델은 세밀한 인식 능력이 약했고, 여러 영역을 동시에 처리하는 잠재력은 거의 탐구되지 않았습니다. PerceptionDLM은 정확히 이 빈자리를 노립니다. "강한 인식 품질을 유지하면서 영역 조건부 캡셔닝의 실용적 병렬성을 풀 수 있는가"가 이 논문의 질문입니다.

어떻게 만들었나

먼저 토대가 되는 베이스 모델을 세운 뒤, 그 위에 병렬 영역 인식 메커니즘을 얹는 2단 구조입니다.

PerceptionDLM-Base. 확산 언어 모델을 비주얼 인스트럭션 튜닝으로 멀티모달까지 확장한 베이스 모델입니다. 비전 인코더로 SigLIP-2를, 디코더로 LLaDA-8B를 쓰고, 2층 MLP 커넥터가 시각 특징을 텍스트 임베딩 공간으로 투영합니다. 학습 시 확산 forward 과정을 타깃 응답 토큰에만 적용하고, 이미지 표현과 인스트럭션 토큰은 조건으로 보존합니다. 손실은 마스크된 타깃 토큰만 예측하는 형태입니다.

\[\mathcal{L}_{\text{Base}} = -\mathbb{E}_{(X_v, X_q, X_a),\, t,\, x_t}[\frac{1}{t}\sum_{i \in \mathcal{M}_a} \log p_\theta(x_0^i \mid x_t, H_v, X_q)]\]

여기서 \(\mathcal{M}_a\)는 타깃 응답 \(X_a\) 안에서 마스크된 토큰의 인덱스입니다. 고해상도 이미지는 \(512 \times 512\) 타일 격자로 동적 분할하고, 타일이 여럿이면 원본 썸네일을 끝에 덧붙입니다. 학습은 4단계입니다. 비전-언어 정렬, 대규모 중간 학습(지식 주입), 22M 규모 인스트럭션 튜닝, 그리고 Honey-Data-15M으로 하는 고품질 SFT 정제입니다.

병렬 영역 인식. 베이스 위에 세 가지 장치를 더합니다.

• RoI 정렬 특징 재생: 각 영역 마스크에서 비전 인코더가 국소 시각 특징을 뽑아 플레이스홀더 토큰으로 투영합니다. 전처리 단계에서 각 플레이스홀더가 해당 영역의 RoI 특징 토큰 집합으로 확장됩니다.
• 영역 프롬프팅: 영역 \(R_i\)마다 학습 가능한 임베딩 \(e_i\)를 두어 영역별 시각 프롬프트로 씁니다. 이 임베딩이 마스크된 영역에 대응하는 시각 토큰과 융합되어, 모델이 서로 다른 영역을 구분하도록 안내합니다.
• 구조적 어텐션 마스킹: 확산 모델은 모든 영역의 토큰을 동시에 디노이징하므로, 영역 간 간섭이 핵심 난제입니다. 영역 \(R_i\)의 토큰은 (1) 전역 시각 토큰, (2) 공유 텍스트 프롬프트 토큰, (3) 자기 영역의 RoI 특징 토큰, (4) 같은 영역 캡션 구간의 토큰에만 어텐션하도록 제한합니다. 다른 영역의 RoI·캡션 토큰으로 가는 어텐션은 차단합니다.

이 블록 단위 어텐션 패턴이 전역 맥락은 공유하면서 영역 단위 독립성을 강제합니다. 그 결과 여러 영역을 한 디노이징 과정에서 정확하게 병렬 캡셔닝할 수 있습니다.

학습 데이터. 병렬 영역 캡셔닝을 위해 단일 이미지·다중 마스크 데이터 ParaCaption-5.7M을 직접 구축했습니다. SA-1B와 COCONut 세그멘테이션 데이터셋이 원천입니다. SA-1B에서는 완전히 가려진(part-level) 마스크를 걸러낸 뒤 GAR-8B로 초기 설명을 만들고, LLM으로 핵심 카테고리를 뽑은 다음 SAM3로 마스크를 재예측해 IoU가 낮은 표본을 버립니다. COCONut에서는 GAR-8B로 초기 설명을 만들고 Qwen3-8B로 카테고리 일치 여부를 판정합니다. 최종적으로 COCONut에서 33.4만 이미지·3.4M 마스크, SA-1B에서 8.3만 이미지·2.3M 마스크를 얻었습니다.

무엇으로 평가하나

품질과 효율을 함께 재는 벤치마크가 없어서, 단일 영역 평가인 DLC-Bench를 다중 영역으로 확장한 ParaDLC-Bench를 새로 만들었습니다. 참조 없이(reference-free) LLM을 심사위원으로 쓰는 방식인데, 평가 초점을 영역 내부 정확도에서 영역 간 독립성·간섭 방지로 넓혔습니다.

질문은 두 종류입니다. 긍정 질문은 대상 마스크 고유 속성을 맞히면 득점하고 사실 오류엔 감점합니다. 부정·간섭 질문은 다중 대상 시나리오에서 모델이 다른 동시 마스크의 특징을 현재 대상 설명에 환각으로 끌어오는지(속성 얽힘)를 검사합니다. 교차 영역 환각을 피하면 득점, 아니면 감점입니다. 전문가가 여러 차례 교차 검증한 2,345개 질문으로 구성했고, 심사 LLM을 바꿔도(Qwen3.5-27B, Gemini-3.1-Pro 등) 순위가 안정적임을 확인했습니다.

결과

먼저 베이스 모델부터 보겠습니다. PerceptionDLM-Base는 16개 멀티모달 벤치마크 중 15개에서 LLaDA-V를 앞섭니다.

세밀한 영역 인식·환각 강건성(HallusionBench)·실세계 인식(RealWorldQA)에서 자기회귀 모델인 Qwen2.5-VL까지 넘어서는 대목이 눈에 띕니다. 다만 MMMU·MathVista 같은 복잡한 추론에서는 격차가 남습니다. 저자들은 임의 순서 병렬 디코딩이 확산 언어 모델의 추론 잠재력을 근본적으로 제약한다고 보고, 이 평가에서는 자기회귀 순서 디코딩을 채택했습니다.

핵심은 병렬 캡셔닝 결과입니다. ParaDLC-Bench에서 PerceptionDLM은 확산 VLM 가운데 압도적입니다.

확산 VLM 안에서 PerceptionDLM의 62.4%는 LLaDA-V(35.2%)와 SDAR-VL(31.3%)을 거의 두 배로 앞섭니다. 자기회귀 모델(GAR 69.5, DAM 69.2)보다는 정확도가 약간 낮지만, 전체 추론 시간이 276초로 GAR(479초)·PixelRefer(718초)·LLaDA-V(3241초)를 크게 줄입니다. 정확도를 조금 양보하고 속도를 크게 가져오는 트레이드오프입니다.

속도 이점의 출처는 TPF(Tokens Per Forward), 즉 한 번의 forward에서 생성하는 평균 토큰 수입니다. 자기회귀 모델과 표준 확산 VLM은 TPF가 1로 묶이지만, PerceptionDLM은 2.9를 달성해 여러 영역 캡션을 동시에 만듭니다. 영역 수가 늘수록 격차가 벌어집니다. GAR-8B는 영역이 늘면 지연이 거의 선형으로 나빠지는 반면, PerceptionDLM은 이미지당 지연을 약 \(2.9\)초로 안정적으로 유지하며 처리량(TPS)을 거의 선형으로 끌어올립니다. 동일 워크로드(이미지당 4 마스크)에서 병렬도를 끝까지 올리면 처리량이 \(3.44\times\) 개선되고, 이미지당 지연이 \(10.04\)초에서 \(2.92\)초로 떨어집니다.

위 그림이 그 차이를 한눈에 보여줍니다. 왼쪽은 자기회귀가 영역을 하나씩 순차로 푸는 방식, 위쪽은 PerceptionDLM이 한 번의 디노이징으로 모든 영역을 함께 푸는 방식입니다. 오른쪽 두 그래프는 영역 수가 늘어도 처리량이 선형으로 오르고 지연은 평평하게 유지되는 스케일링 특성입니다.

회고

저자들이 직접 인정하는 한계가 분명합니다. 복잡한 수학·과학 추론(MMMU, MathVista)에서는 자기회귀 VLM과 격차가 남고, 그 원인을 임의 순서 병렬 디코딩이 추론 잠재력을 근본적으로 제약하기 때문이라고 짚습니다. 그래서 이 평가에서만큼은 병렬성을 포기하고 자기회귀 순서 디코딩으로 추론 흐름을 보존했습니다. 병렬성이라는 이 논문의 핵심 강점이, 추론이 필요한 자리에서는 오히려 약점이 되는 셈입니다. 저자들은 DeepSeek-R1 같은 강화학습으로 확산 VLM의 추론을 더 끌어올리는 것을 향후 과제로 제시합니다.

정확도 자체도 자기회귀 영역 캡셔닝 모델(GAR·DAM)에 약간 못 미칩니다. PerceptionDLM의 매력은 "더 정확하다"가 아니라 "조금 덜 정확한데 훨씬 빠르다"입니다. 영역이 많은 밀집 인식 시나리오에서 이 트레이드오프가 의미를 갖습니다. 영역이 한두 개뿐이면 병렬화 이점이 거의 없습니다. DLC-Bench(단일 마스크)에서 TPF가 사실상 1로 떨어지는 것이 그 증거입니다.

평가의 신뢰도 면에서도 솔직합니다. ParaDLC-Bench 자체가 LLM 심사 방식이라 심사 모델의 추론 능력에 의존합니다. 그래서 Llama-3.1-8B 대신 GPT-5.2를 심사위원으로 쓰고, 여러 심사 LLM에서 순위 안정성을 검증해 이 의존성을 줄이려 했습니다.

정리

• 확산 언어 모델의 병렬 디코딩을 영역 인식으로 끌어와, 여러 영역의 캡션을 한 번의 디노이징으로 동시에 생성합니다. 자기회귀의 선형 지연 증가를 구조적으로 회피합니다.
• 핵심 장치는 구조적 어텐션 마스킹입니다. 전역 맥락은 공유하되 영역 간 RoI·캡션 어텐션을 차단해, 동시 디노이징에서 영역 간 속성 얽힘을 막습니다.
• 정확도는 자기회귀 영역 캡셔닝 모델에 약간 못 미치지만, 밀집 인식(영역 5개)에서 최대 \(3.5\times\) 빠릅니다. 추론이 필요한 태스크에서 병렬성이 약점이 되는 것은 남은 과제입니다.