수밤 세카르 사후

이산 확산 언어모델(discrete diffusion language model) 계보를 사실상 혼자 이어 온 연구자입니다. 코넬대학교에서 Volodymyr Kuleshov 그룹에 있었고, 현재는 MBZUAI 산하 Institute of Foundation Models에서 일합니다. 연락 주소가 subham.sahoo@mbzuai.ac.ae입니다.

대표 연구

MDLM(Simple and Effective Masked Diffusion Language Models, NeurIPS 2024)이 출발점입니다. 마스크드 확산 언어모델의 목적함수가 결국 마스크드 언어모델링 손실의 가중 평균으로 정리된다는 점을 보였고, SEDD 대비 퍼플렉시티 상한을 17% 개선했습니다. BERT류 인코더 전용 모델에 원리적인 생성 능력을 붙일 수 있다는 결론이 이 논문의 파급력이었습니다.

이후 Duo 계열에서 균일 상태(uniform-state) 확산으로 옮겨 갑니다. Discrete Consistency Distillation(DCD)으로 다단계 확산을 소수 스텝 생성기로 압축하는 작업이 여기서 나왔고, 이 기법이 Unlocking Lossless Speedups in LLMs via Discrete Diffusion의 Diffusion Distillation 단계로 그대로 이어집니다.

Justin Deschenaux, Caglar Gulcehre와 함께 쓴 The Diffusion Duality Chapter II(ICLR 2026)에서 Ψ-샘플러를 제안했습니다. 사후 샘플링에 predictor-corrector 성격을 얹은 이산 확산 샘플러 계열이고, Uno 논문의 Ψ-Spec은 이 샘플러에 AR 검증을 붙인 형태입니다.

위치

확산 언어모델을 오토리그레시브의 대체재로 밀던 쪽에서, Unlocking Lossless Speedups in LLMs via Discrete Diffusion에 와서는 가속기로 방향을 틀었습니다. 자기가 만든 도구(DCD, Ψ-샘플러)를 자기가 세운 노선(dLLM)의 약점을 인정하는 데 다시 쓴 셈이라 이 전환이 눈에 띕니다.