쉬쥔샹

🏷️ 인물 멀티모달 영상처리 벤치마크

난양공과대학교 소속으로 VBVR-Pro - A Scalable and Verifiable Suite for Native Visual Reasoning의 공동 1저자이자 프로젝트를 이끈 사람입니다.

작업 이력이 한 질문에 묶여 있습니다. 비디오 생성 모델이 프레임을 만들어내는 과정 자체가 추론일 수 있는가입니다. 확산 기반 비디오 모델이 보이는 추론 능력을 다룬 앞선 작업들이 있고, VBVR 계열이 그 질문을 측정 가능한 형태로 옮긴 결과입니다.

VBVR에서 VBVR-Pro로 넘어오면서 성격이 바뀌었습니다. 앞의 것이 150개 과제로 비디오 생성기를 평가하는 벤치마크였다면, VBVR-Pro는 과제를 300개로 늘리고 이미지와 인터리브드 모달리티를 같은 문제의 다른 렌더링으로 붙여, 평가 도구를 학습 환경으로 바꿔놓았습니다. 재는 것에서 가르치는 것으로 옮긴 이동입니다.