장판

🏷️ 인물 에이전트 멀티모달 교수

개요

장판(章帆, Fan Zhang)은 홍콩중문대학교(CUHK) 컴퓨터과학공학과 박사과정 연구자입니다. 지도교수는 펑안헹(Pheng-Ann Heng)이며, LLM 포스트트레이닝, 멀티모달 AI 평가, 에이전트 시스템의 교집합에 연구 관심을 두고 있습니다. 이메일 주소 fzhang25@cse.cuhk.edu.hk와 GitHub 핸들 zfkarl로 활동합니다.

2025년에는 NeurIPS 2025에 CellVerse를, 2026년에는 ICLR 2026에 MME-Emotion을 발표했습니다. 같은 해 2026년 6월에는 멀티모달 에이전트 오케스트레이션 프레임워크 Orchestra-o1(arXiv:2606.13707)을 공동 1저자로 내놓았습니다. 박사과정 초기임에도 최상위 학회 게재와 프리프린트를 연속으로 내놓는 활발한 연구자입니다.

생애

장판의 학부 이력은 공개 자료에서 상세히 확인되지 않습니다. 2025년 8월 홍콩중문대학교 컴퓨터과학공학과 박사과정에 입학했으며, 지도교수 펑안헹은 의료 영상, 컴퓨터 비전, 멀티모달 AI 분야의 저명한 연구자입니다.

박사 입학 전 두 곳의 산업계 인턴십을 경험했습니다. 2024년 8월부터 2025년 4월까지 텐센트 YouTu Lab에서 연구 인턴으로 일했으며, 이후 2025년 4월부터 알리바바 통이랩(Tongyi Lab)에서 연구 인턴십을 이어갔습니다. 박사과정 중에도 대형 기업 연구소와의 협업을 유지하는 방식으로 산학 연계를 지속하고 있습니다.

Orchestra-o1 논문에서는 베이징대학교(PKU), 칭화대학교(THU), 통지대학교, LIGHTSPEED와의 5개 기관 협업에서 CUHK 측 핵심 기여자 역할을 맡았습니다. 이 공동 연구 구도는 중국 본토 최상위 기관들과 홍콩 연구자가 결합하는 패턴을 보여주며, 그의 연구 네트워크가 넓게 형성되고 있음을 말해줍니다.

업적

장판의 대표적인 성과 중 하나는 CellVerse(NeurIPS 2025 Datasets and Benchmarks Track)입니다. 대형 언어 모델이 세포 생물학을 얼마나 깊이 이해하는지를 측정하는 벤치마크 데이터셋으로, 멀티모달 모델의 과학적 이해 능력을 생물학 특화 도메인에서 평가합니다. LLM이 과학 전문 지식을 습득했는지를 세밀하게 검증하는 방향에서 의미 있는 기여입니다.

MME-Emotion(ICLR 2026)은 멀티모달 대형 언어 모델의 감정 지능을 전방위적으로 평가하는 벤치마크입니다. 시각과 언어 복합 맥락에서 감정 인식, 감정 추론, 공감적 응답 생성 능력을 측정하는 데 초점을 맞춥니다. 감정 이해라는 기존 LLM 평가에서 소외됐던 차원을 체계적으로 다뤘다는 점에서 주목받았습니다.

2026년 6월 발표한 Orchestra-o1(arXiv:2606.13707)은 멀티모달 태스크를 모달리티별로 분해하고 전문화된 서브 에이전트가 병렬 처리하는 에이전트 오케스트레이션 프레임워크입니다. OmniGAIA 벤치마크에서 72.8% 정확도를 달성해 오픈소스 기준 1위를 기록했으며, DA-GRPO(Decision-Aligned Group Relative Policy Optimization)라는 효율적 에이전트 강화학습 기법도 함께 제안됐습니다. Orchestra-o1-8B 모델 가중치도 오픈소스로 공개됐습니다.

멀티 에이전트 RAG 연구(arXiv:2604.00901)에서는 진화하는 오케스트레이션과 에이전트 프롬프트를 통해 과거 경험을 나침반처럼 활용하는 구조를 제안하기도 했습니다. 세포 생물학부터 감정 평가, 에이전트 오케스트레이션까지 폭넓은 주제를 다루며 멀티모달 AI 평가 전반을 탐색하는 패턴을 보여줍니다.

여담

장판은 박사과정 초기 기준으로는 이례적으로 다양한 출판 실적을 보유합니다. CellVerse(생물학 벤치마크), MME-Emotion(감정 평가), Orchestra-o1(에이전트 오케스트레이션)이 각각 서로 다른 주제를 다루고 있어, 멀티모달 AI 평가를 폭넓게 탐색하는 연구 패턴을 보여줍니다.

Orchestra-o1의 구조는 단일 LLM이 모든 모달리티를 처리하는 방식 대신, 전문화된 서브 에이전트들이 오케스트라처럼 분업하는 방식을 채택합니다. 지휘자가 악기별 연주자를 조율하는 오케스트라 메타포가 이름에 담겨 있으며, 단순한 비유 이상으로 시스템 설계 원리를 잘 반영한 네이밍입니다.

두 곳의 산업계 인턴십(텐센트 YouTu, 알리바바 통이랩)을 박사 입학 전에 경험하고 들어온 이력은, 대규모 모델 개발 실무를 먼저 익힌 뒤 학술 연구로 심화하는 경로를 보여줍니다. GitHub 핸들 zfkarl은 Orchestra-o1 공식 저장소를 비롯한 오픈소스 기여의 창구입니다.

주요 논문