태그: 멀티모달

138개의 게시물

• 
  아틀라스와 공간 컨텍스트 2026-09-02

  페이-페이 리는 언어 모델이 세계를 서술할 뿐 공간을 다루지는 못한다고 말해왔습니다. World Labs가 9월 1일 공개한 아틀라스는 그 주장을 설계로 옮긴 모델입니다.

• 
  UrbanGround - From Local Perception to Spatial Agency in a Real-Scale City 2026-08-30

  거리 사진 한 장을 읽는 능력과 그 읽기가 걸어가는 동안에도 살아남는 능력은 다릅니다. 저자들은 홍콩 전역 3D 지리 데이터를 물리 제약이 걸린 Unity 도시로 옮겨, 그 둘을 갈라서 측정했습니다. 국소 질의응답은 잘합니다. 몇 블록만 넘어가면 거의 전부 실패합니다.

• 
  Agentic Game Development as a Verifiable Trajectory Data Engine for Scaling World Models 2026-08-29

  월드 모델을 키우는 병목이 데이터나 연산이 아니라 보상 채널이라고 보는 논문입니다. 코드에는 컴파일러가, 수학에는 정답 대조가 있었는데 공간 생성에는 없었습니다. 저자들은 그 자리를 게임 엔진이 이미 채우고 있다고 주장합니다.

• 
  GLM-5.3-Flash - 스텔스로 먼저 굴려보고 이름을 붙인 320B-A18B 2026-08-28

  OpenRouter에서 한 주 동안 익명으로 돌던 Ox Alpha의 정체가 GLM-5.3-Flash였습니다. MIT 라이선스 가중치 공개, 1M 컨텍스트, GLM 계열 첫 네이티브 멀티모달입니다.

• 
  Annotations as Rollouts - Efficient and Scalable Reinforcement Learning for Video MLLMs 2026-08-27

  강화학습 그룹 안에서 정답 어노테이션은 채점 기준으로만 쓰이고 버려집니다. 이 논문은 정답을 롤아웃 하나로 그룹에 집어넣자고 제안하는데, 그냥 넣으면 학습이 오히려 망가집니다. 왜 망가지는지가 그룹 평균 식 한 줄에 들어 있습니다.

• 
  DeepSeek-V4-Flash-Vision-Exp 2026-08-24

  DeepSeek가 V4-Flash에 이미지 입력을 붙였습니다. 이미지 한 장이 최대 384토큰으로 고정되는 설계와, 벤치마크 표가 가리키는 경쟁자와 실제 사용량이 가리키는 경쟁자가 다르다는 점을 봅니다.

• 
  WorldClaw - Agentic 3D Open-World Generation at Scale 2026-08-10

  텍스트 한 줄에서 걸어 다닐 수 있는 3D 월드를 만들되, 한 모델이 전부 생성하지 않고 계획·지형·지역 세 단계 에이전트로 나눈 프레임워크입니다. 전역 일관성은 지형이 붙잡고, 디테일은 필요한 지역에서만 자랍니다.

• 
  N0-VTLA - Scaling Vision-Tactile-Language-Action Model with Latent Tactile Tokens 2026-08-04

  촉각을 관측 컨텍스트에 하나 더 얹는 대신, 다가올 액션 청크가 만들어낼 접촉 변화를 예측하는 잠재 토큰으로 바꿔 액션 전문가에 직접 물린 VTLA 파운데이션 모델. 실기기 NeoReal 9개 태스크 전승, 20개 시뮬 태스크 평균 63.8% 대 44.0%

• 
  Mental World Modeling 2026-08-04

  월드 모델이 물리 상태만 예측하고 믿음·욕구·의도·감정 같은 심적 변수를 빼먹는다는 지적. 물리와 심적 상태를 하나의 결합 상태로 두고 대상별 부분 관측을 렌더링해 후보 행동의 결과를 양쪽 채널에서 동시에 시뮬레이션하는 프레임워크와, 학습 없이 완전히 들여다볼 수 있는 구현체 MENTIS

• 
  Seedance 2.5 - 한 번에 30초, 레퍼런스 50개를 받는 오디오·비디오 합동 생성 2026-08-03

  이미지 30장, 영상 10개, 오디오 10개를 동시에 참조하고 타임스탬프 단위로 편집합니다. 30초를 단일 패스로 뽑은 뒤 다회 연장으로 수분 길이를 만듭니다. 벤치마크 수치는 공개되지 않았습니다.

• 
  VideoCoCo - Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System 2026-08-03

  영상 생성 모델이 물리를 틀리는 이유는 압축된 프롬프트에서 시공간 전개를 암묵적으로 복원해야 하기 때문입니다. VideoCoCo는 그 전개를 실행 가능한 Blender 코드로 먼저 써놓고, 렌더링된 초안을 조건으로 영상을 입힙니다. PhyGenBench 0.475에서 0.558, VBench-2.0 52.18%에서 77.88%.

• 
  Gemini Robotics 2 - 상체 조작을 넘어 전신 지능으로 2026-08-02

  VLA와 임바디드 추론 VLM, 온디바이스 세 모델 구성으로 걷기와 웅크리기, 뻗기를 조작과 동시에 조율하는 전신 제어를 내놓았습니다. 새 로봇 몸체에는 200예제 미만으로 적응합니다.

• 
  PhiZero - A World Model Built Around Physical Language 2026-08-02

  미래를 픽셀로 바로 예측하는 대신, 월드 상태 전이를 256개 이산 심볼로 압축한 physical language로 먼저 추론하고 그다음 영상으로 렌더링하는 월드 모델입니다. 인터넷 영상에서 자기지도로 이 표현을 학습하고, 외형과 분리돼 있어 사람 동작을 휴머노이드로 제로샷 전이하는 것까지 같은 인터페이스로 처리합니다.

• 
  Qwen-UI-Agent Technical Report - Toward Next-Generation Real-World Centric Foundation GUI Agents 2026-08-01

  GUI 조작과 셸 명령을 하나의 액션 공간에 넣고 한 턴에 여러 액션을 묶어 내보내는 27B 파운데이션 GUI 에이전트입니다. 100대 넘는 실제 안드로이드 단말 위에서 학습과 평가를 돌려 MobileWorld-Real 92.2%를 기록했고, 컴퓨터 태스크에서는 액션의 40~55%가 CLI로 나갑니다.

• 
  TurboVLA - Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM 2026-07-31

  로봇 조작 정책의 중심에 대형 언어 모델을 두는 V→L→A 경로를 걷어내고, 시각과 언어를 따로 인코딩해 양방향 크로스어텐션으로만 섞는 V+L→A 설계를 제안한 논문입니다. 0.2B 파라미터로 LIBERO 평균 97.7%, RTX 4090 한 장에서 0.9GB VRAM, 31.2ms 지연을 기록했습니다.

• 
  Genie 2026-07-29

  Google DeepMind의 인터랙티브 월드 모델 계열, 라벨 없는 영상에서 잠재 행동을 학습해 조작 가능한 세계를 생성

• 
  JarvisHub - An Open Harness for Canvas-Native Multimodal Creative Agents 2026-07-29

  창작 에이전트의 메모리를 벡터 스토어가 아니라 사용자가 보는 캔버스 그 자체에 두자는 제안입니다. 프롬프트, 참조 이미지, 초안, 버림받은 후보, 버전 관계, 피드백을 전부 타입이 붙은 캔버스 노드로 표현하고, 에이전트는 프로토콜 브리지를 통해서만 그 캔버스를 읽고 씁니다. 에이전트가 무엇을 기억하는지가 화면에 남아 있는 것과 같아지는 설계입니다.

• 
  Mage-Flow - An Efficient Native-Resolution Foundation Model for Image Generation and Editing 2026-07-25

  Microsoft가 공개한 4B 규모 이미지 생성·편집 스택입니다. 백본을 키우는 대신 토크나이저와 학습 시스템을 함께 설계해, A100 한 장에서 1024² 이미지를 0.59초에 만들면서 GenEval 최고점을 기록했습니다.

• 
  KnowAct-GUIClaw - Know Deeply, Act Perfectly, Personal GUI Assistant with Self-Evolving Memory and Skill 2026-07-20

  화면을 보고 앱을 직접 조작하는 모바일 에이전트에 '기억'과 '기술'을 이식한 연구. Kimi-K2.6 기반으로 MobileWorld 공개 리더보드 1위(64.1%)를 달성했으며, 기억과 기술은 모델 계열을 넘어 이전될 수 있음을 실험으로 보였습니다.

• 
  VideoChat3 - Fully Open Video MLLM for Efficient and Generalist Video Understanding 2026-07-18

  4B 파라미터로 장시간 비디오·실시간 스트리밍을 동시에 다루는 완전 공개 Video MLLM. I3D-ViT의 16배 시공간 압축과 Silence/Standby/Response 상태 토큰으로 같은 크기 오픈소스 모델을 대부분 벤치마크에서 압도합니다.

• 
  Inkling - Thinking Machines Lab 첫 오픈웨이트 멀티모달 모델 2026-07-17

  Mira Murati 팀의 975B MoE 오픈웨이트 모델. 리더보드 1위 경쟁 대신 맞춤화 최적화와 검열 저항을 전략으로 내세우며, Tinker 파인튜닝 시스템으로 도메인 특화를 지원합니다.

• 
  SynthDocBench - Controlled Benchmark for Long-Context Visual Document Understanding 2026-07-16

  ServiceNow AI가 COLM 2026에서 발표한 긴 문서 시각 이해 벤치마크입니다. 문서 길이, 레이아웃, 모달리티, 질문 유형을 독립 축으로 통제한 합성 문서 200개와 질문 1,788개로 프런티어 VLM 8종을 평가해, 기존 벤치마크가 드러내지 못한 실패 모드 세 가지를 분리해냈습니다.

• 
  Video Generation Models are General-Purpose Vision Learners 2026-07-14

  비디오 생성 모델의 사전학습 표현을 활용해 깊이·법선·분할·포즈 등 다양한 비전 과제를 단일 피드포워드 모델로 처리하는 GenCeption을 제안한다. WAN 2.1 기반으로 V-JEPA·VideoMAE를 큰 폭으로 앞서며, 7x~500x 적은 데이터로 전문 모델에 준하는 성능을 냈다.

• 
  Scalable Visual Pretraining for Language Intelligence 2026-07-14

  PDF 페이지를 이미지 그대로 오토리그레시브 학습하면, 같은 코퍼스에서 텍스트만 학습한 것보다 과학 추론 성능이 일관되게 높아진다는 실증 연구.

• 
  일본의 1천만 로봇과 Noetra 2026-07-10

  일본이 2040년까지 18개 분야에 약 1천만 대의 AI 로봇을 보급하려는 계획과 Noetra 중심의 국산 멀티모달·피지컬 AI 기반 모델 개발을 연결해 정리합니다.

• 
  Google Nano Banana 2 Lite + Gemini Omni Flash — 이미지 4초, 대화형 영상 편집 2026-07-03

  구글이 6월 30일 Nano Banana 2 Lite($0.034/장, 4초)와 Gemini Omni Flash(대화형 영상 편집, $0.10/초)를 동시 공개했습니다. Gemini API와 AI Studio에서 즉시 사용 가능합니다.

• 
  Wan-Streamer v0.1 - End-to-end Real-time Interactive Foundation Models 2026-06-30

  단일 Transformer로 오디오·영상·텍스트를 동시에 처리하는 실시간 풀-듀플렉스 대화 모델 — 캐스케이드 파이프라인 없이 모델 측 200ms 지연과 25fps 영상 출력을 달성합니다.

• 
  PerceptionDLM - Parallel Region Perception with Multimodal Diffusion Language Models 2026-06-23

  베이징대학교 MSALab과 ByteDance가 만든 멀티모달 확산 언어 모델. 자기회귀가 영역을 하나씩 순차로 캡셔닝하는 한계를 깨고, 한 번의 디노이징으로 여러 영역을 동시에 설명합니다. 구조적 어텐션 마스킹으로 영역 간 간섭을 막으면서 최대 3.5배 빠른 추론을 보입니다.

• 
  Beyond the Current Observation - Evaluating Multimodal Large Language Models in Controllable Non-Markov Games 2026-06-20

  현재 화면만 봐서는 다음 수를 알 수 없는 상황에서 MLLM이 얼마나 잘 기억하고 행동하는지 측정합니다. Matching Pairs 카드 게임과 3D 미로 탐색으로 구성된 RNG-Bench의 결과는 솔직합니다.

• 
  HYDRA-X - Native Unified Multimodal Models with Holistic Visual Tokenizers 2026-06-17

  단일 시각 토크나이저 HYDRA-XTok으로 이미지·비디오 이해·생성·편집을 하나의 모델에 통합한 네이티브 멀티모달 프레임워크. 튜블릿 인과 어텐션과 계층적 패치파이, 잠재 공간 기반 STI 편집으로 다섯 가지 태스크를 단일 7B 모델에서 처리합니다.

• 
  Orchestra-o1 - Omnimodal Agent Orchestration 2026-06-16

  CUHK·LIGHTSPEED·PKU·THU 공동 연구팀이 제안한 Orchestra-o1은 텍스트·이미지·오디오·영상을 넘나드는 복합 태스크를 오케스트레이터-서브에이전트 구조로 처리하는 옴니모달 에이전트 프레임워크입니다. OmniGAIA 벤치마크에서 Gemini-3-Pro 대비 10.3%p 높은 72.8%를 기록하며 SOTA를 세웠고, 오픈소스 모델 Orchestra-o1-8B도 30.0%로 이전 최고 기록을 9.2%p 앞질렀습니다.

• 
  Crafter - A Multi-Agent Harness for Editable Scientific Figure Generation from Diverse Inputs 2026-06-16

  과학 논문 피겨 생성에서 더 강한 생성 모델이 아닌 더 나은 오케스트레이션이 답이라는 주장입니다. 멀티에이전트 하네스로 3가지 피겨 유형, 4가지 입력 조건을 단일 구조로 처리합니다.

• 
  Optical Reasoning - Rethinking Images as an Expressive Reasoning Medium Beyond Text 2026-06-14

  추론 과정을 텍스트 대신 이미지 공간에 그려 넣는다. 수식·그래프를 시각적 스크래치패드로 쓰면 텍스트 추론과 동등한 정확도를 유지하면서 토큰을 평균 28.57% 아낄 수 있다는 논문.

• 
  MinerU2.5 - Document Parsing Vision-Language Model 2026-06-14

  1.2B 파라미터로 고해상도 문서의 정확한 파싱을 달성한 MinerU2.5의 2단계 분리 아키텍처와 데이터 엔진을 분석합니다.

• 
  SpatialWorld - Benchmarking Interactive Spatial Reasoning of Multimodal Agents in Real-World Tasks 2026-06-10

  멀티모달 에이전트가 실제 공간을 상호작용하며 이해하는 능력을 8개 시뮬레이터와 760개 과제로 측정한 SpatialWorld. 정적 VQA를 넘어 능동 탐색을 보게 했더니 최강 GPT-5조차 평균 성공률 17.4%에 그쳤고, 더 최신인 GPT-5.4는 조급하게 멈추는 바람에 오히려 뒤처졌습니다.

• 
  Holo3.1 - Fast and Local Computer Use Agents 2026-06-08

  화면을 보고 클릭하는 컴퓨터 유즈 에이전트를 클라우드가 아니라 내 기기에서 돌린다. H Company가 Holo3.1을 0.8B부터 35B-A3B까지 확장하고, FP8·NVFP4·Q4 GGUF 양자화 체크포인트로 온디바이스 GUI 자동화를 처음 본격 출하했다.

• 
  MARDoc - A Memory-Aware Refinement Agent Framework for Multimodal Long Document QA 2026-06-08

  수십에서 수백 페이지짜리 멀티모달 문서를 읽는 QA 에이전트가 상호작용 기록을 하나의 거대한 맥락에 계속 쌓다 보면 정작 핵심 증거가 노이즈에 묻힙니다. 톈진대 연구진의 MARDoc은 탐색·정제·반성 세 에이전트가 구조화된 메모리(증거 메모리 + 추론 메모리)로 소통하는 루프로 그 문제를 풉니다. 오픈 Qwen3-30B만으로 DocAgent + Claude 3.5 Sonnet과 맞먹고, DocBench에서는 사람 기준선을 넘었습니다.

• 
  Audio Interaction Model 2026-06-07

  오프라인 오디오 언어모델과 단일 과제 스트리밍 모델을 하나의 always-on 모델로 합친 Audio Interaction Model. 매 청크마다 말할지 침묵할지를 스스로 정하는 perceive-decide-respond 루프와 이를 데이터부터 추론까지 구현한 SoundFlow 프레임워크를 뜯어봅니다.

• 
  Cosmos 3 - Omnimodal World Models for Physical AI 2026-06-06

  NVIDIA가 공개한 옴니모달 월드 모델 Cosmos 3를 분석합니다. 언어, 이미지, 비디오, 오디오, 행동을 한 Mixture-of-Transformers 구조로 처리하고 생성하며, 자기회귀 추론 타워와 확산 생성 타워를 결합해 비전언어모델, 비디오 생성기, 월드 시뮬레이터, 월드 액션 모델을 하나의 백본으로 흡수합니다.

• 
  밍유 리우 2026-06-06

  NVIDIA Research 부사장이자 Cosmos Lab을 이끄는 연구자. Physical AI를 위한 월드 파운데이션 모델과 생성 모델 연구의 책임자입니다.

• 
  MMG2Skill - Can Agents Distill In-the-Wild Guides into Self-Evolving Skills 2026-06-04

  인터넷에는 사람을 위한 방법 안내가 넘쳐납니다. 위키하우, 게임 위키, 우분투 문서 같은 것들이죠. 문제는 이 가이드가 멀티모달이고 노이즈가 많고 사람이 실행한다고 가정한다는 점입니다. MMG2Skill은 이런 사람용 가이드를 에이전트가 실행할 수 있는 SKILL.md 절차로 증류하고, 실행 궤적의 진단으로 스스로 고쳐 나가는 폐루프 프레임워크입니다.

• 
  MiniMax M3 - 오픈웨이트 프런티어 모델 2026-06-04

  프런티어 코딩과 1M 토큰 컨텍스트, 네이티브 멀티모달을 한 모델에 담은 첫 오픈웨이트 모델 MiniMax M3를 MSA 희소 어텐션 중심으로 뜯어봅니다

• 
  HLL - Can Agents Cross Humanity's Last Line of Verification 2026-06-04

  멀티모달 에이전트가 사람을 대신해 인터페이스를 조작하는 시대에, CAPTCHA는 봇과 사람을 가르는 마지막 검증 관문입니다. HLL은 이 관문을 에이전트가 넘을 수 있는지 정답 인식이 아니라 실제 상호작용으로 측정하는 벤치마크입니다. 8개 프런티어 에이전트는 깨끗한 화면에서는 곧잘 풀지만, 현실적인 방해와 행동 궤적 검증이 들어오면 무너집니다.

• 
  MetaForge - A Self-Evolving Multimodal Agent that Retrieves, Adapts, and Forges Tools On Demand 2026-06-04

  멀티모달 에이전트는 도구를 써서 복잡한 추론을 풀지만, 미리 정해진 도구 목록은 처음 보는 상황에 일반화되지 못하고 도구를 마구 부르면 비용과 오류만 늘어납니다. MetaForge는 에이전트의 행동을 Decide, Retrieve, Adapt, Forge 네 단계로 나누고, 도구를 언제 쓸지와 도구를 어떻게 늘릴지를 강화학습으로 함께 배우게 합니다.

• 
  Video2GUI - Synthesizing Large-Scale Interaction Trajectories for Generalized GUI Agent Pretraining 2026-05-22

  라벨 없는 유튜브 비디오 5억 개에서 GUI 인터랙션 트래젝토리 1,200만 개를 자동 추출해 만든 WildGUI 데이터셋과 그 추출 파이프라인 Video2GUI. Qwen2.5-VL·MiMo-VL를 사전학습하면 ScreenSpot-Pro·OSWorld-G에서 15~20점 상승, 온라인 OSWorld·AndroidWorld까지 일관된 개선이 나타납니다.

• 
  Enhancing Train-Free Infinite-Frame Generation for Consistent Long Videos 2026-05-22

  학습 없이 기성 비디오 디퓨전 모델로 1,000프레임짜리 긴 영상을 생성하는 MIGA. FIFO-Diffusion 계열의 train-inference gap을 zigzag·unified 두 단계로 좁히고, self-reflection + long-range frame guidance로 장기 일관성을 끌어올려 VBench·NarrLV에서 SOTA를 찍습니다.

• 
  World Action Models - The Next Frontier in Embodied AI 2026-05-15

  Vision-Language-Action 모델이 학습하는 reactive observation-to-action 매핑과 World Model 계열의 예측적 dynamics 모델링이 별도의 흐름으로 흘러오다가 한 모델 안에서 합쳐지기 시작했습니다. Fudan 신뢰성 임바디드 AI 연구소가 이 합류 지점을 World Action Models로 명명하고 정의·아키텍처·데이터·평가의 네 축으로 정리한 첫 서베이를 살펴봅니다.

• 
  라마를 버리고 Muse Spark를 꺼낸 메타 2026-05-14

  Meta가 2026년 4월 Llama 오픈소스 노선을 사실상 끝내고, Meta Superintelligence Labs의 첫 사유 모델 Muse Spark를 공개했습니다. Yann LeCun이 떠나고 Alexandr Wang이 들어온 자리에서 만든 첫 결과물, Llama 4 Maverick 대비 1자릿수 이상 적은 컴퓨트로 같은 성능을 낸다고 주장하는 모델, 그리고 Apollo Research가 '관측한 모델 중 가장 evaluation awareness가 높다'고 평가한 안전성 이슈까지 전수 정리했습니다.

• 
  SenseNova-U1 - Unifying Multimodal Understanding and Generation with NEO-unify Architecture 2026-05-14

  SenseTime이 Apache 2.0으로 공개한 SenseNova-U1은 VAE도 vision encoder도 들어내고 픽셀과 단어를 한 트랜스포머 안에서 같이 학습합니다. dense 8B와 30B-A3B MoE 두 변종으로 understanding-only VLM 수준 인지에 X2I 생성을 32배 압축률로 동시에 수행하는, native unified multimodal의 first-principle 결정판입니다.

• 
  WRING - 회전 기반 디바이어싱으로 두더지 잡기 딜레마 풀기 2026-05-05

  WRING은 모델 구조 훼손을 최소화하고 두더지 잡기 딜레마를 완화합니다. 재학습이 불필요해 실용적입니다.

• 
  Llama 4 Scout 2026-04-11

  Meta의 Llama 4 Scout — 17B 파라미터 오픈소스 멀티모달 MoE 모델. 단일 H100 GPU에서 10M 토큰 컨텍스트, Gemma 3와 Gemini Flash를 능가하는 성능.

• 
  Meta Muse Spark 2026-04-11

  Meta Superintelligence Labs의 첫 모델 Muse Spark. 네이티브 멀티모달 추론, 비주얼 CoT, 멀티에이전트 오케스트레이션을 갖춘 Meta의 AI 전략 전환점.

• 
  비전-언어 모델 2026-04-10

  이미지와 텍스트를 동시에 처리하여 시각적 내용에 대한 자연어 질의응답을 수행하는 멀티모달 모델

• 
  Seedream 4.0 Toward Next-generation Multimodal Image Generation 2025-12-04

  벌써 4.5가 나온다구요? 두 달 정도밖에 안 지났습니다. 아직 4.5는 테크니컬 리포트가 없습니다. 대신 4.0 테크니컬 리포트를 가져왔습니다. 2K 해상도 이미지를 1.4~1.8초 만에 생성하며, T2I 생성과 이미지 편집 작업을 단일 모델에서 공동 학습합니다. 특히 복잡한 텍스트 렌더링, 다중 이미지 참조, 인컨텍스트 추론 생성 등 기존 모델들이 취약했던 영역에서 강점을 보입니다.

• 
  Emu3.5 Native Multimodal Models are World Learners 2025-11-05

  최신 멀티모달 모델의 화두는 세계를 이해하고 행동하는 모델입니다. BAAI(Beijing Academy of Artificial Intelligence)가 최근 공개한 Emu3.5는 이런 흐름을 타고 비전과 언어를 동시에 예측하는 '멀티모달 월드 모델'을 표방하며 장시간 순차적 추론과 실제 로봇 조작까지 가능하게 한다고 주장합니다.

• 
  DeepSeek-OCR Contexts Optical Compression 2025-10-24

  긴 텍스트를 이미지로 변환해 LLM 컨텍스트를 압축하는 DeepSeek-OCR을 소개합니다. 10배 압축에서 97% 정확도를 유지하며, 광학적 컨텍스트 압축이라는 새 발상을 제시합니다.

• 
  Detect Anything via Next Point Prediction 2025-10-22

  멀티모달 LLM으로 객체 탐지에 도전한 모델입니다. Qwen과 대규모 영상 데이터로 학습해 각종 탐지 벤치마크에서 높은 성능을 보입니다.

• 
  Efficient Multi-modal Large Language Models via Progressive Consistency Distillation 2025-10-02

  더 효율적인 멀티모달 LLM을 위한 다양한 시도가 이어집니다. 이미지와 텍스트를 동시에 다루는 모델은 이미지 처리에서 계산 비용이 많이 들어갑니다. 이 문제를 해결하기 위해 시각 토큰을 압축하는 방법이 중요합니다. 효율적인 시각 토큰 압축을 위한 학습 프레임워크를 제안한 논문을 소개합니다.

• 
  Hunyuan3D Studio End-to-End AI Pipeline for Game-Ready 3D Asset Generation 2025-09-16

  텐센트의 Hunyuan3D Studio 논문을 요약합니다. 단일 이미지나 텍스트에서 게임 엔진에 바로 사용할 수 있는 3D 에셋을 생성하는 7단계 AI 파이프라인을 설명합니다. 지오메트리 생성, UV 언래핑, 텍스처링, 애니메이션까지 전 과정을 자동화한 기술을 다룹니다.

• 
  위샤오민

  홍콩과기대(광저우)·싱가포르국립대학교 소속. ToolArtist 공동 1저자

• 
  퉁판룽

  Alibaba Cloud 연구원. 모바일 GUI 에이전트와 실기기 런타임 연구, MAI-UI·Qwen-UI-Agent 공동 1저자

• 
  돤하오둥

  상하이 인공지능 연구소(SAIL) 포스닥. 멀티모달 LLM 평가 전문. MMBench·VLMEvalKit·RNG-Bench 주요 저자.

• 
  왕웨

  Alibaba Tongyi Lab Staff Algorithm Expert. 멀티모달 에이전트 R&D 팀 리드, MAI-UI·Qwen-UI-Agent 프로젝트 리더

• 
  리원제

  홍콩 이공대학교 NLP 교수. 텍스트 요약·질의응답·다중 문서 추론 연구로 H-Index 52, 인용 13,000회+를 쌓은 시니어 연구자.

• 
  후샤오빈

  싱가포르국립대학교 연구자이자 텐센트 유투랩 소속. 통합 멀티모달 모델의 이미지 생성·편집이 주 분야

• 
  자오한둥

  어도비 리서치 시니어 리서치 사이언티스트. 비전-언어 파운데이션 모델, 멀티모달 에이전트, 포스트트레이닝 연구자

• 
  쉬쥔샹

  난양공과대학교 연구자. 생성을 통한 시각 추론을 다루는 VBVR 계열의 1저자로, 비디오 확산 모델이 프레임을 만들며 추론하는지를 반복해 물어왔다.

• 
  PaliGemma

  구글이 공개한 3B 규모 오픈 비전-언어 모델. 전이(transfer)를 목표로 설계돼 로봇 정책 백본으로 자주 쓰입니다

• 
  바이진빈

  싱가포르국립대학교(NUS) Show Lab 소속, MeissonFlow Research 리드. 마스크드 생성 모델·통합 멀티모달 생성 연구. Muddit·Meissonic 저자

• 
  가오훙청

  칭화대 College of AI 박사과정 연구자(ZenoMind AI 겸). 대규모 추론 모델, AI 에이전트, 통합 모델을 연구하며 특히 멀티모달 공간 과제에 집중. Spider2-V 공저자.

• 
  왕가오앙

  저장대-UIUC 연구소 조교수. 컴퓨터비전·멀티모달·체화 지능 연구. CVNext Lab 리더.

• 
  자오펑

  USTC 자동화학과 정교수이자 컴퓨터 비전·대규모 멀티모달 모델 연구 그룹 지도교수. OmniNFT의 교신 저자로 [[장궈후이]]·[[위후]] 등 1저자 학생들의 시각 생성 + RL 라인을 총괄.

• 
  루 르웨이

  SenseTime Research 디렉터. InternVL·SenseNova 라인의 멀티모달 시스템 엔지니어링을 이끕니다.

• 
  노용만

  KAIST 전기및전자공학부 교수. 멀티모달·말하는 얼굴 생성·시청각 AI 연구자.

• 
  우자홍

  알리바바 AMAP의 비디오 생성 라인 project lead로 MACE-Dance·S²-Guidance·VMBench·Omni-Effects 등 train-free·평가 작업을 묶어 이끄는 연구자

• 
  페이하오

  옥스퍼드대 OATML·Big Data Institute 박사후연구원. 멀티모달 학습·생성모델·월드 모델링 연구자로 NExT-GPT 공저자

• 
  키야티 마하잔

  ServiceNow AI 선임 응용 연구 과학자. 기업용 생성 AI와 멀티모달 문서 이해 연구.

• 
  장판

  CUHK CSE 박사과정. LLM, 멀티모달 AI, 에이전트 시스템 전공. Orchestra-o1 공동 1저자.

• 
  퉁윈하이

  베이징대학교 교수, MSALab(Multimedia Semantic Analytics Lab) 책임, 미디어 지능 컴퓨팅·멀티모달·확산 모델 연구. PerceptionDLM 교신저자

• 
  스티븐 호이

  Alibaba Group VP, Token Hub 산하 멀티모달 에이전트 연구 총괄. 전 Salesforce Research Asia 창립 MD, BLIP·CodeT5 공동저자

• 
  양 레이

  SenseTime Research의 spatial intelligence·평가 인프라 리드. SenseNova-SI·EASI 라인을 이끕니다.

• 
  바이솨이

  알리바바 Qwen 팀 연구자. Qwen-VL·Qwen2.5-VL·Qwen2.5-Omni 멀티모달 라인 리드. 인용 4만 회 이상.

• 
  장궈전

  난징대학 소속 연구자로 HYDRA-X 통합 멀티모달 모델의 공동 제1저자이며 시각 토크나이저와 멀티모달 생성 연구에 기여

• 
  추샹샹

  알리바바 AMAP의 Senior Director로 멀티모달·생성·기반 모델 라인을 이끄는 시니어 연구자이며 FairNAS·Twins·CPVT 등 영향력 큰 논문의 1저자

• 
  싱자오후

  HKUST 광저우 박사과정. 의료 영상 분석에서 출발해 영상 생성·시각 인지·멀티모달 후처리로 확장한 연구자. JarvisHub 코어 기여자.

• 
  황하오양

  JD Joy Future Academy 연구자. 마이크로소프트 리서치 아시아 NLP 그룹, StepFun을 거쳐 합류했고 Step-Video-T2V·Step-Video-TI2V 비디오 파운데이션 모델 라인을 이끌었습니다.

• 
  우페이

  저장대 추스 석좌교수이자 인공지능연구원 원장. 멀티미디어 검색·머신러닝·지식그래프 연구

• 
  리레이

  HKU-NLP 박사과정 연구자로 멀티모달 LLM(MiMo-VL 등)과 LLM-as-a-Judge·In-context Learning 메커니즘 연구를 수행하며 EMNLP 2023 Best Paper 수상자

• 
  디아오 하이웬

  SenseTime·NEO·EVE 계열을 이끈 encoder-free vision-language 모델 연구자. SenseNova-U1의 Project Lead.

• 
  린 다후아

  CUHK 교수·SenseTime 공동창업자·Shanghai AI Lab 핵심 연구자. CUHK MMLab과 OpenMMLab을 이끄는 컴퓨터비전·멀티모달 AI 대가.

• 
  아비기야 베르마

  ServiceNow AI 연구원. 긴 문서 시각 이해 평가 연구.

• 
  치우쉐루이

  중국과학원(CASIA)/중관촌학원 소속 박사과정생으로 뉴로모픽 컴퓨팅·컴퓨터비전·LLM 양자화를 넘나들며 HYDRA-X 통합 멀티모달 모델에서 공동 제1저자로 활약

• 
  리훙성

  CUHK MMLab 교수. 컴퓨터비전·멀티모달 학습·Embodied AI 전공. ACE-Ego-0 교신저자.

• 
  김종욱

  카카오에서 추천 시스템을 만들던 음악 기술 박사 출신으로, OpenAI에서 CLIP과 Whisper를 직접 만든 핵심 저자가 됐다

• 
  쑨웨이이

  베이징대학교 소속, ByteDance 협업 멀티모달 연구자. PerceptionDLM 공동 1저자, Sa2VA 공저자

• 
  첸성성

  중국과학원 자동화연구소 멀티모달인공지능시스템 국가중점실험실 부연구원. 크로스모달 검색과 소셜미디어 데이터 마이닝 연구자

• 
  저우신

  화중과기대(HUST) 박사과정. 3D 인식·점군 분석·자율주행 월드 모델 연구. PointMamba·Hermes 1저자, Qwen-Drive-1.0 1저자.

• 
  스정 스

  칭화대 CS 박사과정. TsinghuaNLP 소속. 데이터 중심 NLP, LLM 할루시네이션 연구. Crafter 공동 1저자.

• 
  추아 탯셍

  싱가포르국립대학교 NExT++ 연구소 공동 디렉터. 멀티모달 기반 모델, 추천 시스템, 신뢰 가능한 AI 분야 석학.

• 
  사이 라제스와르

  ServiceNow AI 수석 연구 과학자, Mila 겸임 교수. 멀티모달 지각과 세계 표현 연구.

• 
  웨샹위

  홍콩중문대 정보공학과 조교수, MMLab 소속. UC 버클리 박사, Lotfi A. Zadeh Prize 수상. 전이학습·레이블 효율 학습·멀티모달 연구자.

• 
  Muse Spark

  Meta가 2026년 4월 공개한 첫 사유 AI 모델, Llama 라인업을 대체하는 Meta Superintelligence Labs의 첫 결과물

• 
  MiniMax

  2021년 설립된 중국 AI 스타트업. MiniMax-Text-01, M1, M2, M3 등 대형 멀티모달 언어 모델과 1M 토큰 장문 컨텍스트 기술로 알려져 있습니다.

• 
  자오자하오

  중국인민대학 가오링인공지능학원 소속. ToolArtist 공동 1저자로 에이전틱 이미지 생성을 연구

• 
  Spider2-V

  비전 기반 SQL 질문응답 벤치마크, 텍스트-이미지-테이블 결합

• 
  리윈신

  하얼빈공업대학교(선전) 조교수. 대형 멀티모달 모델·AI 에이전트 전문가. KnowAct-GUIClaw, Uni-MoE 등 다수 연구 주도.

• 
  Gemini-2.5 Pro

  Google DeepMind의 멀티모달 대규모 언어 모델, 장문맥·추론 강화

• 
  후바오톈

  하얼빈공업대학교(선전) 교수, Lychee Team 책임자. LLM·멀티모달 LLM·AI 에이전트 분야 연구 수장. KnowAct-GUIClaw 교신저자.

• 
  저우한장

  Alibaba Tongyi Lab 연구원. MAI-UI·Qwen-UI-Agent 공동 1저자 겸 프로젝트 공동 리더

• 
  리우 즈웨이

  NTU S-Lab·MMLab@NTU를 이끄는 generative AI·멀티모달 연구자. SenseNova-U1 Senior Project Lead.

• 
  LTX-2

  Lightricks가 공개한 19B 파라미터 규모의 joint audio-video foundation model. asymmetric dual-stream(비디오·오디오) 구조에 bidirectional cross-attention으로 modality imbalance를 처리. OmniNFT의 backbone으로 사용됨.

• 
  샤오이청

  칭화대학교 석사 과정 연구자. 비디오 이해와 멀티모달 학습을 연구하며 JoyAI-Video-Edit의 공동 1저자입니다.

• 
  Audio Interaction Model

  음성 입출력 기반 멀티모달 상호작용 모델, 실시간 음성 대화

• 
  Gemini

  Google DeepMind의 멀티모달 네이티브 AI 모델 시리즈

• 
  바이샹

  화중과기대(HUST) 전자정보통신학원 교수. IEEE·IAPR Fellow. 장면 텍스트 인식과 OCR, 형상 분석, 대형 멀티모달 모델 연구.

• 
  World Labs

  페이-페이 리가 2024년 공동창업한 공간 지능 스타트업, 3D 월드 모델 Marble 개발

• 
  볜위통

  홍콩 이공대학교 NLP 그룹 박사 연구원. 멀티모달 추론 효율화를 주제로 연구하며 Optical Reasoning(2026)의 제1저자.

• 
  저우펑페이

  싱가포르국립대 HPC-AI Lab 및 Cardinal AI Lab 연구자. 멀티모달 벤치마크와 평가 방법론에서 월드 모델 데이터 엔진으로 옮겨온 1저자.

• 
  린윈룽

  샤먼대학교 석사과정. 시각 창작·인지를 위한 VLM·LLM·에이전트 연구자. PosterCraft(ICLR 2026) 공저자이자 JarvisHub 코어 기여자.

• 
  JD Explore Academy

  JD.COM 산하 AI 연구 조직. Vision and Multimodal Lab을 [[두안난]] 디렉터가 이끌고 있으며, 비전·멀티모달 파운데이션 모델과 비디오 생성 라인을 외부 대학(USTC 등)과 공동 연구.

• 
  리신하오

  난징대학교 왕리민 교수 지도 석사과정생(2023-2026). VideoChat-Flash(ICLR 2026)와 VideoChat3 제1저자.

• 
  장위후이

  Stanford CS 박사과정(지도 Serena Yeung-Levy, Ludwig Schmidt). 멀티모달 ML의 기초와 건강·과학 응용.

• 
  천민훙

  NVIDIA Research Taiwan Staff Research Scientist. Vision+X 멀티모달 AI 전문가로 SpatialClaw 논문의 시니어 저자.

• 
  하오저 자오

  UIUC CS 박사과정. 과학 논문 피겨 자동 생성 연구. Crafter 제1저자.

• 
  셰즈페이

  난양공대(NTU) 연구자. Mini-Omni 계열 오디오 언어모델의 핵심 저자로 실시간 음성 상호작용 모델을 연이어 내놓고 있습니다.

• 
  황량화

  Alibaba Wan Team 핵심 연구자. Wan 영상 생성 모델 및 Wan-Streamer 공동 제1저자

• 
  양둥차오

  홍콩중문대(CUHK) 오디오 생성 연구자. 범용 오디오 생성 파운데이션 모델 UniAudio의 1저자로, 음성·음향·음악·노래를 하나의 LLM으로 생성하는 흐름을 열었습니다.

• 
  Qwen2.5-VL-72B

  Alibaba Qwen2.5 시리즈의 대규모 멀티모달 비전-언어 모델

• 
  이재성

  TwelveLabs 공동창업자 겸 CEO. 영상 이해 멀티모달 AI 기업가.

• 
  톈하오

  Xiaomi LLM-Core 팀의 시니어 멤버로, MiMo 시리즈(MiMo-7B, MiMo-VL, MiMo-V2-Flash)의 핵심 기여자이자 학계와의 협업을 이끄는 코레스폰딩 저자

• 
  장카이웨이

  UCLA CS Associate Professor, Amazon Scholar, VisualBERT·GLIP 등 비전-언어 모델과 NLP 편향 연구로 알려짐

• 
  헹 평안

  CUHK CSE Choh-Ming Li 석좌교수. 의료 AI, 컴퓨터 비전, VR/XR 전공. Orchestra-o1 교신저자.

• 
  차이중앙

  난양공과대학교 S-Lab 연구자이자 SenseTime 시니어 알고리즘 연구원. SMPLer-X로 표현적 인체 포즈·형상 추정을 제너럴리스트 파운데이션 모델까지 밀어올린 스케일업 전문가이며 VBVR-Pro 교신저자.

• 
  GPT-4o

  OpenAI의 멀티모달 대규모 언어 모델, 텍스트·이미지·음성 이해 능력 제공

• 
  덩호킨

  카네기멜런대학교 소속 연구자. "아이처럼 자라는 AI"(GrowAI) 프로젝트를 이끌며 발달심리학 고전 실험으로 비전언어모델의 인지 능력을 재는 계열을 만들었고 VBVR-Pro 교신저자.

• 
  천카이펑

  중국 톈진대(Tianjin University) 연구자. 멀티모달 긴 문서 질의응답과 에이전트 메모리를 연구합니다.

• 
  VLA

  Vision-Language-Action. 카메라 뷰와 자연어 지시를 받아 로봇 액션을 직접 출력하는 정책 모델 계열

• 
  하오닝우

  난양공과대학교(NTU) S-Lab 박사과정생. 비디오 품질 평가와 대형 멀티모달 모델 전문 연구자.