루 르웨이

개요

루 르웨이(Lewei Lu)는 SenseTime Research의 Senior Research Director로, 컴퓨터비전과 딥러닝, 특히 대규모 멀티모달 모델의 시스템 설계와 엔지니어링을 주도해 온 연구자입니다. CVPR 2024 Oral로 발표된 InternVL의 공저자이며, ECCV 2024의 ControlLLM 등 도구 사용 언어 모델 연구에도 참여했습니다.

순수 이론 연구자보다는 시스템 빌더에 가까운 연구자입니다. SenseTime 내에서 InternVL 계보와 SenseNova 제품 라인을 연결하는 가교 역할을 해 왔으며, 대규모 학습·서빙 인프라의 실질적 책임자로 알려져 있습니다. 2025년부터 2026년에 걸쳐 InternVL 2.5, VeBrain, ACPO 등 연이은 성과를 발표하며 오픈소스 멀티모달 모델 생태계 확장에 꾸준히 공헌하고 있습니다.

생애

루 르웨이는 중국 출신으로, 화남이공대학교(South China University of Technology)에서 2014년부터 2017년까지 석사 과정을 밟았습니다. 졸업 후 중국 AI 연구의 최고 기관 중 하나인 마이크로소프트 리서치 아시아(Microsoft Research Asia, MSRA)에서 2017년부터 2019년까지 연구원으로 근무하며 컴퓨터비전 분야의 기초 역량을 다졌습니다.

MSRA는 바이두, 텐센트, 바이트댄스, SenseTime 등 중국 주요 기술 기업의 핵심 인재를 배출한 기관으로, 이 시기에 루 르웨이는 대규모 비전·멀티모달 시스템 개발의 실전 경험을 쌓았습니다. 2019년 이후 SenseTime Research에 합류해 연구원을 거쳐 현재 Senior Research Director로 재직 중입니다. SenseTime은 중국 최대 AI 기업 중 하나로, 루 르웨이는 이 가운데 대규모 멀티모달 기반 모델 연구를 이끄는 역할을 맡고 있습니다.

업적

루 르웨이의 대표 기여는 CVPR 2024 Oral로 발표된 InternVL 논문입니다. OpenGVLab, 상하이 AI 연구소, 홍콩대학교, 칭화대학교 등 복수 기관의 공동 연구로 이뤄진 이 작업은 비전 파운데이션 모델을 60억 파라미터 규모로 확장하고 웹 규모 이미지-텍스트 데이터로 언어 모델과 점진적으로 정렬하는 방법론을 제시했습니다. InternVL은 GPT-4V와 같은 클로즈드 모델에 필적하는 성능을 오픈소스 형태로 제공한 선도적 시도로 평가받습니다.

2025년 InternVL 2.5는 오픈소스 MLLM 중 최초로 MMMU 벤치마크에서 70%를 넘었습니다. 같은 해 발표된 VeBrain 프로젝트에서는 MLLM을 이족 보행 로봇 등 물리적 에이전트로 확장하는 연구에 이름을 올렸습니다. 2026년 3월에는 시각 앵커 붕괴(Visual Anchor Collapse) 문제를 해결하는 ACPO(Asymmetric Constrained Preference Optimization) 연구가 발표되어 시각-언어 정렬 분야의 후속 연구를 자극했습니다.

SenseNova 제품 라인에서는 Senior Project Lead 역할을 맡아, LIGHTLLM과 LIGHTX2V 두 추론 엔진을 분리 운영해 이해(understanding) 스트림과 생성(generation) 스트림을 독립적으로 서빙하는 인프라를 담당한 것으로 알려져 있습니다. 이 구조는 NVIDIA L40S와 5090 GPU 환경에서 2048x2048 이미지를 스텝당 0.4초대에 처리하는 고효율 서빙을 실현합니다.

여담

루 르웨이는 학계 단독 저자나 소규모 그룹 연구보다 대형 멀티 인스티튜션 공동연구에 주로 참여합니다. 이는 그의 역할이 단순 아이디어 발생자보다는 여러 연구 그룹의 작업을 통합하고 실제로 구현·배포까지 가져가는 시스템 통합자에 가깝기 때문입니다.

MSRA 출신이라는 경력은 중국 AI 업계에서 상징적 의미를 지닙니다. MSRA는 중국 최고 수준의 컴퓨터 과학자들이 거쳐 간 기관으로, 출신 연구자들이 주요 기술 기업의 핵심 직책을 맡는 경우가 많습니다. 루 르웨이도 이 경로를 따른 인물 중 하나입니다.

린 다후아, 리우 즈웨이 등 학계 쪽 공동 연구자들과의 협력 구조는 학술 연구와 산업 인프라를 연결하는 SenseTime 연구소의 독특한 운영 방식을 반영합니다. 논문 아이디어는 대학 쪽에서, 실제 구현과 스케일업은 SenseTime 인프라 위에서 이뤄지는 분업 체계입니다.

주요 논문

• VL-BERT: Pre-training of Generic Visual-Linguistic Representations (2020, ICLR) — 비전-언어 표현 범용 사전 학습
• Deformable DETR: Deformable Transformers for End-to-End Object Detection (2021, ICLR) — 변형 가능한 어텐션으로 DETR 수렴 속도·성능 개선
• InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks (2024, CVPR Oral) — 60억 파라미터 비전 파운데이션 모델과 LLM 정렬
• Efficient Deformable ConvNets: Rethinking Dynamic and Sparse Operator for Vision Applications (2024, CVPR) — 변형 합성곱 경량화·재설계
• ControlLLM: Augment Language Models with Tools by Searching on Graphs (2024, ECCV) — 그래프 검색 기반 LLM 도구 호출 증강 프레임워크
• The All-Seeing Project V2: Towards General Relation Comprehension of the Open World (2024, ECCV) — 개방 세계 범용 관계 이해
• SenseNova-U1: Unifying Multimodal Understanding and Generation with NEO-unify Architecture (2025) — 이해·생성 통합 멀티모달 아키텍처 NEO-unify 제안
• SenseNova-MARS: Empowering Multimodal Agentic Reasoning and Search via Reinforcement Learning (2025) — 강화학습 기반 멀티모달 에이전트 추론·검색 능력 강화
• ACPO: Counteracting Likelihood Displacement in Vision-Language Alignment with Asymmetric Constraints (2026) — 시각 앵커 붕괴 문제 해결을 위한 비대칭 제약 선호 최적화