2026. 08. 이달의 인물 - Hao Fei, Zhiyu Li, Chengsong Huang

8월 논문들을 모아놓고 보면 주제가 제각각입니다. 마음 이론, 도시 내비게이션, 트랜스포머 블록 내부, 강화학습 환경. 겹치는 데가 없어 보입니다.

그런데 세 사람의 작업을 나란히 놓으면 같은 질문이 나옵니다. 무엇을 모델 안에 두고 무엇을 바깥에 남길 것인가. 지난 몇 년간 이 경계선은 대체로 관성으로 정해져 있었습니다. 메모리는 바깥, 세계 상태는 물리량만, 환경은 손으로 짜서 고정. 8월에는 세 사람이 각자 다른 자리에서 그 선을 다시 그었습니다. 흥미로운 건 답이 같은 방향이 아니었다는 점입니다. 둘은 안으로 들였고, 한 사람은 일부러 바깥에 남겼습니다.

Hao Fei

Hao Fei는 옥스퍼드대 박사후연구원으로 OATML과 Big Data Institute 양쪽에 소속돼 있습니다. 그 전에는 싱가포르국립대 시니어 리서치 펠로였고, Skywork AI 싱가포르와 SEA AI Lab을 거쳤습니다. NExT-GPT: Any-to-Any Multimodal LLM(ICML 2024)의 공저자로, LLM에 멀티모달 어댑터와 디퓨전 디코더를 붙여 텍스트와 이미지와 비디오와 오디오를 임의 조합으로 다루는 시스템을 만든 사람입니다.

8월에 두 편의 교신저자로 이름을 올렸습니다. 우리가 이 달에 리뷰한 논문 중 같은 사람이 둘 이상에 걸린 유일한 경우입니다. 그리고 두 편이 정확히 반대쪽 끝을 잡고 있습니다.

Mental World Modeling

월드 모델은 지금까지 물리적 질문 하나에만 답해 왔습니다. 무엇이 어디에 있고 그것이 어떻게 변할 것인가. 논문이 드는 예가 이 정식화의 구멍을 바로 보여줍니다. 그녀가 눈을 돌린 사이 머그컵이 찬장으로 옮겨졌습니다. 물리 상태만 아는 모델은 그녀가 찬장으로 갈 것이라고 예측합니다. 그녀는 아직 머그컵이 원래 자리에 있다고 믿기 때문에 원래 자리로 갑니다.

기존 연구가 이 문제를 몰랐던 건 아닙니다. 마음 이론 쪽에서 심적 변수를 다뤄 왔습니다. 다만 그 처리가 사후 합리화에 가까웠습니다. 이 논문이 한 일은 믿음과 욕구와 의도와 감정을 월드 모델 상태의 1급 시민으로 올린 것입니다. 상태를 물리 성분과 심적 성분의 결합으로 두고, 전이 함수도 두 채널로 나눕니다.

설계에서 가장 정교한 부분은 관측 생성입니다. 월드 모델이 전지적 상태를 들고 있되, 대상 행위자에게는 그 사람의 지각 접근 조건과 사회적 관점을 통과한 부분 관측만 렌더링합니다. 그리고 정책은 전체 상태가 아니라 이 관측에 조건 지어집니다. 오신념과 무지와 놀람이 표현 가능해지는 형식적 이유가 여기 있습니다. 대상이 나쁜 행동을 고르는 것은 그가 멍청해서가 아니라 그의 관측이 무언가를 빠뜨렸기 때문입니다.

같은 물리 신호를 두고 관점이 갈리는 예시도 좋습니다. 잭이 우는 모습을 보고, 잭이 상을 기대했다는 것을 아는 앨리스는 실망을 추론하고, 잭이 방금 위험에서 구조됐다는 것을 아는 밥은 안도를 추론합니다.

구현체 MENTIS는 학습이 필요 없습니다. 상태 파싱, 관측 생성, 행동 분해, 분기 시뮬레이션, 가치 평가, 결정의 여섯 단계를 전부 밖으로 노출합니다. 설계 원칙 하나가 명시적으로 걸려 있는데, 분기를 구성하기 전에 답을 골라서는 안 된다는 것입니다. 덕분에 틀렸을 때 어느 단계에서 틀렸는지를 국소화할 수 있습니다. 단일 답변 프롬프트가 주지 못하는 것입니다.

평가용 Menti-Bench는 448개 레코드이고 텍스트 320개, 이미지 100개, 소리 있는 비디오 28개로 구성됩니다. 정답 주석이 최종 행동만이 아니라 과정 전체를 덮습니다. 선택지별 후속 상태 주석만 2,688개입니다. 지름길 통제도 챙겨져 있습니다. 정답 위치를 여섯 자리에 고르게 뿌리고, 정답과 오답의 길이를 맞추고, 선택지만 주는 맹검 프로브를 통과시켰습니다. 소리 있는 비디오는 제작한 50개 중 28개만 사람 품질 검사를 통과해 남겼습니다.

UrbanGround

같은 달 다른 쪽 끝입니다. 멀티모달 모델에게 거리 사진을 보여주고 방향을 물으면 대체로 맞힙니다. 그런데 그 모델을 실제로 걷게 하면 이야기가 달라집니다. 모퉁이를 한 번 돌면 방금 판단의 근거가 된 랜드마크가 시야에서 사라지고, 모델은 그 사라진 근거를 자기 위치 추정으로 옮겨 담아야 합니다. 저자들은 이 옮겨 담기를 공간 주체성이라고 부르고, 인식 능력과 갈라서 측정할 수 있는 환경을 만들었습니다.

핵심은 도시를 새로 만들지 않았다는 점입니다. 홍콩 지정처가 공개한 3D 디지털 맵 두 종을 그대로 Unity로 가져왔습니다. 하나는 도시의 겉모습이고 다른 하나는 보행 공간의 연결 구조입니다. 여기서 설계 결정 하나가 눈에 띕니다. 보행자 네트워크를 같은 좌표계에 넣되 에이전트를 그 그래프 위로 강제하지 않습니다. 에이전트는 연속 공간을 자유롭게 움직이고 궤적을 나중에 네트워크와 대조합니다. 길을 벗어났는가가 실패가 아니라 측정 대상이 됩니다.

과제는 다섯 단계 사다리입니다. 인터페이스는 고정한 채 성공에 필요한 공간 상태의 양만 올립니다. 국소 이해에서 시작해 명시적 지시 내비게이션, 암묵적 지시 탐색, 다중 과제 계획, 동적 환경 상호작용으로 올라갑니다. 사람이 검증한 인스턴스 810개이고, 모든 인스턴스를 사람 테스터가 모델과 동일한 100스텝 제한 아래에서 완료했습니다. 모델 실패를 애초에 불가능한 과제였다고 돌릴 수 없게 막아둔 것인데, 벤치마크 설계에서 자주 빠지는 방어입니다.

결과는 제목이 이미 말하고 있습니다. 국소 근거는 잡힙니다. 몇 블록만 넘어가면 거의 전부 실패합니다.

선정 이유

두 논문을 따로 읽으면 하나는 마음 이론이고 하나는 도시 내비게이션입니다. 붙여 읽으면 같은 문장이 됩니다. 지금 모델이 들고 있는 상태에는 빠진 것이 있고, 그 빠짐은 국소 성능에서는 드러나지 않는다.

Mental World Modeling에서 빠진 것은 타인의 믿음이고, UrbanGround에서 빠진 것은 시야를 벗어난 공간입니다. 둘 다 한 장면 안에서는 문제가 되지 않습니다. 여러 시점, 여러 행위자로 넘어가는 순간에만 무너집니다. 그래서 두 논문 모두 국소 능력과 지속 능력을 갈라서 재는 데 평가 설계의 대부분을 씁니다. Menti-Bench가 과정 전체에 주석을 단 것과 UrbanGround가 사다리를 다섯 단으로 나눈 것은 같은 동작입니다.

멀티모달 파운데이션 모델을 만들던 사람이 두 편 모두에서 상태 정의를 다시 쓰는 자리에 있다는 점도 눈에 걸립니다. 그의 연구 진술이 물리 세계 접지와 심적 세계 지능을 함께 얹을 공통 기반을 말하는데, 8월에 나온 두 편이 그 두 축을 하나씩 맡고 있습니다.

Zhiyu Li

Zhiyu Li는 MemTensor(상하이) 소속으로 8월 논문 중 buzz 상위권에 오른 Metis의 교신저자입니다. 그런데 이 사람을 고른 이유는 이번 논문 하나가 아니라 그 앞에 있는 논문 때문입니다.

Metis - Memory Foundation Model

멀티모달은 파운데이션 모델 안으로 들어왔습니다. 추론도 Chain-of-Thought가 네이티브로 통합되면서 대형 추론 모델이 됐습니다. 메모리만 아직 바깥에 있습니다. RAG든 벡터 스토어든 메모리 운영체제든, 지금까지의 접근은 전부 백본 옆에 붙이는 모듈이었습니다.

저자들이 외부 메모리의 문제를 셋으로 정리합니다. 첫째는 구조적 분리입니다. 외부 메모리의 목표는 정보가 풍부한 컨텍스트를 만드는 것이고 백본의 목표는 그 위에서 조건부 언어 모델링을 하는 것입니다. 서로 상대가 무엇을 원하는지 모른 채 작동합니다. 둘째는 종단간 최적화가 어렵다는 점입니다. 이산적인 메모리 연산을 그래디언트가 통과하지 못합니다. 셋째는 지연입니다. 임베딩과 매칭과 리랭킹이 백본 바깥에서 순차적으로 돌아야 합니다.

여기에 저자들이 붙인 관점 하나가 이 논문의 가장 좋은 대목입니다. 저장 시점에는 받은 정보가 미래에 어떻게 쓰일지 알 수 없고, 추론 시점에는 원본에 더는 접근할 수 없어 저장된 것만 쓸 수 있습니다. 그러므로 메모리는 예측 문제입니다. 받은 정보가 미래에 어떻게 활용될지를 예측하는 문제라면, 다른 예측 과제처럼 사전학습 단계에서 습득하고 도메인 간에 일반화시킬 수 있습니다.

구현은 각 트랜스포머 블록 안에 들어가는 Metis 블록입니다. 로컬 메모리 블록이 현재 시점의 메모리 상태를 스텝마다 갱신되는 동적 파라미터로 들고 있고, 하이퍼 메모리 블록이 미드트레이닝으로 얻은 정적 파라미터로 그 갱신을 수행합니다. 저장 단계에서는 은닉 상태의 각 토큰을 중요도 벡터로 채점해 누적 확률이 임계에 닿는 최소 접두만 남깁니다. 이 선택이 미분 불가능하므로 straight through estimator로 밀집 분포를 통해 그래디언트를 흘려 채점기까지 학습 가능하게 만들었습니다.

가장 중요한 성질은 온라인 메모리 유지가 그래디언트 프리라는 점입니다. 갱신에 forward 한 번이면 되고, 추론 시점에 학습된 가중치는 전부 동결되며 메모리 상태만 표준 forward 연산으로 변형됩니다. 추론 중에 임시 모듈을 학습시키는 test time training 계열과 갈리는 지점이 여기입니다. 백본은 Qwen3.5의 4B와 9B와 27B이고 백본을 동결한 채 메모리 파라미터만 학습했습니다.

선정 이유

리즈위의 직전 대표작은 MemOS입니다. 평문과 활성화와 파라미터 수준의 메모리를 하나의 단위로 묶어 운영체제처럼 관리하자는 작업이었습니다. 메모리를 모델 바깥에서 가장 체계적으로 다뤄본 사람이 그다음에 낸 것이 메모리를 백본 안으로 넣는 논문입니다.

이 순서가 중요합니다. 바깥에서 할 수 있는 것을 끝까지 밀어붙여 본 사람이 안으로 옮기자고 말하는 것과, 바깥을 해보지 않은 사람이 같은 말을 하는 것은 무게가 다릅니다. 그리고 그 무게는 결론에서 확인됩니다. 이 논문은 네이티브 메모리가 외부 메모리를 대체하지 못하며 하이브리드가 유망하다고 적었습니다. 자기가 만든 앞의 작업을 지우는 방향으로 결론을 내지 않았습니다. 양쪽을 다 만들어 본 사람의 문장입니다.

저자 배치도 같은 이야기를 합니다. 공동 1저자 장쩌위는 2024년에 에이전트 메모리 메커니즘 서베이를 쓴 사람이고, 그의 지도교수 천쉬가 함께 교신저자로 있습니다. 외부 메모리 접근법 전체를 훑어본 사람과 그것을 운영체제로 구현해본 사람이 같은 논문에서 그 접근의 구조적 한계를 정리하고 있습니다. 스스로 첫 프로토타입이라고 부르는 조심스러운 표현도 이 배경에서 보면 겸양이 아니라 정확한 자기 위치 표기로 읽힙니다.

Chengsong Huang

Chengsong Huang은 워싱턴대학교 세인트루이스 박사과정으로 Jiaxin Huang 교수와 연구합니다. 사람이 만든 라벨이나 과제 없이 모델이 스스로 학습 신호를 만드는 문제를 몇 년째 다른 각도로 반복해 왔습니다. R-Zero는 두 모델이 서로를 밀어붙이며 라벨 없이 추론을 학습하게 했고, G-Zero는 그것을 개방형 생성으로, VisPlay는 비전언어모델로 넓혔습니다. 전부 한 질문의 변주입니다.

EnvHarness - Awakening Static Worlds for Agent Learning

에이전트 하네스라는 말은 익숙합니다. 얼려둔 LLM에 도구와 메모리와 스킬을 붙여 자율 에이전트로 만드는 소프트웨어 층입니다. 이 논문은 같은 발상을 반대편에 적용합니다. 에이전트와 환경의 루프에서 지금까지 손대지 않던 쪽, 즉 환경에 하네스를 씌웁니다.

환경이 비싼 것보다 나쁜 성질이 하나 더 있다고 저자들은 지적합니다. 정적이라는 점입니다. 어떤 에이전트가 들어오든 얼마나 성장했든 똑같이 반응합니다. 그래서 특정 에이전트의 약점을 겨냥한 신호를 줄 수 없고, 과제를 다 풀고 나면 더 가르칠 것이 없습니다. 환경을 LLM으로 자동 생성하는 갈래도 커졌지만, 파이프라인이 도메인 전용이라 옮겨가지 않고 검증기까지 생성하므로 정확성을 보장하지 못합니다.

EnvHarness의 재정의가 여기서 나옵니다. 환경 구축을 저술 문제가 아니라 포장 문제로 봅니다. 새 환경을 만들지 않고 있는 환경을 감쌉니다. 부품은 셋입니다. Stage는 초기 상태를 바꾸고, Contract는 행동과 관측과 전이를 다시 쓰고, Chain은 두 환경을 이어 붙입니다. ALFWorld의 머그컵 과제로 설명하면, Stage가 컵을 서랍에 넣고 닫아버리면 에이전트는 손을 뻗는 대신 먼저 찾아야 합니다. 관측에서 방 설명을 앞 두 문장으로 잘라내면 공간 표상을 여러 스텝에 걸쳐 쌓아야 합니다.

핵심 제약은 이 변환이 인터페이스 수준에서만 작동한다는 것입니다. 시뮬레이터 백엔드는 건드리지 않습니다. 개입이 전부 바깥에 머물기 때문에 원래 환경의 정답 채점 로직이 그대로 보존됩니다. LLM이 검증기까지 만들어내는 접근이 놓친 자리를 정확히 피해 갑니다.

자동화는 EnvRigger가 맡습니다. 기본 환경에서 정책을 롤아웃해 궤적을 모으고, 반복 행동 루프나 관측 파싱 실패 같은 체계적 문제를 진단하고, 그 약점을 겨냥한 부품을 짜고, 새 롤아웃으로 검증합니다. 여기서 방향이 양쪽으로 열립니다. 정책이 헤매면 쉽게 만들고, 성공률이 만점이면 환경이 무르다는 뜻이므로 어렵게 만듭니다. 진단 예시가 구체적입니다. 정책이 테스트를 돌리지 않고 패치를 제출한다는 진단이 나오면, 테스트 실행 여부를 상태에 기록해뒀다가 기록이 없으면 제출을 막는 Contract를 짜냅니다.

통제 하나가 눈에 띕니다. EnvRigger와 정책이 같은 백본을 씁니다. 더 강한 외부 모델을 증류해서 성능이 오른 것이 아니라는 점을 확실히 하려는 설계입니다. 스킬 기반 학습 실험에서 ALFWorld 분포 내 성능이 스킬 없음 62.6에서 66.2로 올랐고, 분포 밖에서는 60.7에서 70.4로 올랐습니다. 분포 밖 개선폭이 더 크다는 쪽이 이 방법의 성격을 잘 보여줍니다.

선정 이유

앞의 두 사람이 바깥에 있던 것을 안으로 들였다면 이 사람은 반대로 갔습니다. 모델을 얼려두고 바깥을 손봅니다.

그런데 계보를 놓고 보면 이것도 같은 질문의 답입니다. R-Zero부터 VisPlay까지는 학습 신호를 만들기 위해 모델 쪽을 진화시켰습니다. EnvHarness는 모델을 고정하고 환경 쪽을 진화시킵니다. 신호를 어디서 얻을 것인가라는 질문은 그대로이고, 그 신호를 만들 책임을 어느 쪽에 둘지만 옮겼습니다. 자기 앞선 작업의 알려진 약점을 겨냥한 이동이기도 합니다. R-Zero는 자체 생성 라벨의 정확도가 반복될수록 떨어진다는 한계를 저자들이 직접 보고했는데, 검증기를 물려받는 설계는 그 문제를 구조적으로 피합니다.

물려받는다는 것이 강점이자 한계라는 점도 정직하게 남아 있습니다. 원래 환경의 채점 로직이 보존되므로 정확성이 공짜로 따라오지만, 원래 환경이 재지 않는 것은 EnvHarness도 재지 못합니다. 사다리를 놓았지만 사다리가 닿는 높이는 여전히 아래 환경이 정합니다.

8월의 세 사람은 같은 경계선 앞에서 각자 다른 결정을 내렸습니다. 페이하오는 상태 정의에 빠져 있던 것을 안으로 들였고, 리즈위는 옆에 붙여 두던 메모리를 백본 안으로 옮겼고, 황청쑹은 모델을 건드리지 않고 바깥을 움직이는 쪽을 택했습니다. 셋 다 새 아키텍처나 더 큰 모델로 답하지 않았습니다. 무엇을 어디에 둘 것인가를 다시 물었을 뿐인데, 그 질문만으로 기존 정식화가 놓치던 자리가 드러났습니다. 8월 논문들이 유난히 평가 설계에 공을 들인 것도 우연은 아닐 겁니다. 경계선을 옮기자고 주장하려면 옮기기 전에 무엇이 새는지부터 보여줘야 하기 때문입니다.