AutoMem - Automated Learning of Memory as a Cognitive Skill

S. Wu, H. Zhu, Y. Zhang, X. Wang, and S. Yeung-Levy, "AutoMem: Automated Learning of Memory as a Cognitive Skill," arXiv:2607.01224, 2026.

LLM 에이전트에게 긴 과제를 시키면 문맥 창이 먼저 무너집니다. 문맥 창은 사람으로 치면 작업 기억(working memory)에 해당하는데, 크기가 고정돼 있어서 수천 단계짜리 과제는 담기지 않습니다. 그래서 외부 메모리를 붙입니다. 검색 데이터베이스, 벡터 스토어, 스크래치패드, 요약 버퍼 같은 방식이 나와 있습니다. 그런데 이들은 대부분 메모리를 시스템에 미리 설계해 박아넣는 고정 모듈로 봅니다. 무엇을 저장하고 언제 꺼낼지가 사람 손으로 짜여 있습니다.

AutoMem은 관점을 바꿉니다. 메모리 관리 자체를 학습 가능한 기술로 봅니다. 인지과학에서 메타기억(metamemory)이라 부르는, 무엇을 기억할 가치가 있고 언제 꺼내며 어떻게 정리할지 스스로 판단하는 능력을 LLM에 옮겨온 것입니다.

저자

Serena Yeung-Levy가 이끄는 Stanford 연구실에서 나왔습니다. 원래 의료 영상과 컴퓨터비전을 주로 다루던 그룹이 장기 과제 에이전트의 메모리 문제로 넘어온 조합입니다. 1저자 Shengguang Wu는 Qwen 팀과 오픈소스 LLM 연구를 함께 한 이력이 있고, 자기개선 AI와 임바디드 에이전트에 관심을 둬 왔습니다. 공저자 Yuhui Zhang은 멀티모달 머신러닝의 기초를 파온 사람입니다. 오픈 웨이트 모델을 프런티어 수준으로 끌어올리는 방법을 찾는다는 이 논문의 목표는, 이 조합의 관심사가 한 곳에서 만나는 지점입니다.

배경

메모리 기술은 두 축으로 나뉩니다. 하나는 그것을 떠받치는 골격(structure)입니다. 프롬프트, 파일 스키마, 검증 로직, 행동 어휘가 여기 들어갑니다. 어떤 메모리 조작이 가능하고 모델이 그걸 어떻게 쓰도록 유도되는지를 결정합니다. 다른 하나는 그 골격 위에서 실제로 잘 판단하는 숙련(proficiency)입니다. 주어진 조작 중 무엇을 고를지 결정하는 모델의 파라미터 능력입니다.

두 축 다 사람 손으로 최적화하기 어렵습니다. 한 에피소드가 수만 단계에 이르고, 50단계에서 지도 좌표를 기록하지 않은 실수가 800단계에 가서야 길을 잃는 형태로 드러납니다. 최종 점수만 보면 어디서 메모리가 어긋났는지 알 수 없습니다. 사람이 전체 궤적을 다 읽는 건 비현실적입니다.

핵심 착상은 여기 있습니다. 충분히 강한 LLM이라면, 코드 리뷰어가 실행 로그를 읽듯 에이전트의 전체 에피소드를 검토해 메모리 판단이 어디서 틀어졌는지 짚어낼 수 있습니다. 이 검토를 자동화하면 두 축을 다 최적화할 수 있습니다.

어떻게 만들었나

먼저 내부 루프의 에이전트가 파일 시스템을 메모리로 씁니다. 읽기, 쓰기, 검색, 추가, 생성 같은 파일 조작을 세계에 작용하는 과제 행동과 동일한 행동 공간에 둡니다. 같은 forward pass가 과제 행동도 고르고 메모리 파일 조작도 고릅니다. 에이전트는 매 단계 두 루틴을 돕니다. LOG 루틴은 방금 벌어진 일 중 무엇을 기록할지 묻고, PLAN 루틴은 지금 행동하려면 무엇을 꺼내야 할지 묻습니다. 모든 메모리 판단이 궤적에 남는 추적 가능한 행동이 되므로, 바깥 루프가 그것을 관찰하고 평가하고 고칠 수 있습니다.

그 위에서 두 개의 바깥 루프가 돕니다. 첫 번째 루프는 골격을 최적화합니다. 메타 LLM(여기서는 Claude Opus 4.6)이 전체 에피소드 궤적을 받아 스캐폴드가 실패를 유발한 지점을 찾고, 에이전트의 코드와 프롬프트와 파일 스키마를 고쳐 씁니다. 예를 들어 NetHack에서 지도 파일이 같은 좌표를 수천 번 중복 기록하며 부풀던 문제를, 좌표를 키로 삼아 덮어쓰는 형식(\(\texttt{UPSERT\_MAP}\))을 도입해 해결했습니다. 이 조작 하나로 지도의 단계당 증가량이 138자에서 6자로, 95% 줄었습니다. 각 수정은 같은 시드로 다시 돌려 평균 진행률이 오를 때만 채택됩니다.

두 번째 루프는 숙련을 훈련합니다. 골격이 다듬어지고 나면 남는 병목은 모델이 주어진 조작 중 잘 고르는 능력입니다. 메타 LLM(Claude Opus 4.7)이 훈련 엔진 역할을 하며, 에이전트 자신의 여러 에피소드에서 좋은 메모리 판단을 골라 지도학습 데이터로 삼습니다. 여기서 메타 LLM은 새 답을 만들어주는 교사가 아니라, 모델 자신의 행동 중 강화할 것을 고르는 필터로 작동합니다. 훈련 대상은 메모리 전담 모델(memory specialist)뿐입니다. LoRA로 미세조정하며, 실제 과제 행동을 커밋하는 게임플레이 모델은 가중치를 건드리지 않고 얼립니다. 메모리를 분리 가능한 기술로 다루기 때문에, 메모리 숙련만 끌어올리면서 기존 과제 수행 능력은 그대로 보존합니다.

두 루프를 합치면 기계학습의 익숙한 구조가 됩니다. 각 루프는 최적화할 파라미터 \(\theta\)와 갱신 신호 \(\nabla L\)을 가지되, 첫 루프에서는 \(\theta\)가 에이전트 스캐폴드이고 \(\nabla L\)이 코드 수정이며, 둘째 루프에서는 \(\theta\)가 메모리 모델 가중치이고 \(\nabla L\)이 에이전트 자신의 행동에서 뽑은 지도학습 스텝입니다.

결과

평가는 BALROG 벤치마크의 절차적 생성 게임 세 개에서 이뤄졌습니다. Crafter(생존·제작), MiniHack(퍼즐·내비게이션), NetHack(로그라이크)입니다. 세 환경 모두 매 에피소드 세계가 새로 생성돼 사전학습 지식이 잘 전이되지 않고, 에피소드가 \(10^4\)에서 \(10^5\) 단계에 이릅니다. 기반 모델은 Qwen2.5-32B-Instruct입니다. 지표는 진행률(progression rate, %)이고 평균과 표준오차로 보고됐습니다.

핵심은 가중치를 전혀 건드리지 않은 골격 최적화만으로 성능이 두세 배 뛴 대목입니다. Crafter는 \(25.0 \to 47.27\)(\(\times 1.89\)), MiniHack은 \(7.5 \to 27.5\)(\(\times 3.67\)), NetHack은 \(0.42 \to 1.57\)(\(\times 3.74\))입니다. 이 32B 에이전트는 같은 벤치마크에서 Qwen2.5-72B를 큰 차이로 앞섭니다. 파라미터를 두 배 이상 키운 같은 계열 모델보다, 메모리 관리를 잘 짜는 편이 이 과제들에서 더 큰 지렛대라는 뜻입니다.

그 위에 메모리 숙련 훈련을 얹으면 Crafter 51.36%, MiniHack 30.0%, NetHack 1.85%로 한 단계 더 오릅니다. 상대적으로 약 9~18%의 추가 이득이며, 골격 이득과 상충하지 않고 그 위에 쌓입니다. 최종 성적은 Claude Opus 4.5(49.5 / 27.5 / 2.0)와 어깨를 나란히 하고, Gemini-3.1-Pro-Thinking(55.0 / 27.5 / 2.6)과도 몇 점 차이로 좁혀집니다. 다만 세 지표 모두에서 최고 성적은 여전히 Gemini-3-Pro의 몫이고, 특히 NetHack은 어느 시스템이든 한 자릿수 진행률에 머뭅니다. 이 벤치마크가 얼마나 어려운지를 보여주는 대목입니다.

행동 지표로 보면 무엇이 바뀌었는지 더 선명합니다. 골격 최적화 뒤 비생산적 행동 비율(제자리걸음이나 왔다 갔다 하는 움직임)이 세 환경에서 32~65% 줄었습니다. 메모리 쪽에서는 아무것도 안 남는 중복 쓰기가 68~83% 줄고, 빈 검색이 13~50% 줄었습니다. 훈련된 메모리 전담 모델은 쓰기 전에 먼저 검색하는 습관을 내면화해서, LOG 단계의 쓰기 대 검색 비율이 세 환경에서 각각 54%, 72%, 72% 낮아졌습니다. 무작정 기록하는 대신 기존 파일을 먼저 뒤진다는 뜻입니다.

회고

저자들이 부록과 한계 절에서 밝힌 제약이 있습니다.

첫째, 여기서 다룬 메모리는 에피소드 단위입니다. 매 에피소드 파일 시스템이 새로 시작합니다. 에피소드를 가로질러 지식을 쌓는 지속(persistent) 메모리는 앞으로의 과제로 남겨뒀습니다.

둘째, 실험이 게임 환경에 한정됩니다. 게임은 긴 지평, 절차적 생성, 풍부한 정보 관리 요구를 갖춰 메모리 기술을 연구하기엔 적합하지만, 실제 업무 도메인으로의 일반화는 검증되지 않았습니다.

셋째, 세 게임이 구조와 목표가 달라 스캐폴드와 메모리 전담 모델을 각각 따로 최적화했습니다. 하나의 골격이나 전담 모델을 여러 환경에 공유할 수 있는지는 열린 질문입니다.

여기에 더할 점이 있습니다. 이 파이프라인은 궤적을 검토하고 코드를 고쳐 쓰는 메타 LLM으로 Claude Opus 4.6과 4.7을 씁니다. 즉 32B 오픈 웨이트 모델의 성능을 끌어올리는 데 프런티어 모델의 검토 능력이 도구로 들어갑니다. 최종 배포 모델은 오픈 웨이트지만, 그 모델을 다듬는 과정 자체는 강한 폐쇄 모델에 기댑니다. 저자들도 공개한 산출물이 안전성 검토 없이 고위험 배포에 바로 쓰일 수 없다고 밝혔습니다.

정리

• 메모리 관리를 아키텍처에 박는 고정 모듈이 아니라 학습 가능한 기술로 놓고, 파일 조작을 과제 행동과 같은 공간에 둬 추적 가능하게 만들었습니다.
• 메타 LLM이 궤적을 검토해 골격(코드·스키마)과 숙련(모델 가중치)을 함께 최적화합니다. 가중치를 안 건드린 골격 최적화만으로도 Qwen2.5-32B가 \(\times 1.89\)에서 \(\times 3.74\)까지 올랐습니다.
• 에이전트 성능이 정체됐다면 모델을 키우기 전에 무엇을 어떤 구조로 기억하는지를 먼저 손보는 편이, 적어도 이 장기 과제들에서는 지렛대가 더 큽니다.