GateMem - Benchmarking Memory Governance in Multi-Principal Shared-Memory Agents
Z. Ren, Y. Yang, Y. Chen, Z. Zhao, et al., "GateMem: Benchmarking Memory Governance in Multi-Principal Shared-Memory Agents," arXiv:2606.18829, 2026.
AI 에이전트의 메모리를 평가하는 벤치마크는 대부분 "얼마나 잘 기억하느냐"를 묻습니다. 그런데 병원, 직장, 학교, 가정처럼 여러 사람이 한 어시스턴트를 함께 쓰는 환경에서는 기억을 잘하는 것만으로 부족합니다. 환자 검사 결과를 권한 없는 가족에게 흘리거나, 삭제 요청받은 정보를 나중에 다시 꺼내면, 정확히 기억했더라도 그것은 실패입니다. GateMem은 이 빈자리를 겨냥합니다. 공유 메모리에서 무엇을 기억하느냐가 아니라, 무엇을 누구에게 보여주고, 감추고, 잊어야 하는가를 함께 측정합니다.
저자
지린대학교 인공지능대학을 중심으로 상하이교통대학교, KAUST, 칭화대학교, 싱가포르국립대학교가 함께한 작업입니다. 1저자는 지린대학교의 Zhe Ren이고, 교신저자는 Yibo Yang(상하이교통대학교 부교수, 지속학습·평생학습 연구)과 Dandan Guo(지린대학교, 심층 생성 모델·표현학습 연구)입니다.
시니어 저자로 Shuicheng Yan이 참여했습니다. 컴퓨터비전·머신러닝에서 피인용 10만을 넘기고 AAAI·ACM·IEEE Fellow인 연구자로, 현재 Kunlun Tech와 Skywork AI 수석과학자입니다. 메모리·생성·표현학습을 오래 다뤄온 팀이, 그 관심을 "에이전트 메모리의 보안·거버넌스"라는 응용 문제로 옮긴 구성입니다.
배경
기존 메모리 벤치마크는 에이전트의 메모리를 개인 캐시로 봅니다. 실패하면 한 사용자가 손해를 보고, 목표는 회상(recall)을 최대로 끌어올리는 것입니다. LoCoMo·LongMemEval은 장기 대화 회상을, PersonaMem은 개인화를, MemBench는 일반 메모리 능력을 잽니다.
그런데 현실의 병원·기업·캠퍼스·가정은 전제가 다릅니다. 메모리가 공동 풀이고, 여러 주체가 서로 다른 역할·범위·관계 아래 읽고 씁니다. 이런 환경에서 높은 회상은 성취가 아니라 보안 취약점이 될 수 있습니다. 어시스턴트가 민감한 진단을 권한 없는 사람에게 노출하거나, 삭제된 기밀 초안을 외부 계약자에게 되돌려주면, 정답을 꺼냈더라도 시스템은 실패한 것입니다.
이 전환은 메모리 평가를 결합된 거버넌스 문제로 바꿉니다. GateMem은 공유 메모리 에이전트가 세 가지를 동시에 지켜야 한다고 봅니다.
- 유용성(Utility): 권한 있는 요청자에게는 현재 범위 안의 답을 제대로 줘야 합니다.
- 접근제어(Access Control): 권한 밖 요청자에게는 보호 정보를 거절하거나 가려야 합니다.
- 능동 망각(Active Forgetting): 삭제 요청 이후에는 그 정보를 복구·확인·재구성하지 말아야 합니다.
특히 능동 망각은 파라미터 단위 머신 언러닝(가중치 수정)이 아니라, 인터페이스 수준의 행동적 비복구성입니다. 사용자가 잊으라고 하면, 에이전트가 이후에 그 정보를 다시 확인하거나 간접적으로 재구성하지 않으면 됩니다.
어떻게 만들었나
GateMem은 의료·사무·교육·가정 네 도메인에 걸쳐 있습니다. 데이터셋 구축은 세 단계 파이프라인입니다.
먼저 시나리오 명세를 정의합니다. 각 에피소드 \(e\)는 배경 구조 \(\mathcal{S}_e\)와 다자 대화 시퀀스 \(E_e\)로 이뤄집니다.
\[e = (\mathcal{S}_e,\, E_e), \qquad \mathcal{S}_e = (\mathcal{D}_e,\, \mathcal{P}_e,\, \mathcal{R}_e,\, \mathcal{G}_e)\]
\(\mathcal{D}_e\)는 도메인, \(\mathcal{P}_e\)는 등장 주체 집합, \(\mathcal{R}_e\)는 역할·관계, \(\mathcal{G}_e\)는 초기 접근 규칙입니다. 예컨대 의료 에피소드에서 가족은 예약 일정은 받을 수 있지만 검사 결과·약물 정보·임상 해석은 차단됩니다.
다음으로 LLM의 도움을 받아 다자 에피소드를 만듭니다. 사실이 추가·수정되고, 권한이 바뀌고, 삭제 요청이 들어오는 흐름을 시간 순으로 펼칩니다. 이 조작들은 모두 자연어로 표현되며, 명시적인 "메모리 연산 라벨"로 에이전트에게 주어지지 않습니다. 에이전트는 매 턴을 받아 내부 메모리 상태를 갱신합니다.
\[M_t^{(e)} = \text{Ingest}(M_{t-1}^{(e)},\, \tau_t,\, \mathcal{S}_e)\]
GateMem은 \(M_t^{(e)}\)의 내부 표현에 중립적입니다. 전체 맥락 재생이든, 검색된 청크든, 외부 메모리 모듈이든 상관없습니다.
마지막으로 숨은 체크포인트를 삽입합니다. 체크포인트마다 카테고리(유용성·접근제어·능동 망각), 기대 행동, 심사 명세, 누출 대상이 주석으로 달리지만 에이전트는 이를 보지 못합니다. 에이전트의 응답은 네 가지 정규화 행동(answer, answer_redacted, refuse, no_memory) 중 하나로 매핑됩니다. 이 행동 공간이 "안전한 부분 공개"와 "거절"을 구분하고, "삭제 준수"와 "권한 제한"을 분리합니다.
전체 데이터셋은 4단계 품질 관리를 거칩니다. 스키마 일관성, 근거 검증(모든 정답이 이전 대화로 뒷받침되는지), 삭제 체인 종결(삭제 대상이 명시적으로 존재했다가 삭제 요청되는지), 누출 대상 수동 검수입니다.
무엇으로 구성돼 있나
네 도메인, 91개 장문 에피소드, 2,218개 숨은 체크포인트입니다.
도메인 |
에피소드 |
턴/에피소드 |
체크포인트 |
유용성 |
접근제어 |
능동망각 |
|---|---|---|---|---|---|---|
의료 |
21 |
204.5 |
579 |
210 |
192 |
177 |
사무 |
17 |
241.2 |
547 |
154 |
171 |
222 |
교육 |
30 |
224.9 |
540 |
180 |
180 |
180 |
가정 |
23 |
224.0 |
552 |
184 |
184 |
184 |
합계 |
91 |
223.0 |
2,218 |
728 |
727 |
763 |
세 카테고리에 고르게 분포합니다. 의료·사무는 전문 협업과 부분 위임을, 교육·가정은 권한이 암묵적이거나 유동적인 주거·학술 경계를 다룹니다.
평가는 세 지표를 LLM 심사로 잰 뒤 하나의 점수로 묶습니다. 유효 유용성 \(U\), 접근제어 위반율 \(A\), 삭제 후 복구 실패율 \(F\)입니다. 핵심은 이들을 곱셈으로 합치는 메모리 거버넌스 점수(MGS)입니다.
\[\text{MGS} = U \cdot (1 - A) \cdot (1 - F)\]
곱셈 형태가 공유 메모리 거버넌스의 엄격한 요구를 반영합니다. 아무리 유용해도 보호 정보를 흘리면, 아무리 안전해도 정당한 질의를 마비시키면, 전체 점수가 높을 수 없습니다.
결과
표 하나로 정리한 핵심은 분명합니다. 어떤 백본도, 어떤 메모리 구조도 세 가지를 동시에 잡지 못합니다. 아래는 GPT-5.4 백본 기준입니다(\(U\)·MGS는 높을수록, \(A\)·\(F\)는 낮을수록 좋음).
방법 |
U (%) |
A (%) |
F (%) |
MGS |
|---|---|---|---|---|
Long-Context |
91.4 |
10.4 |
2.3 |
80.1 |
RAG-Policy |
37.1 |
10.9 |
4.0 |
31.8 |
RAG-Naive |
64.8 |
25.0 |
7.9 |
44.7 |
A-MEM |
65.7 |
24.0 |
6.8 |
46.6 |
Mem0 |
38.1 |
28.1 |
5.6 |
25.8 |
ReMEM-I |
56.7 |
28.6 |
9.0 |
36.8 |
몇 가지 발견이 두드러집니다.
첫째, 전체 맥락 프롬프팅(Long-Context)이 대부분의 백본·도메인 블록에서 가장 높은 MGS를 냅니다. 전체 이력을 모델에 주면 정당한 질의에 풍부한 근거가 생겨 유용성이 높아집니다. 그러나 같은 맥락이 민감·삭제 정보까지 노출해, 여러 도메인에서 접근제어·능동 망각 실패가 20%를 넘기도 합니다. 큰 맥락 창만으로 거버넌스가 풀리지 않습니다.
둘째, 정책 인식 검색(RAG-Policy)은 안전을 높이지만 유용성을 깎습니다. 요청자·정책 메타데이터로 필터링해 무단 공개를 크게 줄이는 대신, 유용한 근거까지 걸러내 보수적 응답을 유발합니다. 과잉 거절률(over-refusal)이 Long-Context의 24.8%에 비해 63.3%까지 치솟습니다.
셋째, 전용 메모리 시스템(A-MEM, Mem0, ReMEM)이 단순 베이스라인을 일관되게 넘지 못합니다. 메모리 구조화·에피소드 추론만으로는 부족하고, 검색한 사실이 현재 요청자에게 허가됐는지·삭제 후에도 유효한지를 명시적으로 따져야 한다는 뜻입니다. ReMEM은 토큰을 극단적으로 아끼지만(체크포인트당 약 1k) 반복 그래프 검색 때문에 지연이 최대 260초까지 치솟습니다.
회고
저자들이 한계를 솔직하게 짚습니다. GateMem은 인터페이스 수준 기준입니다. 능동 망각을 "에이전트가 삭제 정보를 다시 꺼내지 않는가"로 보지, 내부 데이터베이스·벡터 인덱스·캐시·모델 파라미터에서의 물리적 삭제를 인증하지 않습니다. 행동적 비복구성과 물리적 삭제는 다른 문제이고, 이 벤치마크는 전자만 다룹니다.
또한 주 지표가 구조화된 LLM 심사 라벨에 의존합니다. 이를 보완하려 유용성·접근제어·능동 망각 사례를 층화 추출해 사람이 직접 라벨링했고, GPT-4o 심사 라벨과 최대 절대 차이가 1.04%포인트, 필드 단위 일치도 97.7% 이상임을 확인했습니다.
가장 인상적인 진단은 실패의 결이 미묘하다는 점입니다. 접근제어 실패는 노골적 무단 질의보다 간접 추론·교차 환자 혼동·미배정 임상의 요청 같은 "소프트 월권"에서 자주 터집니다. 능동 망각 실패도 예/아니오 확인 질문 같은 간접 확인으로 쉽게 유발됩니다. 정책 필터링이 이런 위험을 상당히 줄이지만, 전용 메모리 시스템은 검색한 사실이 권한 밖이거나 삭제됐을 때 여전히 취약합니다.
정리
- 공유 메모리 에이전트 평가를 거버넌스 문제로 재정의합니다. 유용성·접근제어·능동 망각을 함께 재고, \(\text{MGS} = U \cdot (1 - A) \cdot (1 - F)\)의 곱셈 점수로 "유용하지만 새는" 시스템을 걸러냅니다.
- 어떤 백본·메모리 구조도 세 가지를 동시에 만족하지 못합니다. 전체 맥락은 유용하지만 새고, 정책 검색은 안전하지만 과잉 거절하며, 전용 메모리는 단순 베이스라인을 못 넘습니다.
- 현재 메모리 에이전트는 회상 벤치마크에서 잘해도 공유 기관 환경의 신뢰할 만한 배포와는 거리가 멉니다. 메모리 구조화와 별개로 권한·삭제 거버넌스를 명시적으로 평가해야 합니다.