AgenticSTS - A Bounded-Memory Testbed for Long-Horizon LLM Agents
X. Cheng, Y. Jiang, J. Sun, Z. Li, C. Li, et al., "AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents," arXiv:2607.02255, 2026.
저자
Alaya Lab(Shanda AI Research Tokyo), Shanghai Jiao Tong University, Shanghai Innovation Institute, Nankai University, USTC 소속 공동 연구팀이 작성한 논문입니다. 교신저자는 Kaipeng Zhang으로, Alaya Lab에서 게임 기반 월드 모델과 에이전트 연구를 이끌고 있습니다.
팀이 Slay the Spire 2를 테스트베드로 선택한 것은 게임-AI 교차 분야에 대한 Alaya Lab의 연구 방향과도 맞닿아 있습니다. Kaipeng Zhang 연구팀은 게임용 동적 세계 모델링(WildWorld) 연구도 병행하고 있습니다.
배경
LLM 에이전트가 수백 번의 결정을 이어가는 장기 과제를 수행할 때 메모리를 어떻게 관리하느냐는 오래된 문제입니다. 가장 흔한 방식은 과거 관찰, 도구 호출, 성찰을 다음 프롬프트에 모두 쌓는 것입니다. 이 방식은 과거 맥락에 쉽게 접근할 수 있지만, 프롬프트가 결정마다 커지고 어느 메모리 성분이 결과에 기여했는지 분리하기가 어렵습니다.
AgenticSTS가 제안하는 것은 이 단순한 "축적 계약" 대신 **유계 계약(bounded contract)**입니다. 모든 결정마다 타입 기반 검색으로 필요한 메모리만 조합해 새로운 사용자 메시지를 구성하고, 원시 교차-결정 트랜스크립트는 첨부하지 않습니다. 프롬프트 크기가 실행 길이에 관계없이 일정하게 유지되며, 각 메모리 레이어를 독립적으로 비활성화해 기여를 측정할 수 있게 됩니다.
테스트베드: Slay the Spire 2
논문이 테스트베드로 Slay the Spire 2를 선택한 이유는 네 가지입니다.
닫힌 규칙 공간. 게임 규칙이 완전히 명시돼 있고 텍스트로 읽을 수 있습니다. 에이전트는 픽셀 대신 구조화된 텍스트 레코드로 게임 상태를 받습니다.
장기 결정 체인. 하나의 런에서 경로 선택, 전투, 상점, 카드 드래프트 등 수백 가지 결정이 이어집니다. 단기 성능이 아닌 장기 일관성을 측정합니다.
미포화 상태. 2026년 5월 AGI-Eval 스냅샷 기준 프론티어 LLM 5개 설정 중 A0(최이지) 난이도에서 한 번도 이기지 못했습니다. 동시에 개발사 Mega Crit가 보고한 2억 4천만 커뮤니티 런의 인간 A0 승률은 16%입니다. 이미 포화됐거나 불가능한 과제가 아닌, 어렵지만 의미 있는 기준점입니다.
재현 가능한 조건. 같은 조건에서 에이전트를 반복 실행할 수 있고, 조건 태그·메모리 스냅샷·프롬프트 기록을 남겨 후속 재분석이 가능합니다.
유계 메모리 계약
AgenticSTS의 핵심은 매 결정마다 새로운 사용자 메시지를 5개 레이어에서 조합하는 구조입니다.
레이어 |
이름 |
역할 |
가변성 |
|---|---|---|---|
L1 |
프로토콜 |
고정 지시 사항 |
고정 |
L2 |
상태 스키마 |
합법 행동 형식 |
고정 |
L3 |
게임 규칙 |
검색된 규칙 기록 |
필터링 가능 |
L4 |
에피소드 기억 |
런 요약 |
비활성화/동결/쓰기 가능 |
L5 |
전략 스킬 |
트리거 기반 전술 지식 |
비활성화/동결/쓰기 가능 |
매 결정 \(d\)마다 현재 상태 \(s_d\)에서 이 레이어를 타입 기반으로 검색해 프롬프트 \(u_d\)를 구성합니다. 원시 교차-결정 트랜스크립트는 첨부하지 않으므로 컨텍스트 윈도가 일정하게 유지됩니다.
레이어가 개별적으로 비활성화·동결·쓰기 가능하기 때문에, 특정 메모리 성분의 기여를 \(\Delta L_\ell = \hat{p}_{\text{with-}\ell} - \hat{p}_{\text{without-}\ell}\) 로 측정하는 어블레이션 실험이 가능합니다.
결과
고정 A0 어블레이션 행렬
A0 난이도에서 5개 조건(각 N=10 게임)으로 실험한 주요 결과입니다.
조건 |
L4 |
L5 |
승/패 |
의미 |
|---|---|---|---|---|
baseline-strict |
x |
x |
3/10 |
스캐폴딩 없음 |
prompt-only |
x |
x |
4/10 |
프롬프트 구조만 |
mode-a |
x |
o |
6/10 |
L5 스킬 활성화 |
mode-b-frozen |
x |
o |
6/10 |
템플릿 자동 생성 스킬 |
full-frozen |
o |
o |
6/10 |
L4+L5 모두 활성화 |
L5 스킬 레이어 활성화 시 3/10에서 6/10으로 올라가는 방향성이 있습니다. 다만 Fisher exact p ≈ 0.37로, 이 샘플 크기에서는 통계적으로 유의미하지 않습니다. 논문은 이를 명시적으로 "방향성 결과"라고 표현하며, 통계적 주장을 피합니다.
L4 에피소드 기억은 A0에서 기여가 관찰되지 않았습니다. mode-a(L4 없음)와 full-frozen(L4 있음)이 같은 승률 추정치를 보입니다.
교차 백본 이식 테스트
Gemini로 학습한 L4+L5 스택을 다른 백본에 이식하면 어떻게 될까요?
백본 |
승 (이식 전→후) |
점수 변화 |
|---|---|---|
Qwen 3.6-27B |
0/5→0/5 |
+84.5% |
DeepSeek V4-Pro |
0/5→0/5 |
-18.1% |
Gemini 3.1-Pro |
3/10→6/10 |
+16.6% |
Qwen은 점수가 크게 오르지만 승리에는 이르지 못하고, DeepSeek는 점수가 오히려 떨어집니다. 동결된 스킬 스택은 백본에 민감합니다. 이 스택이 Gemini의 특정 추론 방식에 맞춰져 있어 다른 모델 계열로 그대로 이전되지 않습니다.
자동 모드 어센션 래더
런 사이에 메모리 스토어를 갱신하는 auto 모드로 난이도를 점진적으로 올린 결과, postrun 갱신 있는 스트림이 A6-A8까지 도달했고 없는 스트림은 A2-A4에서 멈췄습니다. 고정된 메모리와 갱신 가능한 메모리의 장기 차이를 엔드포인트 증거로 보여줍니다.
회고
저자들이 솔직하게 인정한 한계가 있습니다.
핵심 한계는 matched 비교 없음입니다. 같은 코드베이스에서 축적 컨텍스트 방식과 직접 비교한 통제 실험이 아직 없습니다. 논문의 주요 주장은 유界 계약 내에서 레이어 분리가 가능하다는 것이지, 축적 방식보다 낫다는 것이 아닙니다. 이 비교는 향후 작업으로 남겨뒀습니다.
샘플 크기. 조건당 N=10이라 세밀한 등가 검정이나 부드러운 교차-백본 전이 곡선을 도출하기에는 부족합니다. Wilson 신뢰구간이 겹치는 상황에서 세 가지 스캐폴딩 변형 간 순위를 매기는 것은 근거가 약합니다.
단일 캐릭터, 단일 게임. 헤드라인 실험은 Slay the Spire 2의 Silent 캐릭터로만 진행됩니다. L3/L4/L5 레이어를 새 캐릭터용으로 채우면 같은 하네스를 쓸 수 있지만, 그 작업이 아직 남아 있습니다.
정리
- LLM 에이전트의 메모리를 5개 타입 레이어로 경계화하는 "유계 계약" 프레임워크입니다. 프롬프트 크기가 실행 길이에 관계없이 일정하고, 각 메모리 성분을 독립적으로 어블레이션할 수 있습니다.
- A0 고정 어블레이션에서 L5 전략 스킬 활성화 시 승률 3/10에서 6/10으로 올라가는 방향성이 있습니다. 다만 Fisher p≈0.37로 통계적 유의성은 현재 샘플 크기에서 미달합니다.
- 298개 궤적, 조건 태그, 동결 메모리 스냅샷, 분석 스크립트가 공개됩니다. 축적 컨텍스트 방식과의 통제 비교 실험은 향후 과제로 남아 있습니다.