Frontis-MA1 - Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering

J. Yang, C. Jiang, Y. Fu, T. Luo, et al., "Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering," arXiv:2607.28568, 2026.

재귀적 자기개선은 보통 담론으로 다뤄집니다. 지난주 1,100명이 서명한 「Pacing the Frontier」 서한이 가장 명시적으로 우려한 대상도 자기 자신을 개선하는 AI였습니다. Frontis-MA1은 그 개념을 ML 엔지니어링이라는 실행 가능한 테스트베드로 내려서 측정하고, 스택 전체를 오픈소스로 냈습니다. 감속을 요구하는 서한이 나온 그 주에 자기개선 스택이 공개된 셈입니다.

저자

Frontis.AI(Horizon Research)와 칭화대가 주축이고 저장대, 상하이교통대, 조지아공대가 참여했습니다. Junlin Yang과 Che Jiang이 프로젝트 리더, Kaiyan Zhang이 교신저자이며, Bowen Zhou와 Ning Ding이 명단에 있습니다.

이 팀 이름이 익숙하다면 이유가 있습니다. 이 블로그가 이미 다룬 NatureBench - Can Coding Agents Match the Published SOTA of Nature-Family Papers와 EnterpriseClawBench - Benchmarking Agents from Real Workplace Sessions가 같은 조직에서 나왔습니다. 그때는 에이전트를 재는 자를 만들었고, 이번에는 그 자로 재는 모델을 만들었습니다. 실제로 이 리포트의 전이 실험이 NatureBench Lite에서 이루어집니다. 자기가 만든 벤치마크를 홀드아웃으로 쓴다는 점은 평가할 때 감안해야 할 부분이기도 합니다.

장처는 2026년 6월 「Self-Improving Agents in the Era of Experience: A Survey of Self- to Meta-Evolution」의 1저자입니다. 이 리포트가 자기 모델을 "메타 진화 에이전트"라고 부르는 근거로 인용하는 문헌이 바로 그 서베이입니다. 개념 층위를 먼저 세우고 그것을 구현으로 내리는 순서가 이 조직의 작업 방식으로 보입니다.

저우보원은 칭화대 전자공학과 석좌교수이자 Frontis.AI 창업자이고, IBM Watson 수석과학자와 JD.com AI 연구소장을 거친 사람입니다.

배경

AI4AI는 최적화의 대상을 가리키는 말입니다. AI 시스템이 다른 AI 시스템을 만들거나 개선하는 데 참여하는 상황으로, 학습 코드와 모델 아키텍처, 알고리즘, 에이전트 하네스, AI 하드웨어가 모두 대상이 됩니다.

진화는 최적화의 과정을 가리킵니다. AI가 실행 피드백에 따라 후보 시스템을 반복적으로 수정합니다.

메타 진화는 여기에 학습 루프를 하나 더 겁니다. 그 진화 궤적을 재사용해서 앞으로의 수정을 제안할 모델 자체를 학습시킵니다.

재귀적 자기개선(RSI)은 더 강하고 지속적인 루프를 요구합니다. 개선된 시스템 각각이 자기 후속 세대를 만드는 과정 자체를 다시 개선해야 합니다.

이 리포트는 자기 위치를 명확히 합니다. RSI가 아니라 진화에서 메타 진화로 가는 구체적인 한 걸음입니다. 개선하는 쪽이 학습되는 지점까지입니다.

ML 엔지니어링을 테스트베드로 고른 이유도 분명합니다. 에이전트가 실제 과제에 대해 머신러닝 해법을 만들고 실행 피드백으로 반복 개선해야 하는데, 각 반복이 시간과 컴퓨트를 쓰고 결과가 몇 분에서 몇 시간 뒤에야 나옵니다. 지연되고 노이즈가 있으며 이질적인 피드백 아래에서 에이전트가 AI 시스템을 어떻게 개선하는지를 재는 데 적합한 조건입니다.

선행 연구는 세 갈래로 나뉩니다. 구조적·진화적 탐색에 기반한 추론 시점 하네스, 실행 가능한 태스크와 환경 구축, 실행 피드백으로 MLE 에이전트를 포스트트레이닝하는 작업. 저자들은 부록 표에서 공개 시스템들을 감사해 놓고, 이 셋을 한꺼번에 덮으면서 전체 루프를 재현할 아티팩트까지 낸 사례는 없다고 주장합니다.

어떻게 만들었나

문제 설정

각 태스크 \(\tau\)는 자연어 명세, 공개 데이터 자산, 제출 규약, 태스크 전용 평가기, 샌드박스 실행 환경으로 이루어집니다. 스텝 \(t\)에서 추론 시점 탐색 알고리즘이 연산자 \(a_t\)를 고르고 부모 프로그램과 그 실행 피드백으로 연산자 컨텍스트 \(c_t\)를 구성합니다. 모델은 다음을 제안합니다.

\[p_t \sim g_\theta(\cdot \mid \tau, a_t, c_t), \qquad s_t = R_\tau(\mathcal{E}(p_t, \tau))\]

\(g_\theta\)는 연산자 조건부 프로그램 생성 정책이고, 샌드박스 \(\mathcal{E}\)가 \(p_t\)를 실행해 태스크 점수 \(s_t\)를 상태·로그·산출물·런타임 메타데이터와 함께 돌려줍니다. 유한한 실행 예산 안에서 진화적 추론은 가장 높은 부호 점수를 가진 후보를 찾습니다.

\[p^\star = p_{\arg\max_{t \in \mathcal{I}} \tilde{s}_t}\]

메타 진화는 \(\theta\)를 개선해 \(g_\theta(\cdot \mid \tau, a, c)\)가 실행 결과가 더 좋은 프로그램에 높은 확률을 주도록 만듭니다. SFT와 RL 둘 다 같은 목적함수로 요약됩니다.

\[L_{\text{evo}}(\theta) = -\mathbb{E}_{(\tau_i, a_i, c_i, p_i)}\left[ w(s_i) \log g_\theta(p_i \mid \tau_i, a_i, c_i) \right]\]

\(w(s_i)\)가 실행 결과를 학습 가중치로 바꿉니다. SFT에서는 품질 필터가 고득점 프로그램만 남겨 양의 감독을 주고, RL에서는 새로 샘플링된 프로그램이 처리된 실행 보상과 엔트로피 어드밴티지로 가중됩니다.

네 개의 원자 연산자

설계의 중심 원칙은 모델이 배우는 국소 스킬과 추론 시점 탐색 알고리즘을 분리하는 것입니다. 전체 궤적을 학습하는 대신 재사용 가능한 프로그램 변환 연산자 몇 개만 학습합니다.

• Draft: 코드를 새로 만듭니다.
• Improve: 코드를 다듬습니다.
• Debug: 코드를 고칩니다.
• Crossover: 여러 부모를 합칩니다.

이 어휘 자체는 AIRA 계열의 실행 가능한 MLE 탐색과 AIDE 계열의 코드 공간 탐색에서 가져왔습니다. 이 논문이 한 일은 그것을 오픈 모델 포스트트레이닝의 명시적 SFT·RL 타깃으로 바꾼 것입니다.

같은 연산자를 학습에서도 쓰고 추론 탐색에서도 씁니다. 검증된 진화 전이가 탐색이 나중에 합성할 바로 그 변환을 감독하게 되고, 학습된 모델이 진화 하네스의 변이 엔진이 됩니다. 개선하는 쪽이 학습되는 메타 진화 루프가 이렇게 닫힙니다. 컨트롤러 특화된 희소한 감독을 피하면서, 같은 학습된 연산자를 서로 다른 진화 탐색 절차가 공유 샌드박스 규약 아래 조합할 수 있습니다.

스택 세 층

OpenMLE-Gym. 5,758개의 품질 게이트를 통과한 실행 가능 태스크입니다. 수동 선별한 Curated Anchor 156개, MLE-Smith 공식 테이블에서 생성해 패키지 수준으로 품질 관리한 Kaggle Dataset 태스크 3,362개, 자체 Kaggle Competition 파이프라인에서 남긴 2,240개입니다. 태스크의 11%가 멀티모달이고 분류와 회귀가 합쳐서 87%를 차지합니다.

백엔드는 여섯 가지 피드백 모드를 반환합니다. 성공, 런타임 오류, 코드 누락, 제출물 누락, 채점 실패, 타임아웃. 각 기록이 유발 조건과 함께 상태, 가능하면 점수, 로그, 오류 유형, 런타임 메타데이터, 워크스페이스 산출물을 보존합니다. 에이전트가 잘못된 실행과 낮은 성능을 구분할 수 있게 하는 설계입니다.

라이선스 문제로 전체 태스크 패키지 데이터는 1,415개만 공개하고, 나머지 4,343개는 prepare.py와 metric.py만 냅니다. 재현성을 따질 때 짚어야 할 조건입니다.

OpenMLE-ERL. SFT와 RL의 역할이 갈립니다. 실행 기반 SFT는 더 강한 교사에서 완전한 해법과 성공적인 국소 수정을 증류해, 온라인 학습이 시작되기 전에 실행 가능한 행동의 집합을 넓힙니다. RL은 그렇게 넓혀진 분포 안에서 더 나은 후보 쪽으로 확률을 옮깁니다. 근거로 RLVR 분석을 인용합니다. RL은 이미 보상받은 해법을 강화해 Pass@1을 올리지만 큰 \(K\)에서는 이득이 제한적인 반면, 교사 증류는 베이스 모델의 샘플 지지집합에 없던 행동을 도입할 수 있다는 것입니다.

수집은 예산 적응형입니다. 태스크마다 샌드박스에서 샘플 프로그램을 실행하고 유효성과 점수에 따라 예제를 남기는데, 채택 예제 할당량을 채우거나 실행 예산이 바닥나면 멈춥니다. 쉬운 태스크는 일찍 끝나고 성공이 드문 태스크에 시도를 더 배분합니다. 병렬 경로만으로도 완전 응답 예제 17,245개가 공개 코퍼스에 들어갔습니다.

RL 쪽에서는 세 가지를 다룹니다. 강한 후보들 사이의 점수 차이를 보존하고, 동기화 정체를 없애며(생성과 실행이 끝난 그룹을 가장 느린 작업을 기다리지 않고 바로 받아들이는 비동기 RL), 각 연산자를 정보량 있는 프로그램 상태에서 학습시킵니다. 부모 선택은 보상, 자식 보상 분산, 방문 기반 냉각을 씁니다.

OpenMLE-Evo. 장기 탐색을 구조화된 경험 중심으로 조직합니다. 품질과 진전과 참신성에 대한 비탐욕적 선택, 그리고 연산자 조건부 메모리가 축입니다. 부모 선택 정책은 세 요인만 씁니다. 해법 품질, 부모 대비 개선, 방법 계열 참신성.

결과

평가는 MLE-Bench Lite 22개 태스크, 태스크당 12 GPU시간 예산, RTX 4090 한 장에 VRAM 12GB 상한입니다. 지표는 Medal Average(avg@3)와 Human Rank입니다.

학습과 탐색을 분리한 비교

하네스를 고정하고 모델만 바꾸면 39.39%에서 60.61%로 21.22%p 오릅니다. 여기에 MLE-Bench와 무관한 교차 태스크 사전지식을 넣고 병렬 트리 탐색을 넓힌 OpenMLE-Evo-Max를 쓰면 71.21%가 됩니다. 30B에서 같은 방법을 반복해 34.85%에서 53.03%로 18.18%p가 나오는 것이 교차 모델 복제 근거입니다.

하네스를 고정하고 모델만 바꾼 비교

모델을 고정하고 하네스만 바꾸는 실험이 이 리포트의 다른 축입니다.

네 개 모델 계열 전부에서 OpenMLE-Evo가 Claude Code나 Codex 같은 범용 코딩 에이전트 스캐폴드보다 나은 MLE 시스템을 만듭니다. Frontis-MA1-35B에 대해서는 원본 AIRA-Evo 대비 53.03%에서 60.61%로 올립니다.

프런티어 모델과의 위치

35B가 GPT-5.5 + Codex를 3.03%p 앞서고 GPT-5.6 Sol과 2.8T Kimi K3에 1.52%p 뒤집니다. Human Rank로 보면 격차가 조금 더 벌어집니다(0.8126 대 0.8891).

이 숫자를 인용할 때 두 가지를 함께 적어야 정직합니다. 첫째, 벤치마크가 MLE라는 좁은 도메인입니다. 35B가 2.8T에 근접했다는 것은 이 태스크 분포에 특화된 포스트트레이닝의 결과이지 일반 능력의 비교가 아닙니다. 둘째, 논문이 각주로 밝혔듯 이 비교는 공식 MLE-Bench 실행 레지스트리의 평가 컴퓨트 설정을 쓴 것이지 모델 추론 비용을 비교하거나 서로 다른 가속기를 FLOPs로 정규화한 것이 아닙니다.

홀드아웃 전이

NatureBench Lite 10개 태스크에서 두 요소를 따로 뗐습니다. 태스크당 4시간 탐색 예산, 웹 검색 비활성 설정입니다.

하네스를 고정하고 모델만 갈면 Match-SOTA가 50%에서 70%로, 모델을 고정하고 하네스만 갈면 20%에서 50%로 오릅니다. 둘 다 기여한다는 것이 이 표의 논지이고, "어디까지가 탐색이고 어디까지가 모델인가"라는 RSI 주장의 단골 논란을 정면으로 다룬 지점입니다.

다만 절대 수준은 냉정하게 봐야 합니다. 같은 벤치마크에서 Claude Opus 4.7 + Claude Code와 GLM-5.2 + Claude Code가 Surpass-SOTA 70%, Match-SOTA 100%입니다. Frontis-MA1-35B의 3/10과 7/10은 GPT-5.4, GLM-5.1, MiniMax-M3와 같은 수준이고 상위권과는 거리가 있습니다. 논문이 주장하는 것도 전이의 증거이지 최고 성능이 아닙니다.

단일 궤적 사례로 단백질 변이 효과 예측이 실려 있습니다. 11개 단백질 어세이 인스턴스에서 Frontis-MA1-35B가 집계 개선 \(g = 0.1161\), 베이스가 \(g = 0.0243\)입니다. 탐색은 유효한 Draft 0.0679에서 시작해 Debug와 Improve 노드를 거쳐 Crossover 우승자 0.1016에 이릅니다. 그 우승자만 탐욕적으로 다듬는 대신 세 요인 선택기가 다른 노드를 다시 방문하는 것이 이 궤적의 특징입니다.

회고

§8의 한계 다섯 가지가 이 리포트에서 가장 읽을 만한 부분입니다. 저자들은 OpenMLE가 RSI의 온전한 비전을 아직 실현하지 못한다고 먼저 못 박고 시작합니다.

개선하는 쪽을 개선할 목적함수가 빈약합니다. 현재는 실행된 해법의 측정된 결과에서만 학습합니다. 이 신호는 프로그램이 동작하는지와 점수가 얼마인지를 알려주지만, 어떤 연구 방향이 유망한지, 일반화되는지, 견고한지, 컴퓨트를 더 쓸 가치가 있는지를 담지 못합니다. 그래서 시스템은 해법을 최적화하는 데는 능하지만 어떤 아이디어를 추구할 가치가 있는지 판단하는 데는 약합니다. 자기개선 시스템 논의에서 흔히 빠지는 구분을 저자들이 스스로 짚었습니다.

진화 탐색과 범용 코딩 에이전트가 분리돼 있습니다. 학습된 연산자를 외부 진화 하네스가 조합하는 구조라 학습과 탐색이 다루기 쉬워지는 대신, 모델이 스스로 개시할 수 있는 행동과 상호작용의 범위가 제한됩니다.

AI 개발 과정에서 에이전트가 맡는 몫이 작습니다. 현재 환경은 에이전트에게 외부 머신러닝 산출물을 개선하라고 요구합니다. RSI에 가까워지려면 에이전트가 이 과정의 더 큰 몫, 특히 언어 모델 자체의 개선에 참여해야 합니다.

진화 시스템 자체는 고정돼 있습니다. OpenMLE에서 진화는 후보 해법 위에서만 작동하고 진화 시스템 자체는 거의 그대로입니다. 다음 걸음은 진화 시스템 자체를 진화의 대상으로 만드는 것이라고 적었습니다. RSI의 정의가 요구하는 바로 그 지점이 아직 비어 있다는 자백입니다.

경험 활용이 초보적입니다. 각 경험 카드가 노드에 대한 결정적 메타데이터를 폭넓게 보존하는데, 부모 선택 정책은 세 요인만 씁니다. 기록된 증거의 많은 부분이 쓰이지 않고 있고, 요인 가중치도 태스크에 따라 학습되는 게 아니라 고정돼 있습니다.

논문이 안 적은 것. 홀드아웃이라고 부르는 NatureBench가 같은 조직의 산물입니다. 태스크 컨테이너와 숨겨진 평가기, 유효성 규칙을 그대로 유지했고 숨겨진 라벨이나 논문 해법을 노출하지 않았다고 명시했지만, 벤치마크를 만든 팀이 자기 모델을 그 벤치마크로 평가한다는 사실 자체는 남습니다.

또 하나는 MLE-Bench Lite가 22개 태스크라는 점입니다. 한 태스크가 4.5%p입니다. 39.39%에서 71.21%로 오른 것은 22개 중 약 7개 태스크의 메달이 더 나온 것에 해당합니다. avg@3으로 세 번 평균을 냈고 부록에 표준편차를 보고했다고 밝혔지만, 이 규모에서 1~2%p 차이로 순위를 논하는 것은 무리입니다. GPT-5.6 Sol과의 1.52%p 격차도 마찬가지입니다.

마지막으로 시점의 문제가 있습니다. 이 리포트는 재귀적 자기개선을 향한 스택을 통째로 오픈소스로 공개합니다. 며칠 전 프런티어 랩 연구자 1,100명이 검증 가능한 감속 메커니즘을 정부에 요구한 서한에서 가장 명시적으로 지목한 우려 대상이 자기개선 AI였습니다. 저자들이 공개를 재현 가능한 연구를 위한 것이라고 밝혔고 실제로 현 단계는 RSI와 거리가 멀지만, 이 두 문서가 같은 주에 나왔다는 사실은 기록해 둘 만합니다.

정리

• 이 리포트의 진짜 기여는 성능이 아니라 분해입니다. 하네스를 고정하고 모델만 바꾼 경우와 모델을 고정하고 하네스만 바꾼 경우를 따로 재서 둘 다 기여한다는 것을 보였습니다. NatureBench Lite에서 전자는 Match-SOTA 50%에서 70%로, 후자는 20%에서 50%로 올립니다.
• Draft·Improve·Debug·Crossover 네 연산자를 학습과 추론이 공유하는 어휘로 만든 것이 설계의 축입니다. 전체 궤적을 학습하지 않고 재사용 가능한 변환만 학습하므로, 같은 연산자를 다른 탐색 절차가 조합할 수 있습니다.
• 35B가 RTX 4090 한 장 12GB 상한에서 71.21%를 내며 GPT-5.5 + Codex를 앞섭니다. 다만 벤치마크는 22개 태스크의 좁은 도메인이고, 저자들 스스로 진화 시스템 자체는 아직 진화하지 않으며 결과 점수 외의 목적함수가 없다고 §8에 적었습니다. RSI가 아니라 그쪽으로 가는 한 걸음이라는 자기 규정이 정확합니다.

• arXiv: 2607.28568
• 코드: github.com/FrontisAI/OpenRSI
• 프로젝트: frontisai.github.io/OpenRSI