Zetta ζ - An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence

X. Ding, L. Mi, M. Huang, Z. Wang, et al., "Zetta ζ: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence," arXiv:2608.16590, 2026.

로봇이 컵을 들다가 놓쳤습니다. 지금까지의 임바디드 에이전트는 이 상황에서 무엇을 할 수 있었을까요. 대부분은 아무것도 못 했습니다. 에피소드가 끝난 뒤에야 "아, 놓쳤구나"라고 회고했습니다. 실행이 진행되는 동안에는 미리 정해둔 스킬을 그대로 따라갈 뿐이었습니다.

Zetta는 이 지점을 정면으로 겨냥합니다. 베이스 정책 모델의 가중치는 하나도 건드리지 않습니다. 대신 실행을 감시하는 크리틱과 복구 스킬을 코드로 만들고, 그 코드를 온라인으로 진화시킵니다.

저자

칭화대 인공지능산업연구원(AIR)과 Z-Trans AI의 공동 작업입니다. 공동 1저자만 여섯 명이고, 그중 딩신과 미량이 기술 리드를 맡았습니다. 교신저자는 세 명으로 차오팅, 류윈신, 그리고 방문 연구로 참여한 Hao Wu입니다. 프로젝트 리드는 차오팅입니다.

저자 명단의 성격이 논문의 성격을 그대로 설명합니다. 차오팅은 2025년 7월까지 Microsoft Research Asia에서 Edge AI 방향을 이끈 시스템 연구자입니다. 발표 이력이 ISCA, ASPLOS, OSDI, EuroSys 같은 시스템 학회와 ICCV, ACL 같은 AI 학회에 걸쳐 있습니다. 류윈신 역시 모바일·에지 컴퓨팅 전공의 IEEE Fellow입니다.

로보틱스 랩이 아니라 시스템 랩이 임바디드 논문을 썼다는 사실이 중요합니다. 이 논문의 절반은 로봇 이야기가 아니라 인프라 이야기이고, 저자들이 문제를 모델의 부족이 아니라 실행 루프의 부재로 정의한 것도 그 배경에서 나옵니다.

배경

물리 지능을 키우는 길은 지금 두 갈래입니다.

첫 번째는 VLA나 WAM 같은 엔드투엔드 정책 모델을 대규모 시연 데이터로 키우는 길입니다. DROID나 Open X-Embodiment 같은 코퍼스가 여기에 쓰입니다. 그런데 임바디드 데이터는 비쌉니다. 제한된 분포로 학습한 모델은 실제 배포 환경의 변하는 동역학 앞에서 쉽게 무너집니다.

두 번째는 LLM을 임바디드 에이전트로 세워 정책 모델, 코드, 도구, 제어 프리미티브를 지휘하게 하는 길입니다. 논문이 파고드는 쪽이 이쪽인데, 저자들의 진단은 냉정합니다. 이 길의 목표는 자기탐색을 통한 학습이었지만, 지금까지의 하네스는 그 학습을 실제로 구현하지 못했다는 것입니다.

왜 못 했을까요. 주파수가 안 맞기 때문입니다. 물리 작업은 밀리초 단위 지연 예산 안에서 현재 로봇 상태와 환경 상태에 결정을 붙여야 합니다. 대형 에이전트 모델은 그 주기로 결정을 내리지 못합니다. 그래서 기존 방법은 에피소드나 궤적 단위로 반성을 수행합니다.

논문은 이 사후 반성에 세 가지 본질적 한계가 있다고 짚습니다. 에이전트가 대안 행동을 온라인으로 시험해 자기 반성이 맞았는지 검증할 수 없습니다. 궤적 전체에 대한 공로 배분이 어렵습니다. 그리고 회고적 분석은 실패가 일어난 그 순간의 정확한 상태에 접근하지 못하는 경우가 많습니다.

어떻게 만들었나

핵심 아이디어는 한 문장입니다. 코드로 짜인 크리틱을 온라인으로 진화시켜 폐루프 실행을 만듭니다. 정책 파라미터 \(\theta\) 는 \(\nabla_\theta = 0\) 제약 아래 고정되고, 진화하는 것은 하네스뿐입니다.

무엇이 고정이고 무엇이 진화하는가

실행을 굴리는 두 축은 진화 내내 불변입니다. 액션 정책 \(\pi\) 가 관측 \(s_t\) 와 목표 \(g\) 로부터 저수준 행동 \(a_t = \pi(s_t, g; \theta)\) 를 만들고, 오케스트레이터 에이전트 \(\mathcal{A}_{orch}\) 가 실시간 증거를 감사해 모드 전환을 승인합니다.

진화의 대상은 하네스입니다.

\[\mathcal{H} = \{C, R, \mathcal{T}\}\]

\(C\) 는 런타임 크리틱, 즉 궤적 \(\tau_{0:t}\) 를 지속적으로 훑어 구조화된 제안을 내는 고빈도 감시 함수 집합입니다.

\[P_t = C(\tau_{0:t}) = \langle e_t, \hat{\sigma}_t \rangle\]

여기서 \(e_t\) 는 충돌이나 정체 같은 감사 가능한 실패 증거이고 \(\hat{\sigma}_t\) 는 제안된 실행 모드입니다. \(R\) 은 인과적 실패 메커니즘에 대응하는 복구 플레이북 라이브러리, \(\mathcal{T}\) 는 플래너나 그래스프 검출기 같은 실행 가능한 도구 모음입니다.

최종 실행 모드는 오케스트레이터가 정합니다.

\[\sigma_t = \mathcal{A}_{orch}(P_t, R, \mathcal{T}, K)\]

\(K\) 는 마일스톤과 성공 기준을 담은 작업 지식 컨텍스트입니다. 크리틱이 고빈도로 돌더라도 개입은 증거 \(e_t\) 가 오케스트레이터에게 검증되고 승인됐을 때만 허용됩니다. 감시는 빠르게, 개입은 신중하게 나누는 구조입니다.

최적화 목표는 이렇게 정리됩니다.

\[\max_{\mathcal{H}} J(\mathcal{H}) = \mathbb{E}_{g, s_0 \sim \mathcal{D}}\left[\mathrm{Success}(\tau) \mid \pi, \mathcal{A}_{orch}, \mathcal{H}\right]\]

왜 루프가 하나로는 안 되는가

이 논문에서 가장 중요한 논증입니다. Zetta는 시간 규모가 다른 세 개의 루프를 씁니다. 편의상 나눈 것이 아니라, 하나로 합칠 수 없어서 나눈 것입니다.

크리틱 주도 액션 루프는 액션 주파수로 돕니다. 학습된 크리틱을 매 스텝 실행하고 필요할 때 복구 스킬을 부릅니다. 여기서 대형 모델을 호출하면 주기를 못 맞추므로, 이 루프에 들어가는 것은 반드시 가볍게 실행되는 코드여야 합니다. 폐루프 실행을 만드는 것이 이 루프입니다.

롤아웃 묶음 후보 최적화 루프는 반복 단위로 돕니다. 각 이터레이션의 실패를 군집화하고 진단한 뒤 크리틱과 복구 후보를 제안합니다. 여기서는 대형 모델을 써도 됩니다. 오프라인이기 때문입니다. 스킬과 코드에는 그래디언트가 없으므로, 저자들은 SkillOpt와 EmbodiSkill을 참고해 코드 공간에서 경계가 있고 안정적인 갱신을 하는 SGD 유사 최적화 과정을 만들었습니다.

검증 게이트 스킬 갱신 루프는 그보다 더 느립니다. 성공률을 올리고 롤아웃 전반에 일반화되는 후보만 스킬 메모리에 넣습니다.

첫 번째 루프가 폐루프 실행을 만들고, 두 번째와 세 번째가 자기진화를 만듭니다. 대형 모델의 추론 속도와 물리 실행의 요구 주파수 사이의 간극을 시간 규모 분리로 우회한 것이 설계의 요체입니다.

크리틱이 자연어가 아니라 코드인 이유

기존 반성 기반 시스템은 실패를 자연어로 요약해 다음 시도의 프롬프트에 넣습니다. Zetta의 크리틱은 실행 가능한 코드입니다.

차이는 세 가지입니다. 코드는 액션 주파수로 돌 수 있습니다. 자연어 반성은 매 스텝 LLM 호출이 필요하므로 불가능합니다. 코드는 결정적입니다. 같은 상태에서 같은 판정을 냅니다. 그리고 코드는 검증할 수 있습니다. 패치를 넣은 뒤 원래의 medoid 시드로 재생해 크리틱이 발산 지점을 실제로 잡아내는지 확인할 수 있습니다.

논문은 크리틱이 스스로 행동하지 않는다는 점도 명시합니다. 크리틱은 구조화된 제안만 내고, 실행하지도 성공을 선언하지도 않습니다. 계속 갈지 복구를 부를지는 오케스트레이터가 정합니다. 감지와 판단과 실행을 분리한 설계입니다.

실패를 어디서 고칠 것인가

무작정 고치면 과적합됩니다. 특정 실패 사례를 통과시키려고 저수준 제어 파라미터를 손보면 그 순간은 해결되지만, VLA의 의미 일반화에 필요한 행동 분포가 망가지고 처음 보는 시드에서 성능이 크게 떨어집니다.

그래서 진단 에이전트는 계층을 위에서 아래로 훑습니다.

\[L^{\ast} = \arg\max_{L \in \mathcal{L}} \{\mathrm{IsRootCause}(L)\}\]

검사 순서는 평가 계층, 크리틱 계층, 상태 표현 계층, 계획·제어 계층, 복구 계층, 파라미터 계층입니다. 원칙은 한 문장으로 요약됩니다. 상위 로직이 실패를 해결한다면 하위 파라미터는 절대 건드리지 않습니다. 패치를 최소 유효 계층에 적용해 파운데이션 모델의 무결성을 지키는 장치입니다.

실패를 군집화하는 기준도 결과가 아니라 메커니즘입니다. 성공 궤적으로 만든 정상 분포에서 처음 벗어나는 시점을 잡습니다.

\[t_{EOD} = \min\{t \mid \mathrm{dist}(s_t, s_t^{ref}) > \epsilon,\ s_t^{ref} \in I_{succ}(\mu_t)\}\]

여기에 첫 누락 마일스톤을 더해 탐색 범위를 좁힙니다.

\[m^{\ast} = \min\{m_k \in M \mid m_k \notin \{\mu_t\}_{t=0}^{T}\}\]

\(m^{\ast}\) 는 두 가지 일을 합니다. 실패를 거칠게 묶는 기준이 되고, 진단 에이전트가 \(m^{\ast}-1\) 에서 \(m^{\ast}\) 로 넘어가는 구간의 증거에 집중하도록 만들어 인과 진단의 탐색 공간을 줄입니다.

복구가 끝나고 정책에게 돌려주는 조건

복구가 끝났다고 바로 VLA에게 제어권을 넘기면 2차 실패가 납니다. 논문은 재진입 계약을 명시적 술어로 정의합니다.

\[\Psi(s_t) = \mathbb{1}(\mathrm{FailureCleared}) \wedge \mathbb{1}(\mathrm{Stability}(s_t) > \gamma)\]

원래 실패 증거가 완전히 해소됐고, 접촉 토크 진동과 파지력으로 측정한 물리 상태가 안정 임계 \(\gamma\) 를 넘었을 때만 넘깁니다. 과도 동역학 때문에 넘겨받자마자 다시 실패하는 것을 막는 안전장치입니다.

일반화 검증

패치는 seed 하나에서만 통하면 의미가 없습니다. 일반화 에이전트가 검증된 패치들을 하나의 하네스로 병합합니다. 크리틱은 트리거 조건에 논리합을 적용하고 노이즈 임계를 동적으로 조정해 통합하고, 복구 플레이북은 같은 실패 모드의 형태 변형을 처리하도록 일반화합니다. 결과물은 SKILL.md, tools/, plans/, params/ 로 나뉘는 버전 관리 가능한 패키지입니다.

병합된 하네스는 두 관문을 통과해야 합니다. 첫째, 원래 군집의 실패 롤아웃을 100% 해결해야 합니다. 둘째, 엄격히 격리된 held-out 데이터에서 성능을 보여야 합니다. held-out 평가에서 새로운 실패 메커니즘이 나와 하네스를 수정하게 되면, 그 시드는 개발 시드로 재분류되고 새로운 미공개 세트를 다시 뽑아야 이터레이션이 닫힙니다.

Z-Infra

폐루프가 자기탐색으로 학습한다는 것은 롤아웃 처리량이 곧 지능 확장의 속도 제한이 된다는 뜻입니다. 환경이 학습 데이터의 출처이므로 롤아웃이 빠를수록 진화가 빠릅니다. 저자들이 Z-Infra를 별도로 만든 이유입니다.

문제는 두 가지입니다. 자원 이질성 때문에 롤아웃 하나가 서로 다른 자원을 동시에 요구합니다. MuJoCo·robosuite 환경은 CPU와 호스트 메모리를 쓰면서 렌더링에는 GPU를 씁니다. 정책 모델은 GPU 가속기를 요구하고, 좌표 변환이나 충돌 검사 같은 프리미티브는 마이크로초 단위 지연을 기대하는 순수 CPU 연산입니다. 하나의 자원 풀이나 스케줄링 정책으로는 감당이 안 됩니다.

실행 동적성도 문제입니다. 데이터 병렬 패턴이 예측 가능한 학습 파이프라인과 달리, 에이전트 롤아웃은 런타임 관측에 따라 어느 도구를 부를지 동적으로 정합니다. 한 타임스텝은 정책 호출만 필요하고 다음 타임스텝은 지각과 계획과 여러 프리미티브를 연쇄시킵니다. 정적 자원 할당이 비효율적일 수밖에 없습니다.

해법은 추상화 계층으로 에이전트 로직과 하드웨어 자원 관리를 완전히 분리하는 것입니다. 에이전트는 무엇을 실행할지만 지정하고, 어디서 어떻게 실행되는지는 인프라가 처리합니다. 구조는 컨트롤 플레인, 환경 워커 계층, 롤아웃 워커 계층의 3층입니다.

세부 최적화 두 가지가 눈에 띕니다. 하나는 자원 공유 그룹입니다. 환경 모델을 한 번만 컴파일해 ModelTemplate으로 두고 각 슬롯을 fork로 초기화해, 읽기 전용 mjModel은 공유하고 mjData와 에피소드 상태만 슬롯별로 갖게 합니다. 여기에 환경 스텝 루틴을 C++ 컨트롤러로 다시 구현해 임계 경로에서 GIL을 놓아 여러 슬롯이 병렬로 물리와 렌더링을 진행합니다.

다른 하나는 모델 분할입니다. π0.5 같은 최신 VLA 아키텍처는 관측을 잠재 표현으로 인코딩하는 VLM 단계와 그것을 모터 명령으로 디코딩하는 액션 전문가 단계로 나뉘고, 두 단계의 연산 특성이 크게 다릅니다. 이 둘을 독립 스케줄링 정책을 가진 별도 프로세스로 배포하고 중간 활성값은 CUDA IPC로 넘깁니다. PyTorch 구현 π0.5 기준으로 평균 추론 지연이 53% 줄고 200ms SLO 하 goodput이 \(2.4\times\) 개선됐습니다. 여기에 선택적 양자화를 얹으면 RTX 4090에서 \(1.18\times\) 에서 \(1.32\times\) 의 추가 가속을 성공률 저하 없이 얻습니다.

결과

먼저 최종 성적입니다. RoboCasa는 GR00T N1.5, LIBERO-Pro는 π0.5를 고정 베이스 정책으로 씁니다. 두 벤치마크 모두 진화 과정에서 한 번도 본 적 없는 격리된 시드로 최종 평가했습니다.

40개 작업·설정 쌍 중 32개에서 개선했고 나머지 8개는 베이스라인과 동률입니다. 후퇴한 쌍은 없습니다. 가중치를 전혀 건드리지 않고 얻은 결과라는 점을 감안하면 폭이 큽니다. 다만 LIBERO-10 쪽 성적이 Goal 쪽에 한참 못 미치는데, 이 격차는 뒤에서 다시 보겠습니다.

다음은 진화 라운드가 쌓일 때의 변화입니다. 각 체크포인트는 이전에 검증된 크리틱·복구·도구 능력을 그대로 유지한 누적 버전입니다.

곡선이 아직 평평해지지 않았습니다. 저자들이 "현재 롤아웃 예산 하에서"라는 단서를 반복해 다는 이유이고, 롤아웃 경험이 더 쌓이면 추가 이득이 나올 것으로 기대한다고 적은 근거이기도 합니다.

세 번째는 제로샷 전이입니다. 소스 작업에서 발견한 메커니즘을 진화시키지 않은 타깃 작업에 그대로 적용한 결과입니다.

PnP-Stove에서 발견한 세 가지 능력은 사전 파지 정렬, 파지 상실 후 재파지, 안정적 배치입니다. TurnOffStove에서 발견한 것은 대상 위치 파악, 충돌 인지 접근, 안정적 접촉입니다. 저자들의 해석은 이 메커니즘들이 소스 작업의 궤적을 외운 것이 아니라 엔드이펙터 정렬이나 접촉 안정성 같은 작업 독립적 물리 변수 위에서 동작하기 때문에 전이된다는 것입니다.

마지막으로 Z-Infra 성능입니다. 동시성 16 기준입니다.

RPent의 지연이 유독 큰 이유는 에이전트가 루프 안에 있는 설계라 모든 결정 지점에서 LLM API를 호출하기 때문입니다. Zetta는 에이전트를 오프라인 반성·진화 단계에서만 부르고, 온라인 롤아웃은 가벼운 런타임 크리틱 아래 순수 VLA 정책으로 돌립니다. 앞서 본 크리틱이 코드여야 하는 이유가 여기서 숫자로 나타납니다.

두 베이스라인 모두 동시성 16을 넘기면 OOM으로 죽습니다. Z-Infra는 동시성 64에서 35.1 에피소드/분까지 올라간 뒤 8-GPU 구성의 포화로 평탄해집니다.

“아하 모먼트”

논문이 강조하는 관찰은 성공률이 매끄럽게 오르지 않는다는 것입니다. 초기 수정은 국소 증상을 건드리거나 특정 실패 에피소드에 과적합해 정체 구간을 만들고, 에이전트가 진짜 물리적 병목을 짚어내는 순간 불연속적으로 뛰어오릅니다.

Goal-T2에서 v1은 접근 기하를 개선하는 사전 파지 스테이징을 넣었지만 운반 중 물체 상실을 못 잡아 10%에서 15%로 정체했습니다. v2에서 파지 유지를 결정적 병목으로 지목하고 운반 전 안정성을 검증하는 유지 크리틱을 넣자 95%로 뛰었습니다. Goal-S6은 5%에 머물다가 초점을 접촉 이전 단계로 옮겨 90%가 됐습니다.

저자들은 이 현상을 근거로 확장의 단위가 작업별 궤적 조정이 아니라 파지 안정성이나 접근 기하 같은 상태 변수의 식별이라고 주장합니다. 다만 이 표현은 저자들의 것이고, 논문 자체가 “아하 모먼트”를 인용부호에 넣어 쓴다는 점은 짚어둘 만합니다.

회고

숫자를 맞춰 보면 초록과 본문이 갈리는 지점이 있습니다.

초록의 LIBERO-Pro 90.8%는 전체가 아닙니다. 초록과 서론은 "LIBERO-Pro에서 90.8%"라고 적었지만, Table 3의 LIBERO-Pro 전체 매크로 평균은 71.13%입니다. 90.8%는 Goal (T) 92.5%와 Goal (S) 89.0%의 평균으로, 40개 작업·설정 쌍 중 Goal 계열 20개만 본 수치입니다. 서론의 "34.5%에서 90.8%로"라는 표현도 마찬가지로 Goal 계열만의 시작점(31.0%와 38.0%의 평균)입니다. LIBERO-10 계열까지 포함하면 32.00%에서 71.13%가 정본입니다. 논문을 인용할 때는 어느 범위의 숫자인지 밝혀야 합니다.

가속 배수도 세 값이 돕니다. 초록과 서론은 \(11.1\times\), 4.6절 본문은 \(11.9\times\), Figure 14의 주석은 \(12.0\times\) 라고 적었습니다. 그림의 실제 값으로 계산하면 동시성 16에서 513초 대 43초로 약 \(11.9\times\) 이므로 본문 쪽이 맞아 보입니다.

처리량 20.6배는 조건이 다른 비교입니다. 서론의 "1.7에서 35.1 에피소드/분, 20.6배"는 RPent의 동시성 16 값과 Z-Infra의 동시성 64 값을 맞붙인 것입니다. 베이스라인이 동시성 16을 넘기면 OOM으로 죽어서 그런 비교가 됐습니다. 같은 조건에서의 배수는 동시성 16 기준 \(12.8\times\) 입니다.

하드웨어도 절이 다릅니다. 4.1절의 벤치마크 실험은 RTX 4090 8장, 4.6절의 Z-Infra 성능 평가는 A100 8장에서 돌았습니다. 오류는 아니지만 두 결과를 한 문장으로 묶어 읽으면 안 됩니다.

논문이 스스로 인정하거나 결과에 드러나는 한계도 몇 가지 있습니다.

시뮬레이션뿐입니다. LIBERO-Pro와 RoboCasa 모두 시뮬레이터입니다. 저자들은 결론에서 실기 로봇 확장을 향후 과제로 명시하며 sim-to-real 간극을 다리로 놓아야 한다고 적었습니다. 크리틱이 의존하는 접촉력 벡터나 충돌 강도 같은 신호가 시뮬레이터에서는 정확히 읽히지만 실기에서는 센서 노이즈를 탄다는 점을 생각하면, 이 한계는 부수적인 것이 아니라 설계의 전제에 걸립니다.

LIBERO-10에서는 잘 안 됩니다. Goal 계열이 92.5%와 89.0%에 도달한 반면 LIBERO-10은 63.0%와 40.0%에 그칩니다. LIBERO-10은 장기 지평 작업 모음이라 실패 모드가 더 길게 얽힙니다. 크리틱과 복구를 국소 증거에 붙이는 이 접근이 실패 원인이 여러 단계 앞에 있는 경우에는 약해진다는 신호로 읽힙니다. Table 3에서 여전히 0%인 칸이 네 개 남아 있는 것도 같은 계열입니다.

held-out 규약에 되먹임이 있습니다. held-out 평가에서 새 실패가 나오면 그 시드를 개발 시드로 재분류하고 새 세트를 뽑습니다. 규약 자체는 엄격하지만, 결과적으로 최종 held-out 세트는 "하네스를 수정하게 만들지 않은 시드들"입니다. 저자들이 데이터 분리를 지키려 넣은 장치가 동시에 최종 수치를 낙관 쪽으로 기울일 여지를 만듭니다.

아하 모먼트 그림과 최종 표가 어긋납니다. Figure 4의 Goal-T8은 60%, Goal-S6은 90%인데 Table 3의 대응 칸은 각각 80.0%와 100.0%입니다. 전자는 단일 실패 군집 진화 중의 중간 내부 버전이고 후자는 누적 최종 하네스이므로 모순은 아니지만, 두 그림을 같은 축으로 읽으면 안 됩니다.

진화 비용은 보고되지 않습니다. 오프라인 진단·수리 단계에서 대형 모델을 얼마나 호출했는지, 라운드당 롤아웃이 몇 회였는지가 정리되어 있지 않습니다. "롤아웃 예산 하에서"라는 단서가 반복되지만 그 예산의 크기는 명시되지 않습니다. 온라인 추론이 싸다는 것은 증명됐지만 진화가 싸다는 것은 증명되지 않았습니다.

정리

1. 정책 가중치를 고정한 채 하네스만 진화시켜 RoboCasa 73.56%에서 93.56%, LIBERO-Pro Goal 계열 34.5%에서 90.8%를 달성했습니다. 다만 LIBERO-Pro 전체 40개 쌍 기준으로는 32.00%에서 71.13%가 정본입니다.
2. 설계의 핵심은 시간 규모 분리입니다. 액션 주파수로 도는 코드 크리틱, 롤아웃 묶음 단위의 후보 제안, 검증 게이트를 통과한 스킬 갱신을 나눠 대형 모델의 추론 속도와 물리 실행의 요구 주파수 사이 간극을 우회했습니다.
3. 학습된 크리틱과 복구는 작업 독립적 물리 변수 위에서 동작하기 때문에 제로샷 전이됩니다. PnP 계열 64%에서 84%, 관절 상호작용 계열 64%에서 80%입니다. 다만 전부 시뮬레이션 결과이고, 실기 확장은 저자들이 밝힌 다음 과제입니다.