HiFi-UMI - Learning Deployable Manipulation Policies from High-Fidelity UMI Data Alone

Y. Wei, J. Ma, J. Wang, W. Zhou, et al., "HiFi-UMI: Learning Deployable Manipulation Policies from High-Fidelity UMI Data Alone," arXiv:2607.25895, 2026.

로봇 조작 정책을 학습시킬 때 병목은 오래전에 모델 용량에서 데이터로 옮겨 갔습니다. 그리고 그 데이터를 얻는 방법은 지금까지 둘 중 하나였습니다. 실제 로봇에 텔레오퍼레이션 장비를 붙이고 숙련 조작자가 앉아 시연을 만드는 방법, 아니면 사람이 손에 쥐는 계측 그리퍼로 로봇 없이 시연을 모으는 방법입니다.

전자는 정확합니다. 대신 한 시간의 데이터를 얻으려면 대상 로봇 한 대, 텔레오퍼레이션 리그 한 벌, 숙련 조작자 한 명이 그 한 시간 동안 묶여 있어야 합니다. AgiBot World는 4,000제곱미터 전용 시설에 양팔 휴머노이드 100대를 세워 2,976시간을 모았고, RoboMIND는 네 가지 embodiment에서 305시간을 모으면서 팔마다 맞춤 텔레오퍼레이션 하드웨어를 따로 만들어야 했습니다.

후자는 값싸게 확장됩니다. 대신 정밀도가 떨어집니다. 그래서 지금까지 이 데이터는 사전학습(pre-training)까지만 맡고, 정책을 실제 배포 가능한 수준으로 붙들어 매는 사후학습(post-training)에는 실기 로봇 데이터가 반드시 필요하다는 것이 분야의 암묵적 합의였습니다.

HiFi-UMI는 그 합의를 다시 묻습니다. 정말 사후학습에 로봇 데이터가 필요한 것인지, 아니면 지금까지 나온 로봇 없는 데이터의 충실도가 충분히 높지 않았을 뿐인지.

저자

논문은 Simple AI(simpleai.tech) 단일 소속으로 나왔습니다. 공동 1저자는 웨이위텅, 마진밍, 왕자웨이(Jiawei Wang), 저우웨이타오 네 명이고, 저우웨이타오와 리밍레이가 프로젝트 리더, 리밍레이가 교신저자입니다.

이 조합에서 눈에 띄는 것은 로봇 조작 전공자만 모인 팀이 아니라는 점입니다. 마진밍은 중국과학기술대에서 오프라인 강화학습과 부정확한 시뮬레이터를 다뤄 왔고, 저우웨이타오는 칭화대 기계공학과에서 자율주행 의사결정과 대규모 주행 데이터셋 가지치기를 연구했습니다. 쭤위선은 홍콩이공대에서 영상 복원을, 그 전에는 Microsoft에서 Bing 추천과 LLM 응용을 다뤘습니다.

논문의 성격을 보면 이 배치가 왜 이렇게 됐는지 읽힙니다. HiFi-UMI는 모델 논문이 아니라 데이터 생산 시스템 논문입니다. 캡처 장비 설계, 여섯 대 카메라의 하드웨어 동기화, 시뮬레이션 리플레이 검증, 20,000시간 코퍼스의 분포 측정과 재조정, 그리고 실기 로봇 960회 롤아웃 평가 프로토콜이 한 편에 묶여 있습니다. 시뮬레이터 격차, 데이터 가지치기, 영상 품질 검사는 각각 세 사람의 기존 주제이고, 이 논문에서는 파이프라인의 서로 다른 단계로 들어가 있습니다.

Simple AI 자체는 대외 노출이 적은 조직입니다. 공개된 것은 프로젝트 웹사이트와 Hugging Face의 simple-world-lab 조직 계정 정도이고, 회사 규모나 투자 이력 같은 정보는 확인되지 않습니다. 이 글에서 조직에 대해 말할 수 있는 것은 논문과 데이터셋에 적힌 만큼입니다.

배경

UMI(Universal Manipulation Interface)는 2024년 RSS에서 나온 핸드헬드 계측 그리퍼입니다. 사람이 손에 쥐고 실제 환경에서 시연을 만들면 로봇 없이도 학습 가능한 궤적이 나옵니다. 이후 FastUMI, DexCap, DexUMI, DexWild, ARCap, AirExo 같은 파생 장비들이 줄줄이 나왔고, FastUMI-100K와 RDT2의 10,000시간 코퍼스는 이 방식이 최대 규모 텔레오퍼레이션 데이터셋에 맞먹는 규모까지 확장된다는 것을 보였습니다.

문제는 규모가 아니라 신뢰도였습니다. 논문이 정리한 기존 핸드헬드 캡처의 결함은 네 가지입니다.

첫째, 자세(pose)를 손목 카메라의 온라인 visual(-inertial) SLAM으로 복원합니다. 긴 시간 동안 드리프트가 쌓이고, 텍스처가 없거나 모션 블러가 끼면 추적이 끊깁니다. 손목 시점은 손 자체와 조작 대상에 계속 가려지기 때문에 특히 취약합니다.

둘째, 양손 그리퍼 사이의 상대 자세를 직접 재지 않고 카메라 간 공통 가시성(co-visibility)에서 사후 재구성합니다. 양손 협응이 중요한 태스크에서 정확히 그 자리에 오차가 들어갑니다.

셋째, 센서 스트림 정렬을 하드웨어 트리거가 아니라 소프트웨어나 무선 타임스탬프로 합니다. 밀리초 수준의 정렬 오차가 액션 라벨 노이즈로 남습니다.

넷째, 손마다 155도 어안 카메라 한 대뿐이라 사각지대가 생기고 깊이 단서가 약합니다.

이 결함들이 로봇 없는 데이터를 사전학습 자리에 묶어 놓았습니다. 최근에 텔레오퍼레이션 비중을 줄이려는 시도들도 이 구분 자체는 유지했습니다. ActiveUMI와 XRZero-G0는 VR 헤드셋 추적을 써서 실기 로봇 비중을 훨씬 큰 로봇 없는 코퍼스의 일부로 줄였지만 0으로 만들지는 못했고, RDT2는 로봇 없는 데이터만으로 zero-shot 크로스 embodiment 전이를 얻었지만 특정 팔에서 배포 수준 성능이 필요해지는 순간 실기 데이터를 섞었습니다. VISTA가 가장 가깝게 갔습니다. 큐레이션한 핸드헬드 데이터만으로 양팔 정책을 사후학습해 실기에 올렸습니다. 다만 모든 베이스라인이 같은 핸드헬드 코퍼스로 학습돼 있어서, 비교가 격리한 것은 모델과 큐레이션 설계였지 데이터 출처가 아니었습니다.

HiFi-UMI가 세운 가설은 저자들이 zero-robot post-training이라고 부르는 것입니다. 충분히 충실도 높은 로봇 없는 데이터만으로 사후학습을 하면, 사후학습에 텔레오퍼레이션 데이터를 한 건도 넣지 않고도 실기 로봇에 그대로 배포되는 정책이 나온다는 주장입니다. 질문의 축이 혼합 비율에서 데이터 자체의 품질로 옮겨 간 셈입니다.

어떻게 만들었나

캡처 장비

장비는 위 네 가지 결함에 하나씩 대응합니다.

자세 획득. 손목이 아니라 머리에 스테레오 카메라 한 쌍과 IMU를 답니다. 오프라인 stereo-inertial SLAM으로 머리의 전역 궤적을 추정하고, 양손에 붙인 fiducial marker cube를 같은 머리 카메라 프레임에서 잡아 머리 기준 상대 자세를 얻습니다. 전역 머리 궤적과 두 손의 상대 자세를 합성하면 양손 모두 전역 좌표에서 일관된 궤적이 나옵니다.

이 배치에서 두 가지가 따라옵니다. 하나는 드리프트가 줄어든다는 것입니다. 조작 중에 머리는 손보다 훨씬 덜 움직이므로 머리 기준 추적은 누적 오차가 작습니다. 다른 하나는 양손 상대 자세가 재구성이 아니라 측정으로 얻어진다는 것입니다. 두 마커 큐브가 같은 프레임에 함께 잡히기 때문에, 상대 자세가 개별 그리퍼 자세와 같은 정밀도를 그대로 물려받습니다.

오프라인으로 도는 것도 설계입니다. 온라인 SLAM은 과거 관측만 쓸 수 있지만 오프라인 최적화는 미래 관측까지 씁니다. 다만 조작은 장면을 계속 바꾸기 때문에 표준 loop closure가 전제하는 정적 세계 가정이 깨집니다. 그래서 전역 loop closure를 일부러 포기하고 동적 슬라이딩 윈도우 위의 국소 일관성 제약으로 대체했습니다. 전역 드리프트는 긴 시간 동안 센티미터 수준으로 묶이지만, 국소 밀리미터 정밀도는 유지됩니다.

그리퍼 형상. 기존 UMI 그리퍼는 트리거식이거나 손가락 슬리브식입니다. 트리거는 평행 조(parallel-jaw) 명령을 직접 흉내 내지만 조작 대상과의 촉각 대응이 약하고, 슬리브는 접촉 감각을 보존하지만 대개 좁고 길쭉한 형상이라 크고 무거운 물체에 약합니다. HiFi-UMI는 사람 손을 본뜬 비대칭 2지 장갑형 전손(full-palm) 그리퍼를 씁니다. 두 손가락이 각각 엄지와 나머지 네 손가락에 대응하고, 폭이 일부러 다릅니다. 좁은 손끝 쪽은 작은 물체의 정밀 조작에, 넓은 근위부는 무거운 물체의 접촉 면적과 지지에 쓰입니다.

센서. 손마다 비평행 어안 카메라 두 대를 달아 수평 약 200도, 수직 200도 이상을 덮습니다. 머리 스테레오까지 합치면 총 여섯 대입니다. 여기에 머리와 양손의 IMU, 그리퍼 개방각을 재는 고정밀 엔코더가 붙습니다. 결정적인 부분은 이 모든 센서가 하나의 공용 GPIO 외부 트리거로 구동된다는 점입니다. 마이크로초 수준 동기화가 하드웨어에서 보장되고, 소프트웨어 정렬이 남기던 액션 라벨 노이즈가 사라집니다.

온라인 품질 관리. 녹화 중에 장비가 노출 부족, 모션 블러, 지나치게 빠른 조작자 동작, 손이 머리 카메라 시야를 벗어나는 상황을 감지하고 음성으로 즉시 알립니다. 후처리에서 발견하는 대신 현장에서 고치게 합니다. 온라인 시간 분할로 조작자가 태스크와 서브태스크 경계를 수집 중에 표시할 수도 있습니다.

데이터 파이프라인

원시 캡처는 여섯 단계를 통과합니다. 수집·업로드, 궤적 재구성과 자동 정제, 시뮬레이션 리타게팅, AI 보조 어노테이션, 사람 검증, 분석과 내보내기입니다.

두 단계가 게이트로 작동합니다. 궤적 재구성은 98%를 통과시키고, whole-body control 리플레이 검증이 다시 98%를 통과시킵니다. 두 게이트가 직렬이므로 누적 유효 산출률은 \(98\% \times 98\% \approx 96\%\)입니다.

리플레이 검증이 특히 중요합니다. 재구성된 궤적을 대상 embodiment의 whole-body motion control 알고리즘으로 시뮬레이션에서 실제로 재생해 보고, 기구학적으로나 동역학적으로 불가능한 궤적을 버립니다. 사람이 손으로 한 동작이 로봇 팔에서 실행 가능한지를 학습 전에 걸러 내는 절차입니다.

마지막 단계는 이 논문에서 저평가하기 쉬운 부분입니다. 큐레이션된 데이터를 태스크 범주, 장면 유형, 객체 범주, 행동 패턴, 궤적 품질, 어노테이션 품질, 리플레이 성공률로 통계를 내고, 그 통계를 근거로 학습셋을 조립합니다. 과대표집된 부분집합은 낮추고, 드물지만 중요한 행동은 올립니다. 실패와 복구 에피소드는 일부러 수집해서 폐루프 실행의 견고성을 위한 감독 신호로 씁니다. 데이터를 전부 동등하게 쓰지 않고 명시적으로 고르는 구조입니다.

처리된 데이터의 품질

3mm는 약 2m 누적 머리 궤적 길이 안에서 base-station 추적 정답 대비 평균 병진 오차입니다. base station은 이 정확도 평가에만 쓰였고 일상 캡처에는 쓰이지 않습니다. 논문이 강조하는 것은 이 숫자가 전역 정확도가 아니라 작업공간 국소 정확도라는 점입니다. 조작 태스크가 실제로 요구하는 것이 작업공간 안의 국소 일관성과 정확한 상대 손 자세이기 때문입니다.

기존 시스템과의 비교는 이렇습니다.

오차 수치는 각 시스템이 자기 논문에서 서로 다른 기준과 동작 프로파일로 잰 값이라 직접 비교보다는 자릿수 비교로 읽어야 합니다. 그래도 구조는 분명합니다. 3mm급 정밀도를 내는 기존 시스템(FastUMI Pro, RDT2)은 전부 base station이 필요해서 휴대성을 잃었고, 휴대성을 지킨 시스템(ActiveUMI, XRZero-G0)은 4mm대에 머물면서 밀리초 소프트웨어 동기화를 씁니다. HiFi-UMI는 외부 인프라 없이 3mm와 마이크로초 동기화를 동시에 가져간 첫 사례라는 것이 주장입니다.

무엇으로 구성돼 있나

처리된 전체 코퍼스는 480개 이상 장면에서 4,320,000개 이상 에피소드, 20,000시간이 넘습니다. 여기서 태스크·장면·속성 커버리지가 균형을 이루도록 골라 낸 2,000시간 부분집합이 HiFi-UMI-2K이고, 이것이 공개된 부분입니다.

공개 데이터셋은 CC BY 4.0입니다. 상업적 이용을 포함한 재배포와 파생이 출처 표기 조건으로 허용됩니다. 캡처 장비가 머리 장착 1인칭 영상을 기록하기 때문에 공개본에서는 모든 사람 얼굴이 마스킹돼 있고, 저자들은 행동 감시나 신원 추적 용도의 사용을 권장하지 않는다고 명시했습니다.

학습 설정

세 가지 백본을 씁니다. StarVLA-QwenPI, OpenPI-\(\pi_{0.5}\), LingBot-VA입니다.

앞의 둘은 VLA(vision-language-action) 계열입니다. 현재 관측과 언어 지시를 직접 액션으로 사상하는 순수 반응형 정책입니다. LingBot-VA는 WAM(world-action-model) 계열로, 매 추론 단계에서 미래 프레임을 생성하고 그 미래에서 액션을 디코딩합니다. 상상한 미래의 품질이 곧 제어의 품질을 결정하는 구조입니다.

세 백본을 고른 기준은 아키텍처의 다양성이 아니라 인터페이스의 동일성입니다. 각각이 같은 감독 신호를 소비하되 텐서화 방식만 다릅니다. 그래서 감독 신호의 출처를 바꾸는 것은 하나의 개입을 세 번 적용하는 일이 되고, 세 백본이 일치하면 그것은 특정 아키텍처가 아니라 데이터에 대한 증거가 됩니다.

물리 인터페이스는 공통입니다. 팔 \(j\)에 대해, \(t_0\)에서 시작하는 청크의 모든 미래 자세를 같은 현재 관측 자세 기준 상대값으로 표현합니다.

\[\Delta T^{j,(m)}_{t_0,h} = \left(T^j_{t_0}\right)^{-1} T^{j,(m)}_{t_0 + \delta_h}\]

여기서 \(\delta^{(m)}_h\)는 백본 \(m\)의 인덱스 \(h\)에서의 고유 미래 오프셋입니다. 청크의 각 행이 하나의 측정된 앵커를 공유하고, 앞선 액션 목표에 재귀적으로 정의되지 않는다는 점이 중요합니다. 오차가 청크 안에서 누적되지 않습니다. 병진은 앵커 엔드이펙터 좌표계로, 회전은 Rotation6D로, 그리퍼 목표는 절대값으로 표현합니다. 팔 하나가 \(3 + 6 + 1 = 10\)개 채널, 양팔이면 20개입니다.

StarVLA-QwenPI는 Qwen3-VL-4B-Instruct(36층, hidden width 2,560)에 \(\pi\) 스타일 conditional flow-matching DiT 액션 헤드를 붙였습니다. 정답 액션 청크 \(a\)와 가우시안 노이즈 \(\epsilon \sim \mathcal{N}(0, I)\)에 대해 \(u \sim \text{Beta}(1.5, 1.0)\)를 뽑고 \(\tau = (s-u)/s\), \(s = 0.999\)로 두면 학습 목적은 다음과 같습니다.

\[a_\tau = (1-\tau)\epsilon + \tau a, \qquad \mathcal{L}_{\text{FM}} = \mathbb{E}\left[\left\lVert v_\theta(a_\tau, \tau, z_t) - (a - \epsilon)\right\rVert_2^2\right]\]

추론 시에는 가우시안 노이즈에서 시작해 8단계 explicit Euler로 적분하고, \(H = 20\)개 액션 청크 중 앞의 \(H_{\text{exec}} = 10\)개를 receding-horizon으로 실행합니다.

여기서 하나 짚어 둘 것이 있습니다. 정책에 들어가는 시각 관측은 캡처 리그의 손목 뷰 네 개(손마다 두 개)뿐입니다. 머리 스테레오 쌍은 캡처 단계의 궤적 재구성에만 쓰이고 정책 입력으로는 한 번도 제공되지 않습니다. 머리 카메라는 데이터를 만드는 도구이지 정책이 보는 것이 아닙니다.

결과

데이터 출처 비교

벤치마크 태스크는 네 개입니다. Stain Wiping(접촉 많은 닦기), Shirt Folding(변형체 조작), Remote Insertion(제약된 삽입), Produce Sorting(의미 기반 분류). 조건마다 태스크당 실기 롤아웃 40회를 돌립니다.

비교 설계가 UMI 쪽에 불리하게 잡혀 있습니다. 텔레오퍼레이션 시연은 평가에 쓰는 바로 그 로봇, 바로 그 환경에서 태스크당 약 300개를 모았습니다. UMI 시연은 여러 조작자가 여러 물리적 장소에서, 배경과 조명과 탁자 외양이 전부 다른 환경에서 태스크당 3,200개를 모았고, 평가 장면에서 수집한 UMI 궤적은 하나도 없습니다. UMI 정책은 장면 수준 분포 이동을 안고 평가받습니다.

WAM 백본은 별도 프로토콜이라 절대 성공률을 VLA와 직접 비교하지 않습니다.

UMI에서 텔레오퍼레이션을 뺀 집계 차이는 StarVLA-QwenPI에서 \(-2.5\), OpenPI-\(\pi_{0.5}\)에서 \(+3.1\), LingBot-VA에서 \(-0.6\) 퍼센트포인트입니다. 부호가 일정하지 않고, 세 백본 사이의 차이보다 각 백본 안의 UMI-텔레옵 격차가 훨씬 작습니다. 결론이 특정 VLA 아키텍처에 의존하지 않는다는 뜻입니다. 가장 강한 조합인 OpenPI-\(\pi_{0.5}\) + UMI는 정밀 삽입 태스크에서 85%를 냈습니다. 평가 장면에서 수집한 UMI 데이터가 하나도 없는 상태에서 나온 숫자입니다.

태스크 수준 차이는 신중하게 읽어야 합니다. 태스크-정책 쌍마다 롤아웃이 40회이므로 성공 한 번이 2.5퍼센트포인트입니다. 표에 보이는 대부분의 차이는 롤아웃 한두세 번에 해당합니다. 저자들 스스로 이를 우열이 아니라 근사적 동등으로 해석한다고 명시했고, 이 태도는 옳습니다.

WAM 쪽에서 나온 정성적 관찰 하나가 흥미롭습니다. UMI로 사후학습한 정책은 동작 진폭이 크고 연속적이며 더 자연스러워 보입니다. 성공한 롤아웃에서 멈춤이 적고 태스크 이정표에 빨리 도달합니다. 반면 텔레오퍼레이션으로 학습한 정책은 점진적 보정을 더 자주 실행합니다. 그런데 이 직진성이 곧 복구 능력은 아닙니다. Remote Insertion에서 UMI 정책은 결단력 있는 초기 그랩을 하지만 접촉 조건이 불완전하면 여러 번 다시 시도해야 하고, 그 재시도가 이 태스크의 낮은 성공률(42.5% 대 50.0%)로 이어집니다.

데이터가 얼마나 필요한가

Remote Insertion에서 OpenPI-\(\pi_{0.5}\)를 400, 800, 1,600, 3,200, 6,400개 에피소드로 각각 학습시켰습니다.

저데이터 구간의 상승이 가파릅니다. 400에서 800으로 두 배 늘리는 것만으로 37.5%에서 65.0%로 올라갑니다. 그리고 3,200개 근처에서 포화합니다. 6,400개로 두 배 더 늘려도 85.0%에서 82.5%로 오히려 살짝 내려가는데, 40회 롤아웃 해상도에서는 이것도 성공 한 번 차이입니다. 실무적으로 읽으면 이 태스크에서 3,200개가 수확 체감 지점이라는 뜻입니다.

사전학습의 효과

같은 코퍼스에서 4,000시간을 뽑아 StarVLA-QwenPI를 사전학습시킨 결과가 별도로 붙어 있습니다.

한 번의 코퍼스 통과 동안 held-out 액션 오차가 61% 떨어집니다. 누적 처리한 UMI 액션 청크 수를 \(S\)로 두고 다음을 피팅하면

\[L_{\text{heldout}}(S) = L_\infty + A S^{-\alpha}\]

학습률 감쇠 전 구간에서 \(\alpha = 0.268\), \(R^2 = 0.993\)입니다. 코퍼스가 고정돼 있으므로 이 피팅이 재는 것은 데이터셋 크기 스케일링이 아니라 노출 스케일링입니다.

사전학습에 없는 열 개 태스크로 만든 별도 평가셋에서는 평균 OOD 오차가 41% 줄고, 모든 미학습 태스크가 개선됩니다. 다만 지수는 \(\alpha = 0.095\)로 훨씬 작습니다. 여기서 나온 구조가 이 논문에서 가장 실용적인 발견입니다.

식기와 조리도구 조작이 가장 빨리 좋아지고, 분립체 이송이 중간, 천 접기가 가장 느립니다. 그리고 이 순서는 사전학습 혼합의 구성을 그대로 반영합니다. 객체와 수용기 배치가 프레임의 3분의 1 이상을 차지하고, 직물 접기는 1% 미만입니다. 모델은 풍부한 강체 pick-and-place 경험을 새 식기에 재사용할 수 있지만, 천 접기는 희박한 변형체 감독 신호에서 외삽해야 합니다.

저자들의 표현이 정확합니다. OOD 전이는 테스트 객체를 본 적이 있는지보다 상호작용 동역학의 커버리지에 더 좌우됩니다. 새 숟가락을 본 적 없어도 숟가락 옮기기는 잘하고, 셔츠를 본 적 있어도 옷 접기는 여전히 어렵습니다.

사전학습이 사후학습에 주는 이득도 실기로 확인됩니다. Remote Insertion에서 UMI 사전학습 체크포인트로 시작한 정책은 800개 에피소드만으로 Qwen-VL 초기화 후 3,200개로 학습한 베이스라인(52.5%)을 이미 넘어섭니다. 네 배 적은 데이터로 같은 지점에 도달한다는 뜻입니다.

동일한 3,200개 태스크 데이터, 동일한 아키텍처와 레시피에서 초기화만 바꿔 집계 성공률이 18.1퍼센트포인트 올라갑니다. 통제된 차이가 초기화 하나뿐이므로, 이 개선은 UMI 데이터에서 얻은 시각-운동 사전(visual-motor prior)에 귀속됩니다.

회고

저자들이 인정한 한계가 네 가지입니다. 논문 §7에 정리돼 있고, 대부분 자기 결과를 과대 해석하지 말라는 방향으로 적혀 있습니다.

평가 범위. zero-robot post-training 증거는 탁상 양팔 태스크 네 개와 백본 세 개, 장면 수준 분포 이동 한 종류에서 나왔습니다. 다른 태스크, 다른 embodiment, 다른 종류의 분포 이동으로 일반화되는지는 시험되지 않았습니다. 사전학습 증거는 더 좁습니다. 스케일링과 하류 이득이 StarVLA-QwenPI 하나에서만 측정됐습니다.

태스크 수준 통계 해상도. 태스크-정책 쌍당 40회라는 것은 성공 한 번이 2.5퍼센트포인트라는 뜻이고, 작은 격차로 갈린 방법들의 순서가 몇 번의 결과로 뒤집힐 수 있습니다. 그래서 저자들은 태스크별 차이를 기술적(descriptive)인 것으로만 다루고, 동등 주장은 태스크 집계에 기반해서만 합니다.

충실도를 통째로 검증했지 분해하지 않았다. 이것이 가장 정직한 인정입니다. 논문은 충실도를 궤적 정확도, 양손 상대 자세, 동기화, 시야가 함께 실현하는 설계 원리로 다루고, 각 요소를 통제된 열화로 격리하지 않았습니다. 그래서 이 결과가 보이는 것은 높은 충실도가 충분하다는 것이지, 배포 가능한 정책이 각 속성을 얼마나 요구하는지가 아닙니다. 3mm가 임계값인지 5mm로도 되는지, 마이크로초 동기화가 필수인지 밀리초로도 충분한지를 이 논문은 답하지 않습니다. 샘플 수와 장면 커버리지를 고정한 채 각 요소를 선택적으로 열화시키는 절제 실험이 있어야 "높은 충실도가 도움이 된다"가 "배포에 필요한 충실도는 이만큼이다"라는 사양으로 바뀝니다.

샘플 수가 맞지 않았다. 사전학습 없이 하면 UMI 사후학습은 텔레오퍼레이션 베이스라인의 약 열 배 시연을 씁니다(3,200 대 300). 그래서 이 비교는 궤적당 효율이 아니라 실제 데이터 생산 파이프라인끼리의 비교입니다. 논문은 이를 명시했고, 하나의 쓸 만한 텔레오퍼레이션 궤적을 얻는 데 UMI 궤적 하나보다 벽시계 시간이 몇 배 더 든다는 점, 그리고 텔레오퍼레이션은 조작자 외에 장면 리셋·객체 배치·안전 감시·하드웨어 복구를 맡는 보조 인력이 한 명 더 필요하다는 점을 근거로 듭니다. 열 배 데이터를 모으는 데 드는 실제 비용이 열 배가 아니라는 논리인데, 이 논문에 그 비용을 정량화한 표는 없습니다.

여기에 제가 덧붙이고 싶은 지점이 하나 더 있습니다. Remote Insertion에서 UMI 정책이 결단력 있게 잡고 실패하면 재시도한다는 관찰은 정성적으로 남겨져 있는데, 이것이 데이터 출처의 체계적 특성인지 아닌지가 중요합니다. 텔레오퍼레이션 데이터에는 조작자가 로봇의 실제 접촉 피드백을 보면서 만든 미세 보정이 들어 있고, 장갑형 그리퍼로 사람이 직접 잡는 UMI 데이터에는 사람의 손이 알아서 처리해 버린 보정이 궤적에 남지 않습니다. 사람 손과 로봇 그리퍼의 순응성 차이가 데이터에 무엇을 남기고 무엇을 지우는지는 충실도(정밀도)와는 다른 축의 문제이고, 3mm를 더 줄여도 해결되지 않을 가능성이 있습니다.

정리

1. 로봇 없는 핸드헬드 데이터가 사전학습에만 쓰이던 것은 그 방식의 본질적 한계가 아니라 충실도가 낮아서였다는 것을, 네 개 태스크와 세 개 백본에서 실기 롤아웃 960회로 보였습니다. 사후학습을 UMI 데이터만으로 해도 텔레오퍼레이션과의 집계 차이가 \(-2.5\), \(+3.1\), \(-0.6\) 퍼센트포인트로 부호조차 일정하지 않습니다. 평가 장면에서 수집한 UMI 궤적이 하나도 없는 불리한 조건에서 나온 결과입니다.

2. 충실도를 만든 것은 네 가지 하드웨어·소프트웨어 결정입니다. 손목이 아니라 머리에 스테레오 SLAM을 두어 3mm 국소 정밀도와 낮은 드리프트를 얻고, 양손 마커를 한 프레임에서 잡아 상대 자세를 재구성이 아닌 측정으로 얻고, 공용 GPIO 트리거로 마이크로초 동기화를 하드웨어에서 보장하고, 손마다 어안 두 대로 200도를 덮습니다. 다만 논문은 이 넷을 개별 절제하지 않았으므로 "높은 충실도가 충분하다"까지만 말할 수 있고 "얼마나 필요한가"는 열려 있습니다.

3. 사전학습의 전이는 객체를 본 적 있는지가 아니라 상호작용 동역학의 커버리지를 따릅니다. 배치 동작이 사전학습 프레임의 3분의 1 이상이고 직물 접기가 1% 미만인 혼합에서, 식기 태스크는 \(\alpha = 0.134\)로 빨리 좋아지고 천 접기는 \(\alpha = 0.072\)로 느립니다. 이 구조는 다음 사전학습 혼합을 어떻게 다시 섞을지에 대한 진단 도구가 됩니다. 데이터를 더 모으라는 결론이 아니라 무엇을 더 모을지 정하라는 결론입니다.

• 논문: HiFi-UMI: Learning Deployable Manipulation Policies from High-Fidelity UMI Data Alone
• 프로젝트 페이지: Simple World Lab
• 데이터셋: HiFi-UMI-2K