Gemini Robotics 2 - 상체 조작을 넘어 전신 지능으로

이 글은 Gemini Robotics 2 brings whole body intelligence to robots를 참고하여 작성했습니다.

나사를 푸는 성공률은 92%인데, 조이는 성공률은 36%입니다.

Google DeepMind가 2026년 7월 30일 공개한 Gemini Robotics 2에서 가장 많은 것을 말해 주는 숫자가 이것입니다. 같은 로봇, 같은 손, 같은 나사인데 방향이 바뀌면 성공률이 세 배 가까이 갈립니다. 홍보 문구가 아니라 이 숫자에서 시작해야 이 릴리스가 어디까지 왔는지 보입니다.

조이기와 풀기

푸는 동작과 조이는 동작은 겉보기에 대칭입니다. 실제로는 전혀 다른 문제입니다.

푸는 쪽은 실패해도 되돌릴 여지가 큽니다. 나사가 이미 물려 있으니 손가락이 미끄러져도 나사는 그 자리에 있습니다. 회전 방향으로 힘을 주다가 저항이 사라지면 그게 성공 신호입니다. 저항이 줄어드는 방향이라 힘 제어가 관대합니다.

조이는 쪽은 반대입니다. 나사를 구멍에 맞추는 정렬 단계가 먼저 있고, 여기서 위치 오차가 조금만 나도 나사산이 물리지 않습니다. 물린 뒤에는 저항이 계속 커지므로 손가락이 미끄러지지 않게 잡는 힘을 유지하면서 회전 토크를 올려야 합니다. 그리고 언제 멈춰야 하는지에 대한 신호가 시각으로는 거의 오지 않습니다. 다 조여진 상태와 덜 조여진 상태는 카메라로 구분하기 어렵습니다.

즉 조이기는 촉각과 힘 피드백을 요구하는데 지금의 비전 언어 행동 모델은 그 감각이 얇습니다. 36%라는 숫자는 다지 정밀 조작에서 이 층이 아직 비어 있다는 뜻입니다.

전체 벤치마크 수치를 나란히 놓으면 패턴이 더 분명합니다.

그리퍼 삽입이 89.6%로 높은 것과 다지 나사 조이기가 36%인 것이 같은 표에 있습니다. 자유도가 낮은 그리퍼는 잘 되고, 손가락이 많아질수록 무너집니다. 자유도를 늘린 대가를 아직 데이터로 메우지 못한 상태입니다.

세 모델 분업

Gemini Robotics 2는 하나의 모델이 아니라 세 개가 한 세트입니다.

VLA(비전 언어 행동)는 시각과 언어 입력을 모터 제어로 바꿉니다. 임바디드 추론 모델은 VLM으로, 사용자 지시를 해석하고 사람과 대화하며 태스크를 계획하는 상위 두뇌 역할을 합니다. 온디바이스 버전은 네트워크 지연 없이 로컬에서 도는 경량 경로입니다.

이 분업이 당연해 보이지만 정반대 설계도 같은 주에 나왔습니다. TurboVLA는 vision에서 language를 거쳐 action으로 가는 LLM 경로를 아예 걷어내고 시각과 언어를 따로 인코딩한 뒤 가벼운 상호작용만으로 섞습니다. 그 결과 0.2B 파라미터로 RTX 4090 한 장에서 32Hz 실시간 제어를 얻었습니다.

두 설계가 묻는 것은 같은 질문입니다. 로봇의 행동 결정이 언어를 거쳐야 하는가.

거쳐야 한다는 쪽의 논리는 조합적 일반화입니다. "빨간 컵을 왼쪽 선반에 올려"라는 지시를 처음 보는 조합으로 이해하려면 언어의 구성성이 필요합니다. 계획을 세우고 사람에게 되묻는 것도 언어 없이는 어렵습니다.

거치지 말아야 한다는 쪽의 논리는 지연 시간입니다. 언어 토큰을 통과하는 비용이 제어 주기를 잡아먹습니다. 32Hz는 30ms 주기인데 LLM을 한 번 통과시키면 그 예산이 사라집니다.

Gemini Robotics 2가 세 모델로 쪼갠 것은 이 둘을 층으로 분리한 답입니다. 느려도 되는 계획은 VLM이, 빨라야 하는 제어는 VLA가, 지연을 못 견디는 경로는 온디바이스가 맡습니다. 두 진영 중 하나를 고르는 대신 주파수 대역으로 나눈 셈입니다.

200예제라는 숫자

새 로봇 몸체에 적응하는 데 보통 200예제 미만, 학습 시간 몇 시간이면 된다는 것이 이번 발표의 핵심 주장 중 하나입니다.

이 숫자를 읽을 때 반드시 붙여야 할 조건이 있습니다. 어떤 몸체 사이의 전이인가입니다.

같은 형태의 다른 기체 사이 전이라면, 예를 들어 같은 7자유도 팔에 링크 길이만 다른 경우라면 200예제는 놀랍지 않습니다. 운동학이 거의 같으니 보정에 가깝습니다. 반면 그리퍼에서 다지 핸드로, 고정 팔에서 휴머노이드로 넘어가는 전이라면 200예제는 상당한 주장입니다. 액션 공간의 차원 자체가 바뀌기 때문입니다.

발표 문서만으로는 이 구분이 명확하지 않습니다. 실제로 이 수치를 자기 로봇에 적용할 수 있는지 판단하려면 전이 쌍의 목록과 각각의 예제 수가 필요합니다. 여기가 이 릴리스에서 가장 확인이 덜 된 지점입니다.

전신 제어가 새로 만드는 실패 모드

"전신 지능"이라는 표현은 걷기, 웅크리기, 뻗기를 조작과 동시에 조율한다는 뜻입니다. 상체만 움직이던 것에서 몸 전체로 넓어졌습니다.

기능이 늘어난 것으로만 읽으면 절반만 본 것입니다. 상체만 움직일 때 로봇은 넘어지지 않습니다. 베이스가 고정돼 있으니 최악의 실패가 "물건을 떨어뜨림"입니다. 전신 제어로 넘어가는 순간 넘어짐과 충돌이 실패 모드 목록에 새로 들어옵니다.

선반에서 물건을 회수하려고 발끝을 들고 팔을 뻗는 동작을 생각해 보면 분명합니다. 무게 중심이 지지면 밖으로 나가는 구간이 생기고, 그 상태에서 팔을 더 뻗으면 넘어집니다. 조작 목표와 균형 유지가 같은 관절을 놓고 경쟁합니다.

선반 회수 76.3%라는 숫자에서 실패한 23.7%가 무엇이었는지가 그래서 중요합니다. 물건을 못 잡은 것과 넘어진 것은 안전 측면에서 완전히 다른 사건입니다. 100kg급 휴머노이드가 사람 옆에서 넘어지는 것은 태스크 실패가 아니라 사고입니다.

발표에서 안전 계층을 어떻게 구성했는지, 균형 제어가 조작 정책을 오버라이드하는 구조인지에 대한 설명이 더 필요합니다. 전신 조작 성공률을 발표할 때는 실패 유형별 분해가 같이 나와야 숫자를 신뢰할 수 있습니다.

정리

Gemini Robotics 2가 보여 준 것은 로봇 파운데이션 모델이 상체 조작이라는 안전한 영역을 벗어났다는 사실입니다. 그리고 벗어나자마자 두 가지가 드러났습니다. 다지 정밀 조작에서 촉각과 힘 제어의 공백, 그리고 전신 제어가 새로 들여온 균형이라는 제약입니다.

세 모델로 층을 나눈 설계는 합리적입니다. 계획과 제어의 요구 주파수가 다르다는 것을 인정한 구조이고, 온디바이스 경로를 따로 둔 것도 실용적입니다.

다만 이번 발표에서 가장 유용한 정보는 76.3%나 89.6%가 아니라 36%입니다. 나사를 조이지 못하는 로봇이 무엇을 못 하는지가 다음 세대에서 무엇이 나와야 하는지를 그대로 알려 줍니다. 촉각 센서와 힘 제어를 파운데이션 모델 안으로 어떻게 넣을 것인가가 그 답이 될 것 같습니다.

이 글은 Google DeepMind의 Gemini Robotics 2 발표의 관점에서 작성되었습니다.