Vision Pretraining for Dense Spatial Perception

Z. Fu, B. Tan, C. Sun, S. Liu, K. Zheng, Y. Xu, X. Zhu, Y. Shen, and N. Xue, "Vision Pretraining for Dense Spatial Perception," arXiv:2607.05247, 2026.

시각 기초 모델은 같은 물체를 조명과 배경이 달라도 같은 것으로 알아보는 의미 불변성을 잘 학습합니다. 그러나 로봇이 물체를 잡거나 카메라가 거리를 재려면 물체의 정체뿐 아니라 경계, 모양, 깊이처럼 픽셀마다 달라지는 공간 정보가 필요합니다.

이 논문은 무작위 패치를 가리는 기존 자기지도학습의 질문을 바꿉니다. 무엇을 복원할지가 아니라 어디를 가려야 공간 구조를 배우는가를 묻고, 정보가 가장 압축된 경계 토큰을 학습 대상으로 선택합니다.

저자

제1저자 Zelin Fu와 Bin Tan, Changjiang Sun은 Ant Research의 RobbyAnt 팀에서 LingBot-Depth 계열을 함께 개발했습니다. 시니어 저자 Nan Xue는 구조적 시각 기하를 연구해 왔고, Yujun Shen과 Xing Zhu, Yinghao Xu는 LingBot의 비전, 월드 모델, 로봇 학습 축을 연결해 왔습니다.

이 조합은 논문의 방향을 설명합니다. 경계 검출 자체를 새 과제로 내놓기보다, 구조적 기하 연구에서 축적한 경계 표현을 대규모 자기지도 사전학습과 로봇용 깊이 모델의 공통 기반으로 옮겼습니다.

배경

DINO와 iBOT 계열은 교사와 학생 네트워크를 두고, 학생이 가려진 패치의 교사 표현을 복원하게 합니다. 이 방식은 의미 표현에 강하지만 마스크를 무작위로 뽑습니다. 넓고 균일한 내부 패치는 이웃만 보고도 추정하기 쉬운 반면, 두 영역이 만나는 경계는 위치와 방향이 조금만 달라도 결과가 바뀝니다.

LingBot-Vision의 전제는 경계가 조밀한 공간 지각의 학습 신호라는 것입니다. 경계는 단순한 선이 아니라 물체의 범위, 표면의 불연속, 가림 관계와 깊이 변화가 모이는 자리입니다. 따라서 경계 토큰을 더 자주 가리고 기하학적 목표까지 복원하게 하면 패치 표현이 공간 구조를 보존할 수 있습니다.

메커니즘

교사 모델이 예측한 경계가 지나가는 패치의 집합을 \(\mathcal{B}\)라고 하고, 기존 무작위 마스크를 \(\mathcal{M}\)이라고 하면 학생에게 적용되는 마스크는 다음과 같습니다.

\[\mathcal{M}^{+}=\mathcal{M}\cup\mathcal{B}\]

일반 마스크 토큰은 iBOT 의미 목표를 복원합니다. 경계 토큰은 같은 의미 목표와 함께 범주형 경계 목표도 받습니다. 전체 손실은 다음 네 항으로 구성됩니다.

\[\mathcal{L}=\mathcal{L}_{\texttt{DINO}}+\lambda_{\texttt{i}}\mathcal{L}_{\texttt{iBOT}}+\lambda_{\texttt{b}}\mathcal{L}_{\texttt{bnd}}+\lambda_{\texttt{k}}\mathcal{L}_{\texttt{KoLeo}}\]

\(\mathcal{L}_{\texttt{DINO}}\)는 이미지 수준 표현을, \(\mathcal{L}_{\texttt{iBOT}}\)은 마스크 패치의 의미를 맞춥니다. \(\mathcal{L}_{\texttt{bnd}}\)는 경계의 거리와 방향, 양 끝점 각도를 범주로 예측하고, KoLeo 항은 배치 안의 전역 표현이 한곳에 뭉치지 않게 합니다.

경계 표현은 각 픽셀에서 가장 가까운 선분까지의 거리 \(d_p\), 방향 \(\theta_p\), 두 끝점을 가리키는 각도 \(\phi_p^1,\phi_p^2\)를 저장합니다. 연속값 회귀는 자기증류에서 평균값으로 붕괴하기 쉬워 각 채널을 구간으로 나눠 분류 문제로 바꿉니다. 추론할 때는 각 구간 중심의 기댓값으로 연속값을 되찾아 서브픽셀 정밀도를 유지합니다.

부트스트랩

학습 초기에 교사도 경계를 모른다는 순환 문제가 남습니다. 연구진은 고정된 단일 블록 코너 검출기와 이미지 그래디언트의 레벨라인 방향을 초기 닻으로 사용합니다. 코너 두 개를 연결하는 후보 선분에 여러 픽셀이 투표하고, 우연한 정렬로 설명되지 않는 선분만 a-contrario 검정으로 남깁니다.

남은 선분을 다시 조밀한 경계 필드로 렌더링해 학생의 목표로 사용합니다. 학습이 진행되면 EMA 교사가 더 나은 경계를 만들고, 학생이 이를 따라가며 목표도 함께 정교해집니다. 외부 경계 주석은 사용하지 않지만 고정 코너 검출기라는 구조적 선행조건은 사용합니다.

규모

연구진은 원본 약 20억 장에서 공개 데이터와 검색 기반 웹 이미지를 정제해 약 1억 6,100만 장을 구성했습니다. 주 모델은 약 11억 파라미터의 ViT-g/16이며, 이후 3억, 8,600만, 2,100만 파라미터의 ViT-L, ViT-B, ViT-S로 증류했습니다.

주 학습은 30만 회 반복하고, 패치 표현의 장기 열화를 막는 Gram anchoring과 고해상도 적응을 각각 10만 회 수행합니다. 경계 계산은 경계 위치에만 희소하게 적용하고 GPU에서 배치 처리해 추가 분기를 전체 학습 시스템 안에 넣었습니다.

결과

작은 규모의 통제 실험은 성능 향상의 원인을 분리합니다.

경계 위치를 더 가리는 것만으로는 개선되지 않습니다. 범주형 기하 목표를 추가했을 때 깊이 성능이 올라가므로, 이 방법의 핵심은 마스크 위치와 복원 목표의 결합입니다.

대규모 모델의 조밀 예측 결과는 다음과 같습니다. 깊이는 낮을수록, 분할은 높을수록 좋습니다.

LingBot-Vision은 NYUv2 깊이와 VOC 분할에서 가장 좋지만, KITTI와 ADE20K, Cityscapes에서는 DINOv3가 앞섭니다. ImageNet 전역 분류에서도 LingBot-Vision은 선형 탐침 86.32%, \(k\)-NN 83.39%로 DINOv3의 87.87%, 85.68%보다 낮습니다. 공간 지각을 강화해도 의미 성능이 붕괴하지는 않지만 모든 과제에서 우월한 모델은 아닙니다.

ViT-L 증류 모델은 NYUv2 RMSE 0.310으로 7B DINOv3의 0.309에 근접합니다. 논문이 주장하는 효율성은 이 지점에서 가장 분명합니다. 거대 모델의 전역 인식 점수보다 작은 배포 모델의 조밀 표현에 강점이 남습니다.

회고

첫째, 경계를 일반적인 공간 지각 원리로 제시하지만 학습 신호는 선분과 코너에 강하게 구조화되어 있습니다. 곡선은 짧은 선분의 연쇄로 근사하며, 초기 부트스트랩은 고정 코너 검출기와 고전 영상처리의 방향 추정에 의존합니다. 비정형 표면, 투명체, 조명 경계처럼 기하 경계와 영상 경계가 어긋나는 장면에서 같은 이점이 유지되는지는 별도 검증이 필요합니다.

둘째, 비교는 주로 동결된 특징 위의 선형 탐침과 비모수 평가입니다. 표현의 질을 분리해 보는 장점은 있지만, 실제 로봇 정책을 끝까지 학습했을 때 조작 성공률이 얼마나 오르는지는 보여주지 않습니다. LingBot-Depth 2.0으로 깊이 완성의 개선을 연결하지만 공간 표현이 행동 성능으로 이어진다는 주장은 아직 간접적입니다.

셋째, 1억 6,100만 장의 정제 데이터와 11억 파라미터 모델이 함께 바뀌므로 DINOv3와의 차이를 경계 목표 하나로만 돌릴 수 없습니다. ImageNet-1K 통제 실험이 메커니즘을 지지하지만 대규모 결과에는 데이터 구성, RoPE, Gram anchoring, 학습 예산의 영향도 섞여 있습니다.

정리

1. 무작위 마스킹 대신 경계 토큰을 강제로 가리고 의미와 기하를 함께 복원합니다.
2. 범주형 경계 필드와 코너 기반 부트스트랩으로 별도 경계 주석 없이 학습합니다.
3. 깊이와 일부 분할 과제에서 강하지만, 전역 인식과 모든 조밀 과제를 동시에 지배하지는 않습니다.