랜달 발레스트리에로

🏷️ LLM 딥러닝 교수 NeurIPS논문 Star

개요

랜달 발레스트리에로(Randall Balestriero)는 브라운대학교(Brown University) 컴퓨터과학과 조교수입니다. 딥러닝의 이론적 기초, 세계 모델(world models), 자기 지도 학습(self-supervised learning), 학습 가능한 신호 처리를 전문으로 합니다.

2013년부터 학습 가능한 파라미터화 웨이블릿 연구를 시작했고, NASA 화성 탐사선의 화성지진 탐지 시스템에 이 기술이 적용되기도 했습니다. 얀 르쿤(Yann LeCun)과 LeJEPA 시리즈를 공동 저술하며 세계 모델의 이론적 기반을 구축하는 연구를 이어가고 있습니다.

2024년 브라운대학교에 임용되어 2025년 가을학기에는 자기 지도 학습 연구 주제(CSCI2952-X)를, 2026년 봄학기에는 딥러닝 기초(CSCI1470)를 가르쳤습니다. 사이먼스 재단(Simons Foundation) 연구자 프로필에도 등재돼 있으며, 수학 기반 AI 이론 연구자로서 학제간 인지도를 쌓고 있습니다.

생애

발레스트리에로는 2021년 라이스대학교(Rice University)에서 Richard Baraniuk 교수의 지도 아래 박사학위를 받았습니다. 박사 논문 주제는 아핀 스플라인 연산자(affine spline operators)를 통해 딥 네트워크를 이론적으로 분석하는 것이었습니다.

박사 졸업 후 메타 AI 리서치(Meta AI Research, FAIR)에서 얀 르쿤 교수 아래 박사후 연구원으로 자기 지도 학습 연구에 합류했습니다. FAIR 재직 기간 동안 Joint-Embedding Predictive Architecture(JEPA) 방향에 깊이 관여하며 얀 르쿤의 세계 모델 비전을 이론적으로 뒷받침하는 작업을 수행했습니다.

이후 Citadel의 GQS(Global Quantitative Strategies) 부서에서 금융 시계열 연구를 수행했습니다. 2024년 여름 브라운대학교 컴퓨터과학과 조교수로 임용됐으며, 이는 브라운 CS의 대규모 교수 확장 계획("CS With Impact" 캠페인)의 일환이었습니다. 신호 처리, 딥러닝 이론, 금융 시계열, 자기 지도 학습을 모두 거친 비선형적 경력 경로가 특징입니다.

업적

초기 대표 성과는 2018년 ICML에서 발표한 "A Spline Theory of Deep Networks"입니다. ReLU 기반 딥 네트워크가 사실상 다중 선형 스플라인(multi-linear spline)을 학습함을 증명하여, 배치 정규화와 생성 네트워크 설계에 이론적 근거를 제공했습니다. 이 프레임워크는 이후 자기 지도 학습의 차원 붕괴(dimensional collapse) 방지 문제와 대조 학습(contrastive learning)의 기하학적 구조 분석으로 확장됐습니다.

2025년 11월 얀 르쿤과 공동 저술한 LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics(arXiv:2511.08544)는 자기 지도 학습 분야에서 주목받는 기여입니다. 기존 방식이 표현 붕괴를 막기 위해 stop-gradient, teacher-student 네트워크 같은 임시방편에 의존해 왔던 관행을, 임베딩이 등방성 가우시안 분포를 따라야 한다는 수학적 증명으로 대체했습니다. 새 정규화 목표 함수 SIGReg를 도입해 50줄 미만의 코드로 구현 가능하며, 60개 이상의 아키텍처에서 하이퍼파라미터 조정 없이 안정적으로 동작함을 확인했습니다.

2026년 5월에는 David Klindt, 얀 르쿤과 함께 "When Does LeJEPA Learn a World Model?"(arXiv:2605.26379)을 발표했습니다. LeJEPA 아키텍처가 잠재 변수 선형 식별 가능성(linear identifiability)을 달성하는 조건을 수학적으로 증명한 작업으로, 잠재 변수가 정상성 및 가산 잡음 전이를 따르는 광범위한 세계 클래스에서 LeJEPA가 비선형 관측에서 잠재 변수를 선형적으로 복원함을 보였습니다. 2026년에는 LeWorldModel(arXiv:2603.19312)도 공개됐습니다.

여담

발레스트리에로의 연구 이력에서 특이한 점은 웨이블릿 연구로 시작해 스플라인 이론으로 딥러닝에 진입하고, FAIR에서 세계 모델로, Citadel에서 금융 시계열로, 그리고 브라운대학교에서 다시 이론과 응용의 교차점으로 돌아왔다는 비선형적 경로입니다. 이 경로는 목적지를 바꾼 것이 아니라 도구를 확장하면서 동일한 질문을 탐구한 것으로 해석됩니다.

2025년 AMS Notices에 게재된 "On the Geometry of Deep Learning" 리뷰 논문은 딥러닝의 기하학적 구조를 수학계 독자를 대상으로 풀어낸 작업으로, 발레스트리에로가 이론 수학과 딥러닝 사이의 가교 역할을 자처하고 있음을 보여줍니다. 수학 공동체에 딥러닝을 소개하고, 딥러닝 공동체에 엄밀한 수학적 도구를 들여오는 두 방향의 교류가 그의 연구 정체성을 이룹니다.

LeJEPA의 세계 모델 이론 검증은 얀 르쿤이 오랫동안 주장해온 "자기 지도 학습 기반 세계 모델"에 수학적 정당성을 부여한 작업으로, 현재 진행 중인 세계 모델 연구의 이론적 기초를 다지는 중요한 기여입니다.

주요 논문