Randall Balestriero

🏷️ LLM 딥러닝

Randall Balestriero는 Brown University 컴퓨터과학과 조교수입니다. 2024년 Rice University 박사 과정 졸업 후 교수직에 임용되었으며, 그 전에는 Meta AI Research(FAIR)에서 Yann LeCun의 지도 아래 박사후 연구원으로, 이후 Citadel의 GQS 부서에서 금융 시계열 연구를 수행했습니다. 연구 관심사는 딥러닝의 이론적 기초, 세계 모델(world models), 자기 지도 학습(self-supervised learning), 그리고 학습 가능한 신호 처리 전반에 걸쳐 있습니다.

대표적인 초기 기여는 2018년 ICML에서 발표한 "A Spline Theory of Deep Networks"입니다. 이 논문은 ReLU 기반 딥 네트워크가 실질적으로 다중 선형 스플라인(multi-linear spline)을 학습함을 증명하여, 배치 정규화와 생성 네트워크 설계에 이론적 근거를 제공했습니다. 같은 이론적 프레임워크는 이후 자기 지도 학습의 차원 붕괴(dimensional collapse) 방지 문제로 이어졌고, 2022년에는 대조 학습(contrastive learning)의 기하학적 구조를 분석하는 연구로 확장되었습니다.

FAIR 박사후 연구 기간 중 Yann LeCun이 밀고 있는 Joint-Embedding Predictive Architecture(JEPA) 방향에 깊이 관여했습니다. 2025년 11월 두 사람이 공동 저술한 "LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics"(arXiv:2511.08544)는 그 집약점입니다. 기존 자기 지도 학습이 표현 붕괴를 막기 위해 stop-gradient, teacher-student 네트워크 같은 임시방편에 의존해 왔던 관행을, 임베딩이 등방성 가우시안 분포를 따라야 한다는 수학적 증명으로 대체했습니다. 새 정규화 목표 함수 SIGReg를 도입해 50줄 미만의 코드로 구현 가능하며, 60개 이상의 아키텍처에서 하이퍼파라미터 조정 없이 안정적으로 동작함을 확인했습니다.