롭 퍼거스

개요

롭 퍼거스(Rob Fergus)는 영국 출신의 컴퓨터 비전 및 딥러닝 연구자입니다. 합성곱 신경망 내부를 시각화한 ZFNet(2013)과 deconvolution 기반 해석 기법으로 널리 알려져 있습니다. 현재 Meta AI Research 부문 부사장(VP of AI Research)이자 FAIR(Fundamental AI Research) 책임자를 맡고 있습니다.

뉴욕대학교(NYU) Courant Institute 컴퓨터과학과 교수직도 유지하고 있습니다. NSF CAREER 어워드와 슬론 리서치 펠로우십을 수상한 바 있습니다.

2025년 5월 졸 피노(Joelle Pineau)의 후임으로 Meta FAIR 책임자에 재임명되면서, FAIR를 고전적 응용 연구 방향에서 인간 수준 AI를 목표로 하는 기초 연구 방향으로 재정비하고 있습니다. 이 소식은 얀 르쿤 본인이 직접 공개했으며, FAIR가 AGI 수준의 기초 연구에 재집중함을 선언한 계기가 되었습니다.

생애

케임브리지 대학교에서 전기정보공학 학사와 석사(MEng)를 2000년 마쳤고, 캘리포니아 공과대학교(Caltech)에서 전기공학 석사(2002)를 취득했습니다. 이후 옥스퍼드 대학교 Visual Geometry Group에서 앤드루 지저만(Andrew Zisserman) 교수의 지도 아래 박사학위(DPhil)를 2005년 취득했습니다. 박사 논문은 constellation model 등 부분 기반 물체 인식에 관한 것이었습니다.

박사 후 MIT CSAIL에서 윌리엄 프리먼(William Freeman), 안토니오 토라라바(Antonio Torralba)와 공동 연구를 수행하며 Scene Completion 등의 작업을 했습니다. 2008년 NYU Courant Institute 교수로 부임하면서 얀 르쿤의 CILVR 연구실과 같은 공간에서 연구하게 되었습니다. 2009년 얀 르쿤과 함께 CILVR Lab을 공동 설립했습니다.

2013년 얀 르쿤과 함께 Facebook AI Research(FAIR)를 공동 창립했습니다. 2020년 구글 딥마인드로 옮겨 약 5년간 연구 디렉터를 역임했고, 2025년 5월 졸 피노(Joelle Pineau)의 후임으로 Meta FAIR 책임자에 재임명되었습니다. 재임명 소식은 얀 르쿤 본인이 직접 X(구 트위터)에 공개하며, 두 사람의 오랜 협력 관계를 다시 한번 상기시켰습니다.

업적

ZFNet은 박사과정생 매튜 자일러(Matthew Zeiler)와 공동으로 개발한 합성곱 신경망으로 ILSVRC 2013 ImageNet 분류 부문에서 1위를 차지했습니다. 이 연구에서 제안한 deconvolution 기반 시각화 기법은 CNN 각 층이 어떤 시각적 특징을 학습하는지를 직접 확인할 수 있게 해주었으며, 이후 딥러닝 해석 가능성 연구의 출발점이 되었습니다.

얀 르쿤 등과 공동 개발한 OverFeat는 단일 합성곱 네트워크로 분류, 위치 추정, 검출을 통합한 프레임워크로 ILSVRC 2013 위치 추정 부문에서 1위를 기록했습니다. NYU 시절 수행한 Scene Completion 연구는 수백만 장의 사진을 활용해 이미지의 누락된 영역을 자연스럽게 채우는 기법을 제안했으며 SIGGRAPH 2007에 발표되었습니다.

FAIR 공동 창립자로서 Meta의 AI 연구 문화를 초기부터 형성하는 데 기여했습니다. 2025년 FAIR 책임자로 복귀한 뒤에는 AGI 수준을 목표로 한 기초 연구 재집중을 선언하며 음성 번역, 이미지 인식을 포함해 오픈소스 Llama 언어 모델을 지원하는 혁신들을 이끌고 있습니다. Cosmos 등 물리 AI 관련 연구 방향도 FAIR의 새로운 기초 연구 범주에 포함될 전망입니다.

여담

롭 퍼거스의 커리어는 학계와 산업계 사이를 세 번 넘나든 이례적인 궤적을 보여줍니다. NYU 교수에서 FAIR 창립자, 딥마인드 디렉터, 그리고 다시 FAIR 책임자로 돌아오는 과정이 그것입니다. FAIR 재부임 소식을 알린 것이 얀 르쿤 본인이었을 정도로 두 사람의 오랜 협력 관계가 공개적으로 알려져 있습니다.

옥스퍼드에서 시작해 Caltech, MIT, NYU로 이어지는 학문적 배경은 영국-미국 학계를 넘나드는 관계망을 만들었습니다. 이런 배경이 초기 딥러닝 커뮤니티의 핵심 연결자로서 그가 맡은 역할과도 자연스럽게 이어집니다.

NYU 교수직을 계속 유지하면서도 동시에 산업 연구 리더 역할을 하고 있다는 점에서, 기초 연구와 응용 사이의 긴장을 직접 관리하는 위치에 있습니다. 2025년 재임명 이후 FAIR의 방향을 인간 수준 AI 기초 연구로 재정렬하겠다는 선언은, 퍼거스가 그 방향 전환의 적임자로 선택된 이유를 잘 설명해 줍니다.

주요 논문

• Scene Completion Using Millions of Photographs (SIGGRAPH 2007)
• Object Class Recognition by Unsupervised Scale-Invariant Learning (CVPR 2003)
• A Statistical Model for General Contextual Object Recognition (ECCV 2004)
• Learning Generative Visual Models from Few Training Examples (CVPR 2006)
• Extracting and Composing Robust Features with Denoising Autoencoders (ICML 2008)
• Stochastic Pooling for Regularization of Deep Convolutional Neural Networks (ICLR 2013)
• Visualizing and Understanding Convolutional Networks (ECCV 2014, ZFNet)
• OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks (ICLR 2014)
• Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks (NeurIPS 2015)
• Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture (ICCV 2015)