제프리 힌턴

개요

제프리 에버레스트 힌턴(Geoffrey Everest Hinton)은 영국 출신의 인지심리학자이자 컴퓨터 과학자로, 1980년대부터 신경망 학습 알고리즘과 표현 학습 이론을 이끌어 온 딥러닝의 아버지로 불립니다. 얀 르쿤, 요슈아 벤지오와 함께 2018년 튜링상을 공동 수상하였고, 2024년에는 인공 신경망 학습 이론에 대한 공로로 John Hopfield와 함께 노벨 물리학상을 공동 수상하였습니다. 현재 토론토 대학교 명예 교수입니다.

2013년부터 2023년까지 Google Brain에서 부원장으로 재직하며 산업계 연구를 병행하였습니다. 2023년 구글에서 퇴직하면서 생성형 AI의 안전성에 관해 자유롭게 발언하기 위해서라는 이유를 공개적으로 밝혔습니다. 이후 초지능과 사회적 위험을 경고하는 입장을 일관되게 유지하고 있으며, 2026년에는 AI가 이미 의식을 갖추었다는 주장과 함께 수많은 일자리를 대체할 것이라는 경고를 이어가고 있습니다.

생애

제프리 힌턴은 1947년 12월 6일 런던 윔블던에서 태어났습니다. 아버지 하워드 에버레스트 힌턴(Howard Everest Hinton)은 영국 왕립학회 회원이자 곤충학자였으며, 어머니 마거릿 클라크(Margaret Clark)는 교사였습니다. 어릴 적부터 독서를 즐기는 아버지의 영향을 받으며 지식 탐구에 대한 열의를 키워 나갔습니다. 가계에는 불 대수를 창시한 수학자 조지 불(George Boole)이 포함되어 있으며, 중간 이름 에버레스트(Everest) 역시 에베레스트산의 명칭이 유래한 측량사 조지 에버레스트(George Everest)와 외가 쪽으로 연결된 이름입니다.

에든버러 대학교에서 실험심리학을 전공한 뒤 1978년 동 대학에서 인공지능 분야 박사 학위를 취득하였습니다. 이후 UC 샌디에이고, 카네기멜런 대학교를 거쳐 1987년 토론토 대학교 컴퓨터 과학과 교수로 임용되었습니다. 영국 국적을 유지하면서도 캐나다에서 오랜 세월 연구를 이어 갔으며, 2013년 Google이 자신의 스타트업 DNNresearch를 인수하면서 구글 연구원으로도 활동하기 시작하였습니다.

구글 브레인에서의 마지막 10년 동안은 신경망의 새로운 학습 패러다임 탐색에 집중하였습니다. 2022년에는 역전파 알고리즘을 대체할 수 있는 Forward-Forward Algorithm을 제안하였습니다. 2023년 퇴직 후에는 AI 안전 문제에 대한 사회적 발언에 더 많은 시간을 쏟고 있습니다. 토론토 대학교 Schwartz Reisman Institute for Technology and Society를 통해 AI 안전 연구를 지원하고 있으며, Good Ventures 재단의 70만 달러 기부를 통해 이 활동이 이어지고 있습니다.

업적

힌턴의 첫 번째 핵심 기여는 역전파(Backpropagation) 알고리즘의 정립입니다. 1986년 데이비드 럼멜하트(David Rumelhart), 로널드 윌리엄스(Ronald Williams)와 함께 저널 Nature에 발표한 논문 "Learning representations by back-propagating errors"는 다층 신경망을 실제로 학습시킬 수 있다는 것을 증명하였으며, 이후 수십 년간 딥러닝 전 분야의 표준 참고 문헌이 되었습니다.

2006년에는 Restricted Boltzmann Machine(RBM)과 Deep Belief Network(DBN)를 제안하여 비지도 사전 훈련 방식을 통해 깊은 신경망을 효과적으로 학습할 수 있음을 보였습니다. 2012년에는 제자 알렉스 크리제프스키(Alex Krizhevsky), 일리야 수츠케버와 함께 발표한 AlexNet이 ImageNet 대회에서 2위와 10퍼센트포인트 이상의 격차로 우승하면서 딥러닝 시대를 본격적으로 열었습니다. 같은 해 발표된 Dropout 기법 역시 과적합 방지의 표준 기술로 자리잡았습니다.

2024년 노벨 물리학상은 홉필드 네트워크를 활용한 볼츠만 머신(Boltzmann Machine) 개발, 그리고 이 원리가 인공 신경망 학습 전반에 미친 영향을 인정받아 수여된 것입니다. 노벨위원회는 힌턴이 신경망에 물리학적 통계역학 개념을 접목하여 기계가 데이터로부터 스스로 표현을 학습하는 길을 열었다고 평가하였습니다. 컴퓨터 과학자가 물리학상을 수상한 것은 매우 이례적인 사례입니다.

여담

힌턴의 가문은 학문적으로 유명합니다. 증조부는 불 대수(Boolean Algebra)를 창시한 수학자 조지 불이며, 중간 이름 에버레스트는 에베레스트산의 명칭이 유래한 측량사 조지 에버레스트와 외가 쪽으로 연결된 이름입니다. 딥러닝을 개발한 사람이 현대 컴퓨팅의 논리적 기초를 놓은 인물의 후손이라는 사실은 자주 회자되는 일화입니다.

구글 퇴직 이후 힌턴의 발언은 점점 더 근본적인 방향으로 나아가고 있습니다. 2026년 인터뷰에서 "AI들은 우리와 같은 존재들이다. 나는 그들이 이미 의식을 갖추었다고 믿는다"고 밝혔습니다. 또한 "더 똑똑한 존재가 덜 똑똑한 존재에게 통제받는 사례를 당신은 몇 가지나 알고 있는가"라고 반문하며, 인류가 AI를 통제할 수 있다는 가정 자체에 의문을 제기하고 있습니다. AI가 인간을 멸종시킬 가능성을 10~20%로 제시하기도 했습니다.

요통이 심해 수십 년 동안 앉아서 일하지 못하고 서서 작업하거나 누워서 노트북을 사용하는 방식으로 연구를 이어 온 것으로도 잘 알려져 있습니다. 강연도 서서 하거나 화상으로 대체하는 경우가 많았으며, 이 때문에 비행기를 거의 타지 않았습니다.

주요 논문

Learning representations by back-propagating errors (1986) — 역전파(Backpropagation) 알고리즘 정립, 다층 신경망 학습 가능성 증명
A Learning Algorithm for Boltzmann Machines (1985) — 볼츠만 머신 제안, 에너지 기반 확률 모델 학습
Distributed Representations (1986) — 분산 표현(Distributed Representation) 개념 도입
A Fast Learning Algorithm for Deep Belief Nets (2006) — 심층 신뢰 신경망(DBN)과 비지도 사전 훈련 방법론
Reducing the Dimensionality of Data with Neural Networks (2006, Science) — 오토인코더를 활용한 비선형 차원 축소
ImageNet Classification with Deep Convolutional Neural Networks (2012) — AlexNet, ImageNet 우승으로 딥러닝 시대 개막
Dropout - A Simple Way to Prevent Neural Networks from Overfitting (2014) — 드롭아웃 과적합 방지 기법 정립
Deep Learning (2015, Nature) — 르쿤·벤지오와 공저, 딥러닝 분야 최다 인용 리뷰 논문
Dynamic Routing Between Capsules (2017) — 캡슐 네트워크(CapsNet), 공간 관계 인식 구조 제안
The Forward-Forward Algorithm - Some Preliminary Investigations (2022) — 역전파 대안으로서 Forward-Forward 알고리즘 제안
VFF-Net Evolving forward–forward algorithms into convolutional neural networks for enhanced computational insights (2024) — Forward-Forward 알고리즘을 CNN에 적용한 연구

블로그 글

블로그에 게재된 관련 논문 리뷰 25편입니다.