데이비드 루멜하트

개요

데이비드 에버렛 루멜하트(David Everett Rumelhart, 1942-2011)는 미국의 인지과학자이자 심리학자로, 신경망 기반 학습 이론의 선구자입니다. 1986년 제프리 힌턴, 로널드 윌리엄스과 공저한 Nature 논문 Learning representations by back-propagating errors로 역전파 알고리즘을 대중화했고, James McClelland와 함께 병렬분산처리(Parallel Distributed Processing, PDP) 이론을 정립해 현대 딥러닝의 개념적 토대를 쌓았습니다.

인지과학과 인공지능의 교차점에서 활동한 연구자로, 수리심리학에서 출발해 언어 이해, 운동 제어, 시각 문자 인식, 은유·유추에 이르기까지 인간 인지의 광범위한 측면을 신경망 모델로 설명하려 했습니다. 그의 연구 방향은 이후 딥러닝 혁명을 이끈 수많은 후배 연구자들에게 직접적인 영향을 미쳤습니다.

2001년 제자 로버트 J. 글러시코(Robert J. Glushko)가 루멜하트의 이름을 딴 Rumelhart Prize를 제정했고, 이 상은 인지과학의 이론적 토대에 기여한 연구자에게 매년 수여됩니다.

생애

루멜하트는 1942년 6월 12일 출생해 1967년 스탠퍼드대학교에서 수리심리학 박사 학위를 받았습니다. 같은 해 UC 샌디에이고(UCSD) 심리학과 교수로 부임했고, 이후 20년간 UCSD에서 연구 활동의 중심을 이어갔습니다.

UCSD 재직 중 그는 James McClelland와 함께 Institute for Cognitive Science를 공동 설립하며 인지과학 연구 거점을 구축했습니다. 1983년부터 1986년까지 이끈 PDP 연구 그룹에서는 신경과학·언어학·심리학·컴퓨터과학을 아우르는 학제간 협력이 이루어졌고, 이 그룹에서 로널드 윌리엄스 등 후배 연구자들이 함께 성장했습니다. 1987년에는 스탠퍼드대학교 심리학·신경과학·컴퓨터과학 교수로 자리를 옮겼습니다.

말년에는 Pick's disease로 투병하다가 2011년 3월 13일 세상을 떠났습니다. 그의 사망은 딥러닝이 본격적으로 세상의 주목을 받기 불과 1년 전의 일이었습니다.

업적

루멜하트의 가장 중요한 기여는 1986년 제프리 힌턴, 로널드 윌리엄스과 공저한 Nature 논문 Learning representations by back-propagating errors입니다. 이 논문에서 그는 1저자로서 학습 절차의 수식적 골격을 설계하고, 가족 관계 학습 과제를 고안했으며, 표상 학습의 의미를 해석하는 작업을 주도했습니다. 역전파 알고리즘 자체는 이전에도 제안된 바 있었지만, 이 논문을 통해 다층 신경망 학습에 실질적으로 적용 가능한 방법으로 널리 알려졌습니다.

같은 해 출간된 James McClelland와의 공저 PDP 시리즈(3권, MIT Press, 1986)는 connectionism의 교과서가 되었습니다. 인간의 인지 능력을 뉴런처럼 단순한 처리 단위들의 네트워크로 설명하려 한 이 프레임워크는, 당시 지배적이었던 기호주의(symbolic AI) 패러다임에 강력한 대안을 제시했습니다. 이 시리즈는 학습, 기억, 언어 처리, 지각 등 폭넓은 인지 현상을 연결주의 관점에서 다루며 수십 년간 교재로 사용되었습니다.

1987년 그는 MacArthur Fellowship을 수상했고, 1991년 미국 국립과학원(NAS) 회원으로 선출되었습니다. 이후 딥러닝의 부흥이 그의 기여를 재조명하면서, McClelland는 2025년 Topics in Cognitive Science에 루멜하트를 회고하는 논문을 게재하기도 했습니다.

여담

루멜하트가 PDP 연구 그룹을 이끌던 1980년대 초, 제프리 힌턴은 당시 카네기멜론대에 있었음에도 불구하고 UCSD 그룹과 긴밀히 협력해 공동으로 역전파 논문을 완성했습니다. 이 원거리 협력은 훗날 딥러닝 커뮤니티가 형성되는 방식의 원형이 되었다는 평가를 받습니다.

그의 이름을 딴 Rumelhart Prize는 매년 인지과학의 이론적 기반에 기여한 연구자에게 수여되며, 이 분야에서 가장 권위 있는 상 중 하나로 자리 잡았습니다. 수상자 목록에는 제프리 힌턴, James McClelland 등 그와 함께 일했던 동료들도 포함되어 있습니다.

루멜하트는 Pick's disease 투병 기간 동안 언어 능력이 서서히 손상되는 과정을 직접 겪었습니다. 뇌의 언어 처리를 평생의 연구 주제로 삼았던 그에게는 아이러니한 일이었습니다.

주요 논문

• Learning representations by back-propagating errors (Rumelhart, Hinton, Williams, Nature, 1986) - 역전파 알고리즘을 다층 신경망 학습에 적용한 대표 논문
• Parallel Distributed Processing, Vol. 1 & 2 (Rumelhart, McClelland, MIT Press, 1986) - PDP 프레임워크 교과서
• A general framework for parallel distributed processing (1986) - PDP 1권 1장, 연결주의 이론의 뼈대
• Schemata and sequential thought processes in PDP models (1986) - 도식과 순차 사고의 연결주의 모델
• On learning the past tenses of English verbs (Rumelhart, McClelland, 1986) - 영어 과거형 학습 신경망 모델
• Feature discovery by competitive learning (Rumelhart, Zipser, 1985) - 경쟁 학습을 통한 특징 발견
• An interactive activation model of context effects in letter perception (McClelland, Rumelhart, 1981) - 문자 지각의 상호활성화 모델
• Toward an interactive model of reading (Rumelhart, 1977) - 읽기의 상호작용 모델
• A theory of human sentence comprehension using constraint satisfaction (1983) - 제약 만족 기반 문장 이해 이론
• Notes on a schema for stories (Rumelhart, 1975) - 이야기 이해의 도식 이론