토마시 미콜로프

🏷️ 인물 NLP

개요

토마시 미콜로프(Tomás Mikolov)는 체코 출신의 컴퓨터 과학자로, Word2Vec(2013)의 주 저자이자 단어 임베딩 연구의 선구자입니다. Word2Vec은 단어를 고차원 벡터 공간에 배치하는 방법론으로, 학습된 벡터가 "king - queen = man - woman" 같은 산술적 성질을 갖는다는 발견으로 큰 주목을 받았습니다. 이 연구는 이후 등장한 모든 트랜스포머 기반 언어 모델의 임베딩 개념에 직접적인 영향을 주었습니다.

현재는 2025년 5월 창업한 BottleCap AI의 공동창업자로서, 언어 모델의 효율성을 획기적으로 개선하는 알고리즘 연구에 매진하고 있습니다.

생애

미콜로프는 체코 브르노 공과대학교(Brno University of Technology)에서 수학했습니다. 2013년 구글 리서치(Google Research)에서 Word2Vec 논문을 발표하며 NLP 연구자로서의 명성을 쌓았습니다. 이후 Facebook AI Research(FAIR)로 이직해 언어 모델링 연구를 이어갔으며, fastText 등 관련 작업에도 기여했습니다.

2020년 체코로 돌아와 체코 공과대학교 정보공학·로봇공학·사이버네틱스 연구소(CIIRC)에서 기초 AI 연구 책임자로 활동했습니다. 이 시기에는 범용 지능을 향한 확장 가능한 아키텍처 연구에 집중했습니다. 2025년 5월에는 Jaroslav Beck, David Herel과 함께 BottleCap AI를 공동창업하여 언어 모델 학습 비용을 획기적으로 줄이는 것을 목표로 삼고 있습니다.

업적

Word2Vec은 CBOW(Continuous Bag of Words)와 Skip-gram 두 가지 학습 방식을 제안한 논문으로, 단어의 의미를 밀집 벡터(dense vector)로 표현하는 방법론의 기준을 세웠습니다. 학습된 벡터가 의미론적·문법적 관계를 선형 변환으로 표현할 수 있다는 발견은 NLP 연구 방향 자체를 바꿔놓았습니다. 이 논문은 현재까지 인용 횟수가 20만 건을 넘어 AI 연구 역사상 가장 많이 인용된 논문 중 하나입니다.

RNN 기반 언어 모델 연구에서도 선구적인 역할을 했습니다. 순환 신경망(Recurrent Neural Network) 언어 모델을 대규모로 학습하는 방법론을 초기에 체계화했으며, 이는 이후 LSTM, GRU 기반 언어 모델 연구의 토대가 되었습니다.

NeurIPS 2023에서는 Word2Vec과 관련된 작업에 Test of Time Award가 수여되었습니다. 이는 10년이 지난 이후에도 해당 연구의 영향력이 지속되고 있음을 학계가 공식적으로 인정한 것입니다. 2025년 창업한 BottleCap AI에서는 언어 모델의 추론 최적화와 압축 기법을 통해 학습 비용을 최대 50배까지 줄이는 알고리즘을 개발하는 것을 목표로 합니다.

여담

미콜로프는 대형 언어 모델의 규모 확장(scaling) 트렌드에 비판적인 시각을 공개적으로 밝혀왔습니다. 단순히 파라미터와 데이터를 늘리는 방식으로는 진정한 언어 이해에 도달하기 어렵다는 입장이며, 효율성과 일반화 능력을 동시에 추구하는 방향을 지지합니다. BottleCap AI 창업도 이 문제의식의 연장선에 있습니다.

CIIRC 재직 시절 그는 체코 AI 연구 생태계 발전에 기여하려는 의도로 귀국했다고 밝혔으나, 2025년 스타트업 창업을 통해 다시 한번 연구의 상업적 적용으로 방향을 틀었습니다. 한 인터뷰에서 그는 현재의 LLM 붐이 Word2Vec의 성공 공식, 즉 "단순하고 효율적인 알고리즘이 거대한 데이터와 만날 때"를 재현하고 있다고 평가했습니다.

주요 논문