Tomas Mikolov

토마스 미콜로프(Tomas Mikolov)는 Word2Vec(2013)의 주 저자로, 단어 임베딩 연구의 선구자이다.

Google Research에서 Word2Vec을 개발하였으며, 이후 Facebook AI Research(FAIR)로 자리를 옮겨 연구를 이어갔다. Word2Vec에서는 CBOW(Continuous Bag of Words)와 Skip-gram이라는 두 가지 모델을 제안하였고, 학습된 단어 벡터가 산술적 성질을 지닌다는 사실을 발견하였다. 대표적인 예로 "king - queen ≈ man - woman"이라는 벡터 연산이 성립하는 것이 있으며, 이는 분포 의미론의 가능성을 실증적으로 보여준 중요한 발견으로 평가받고 있다.

Word2Vec은 이후 등장한 트랜스포머 기반 모델들의 입력 임베딩 개념에 직접적인 영향을 미쳤으며, Learning representations by back-propagating errors에서 제시된 역전파 학습의 연장선에 있다.

관련 문서

• 1장 - 트랜스포머 (CME295)