Tomas Mikolov

토마스 미콜로프(Tomas Mikolov)는 Word2Vec(2013)의 주 저자로, 단어 임베딩 연구의 선구자이다.

Google Research에서 Word2Vec을 개발하였으며, 이후 Facebook AI Research(FAIR)로 자리를 옮겨 연구를 이어갔다. Word2Vec에서는 CBOW(Continuous Bag of Words)와 Skip-gram이라는 두 가지 모델을 제안하였고, 학습된 단어 벡터가 산술적 성질을 지닌다는 사실을 발견하였다. 대표적인 예로 "king - queen ≈ man - woman"이라는 벡터 연산이 성립하는 것이 있으며, 이는 분포 의미론의 가능성을 실증적으로 보여준 중요한 발견으로 평가받고 있다.

Word2Vec은 이후 등장한 트랜스포머 기반 모델들의 입력 임베딩 개념에 직접적인 영향을 미쳤다.

관련 문서

• 1장 - 트랜스포머 (CME295)