Vaswani et al

Vaswani et al.은 2017년 발표된 "Attention Is All You Need" 논문의 저자 그룹을 가리킨다. 이 논문은 트랜스포머(Transformer) 아키텍처를 최초로 제안하여 자연어 처리 분야에 혁신적인 전환점을 만들었다.

저자 목록은 다음과 같다: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. 이들은 논문 발표 당시 Google Brain 및 Google Research에 소속되어 있었다.

트랜스포머 아키텍처는 셀프 어텐션(self-attention) 메커니즘을 핵심으로 하여 기존 RNN 기반 모델의 순차 처리 한계를 제거하였으며, 이후 BERT, GPT 등 현대 언어 모델의 근간이 되었다. 논문 발표 이후 저자들 중 다수가 스타트업을 창업하였는데, Aidan N. Gomez는 Cohere를, Noam Shazeer는 Character.AI를 설립한 것으로 알려져 있다.

관련 문서

• 1장 - 트랜스포머 (CME295)
• CS229 10-11장의 신경망 및 역전파 내용이 트랜스포머 이해의 배경이 된다.