트랜스포머
트랜스포머(Transformer)는 2017년 논문 Attention Is All You Need에서 제안된 신경망 아키텍처입니다. 그전까지 시퀀스 처리를 지배하던 RNN과 LSTM은 입력을 순서대로 한 토큰씩 처리해야 해서 병렬화가 어려웠습니다. 트랜스포머는 순환 구조를 버리고 셀프 어텐션(self-attention)만으로 시퀀스 안의 모든 토큰 관계를 한 번에 계산합니다. 저자 중 한 명이 노암 셰이저입니다.
핵심은 어텐션입니다. 각 토큰을 Query, Key, Value 벡터로 사상한 뒤, Query와 Key의 내적으로 토큰 간 연관도를 구하고 그 가중치로 Value를 합칩니다. 멀티헤드 어텐션은 이 과정을 여러 부분공간에서 병렬로 수행해 서로 다른 관계를 동시에 포착합니다. 순서 정보는 위치 인코딩으로 따로 주입합니다.
핵심
- 인코더-디코더 구조로 구성되며, 각 층은 멀티헤드 어텐션과 피드포워드 네트워크로 이루어집니다
- 병렬 처리가 가능해 RNN 대비 훈련 속도가 빠릅니다
- 인코더 전용(BERT), 디코더 전용(GPT), 인코더-디코더(T5) 변형이 파생되었습니다
- 텍스트뿐만 아니라 이미지(ViT), 음성, 비디오 등 다양한 모달리티에 적용됩니다
- 현대 LLM(GPT-4, Claude, Gemini 등)의 기반 아키텍처입니다
수식
\[\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^T}{\sqrt{d_k}}\right)V\]