MLA

MLA

MLA(Multi-head Latent Attention)는 DeepSeek-V2에서 제안된 어텐션 변형입니다. 키와 밸류를 헤드마다 그대로 저장하는 대신 저차원 잠재 벡터 하나로 압축해 캐시하고, 어텐션 계산 시점에 업프로젝션으로 되살립니다.

무엇을 얻는가

핵심 이득은 KV 캐시 메모리입니다. 캐시에 담기는 것이 헤드별 K·V가 아니라 압축된 잠재 벡터이므로, 같은 하드웨어에서 훨씬 긴 컨텍스트를 다룰 수 있고 추론 배치 크기도 키울 수 있습니다. 긴 컨텍스트 확장에서 특히 유리해서, DeepSeek-V3와 Kimi K2.5, 카카오 Kanana 2 등 최근 대형 MoE 모델이 대부분 이 방식을 씁니다.

스케일링에서의 특이점

MLA는 질의와 키·밸류의 저차원 프로젝션 차원을 폭 스케일링과 무관하게 고정해 두는 경우가 많습니다. 이 고정된 차원이 뒤따르는 업프로젝션 행렬의 fan-in이 되므로, μP처럼 fan-in 기준으로 학습률을 스케일링하는 규칙을 적용하면 해당 행렬의 스케일링 계수가 1로 줄어 사실상 아무 효과가 없습니다. MLA를 쓰는 모델에 하이퍼파라미터 전이를 적용할 때 따로 짚어야 하는 대목입니다.