HBM

DRAM 다이를 여러 장 수직으로 쌓고 실리콘 관통 전극(TSV)으로 연결한 뒤, 인터포저를 통해 프로세서 바로 옆에 붙이는 메모리입니다. 배선 길이를 줄이고 폭을 극단적으로 넓혀 GDDR 대비 훨씬 높은 대역폭을 냅니다.

AI 가속기에서는 사실상 표준 부품입니다. NVIDIA H200은 HBM3e를 141GB 얹었고, AMD Instinct 계열은 용량을 앞세우는 전략을 자주 씁니다. 모델 가중치와 KV 캐시가 여기 올라가고, 토큰을 하나 만들 때마다 이 메모리에서 읽어 옵니다. 그래서 HBM 대역폭이 곧 메모리 월의 높이를 정합니다.

공급은 SK하이닉스, 삼성, 마이크론 세 곳에 몰려 있습니다. AI 수요가 생산 능력을 빨아들이면서 일반 DRAM 가격까지 밀어 올리는 원인이 되고 있습니다. Taalas처럼 가중치를 아예 실리콘에 굳혀 HBM 접근을 없애는 시도는 이 병목과 원가를 동시에 겨냥한 것입니다.