메모리 월

프로세서의 연산 능력은 빠르게 늘어난 반면 메모리 대역폭은 그만큼 따라오지 못해, 실제 성능이 계산이 아니라 데이터 이동에 묶이는 상태를 가리킵니다.

LLM 추론이 대표적입니다. 토큰을 하나 만들 때마다 모델 가중치 전체를 HBM에서 연산 유닛으로 읽어와야 합니다. 배치가 작으면 이 읽기가 시간의 대부분을 차지하고, 연산 유닛은 데이터를 기다리며 놉니다. 그래서 초당 토큰 수는 FLOPS가 아니라 대역폭을 가중치 크기로 나눈 값에 가깝게 결정됩니다. 8B 모델을 16비트로 두면 토큰당 약 16GB를 읽어야 하는 식입니다.

이 벽을 피하는 방향은 크게 셋입니다. 읽을 양을 줄이거나(양자화, MoE의 희소 활성화, 추측 디코딩), 한 번 읽어 여러 번 쓰거나(배칭, KV 캐시 재사용, prefill-decode 분리), 아예 읽지 않는 것입니다. 마지막이 Taalas가 택한 길로, 가중치를 마스크 ROM으로 실리콘에 굳혀 읽기 경로 자체를 없앱니다. Groq LPU와 Cerebras WSE-3는 가중치를 온칩 SRAM에 올려 HBM을 건너뛰는 중간 지점에 서 있습니다.