PD 분리(Prefill-Decode 분리) 환경에서 MoE 모델의 decode 지연을 5.9-13.9% 줄이는 ELDR을 제안합니다. Prefill 단계의 전문가 활성화 패턴(서명)을 활용해, 이미 해당 전문가 가중치를 캐시한 워커로 decode 요청을 라우팅합니다.
태그: GPU
7개의 게시물
-
-
H100 후속, 141GB HBM3e 추론 최적화 GPU
-
NVIDIA 차세대 칩, HBM4 288GB, 2026 하반기 예정
-
NVIDIA Hopper 아키텍처 AI 훈련/추론 표준 GPU
-
AMD CDNA-3 AI 가속기, 192GB HBM3
-
NVIDIA Blackwell 아키텍처, H100 대비 훈련 2.5배 GPU
-
GPU와 AI 가속기 시장을 주도하는 미국 반도체 기업