AMD MI300X

AMD MI300X는 CDNA-3 아키텍처를 기반으로 한 AMD의 데이터센터용 AI 가속기이다. 192GB HBM3 메모리를 탑재하여 H100 대비 2.4배의 메모리 용량을 제공하며, 추론 가성비 측면에서 강력한 경쟁력을 갖추고 있다.

주요 사양

• 아키텍처: CDNA-3
• 메모리: 192GB HBM3 (H100의 2.4배)
• 메모리 대역폭: 5.3TB/s
• 소프트웨어 생태계: ROCm

특징

MI300X의 가장 큰 강점은 192GB에 달하는 대용량 메모리이다. 이는 대규모 언어 모델을 더 적은 수의 GPU에 적재할 수 있게 해 주며, 추론 비용 절감에 직접적으로 기여한다. 메모리 대역폭도 5.3TB/s로 높은 수준이다.

다만 소프트웨어 생태계 측면에서는 NVIDIA의 CUDA에 비해 ROCm의 성숙도가 다소 부족하다는 평가가 있다. AMD는 ROCm의 호환성과 최적화를 지속적으로 개선하고 있으며, PyTorch 등 주요 프레임워크에서의 지원도 확대되고 있다. 추론 워크로드에서 가격 대비 성능을 중시하는 환경에서 H100의 대안으로 채택이 늘어나는 추세이다.