NVIDIA H200

NVIDIA H200은 H100의 후속 모델로, 메모리와 대역폭을 대폭 강화하여 추론 성능을 크게 개선한 데이터센터용 AI 가속기이다.

주요 사양

• 메모리: 141GB HBM3e
• 메모리 대역폭: 4.89TB/s
• 연산 성능: 241.3 TFLOPS (FP16)

특징

H200은 H100과 동일한 Hopper 아키텍처를 기반으로 하되, HBM3e 메모리를 탑재하여 용량을 141GB로 확장했다. 이는 H100의 80GB 대비 약 1.76배에 해당한다. 메모리 대역폭 역시 4.89TB/s로 증가하여 대규모 모델의 추론 처리 시 병목 현상을 줄여 준다.

특히 LLM 추론 워크로드에서 두드러진 성능 향상을 보이며, 더 큰 모델을 단일 GPU 메모리에 적재할 수 있어 멀티 GPU 구성의 필요성을 줄여 준다. 추론 중심의 배포 환경에서 H100을 대체하는 선택지로 주목받고 있다.