NVIDIA H100

NVIDIA H100은 2023년에 출시된 NVIDIA의 데이터센터용 AI 가속기이다. Hopper 아키텍처를 기반으로 설계되었으며, AI 훈련과 추론 워크로드의 사실상 표준 GPU로 자리 잡았다.

주요 사양

• 아키텍처: Hopper
• 메모리: 80GB HBM3
• 연산 성능: 3,958 TFLOPS (FP8)
• 출시 시기: 2023년
• 가격대: \(27,000~\)40,000

특징

B200과 H200의 전 세대 모델이기도 하다. H100은 CUDA 생태계 위에서 동작하며, 이는 NVIDIA가 수십 년간 구축해 온 소프트웨어 인프라의 강력한 이점이다. 대부분의 딥러닝 프레임워크가 CUDA를 기본으로 지원하기 때문에, 개발자 접근성과 호환성 측면에서 경쟁 제품 대비 압도적인 우위를 점하고 있다.

FP8 연산에서 약 4,000 TFLOPS에 달하는 성능을 제공하며, 대규모 언어 모델(LLM) 훈련부터 실시간 추론 서빙까지 폭넓게 활용된다. 클라우드 서비스 제공업체(AWS, Azure, GCP) 전반에서 AI 인프라의 핵심 구성 요소로 채택되었다.