엔비디아 독주는 끝나는가 — AI 칩 시장의 삼파전이 시작됐다

2025년까지 AI 가속기 시장의 답은 하나였다. 엔비디아.

H100, H200, B200. 이름만 바뀌었지 공식은 같았다. 기업은 엔비디아 GPU를 살 수 없어서 웨이팅 리스트를 만들었고, 클라우드 공급자는 GB200 NVLink 랙을 확보하기 위해 수십억 달러를 선불로 쐈다. 엔비디아의 데이터센터 매출이 분기에 $350억을 넘어섰을 때, 시장은 이게 독점의 완성이라고 봤다.

그런데 2026년 4월, 그 공식이 흔들리고 있다.

AMD가 드디어 먹히기 시작했다

AMD MI300X가 나왔을 때 반응은 냉소에 가까웠다. 성능은 비슷하지만 소프트웨어 생태계가 없다. CUDA를 이길 수 없다. 그 말이 맞았다 — 2024년까지는.

2026년 들어 상황이 달라졌다. Meta와 Microsoft가 각각 AMD 칩을 대규모 추론(inference) 워크로드에 적용하기 시작했다는 게 확인됐다. 훈련이 아닌 추론이라는 점이 핵심이다. 추론 워크로드는 CUDA 의존성이 낮고, 비용 최적화가 더 중요하다. H100 대비 $20~30% 저렴한 MI300X가 여기서 경쟁력을 갖기 시작한 것이다.

AMD의 ROCm 소프트웨어 스택도 2년 전과는 달라졌다. PyTorch와의 호환성이 개선됐고, 주요 프레임워크들이 AMD 백엔드를 공식 지원하기 시작했다. 완벽하지 않지만, "안 쓸 이유"가 하나씩 사라지고 있다.

구글 TPU와 커스텀 실리콘의 공세

더 큰 변화는 하이퍼스케일러들이 자체 칩을 실제로 쓰기 시작했다는 것이다.

구글은 Trillium(TPU v6)을 Google Cloud 고객에게 공개했다. 내부 발표에 따르면 Gemini 추론 워크로드의 상당 부분이 이미 TPU로 돌아가고 있다. AWS는 Trainium2와 Inferentia2를 밀고 있고, 아마존 자체 모델 추론은 점점 자사 칩으로 이동 중이다.

이게 중요한 이유는 단순히 엔비디아 매출이 줄기 때문이 아니다. 클라우드 공급자들이 AI 칩 가격 결정권을 엔비디아에서 가져오려는 구조적 움직임이기 때문이다. 지금 클라우드 AI 컴퓨팅 비용의 가장 큰 단일 변수는 GPU 가격이다. 그 변수를 직접 통제하려는 것이다.

애플의 M4 울트라도 무시할 수 없다. LLM 추론 벤치마크에서 M4 Ultra가 특정 모델 크기 범위에서 H100 단일 카드 대비 성능-전력비(TOPS/W)로 앞선다는 결과가 나오기 시작했다. 엣지 AI와 온프레미스 추론 시장에서 새로운 기준이 생기고 있다.

한국이 놓친 것, 그리고 잡을 수 있는 것

엔비디아 GPU의 핵심 부품 중 하나는 SK하이닉스가 만드는 HBM(High Bandwidth Memory)이다. HBM3E 시장에서 SK하이닉스의 점유율은 50%를 넘는다. 엔비디아가 팔면 SK하이닉스도 번다. 이 구조는 견고하다.

그런데 AMD나 커스텀 실리콘이 성장하면 어떻게 될까? AMD MI300X도 HBM을 쓴다. 구글 TPU도 HBM이 필요하다. 다행히 메모리 부품 수요는 칩 제조사가 바뀌어도 이어진다. SK하이닉스 입장에서 "누가 이기든 나는 번다"는 포지션이 유지되는 것이다.

삼성전자는 다르다. Exynos NPU를 포함한 자체 AI 칩 개발이 진행 중이지만, 파운드리 수율 문제와 소프트웨어 생태계 부재가 발목을 잡고 있다. 포스코DX 같은 산업 현장에서 국산 NPU를 시도하는 사례가 나오고 있지만, 이게 범용 AI 가속기 시장으로 이어지려면 아직 갈 길이 멀다.

양자 컴퓨팅이 변수로 등장했다

IBM이 2026년을 "양자 우위(quantum advantage) 원년"으로 선언했다. 특정 화학 시뮬레이션과 금융 최적화 문제에서 클래식 컴퓨터보다 빠른 결과를 낼 수 있다고 발표했다.

냉정하게 보면 이건 아직 범용 컴퓨팅의 위협이 아니다. 매우 좁은 문제 유형에서, 매우 특수한 조건 하에서 성립하는 "우위"다. 그러나 드러그 디스커버리, 소재 시뮬레이션, 암호화 같은 분야에서는 이게 의미 있는 시작이다.

AI 칩 시장과의 교차점은 여기에 있다. 양자-고전 하이브리드 컴퓨팅 아키텍처가 현실화되면, AI 가속기 시장의 판도가 다시 한번 바뀔 수 있다. 엔비디아도, AMD도, 커스텀 실리콘도 준비가 안 된 영역이다.

결론: 독주가 끝나는 건 맞지만

2026년 AI 칩 시장은 엔비디아 독주에서 복수 공급자 경쟁으로 이동하고 있다. 그런데 이게 "엔비디아가 진다"는 뜻은 아니다.

훈련(training) 워크로드에서 엔비디아의 우위는 여전히 압도적이다. CUDA 생태계, NVLink 인터커넥트, 소프트웨어 지원 — 이 세 가지를 동시에 따라잡은 경쟁자는 아직 없다. 그리고 추론 시장이 커질수록 엔비디아도 그쪽에 최적화된 제품을 내놓는다.

변화의 핵심은 "엔비디아냐 아니냐"가 선택지가 된다는 것이다. 전에는 선택지 자체가 없었다. 이제 기업은 워크로드 유형에 따라 칩을 고를 수 있게 됐다. 추론은 AMD나 커스텀 칩으로, 훈련은 엔비디아로. 이 분화가 결국 전체 AI 인프라 비용을 낮추고, 시장을 더 넓히는 방향으로 작동할 가능성이 높다.

독점의 끝이 경쟁자의 승리가 아니라, 시장의 성숙을 뜻할 수도 있다.

참고 및 출처 - IBM: AI and tech trends predictions 2026 - Gartner/IDC: AI Agent Adoption 2026 - Enterprise AI trends 2026: Sovereign, agentic, edge - NVIDIA State of AI Report 2026 - 2026 기술 트렌드 총정리 — Gartner, IDC, McKinsey 비교 - CIO: 2026년 IT 전략을 규정할 핵심 트렌드 5가지