태그: GPU

20개의 게시물

• 
  메모리 값이 1년에 500% 올랐다 2026-08-20

  AI가 메모리를 사간 게 아니라 같은 팹이 더 적은 비트를 만들고 있습니다. 웨이퍼 투입 비중과 비트 공급 비중을 나란히 놓으면 그 차이가 그대로 보입니다

• 
  MI355X가 B300보다 달러당 빠른 이유 - 2.8T Kimi K3를 한 노드에 올린다는 것 2026-08-03

  8×MI355X 구성에서 노드당 952 tok/s, 달러당 48 tok/s가 나왔습니다. B300은 33 tok/s/$입니다. 갈림길은 연산 성능이 아니라 288GB VRAM으로 2.8T 모델이 단일 노드에 들어갔다는 사실입니다.

• 
  TurboVLA - Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM 2026-07-31

  로봇 조작 정책의 중심에 대형 언어 모델을 두는 V→L→A 경로를 걷어내고, 시각과 언어를 따로 인코딩해 양방향 크로스어텐션으로만 섞는 V+L→A 설계를 제안한 논문입니다. 0.2B 파라미터로 LIBERO 평균 97.7%, RTX 4090 한 장에서 0.9GB VRAM, 31.2ms 지연을 기록했습니다.

• 
  한국 AI 인프라 - NAVER·NVIDIA·Brookfield 200MW 확장 2026-07-29

  NAVER 각 세종 데이터센터의 NVIDIA DSX AI 팩토리를 현재 55MW에서 2028년 200MW로 확장하고 장기적으로 1GW를 목표합니다. NVIDIA가 NAVER에 10억 달러를 투자하고 Brookfield가 최대 90억 달러를 댑니다. 금액보다 전력과 계통이 실제 병목입니다.

• 
  ABot-World-0 - Infinite Interactive World Rollout on a Single Desktop GPU 2026-07-28

  알리바바 AMAP CV Lab이 키보드 입력으로 조작하는 액션 조건부 영상 월드 모델을 RTX 5090 한 장에서 720P 16FPS로 돌렸습니다. 양방향 교사를 인과 학생으로 점진 증류한 뒤 LongForcing으로 장기 롤아웃 드리프트를 잡고, VAE 디코더 경량화와 저비트 추론을 묶어 피크 VRAM을 19.3GiB 아래로 눌렀습니다.

• 
  NVIDIA의 OpenAI 오하이오 데이터센터 백스톱 2026-07-28

  NVIDIA가 SB Energy가 짓는 10GW 오하이오 캠퍼스의 리스와 건설 금융에 약 2,500억 달러 보증을 검토 중입니다. 칩 조달 금융 3,500억 달러는 별도 협상입니다.

• 
  SLAI T-Rex - Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD 2026-07-25

  1.6조 파라미터 MoE 모델을 NVIDIA가 아닌 Ascend NPU에서 전체 파라미터 후속학습한 기록입니다. MFU를 11.67%에서 34.22%로 끌어올린 과정과, 그 인프라 위에서 운영과학 특화 모델을 만든 결과를 함께 담았습니다.

• 
  NVIDIA Nemotron 3 Embed - Open Embedding Models, No.1 on RTEB 2026-07-20

  NVIDIA가 공개한 Nemotron 3 Embed는 8B·1B·1B-NVFP4 세 가지 체크포인트로 구성된 오픈 임베딩 컬렉션입니다. 8B 모델이 RTEB 멀티링구얼 리더보드 1위(78.46 NDCG@10)를 기록했고, RAG와 에이전트 검색에 직접 쓸 수 있습니다.

• 
  ELDR - Expert-Locality-Aware Decode Routing for PD-Disaggregated MoE Serving 2026-07-05

  PD 분리(Prefill-Decode 분리) 환경에서 MoE 모델의 decode 지연을 5.9-13.9% 줄이는 ELDR을 제안합니다. Prefill 단계의 전문가 활성화 패턴(서명)을 활용해, 이미 해당 전문가 가중치를 캐시한 워커로 decode 요청을 라우팅합니다.

• 
  HBM

  High Bandwidth Memory. DRAM 다이를 수직으로 쌓아 인터포저로 프로세서에 붙이는 고대역폭 메모리. AI 가속기의 표준 부품.

• 
  AMD MI300X

  AMD CDNA-3 AI 가속기, 192GB HBM3

• 
  류비샤 바이치

  Tenstorrent 창업자이자 Taalas 공동창업자 겸 CEO. 유연한 AI 프로세서에서 모델 전용 하드와이어 칩으로 방향을 정반대로 튼 설계자.

• 
  AMD

  미국 반도체 기업. EPYC CPU와 Instinct 가속기, ROCm 소프트웨어로 NVIDIA의 AI 데이터센터 점유율에 도전.

• 
  Tenstorrent

  캐나다 토론토의 AI 프로세서 기업. RISC-V 기반 유연한 AI 가속기를 만들며 IP 라이선싱 모델을 병행.

• 
  NVIDIA Vera Rubin

  NVIDIA 차세대 칩, HBM4 288GB, 2026 하반기 예정

• 
  NVIDIA H200

  H100 후속, 141GB HBM3e 추론 최적화 GPU

• 
  NVIDIA H100

  NVIDIA Hopper 아키텍처 AI 훈련/추론 표준 GPU

• 
  메모리 월

  연산 속도가 아니라 메모리에서 데이터를 옮겨오는 속도가 성능 상한을 정하는 상태. LLM 추론의 지배적 병목.

• 
  NVIDIA

  GPU와 AI 가속기 시장을 주도하는 미국 반도체 기업

• 
  NVIDIA B200

  NVIDIA Blackwell 아키텍처, H100 대비 훈련 2.5배 GPU