Cerebras WSE-3

Cerebras WSE-3(Wafer-Scale Engine 3)는 실리콘 웨이퍼 한 장 전체를 단일 칩으로 사용하는 혁신적인 AI 프로세서이다. 4조 개의 트랜지스터와 90만 개의 AI 코어를 집적하며, 칩 면적은 46,255mm²로 접시 크기에 해당한다.

주요 사양

• 트랜지스터: 4조 개
• AI 코어: 90만 개
• 칩 면적: 46,255mm²
• 온칩 메모리: 44GB SRAM
• 메모리 대역폭: 21PB/s
• 연산 성능: 125 PFLOPS
• Llama 405B 추론: 1,000+ tok/s

특징

WSE-3는 기존 반도체 칩과 근본적으로 다른 접근 방식을 취한다. 일반적인 GPU가 몇 백 mm² 수준인 것에 비해, WSE-3는 웨이퍼 전체를 하나의 칩으로 제조하여 46,255mm²라는 압도적인 면적을 확보했다. 이를 통해 44GB의 온칩 SRAM을 탑재하고 21PB/s라는 초고속 내부 대역폭을 달성한다.

Groq LPU나 SambaNova SN40L과 함께 비GPU 아키텍처 진영을 대표한다. 이 구조의 핵심 이점은 외부 메모리(HBM) 접근 없이 모델의 가중치를 온칩에 유지할 수 있다는 점이다. 덕분에 Llama 405B 같은 초대형 모델에서도 1,000 tok/s 이상의 추론 속도를 달성하며, 이는 GPU 기반 시스템 대비 월등한 수치이다. 125 PFLOPS의 연산 성능과 결합하여, 초저지연 대규모 추론에 특화된 아키텍처로 평가받고 있다.