Hacker News Front Page · gmays ·
How Cerebras Deploys Trillion-Parameter AI Models
Cerebras describe cómo distribuir Kimi K3, un modelo de unos 3 billones de parámetros, entre 59 obleas WSE-3 bajo supuestos de cuantización de 4 bits y solicitudes de 256k tokens. La arquitectura mantiene los pesos en la memoria de cada oblea y transmite activaciones entre etapas mediante RDMA sobre Ethernet, mientras distintas solicitudes avanzan simultáneamente por la canalización. La memoria restante para KV cache en las capas densas limita las solicitudes concurrentes, y el artículo señala que el rendimiento debe evaluarse por tokens por segundo y unidad de potencia.
Learn how Cerebras maps trillion-parameter frontier models across WSE-3T wafers to deliver scalable inference at 1,000–2,000+ tokens per second.