Hacker News Front Page · Rani Borkar, Saurabh Dighe ·
Deep dive into Azure Maia 300 architecture
Maia 300 combina chiplets, memoria NUMA, formatos de baja precisión y una arquitectura de flujo de datos controlada por software para reducir el movimiento de datos y mejorar la eficiencia de la inferencia de modelos de lenguaje. Su red de dos niveles conecta hasta 12.288 aceleradores, mientras que el diseño del rack integra 96 aceleradores, refrigeración líquida y telemetría para operar dentro de límites de energía y refrigeración. Microsoft afirma que, frente a Maia 200, ofrece hasta siete veces más rendimiento de tokens por rack y más de 2,5 veces más rendimiento por vatio.
Learn how Maia 300 is helping us move toward making advanced AI capabilities more accessible, affordable, and useful.