Hacker News Front Page · antipaul ·
Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
MLX permite ejecutar modelos de lenguaje grandes en Mac y distribuir modelos que superan la memoria de una sola computadora mediante paralelización y RDMA sobre Thunderbolt. En las pruebas, un Mac Studio con M5 Ultra ofrece hasta 4,6 veces menos tiempo hasta el primer token que uno con M3 Ultra, mientras que cuatro equipos M5 Ultra alcanzan 36,73 tokens por segundo con Muse Spark Open, un modelo de 816.000 millones de parámetros. El artículo compara la paralelización por pipeline y por tensores, y muestra cómo sus ventajas dependen del tamaño del contexto, la arquitectura del modelo y el costo de comunicación entre equipos.
MLX on Mac with Apple silicon lets AI researchers and developers experiment locally with the latest models and methods in a private…