Hacker News Front Page · anerli ·
magnitudedev/magnitude: Open source inference engine for agents that optimizes itself for your exact hardware. Compiles and tunes its kernels on your device, so open models run up to 2x faster than llama.cpp. Works on Apple Silicon, NVIDIA, AMD, or nothing but a CPU.
Magnitude es un motor de inferencia de código abierto que optimiza automáticamente sus kernels para el hardware específico del usuario, permitiendo que los modelos abiertos se ejecuten hasta 2x más rápido que llama.cpp. La aplicación de escritorio funciona en Apple Silicon, NVIDIA, AMD o CPU pura, se integra con agentes populares (Pi, OpenCode, Hermes, Codex) en un clic y mantiene toda la privacidad — los modelos, prompts y datos permanecen en la máquina local sin conectarse a internet. Incluye características como memoria flexible (27% menos que alternativas), sesiones concurrentes optimizadas con caché de prefijos compartida y está disponible gratuitamente para macOS, Windows y Linux.
Open source inference engine for agents that optimizes itself for your exact hardware. Compiles and tunes its kernels on your device, so open models run up to 2x faster than llama.cpp. Works on App...