Hacker News Front Page · DwarfStar community ·
Local DeepSeek V4.1, Qwen and GLM
DwarfStar 4 es un motor de inferencia en C optimizado para ejecutar modelos de frontera localmente en máquinas Mac y GPU de alto rendimiento. Soporta DeepSeek V4/V4.1, GLM 5.x y Qwen3.8 con cuantización asimétrica de 2 bits, caché KV persistente en SSD y tres interfaces: CLI, APIs OpenAI-compatibles y agente nativo. El proyecto valida layouts específicos para cada familia de modelos soportados, no como un runner genérico GGUF, y expone benchmarks que muestran hasta 825 tokens/segundo en prefill en máquinas Spark de 128 GB.
Docs, benchmarks and setup notes for ds4, antirez's C inference engine for DeepSeek V4/V4.1, Qwen3.8 Flash Next and GLM 5.x on Metal, CUDA and ROCm.