Hacker News Front Page · ggcr ·
deepseek-ai/DeepInfer: DeepInfer: High-performance, large-scale inference framework for DeepSeek models
DeepInfer es un framework de inferencia de alto rendimiento para servicios de producción de modelos DeepSeek, publicado como software de código abierto y compatible con DeepSeek-V4.1-Flash en GPU NVIDIA SM100 y NPU Huawei Ascend 950. Incluye kernels optimizados, paralelismo para atención y MoE, decodificación especulativa, planificación asíncrona, inferencia invariante al lote, muestreo determinista y salidas estructuradas. La publicación ofrece inferencia offline y configuración para compilarlo, pero no incluye un sistema de caché KV, la disgregación de prefill y decode ni el balanceo de carga entre réplicas.
DeepInfer: High-performance, large-scale inference framework for DeepSeek models - deepseek-ai/DeepInfer