Hacker News Front Page · giarec ·
spinfinc/spinf-serve: Bulk classification and decision inference on one GPU: the content is read once, every question about it is scored in the same pass. OpenAI-compatible, Apache 2.0
spinf-serve procesa múltiples preguntas de clasificación y decisión sobre un mismo contenido en una sola pasada, devuelve probabilidades en lugar de texto generado y ofrece una API compatible con OpenAI para ejecutarlo en hardware propio. En una RTX 4090 con Gemma 4 12B, el proyecto informa 491 preguntas por segundo y completa una prueba de 1.344 preguntas en 2,7 segundos, frente a 6,7 segundos con vLLM y caché de prefijos. El repositorio incluye checkpoints cuantizados, extracción de datos, prompt packs y resultados de benchmark; la versión 0.1 está publicada con licencia Apache 2.0.
Bulk classification and decision inference on one GPU: the content is read once, every question about it is scored in the same pass. OpenAI-compatible, Apache 2.0 - spinfinc/spinf-serve