Hacker News Front Page · coffeemug ·
Fixing Tool-Call Accuracy in vLLM
Ubicloud observó que las llamadas a herramientas de Kimi servidas con vLLM solo respetaban el esquema esperado en el 92 % de los casos, lo que provocaba errores, reintentos y degradación del contexto en flujos de trabajo con agentes. Al activar la decodificación restringida, que limita los tokens generados para que la llamada cumpla el esquema, elevó la precisión medida con el benchmark K2VV ToolCall al 100 % para las versiones de modelos servidas. La experiencia también muestra que la configuración del motor de inferencia influye en la calidad observada y que activar esta función por defecto puede causar problemas con algunos modelos o funciones del servidor.
Tool call accuracy is an important part of serving open-weight AI models. When your tool calls aren’t accurate, the model builds up on nonsensical context. We’ve been carrying our own fork of vLLM to hit 100% in tool call schema accuracy with Kimi and DeepSeek. Fortunately, vLLM 0.31 added support for constrained decoding, a technique to guarantee schema-adherence. By enabling it, you can get to 100% schema accuracy with the newer Kimi and DeepSeek models.