Cut your AI spend with AI Gateway's Auto Router
Cloudflare lanza Auto Router, una herramienta disponible en versión beta a través de AI Gateway que selecciona automáticamente el modelo de IA más adecuado para cada tarea, sin requerir intervención del usuario. Los resultados internos muestran ahorros de hasta el 30% en costos comparado con modelos frontier como GPT-4 y Claude Opus, al enviar solicitudes a modelos menos costosos cuando la tarea lo permite. El Auto Router evalúa la complejidad, ambigüedad, contexto y categoría de cada solicitud mediante un clasificador multihead desplegado en la red edge, luego calcula una puntuación de utilidad que equilibra calidad esperada con costo adaptativo, considerando también el impacto del almacenamiento en caché en sesiones largas.
Cloudflare AI Gateway now features a model router that evaluates request complexity using an edge-deployed classifier to select the optimal model. By balancing expected output quality against token costs, organizations can dramatically cut AI spend while maintaining performance.