Vercel Blog · Rohan Taneja ·
AI Gateway adds confidence-based decision fallbacks
AI Gateway ahora puede derivar una solicitud de decisión a un modelo de respaldo cuando la respuesta del modelo principal incumple una condición de confianza configurada. Las condiciones pueden combinarse; se aplican a preguntas de tipo Choice y Score, mientras que las preguntas booleanas usan un rango de probabilidad. Los respaldos activados ejecutan una segunda decisión y facturan ambas etapas, y la función está en beta.
Vercel AI Gateway adds decision fallbacks. Set a confidence condition on a fallback model and AI Gateway reruns the decision with it when the primary model's answer is uncertain. Available in beta.