Cloudflare Blog · Ryan Skidmore ·
Cutting our inference bill by 68% by being obsessive about optimization
Cloudflare redujo en un 68% el costo promedio de sus revisiones de código con IA, de 2,43 a 0,77 dólares, y acortó el tiempo mediano de 4 minutos y 9 segundos a 1 minuto y 32 segundos. Cerca del 40% del ahorro provino de cambios en el código del revisor, especialmente de compartir prefijos de caché y reducir llamadas; el resto se debió a cambios de modelos y niveles de esfuerzo. Las evaluaciones indican que el revisor de calidad de código, con esfuerzo alto, mantiene una cantidad similar de hallazgos importantes y genera menos ruido, aunque los revisores de rendimiento y seguridad podrían haber perdido hallazgos reales.
When our AI code reviewer's cost per run doubled, we dug into the token usage to find out why. Learn how we used prompt caching and intelligent model routing to slash our inference bill by 68% while speeding up reviews.