Cloudflare Blog · Chris Tsoukaladelis ·
Continuous accountability for Verified bots
Cloudflare presenta un sistema para evaluar si los bots verificados respetan las preferencias de los sitios a lo largo del tiempo, en lugar de asumir que su identidad basta para confiar en ellos. El sistema observa patrones como el cumplimiento de robots.txt y la reducción de solicitudes tras recibir respuestas HTTP 429, y los resume en una banda de confianza explicable. Cloudflare lo usa internamente y planea ofrecerlo a sus clientes, que podrán elegir el umbral de confianza para gestionar el tráfico de bots verificados.
Identity alone doesn't guarantee a bot will behave responsibly. We are introducing a system to continuously evaluate whether Verified bots honor site preferences, like robots.txt and HTTP 429s, ensuring they remain accountable over time.