Google Cloud Blog · Casey West ·
Four eval engineering lessons
La evaluación fiable de agentes debe medir sus trayectorias reales de ejecución, no solo sus respuestas finales, y conservar la estructura de turnos para detectar llamadas a herramientas concurrentes que se adelantan a las instrucciones. El autor recomienda comparar ejecuciones en vivo con pruebas de planificación sin credenciales y usar conjuntos de referencia creados por expertos para evaluar el sistema completo de forma continua. En las pruebas del plugin de Google Cloud, estas prácticas revelaron tanto errores del evaluador como fallas de razonamiento y de despacho que las demostraciones de una sola ejecución no habrían detectado.
Here are four eval lessons we learned from building the new plugin that you can apply to your own builds.