Google Cloud Blog · Google AI & Infrastructure ·
Introducing Physical-Engineering’s Last Exam for agents
Google presenta Physical-Engineering’s Last Exam (PLE), un benchmark de 85 tareas de ingeniería mecánica, eléctrica, civil y estructural diseñado para evaluar si los agentes pueden producir entregables seguros, conformes con los códigos y eficientes en costos a partir de proyectos con archivos reales. En las pruebas con 14 modelos y siete entornos de agentes, todos obtuvieron menos del 50 % en el conjunto privado; la mejor configuración aprobó todas las verificaciones estrictas de seguridad y viabilidad en solo el 41,3 % de sus entregables. El equipo publica 29 tareas, herramientas de evaluación y un entorno para que la comunidad pruebe agentes y participe en una competencia abierta.
Discover PLE, a new benchmark evaluating frontier AI agents on real-world mechanical, electrical, civil, and structural engineering tasks.