Martin Fowler · Naresh Jain ·
Are Harnesses Worth the Cost?
En un experimento con diez ejecuciones por modelo para crear un servicio Java, un harness de comportamiento no mejoró los resultados de GPT-6 Sol: las diez aplicaciones pasaron las pruebas tanto con él como sin él, aunque usarlo aumentó notablemente el tiempo y el costo. Para GPT-6 Luna, el harness elevó la tasa de aceptación de 3 de 10 a 10 de 10 ejecuciones; incluso con ese costo adicional, cada intento con Luna y harness costó menos que uno sin harness con Sol en esta muestra. El autor interpreta el feedback ejecutable como una ayuda para mantener presentes los requisitos y recomienda ajustar la frecuencia de las pruebas a la capacidad del modelo, sin renunciar a una verificación independiente final. Advierte que la muestra es pequeña y se limita a un servicio nuevo con requisitos inusualmente detallados, por lo que los resultados no establecen costos ni tasas de éxito generales.
An experiment asks whether a behavioral harness can improve the reliability of cost-optimized coding models.