Hacker News Front Page · Neuralwatt Inc. ·
Why harnesses matter for energy efficiency
Los datos de Neuralwatt muestran que las diferencias en cómo los harnesses de agentes mantienen la caché de prefijos pueden multiplicar el trabajo de prefill y casi duplicar —o, en GLM-5.3, más que duplicar— la energía por solicitud. Las pruebas de laboratorio atribuyen las interrupciones de caché reproducibles a cambios que los harnesses hacen en prompts ya enviados; mantener estable el prefijo y añadir cambios al final reduce ese desperdicio, sobre todo en sesiones largas. El análisis combina mediciones de energía y tráfico de producción con pruebas controladas, y propone prácticas para conservar la caché y detectar los costos de cada interrupción.
A month of agent traffic shows that the harness, not just the model, decides how much energy a coding session uses.