Hacker News Front Page · bryan0 ·
ninjahawk/livenerf: Benchmark for tracking model capability after release.
Livenerf es un benchmark de código abierto que monitorea si los modelos de lenguaje se degradan después de su lanzamiento. El proyecto establece una línea base desde el primer día de Claude Opus 5.5 (lanzado el 22 de septiembre de 2026) y realiza pruebas diarias durante 30 días sobre un panel calibrado de 78 preguntas de GPQA Diamond, MMLU-Pro y competencia matemática que el modelo a veces acierta. El diseño es estadísticamente riguroso: utiliza diferencias pareadas con errores estándar agrupados, una pre-registro público que especifica el criterio de detección (debe excluir cero al 99% en dos ventanas de 10 días consecutivas, con un efecto mínimo de 3 puntos), y un brazo de control con Claude Opus 5 para distinguir cambios del modelo de cambios en la plataforma. Los resultados brutos son inmutables, herméticamente aislados del entorno, y se publican completamente, incluyendo tokens de salida como indicador temprano de degradación de esfuerzo.
Benchmark for tracking model capability after release. - ninjahawk/livenerf