Hacker News Front Page · By GrainulationRead the paper and code ↗ ·
Verify, Then Vote
Una regla que verifica las fuentes citadas antes de apartarse de la respuesta más votada elevó la precisión de cinco modelos locales del 77,1 % al 85,0 % en 1.000 preguntas. La primera versión superó el límite previsto de respuestas correctas que podía estropear, pero una versión revisada —que conserva las respuestas iniciales respaldadas por una fuente— pasó esa prueba con otro grupo de modelos y alcanzó un 85,9 % de precisión. Como las respuestas, las verificaciones y las decisiones quedan guardadas por separado, es posible probar nuevas reglas sin volver a llamar a los modelos; los resultados, sin embargo, no demuestran que el método funcione en preguntas nuevas.
We gave five small local models the same questions and checked their sources before picking an answer. Our first paper reports what got better, a safety test that failed and how we can rerun decisions without asking the models again.