Hacker News Front Page · David Hall ·
There is no posttraining data commons
El artículo sostiene que, a diferencia del preentrenamiento, el postentrenamiento de modelos de IA carece de un fondo común de datos listo para usar, porque requiere tareas reproducibles con entornos, objetivos, herramientas y evaluadores. Incluso los conjuntos de tareas de software presentan grandes tasas de fallos: el texto cita problemas de ejecutabilidad, especificación y pruebas en SWE-bench y otros recursos. Propone crear deliberadamente un fondo común de tareas que permita a investigadores y organizaciones participar en el desarrollo de capacidades de IA, en lugar de dejar esa infraestructura en manos de unas pocas empresas.
The LLM revolution ran on a pretraining commons that humanity built for other reasons. Posttraining consumes tasks, not documents, and no such commons exists. If the open models community wants...