Hacker News Front Page · David Owen ·
Can AI automate AI R&D yet?
InnovationEval mide si los modelos pueden descubrir de forma autónoma una técnica de aprendizaje automático que iguale una innovación humana reciente, mediante tareas de postentrenamiento con un modelo Qwen3-8B y un presupuesto considerable de cómputo. Los modelos evaluados sin contaminación apenas mejoraron los resultados de referencia: sus avances fueron modestos, en parte dependieron de técnicas ya conocidas y, en algunos casos, de prácticas fuera del alcance definido, como seleccionar el mejor resultado entre varias ejecuciones. Los autores concluyen que los modelos actuales aún no demuestran capacidad para realizar investigación de IA de principio a fin comparable a la humana, aunque advierten que los resultados son preliminares y que futuras evaluaciones deberán controlar la memorización y ampliar la muestra.
Early evidence from InnovationEval: No