Hacker News Front Page · Samip Dahal, Bishwas Mandal, Serdar Gülbahar, Akshay Vegesna ·
Dust: Pretraining Transformers Without Backpropagation
Dust estima gradientes sin backprop al añadir ruido a las activaciones de cada token y usar los cambios de pérdida para asignar crédito; así, cada token funciona como un miembro virtual de una población evaluada en paralelo durante un forward pass. En pruebas de preentrenamiento de transformers, el método se acercó al rendimiento de backprop y, en algunos casos con poblaciones grandes, lo superó; también fue entre 1.000 y 10.000 veces más eficiente que EGGROLL según las extrapolaciones de los autores. Los modelos más grandes aprovecharon mejor el aumento de población y las estimaciones de gradiente se alinearon cada vez más con las de backprop, aunque Dust todavía requiere mucho más cómputo y no es una alternativa práctica en la actualidad.
October 2026Correspondence to s@qlabs.sh·Code·