Hacker News Front Page · By Joe Barrow2026-10-08 ·
Why is Speculative Decoding Fast?
La decodificación especulativa puede ejecutar más operaciones de punto flotante que la generación token a token y, aun así, acelerar la generación porque aprovecha cómputo que quedaría ocioso mientras la GPU espera datos de memoria. Al procesar varios tokens de una secuencia en paralelo, intercambia amplitud entre secuencias por profundidad dentro de una sola; esto resulta útil con lotes pequeños, pero puede desperdiciar cómputo con cargas de alto rendimiento o tokens rechazados. El artículo relaciona esta limitación con opciones como desactivar la especulación según el tamaño del lote y ajustar dinámicamente la profundidad, como propone dSpark.
It's not because you do less work. It's because you change the kind of work the GPU is doing.