Hacker News Front Page · Marc Brooker ·
Strands Decider: Why Not an Encoder?
La comparación entre cinco diseños para strands-decider muestra que un encoder de T5Gemma alcanza un rendimiento y una calibración similares a los de un modelo decoder de 2B parámetros, y reduce la latencia mediana de 65 ms a unos 35 ms. Sin embargo, el encoder escala peor con prompts largos, mientras que el decoder usa capas Gated DeltaNet con un costo de cómputo lineal; un encoder-decoder más grande obtiene buenos resultados, pero con cerca de 8B parámetros. El experimento no permite concluir que una arquitectura sea superior, porque también cambian los modelos base y otros factores, aunque sugiere que los encoders pueden ser competitivos en esta tarea.
Expertise level: exhausted.