Hacker News Front Page · By Natalie Wolchover October 12, 2026 ·
Is ‘Attention’ the Essence of Intelligence?
El mecanismo de atención que Dzmitry Bahdanau propuso para mejorar la traducción automática permite que una red neuronal relacione cada palabra con el contexto más pertinente, y luego se convirtió en la base de los transformers y los grandes modelos de lenguaje. Al predecir la siguiente palabra, estos modelos pueden realizar tareas tan diversas como traducir, responder preguntas y hacer cálculos, lo que lleva a algunos investigadores a considerar el modelado del lenguaje una aproximación a la inteligencia general. Sin embargo, la evidencia sobre el pensamiento humano sugiere que el lenguaje es solo una parte de la cognición, y que los transformers todavía son mucho menos eficientes que el cerebro.
A mathematical mechanism enables AI models to process language at scale, undergirding the current AI revolution. Our columnist asks: Why is attention the key?