Hacker News Front Page · Alex Wang ·
You could have invented transformers from memory
El artículo interpreta las capas lineales, los MLP y la self-attention como almacenes asociativos de pares clave-valor, y estima su capacidad mediante la interferencia entre recuerdos. Para claves de 64 dimensiones, calcula capacidades aproximadas de 64 recuerdos para el almacén lineal básico, 2.700 para un MLP con squared ReLU y 1,2 millones para self-attention; también explica cómo escalar los logits con la longitud del contexto puede ampliar aún más esa capacidad.
Every layer is a memory store