Hacker News Front Page · Nick Cammarata, Goodfire ·
Neural Networks Are Already Clean
Nick Cammarata sostiene que la mayoría de las neuronas de las redes actuales no combina conceptos arbitrarios: sus respuestas aparentemente mezcladas suelen reflejar generalización recursiva, fallas de arquitectura o limitaciones de las herramientas de análisis. A partir de experimentos con modelos de visión y lenguaje, argumenta que las neuronas y los circuitos originales pueden estudiarse directamente y que la interpretabilidad mejora al seguir sus conexiones, activaciones y desarrollo durante el entrenamiento. Aunque reconoce que la hipótesis aún no está demostrada para todas las redes, propone priorizar la investigación directa de sus mecanismos frente a reconstruirlos primero mediante sparse autoencoders u otros diccionarios de características.
A working hypothesis about neurons, generalization, and the ecology of circuits.