Hacker News Front Page · sparticle62 ·
Sparticle62ops/pssa: A custom AI architecture being developed in rust
PSSA es una arquitectura de lenguaje pequeño escrita en Rust desde cero que reemplaza el mecanismo de atención del transformer con una capa recurrente de espacio de estados, un banco de memoria episódica y pesos plásticos que se actualizan durante la ejecución. En modelos de 1.5M parámetros entrenados en WikiText-103, PSSA logra una entropía cruzada de 3.98 contra 4.43 del transformer, generaliza mejor en datos no vistos y genera texto 12 veces más rápido en CPU, porque el costo computacional crece linealmente con la longitud de secuencia en lugar de cuadráticamente. El proyecto está abierto a contribuciones en rendimiento del kernel y comparación contra baselines recurrentes modernos, y busca principalmente acceso a GPU con mayor VRAM para validar si el rendimiento se mantiene en escalas mayores.
A custom AI architecture being developed in rust . Contribute to Sparticle62ops/pssa development by creating an account on GitHub.