Hacker News Front Page · Tejas Kumar ·
Aleph Alpha Kolibri: How the Sovereign German LLM Works
Kolibri es un modelo de lenguaje abierto de Aleph Alpha, entrenado en Alemania bajo la Ley de IA de la UE, con 78 mil millones de parámetros pero solo 3.5 mil millones activos por token. Implementa seis optimizaciones clave: arquitectura de mezcla de expertos, tokenizador especializado para alemán que requiere 11% menos tokens, atención de ventana deslizante para contexto eficiente de hasta 1 millón de tokens, razonamiento en alemán, entrenamiento para reconocer la ignorancia mediante el protocolo Merlin-Arthur, y control de esfuerzo de razonamiento ajustable. Destaca en matemática (96.9 en AIME 2025 inglés, 87.5 en alemán) y procesamiento de documentos empresariales largos, pero es débil en trivia memorizada, agentes de codificación multi-turno y requiere 78 GB de memoria de GPU, lo que lo hace ideal para organismos públicos, bancos y fabricantes que necesitan procesamiento en alemán con total soberanía de datos.
Kolibri is Aleph Alpha's open-weight German and English LLM: 78B parameters, 3.5B per token. How it works, what it's good and bad at, and when to use it.