Hacker News Front Page · bastitx ·
Kolibri Has Landed: A Sovereign Open-Weight Model
Aleph Alpha presentó Kolibri, un modelo de lenguaje especializado de 78B parámetros totales con 3B activos, diseñado para trabajo crítico y regulado en administración pública, industria y aeroespacial. El modelo maneja contextos de hasta 1M de tokens, está optimizado para alemán e inglés con 21.3% de tokens de preentrenamiento en alemán, e incluye capacidades avanzadas de razonamiento, abstinencia de alucinaciones mediante el protocolo Merlin-Arthur, y es distribuido bajo licencia Apache 2.0 con total transparencia de cadena de suministro. Kolibri fue entrenado en 768 GPUs B200 con 20T tokens en tres etapas, mejorando significativamente sobre Kolibri Origin en solo tres meses gracias a un pipeline de entrenamiento completamente automatizado que permitió cientos de experimentos de ablación y manejo automático de fallos sin intervención manual.
Kolibri is an English-German Mixture-of-Experts model with 78B total and 3B active parameters, a context of up to 1M tokens and open weights under Apache 2.0, specialized for sovereign, mission-critical work.