Hacker News Front Page · pretext ·
ERNIE5.5FlashBase
Baidu presenta ERNIE-5.5-Flash-Base, un modelo MoE de 280.000 millones de parámetros que activa 14.000 millones por token y fue preentrenado con 33,5 billones de tokens; sus pesos se publican como punto de partida para ajustes y nuevas investigaciones. La arquitectura combina atención dispersa híbrida, enrutamiento con varios routers y otras técnicas para reducir el cómputo y la memoria, y admite contextos de hasta un millón de tokens durante el ajuste fino y la inferencia. En evaluaciones comparativas, el modelo obtiene resultados destacados en varios benchmarks de razonamiento, código y contexto largo, aunque las cifras proceden de las pruebas presentadas por el equipo de Baidu.
ERNIE 5.5 Flash Base: a 280B-A14B hybrid-attention MoE pretrained on 33.5T tokens. An open, efficient pretraining base.