Hacker News Front Page · explosion-s ·
burner22/numbat · Hugging Face
La página presenta numbat como un checkpoint de preentrenamiento de un modelo de aproximadamente 14 billones de parámetros que atribuye a Anthropic, con una arquitectura híbrida GDN/MLA, capas MoE y cuantización NVFP4. Afirma que sus 772 fragmentos suman unos 7,72 TB y que incluye una implementación de referencia capaz de cargar los tensores. El checkpoint corresponde a una etapa intermedia del entrenamiento y no incluye postentrenamiento ni RLHF.
Machine learning model with 6.8T parameters. Download, explore files and run it on Hugging Face.