Hacker News Front Page · brainless ·
SamsungLabs/LittleBit: Official implementation of LittleBit (NeurIPS 2025) and its follow-up LittleBit-2 (ICML 2026)
LittleBit comprime grandes modelos de lenguaje a entre 1,0 y 0,1 bits por peso mediante factorización de matrices, factores binarizados y escalas aprendidas, conservando la arquitectura del modelo en inferencia. LittleBit-2 añade una inicialización opcional con Internal Latent Rotation y Joint-ITQ para alinear los factores latentes con el hipercubo binario, sin aumentar el costo de inferencia. El repositorio ofrece código para entrenar con Quantization-Aware Training y evaluar modelos OPT, Llama, Phi, Qwen y Gemma.
Official implementation of LittleBit (NeurIPS 2025) and its follow-up LittleBit-2 (ICML 2026) - SamsungLabs/LittleBit