Hacker News Front Page · [Submitted on 2 Nov 2026] ·
USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance
USDB es la práctica de almacenamiento unificado de ByteDance para gestionar historiales extensos de usuarios en sistemas de recomendación, con cargas de streaming y por lotes. Combina compactación por etapas basada en tiempo, réplicas diferenciadas, reconstrucción de entradas de inferencia y un formato columnar híbrido para reutilizar el mantenimiento de secuencias entre ingestión, inferencia y entrenamiento. En producción, la migración redujo un 85,8 % la latencia media de escritura y un 42,1 % el costo de infraestructura; las pruebas también muestran lecturas más rápidas de historiales largos y hasta 8,5 veces más rendimiento con aggregation pushdown bajo un presupuesto limitado de recepción.
Recommendation models consume increasingly long, attribute-rich user histories, making small continuous updates and repeated large reads a central storage asymmetry. We present USDB, ByteDance's unified sequence storage practice for streaming and batch workloads. CascadeLSM time-based compaction stages materialize application-specific histories; differentiated replicas share persistent files; partial dumps reconstruct inference inputs from captured recent state and versioned history; and a hybrid columnar format accelerates projected reads. These designs reuse maintenance results across ingestion, inference, and training. Production migration records show 85.8% lower mean write latency, while normalized deployment accounting shows 42.1% lower infrastructure cost. Controlled comparisons with an Optimized RocksDB sequence baseline show faster long-history reads across projections and client loads. Aggregation pushdown sustains 8.5x the throughput of ordinary reads under a constrained receive budget. Production reconstruction and direct-file training results demonstrate how shared sequence maintenance supports fresh serving and repeated historical access.