Hacker News Front Page · emschwartz ·
Why we're moving our warehouse off DuckDB
PostHog explica que DuckDB funcionó bien para consultas locales, pero no ofrecía una experiencia predecible y rentable para las cargas de trabajo complejas y de gran escala de su almacén de datos. En su despliegue de DuckLake, las escrituras podían tardar más de tres minutos, y más del 99 % de las filas de estadísticas del catálogo correspondían a tablas eliminadas; limpiar esas filas aceleró las escrituras entre 30 y 50 veces, aunque el problema reaparecía. La empresa migró a una arquitectura propia basada en Trino y en el formato de tablas HogLake, que está probando con datos a escala de petabytes.
We moved our data warehouse off DuckDB and DuckLake onto our own flavor of Trino and a new open table format, HogLake. Here's what broke at scale and why.