Filter, reshape, and redact logs before export with Transformers
Cloudflare integra Transformers en el flujo de exportación de Logpush para filtrar registros y modificar sus campos con consultas SQL antes de enviarlos, lo que puede reducir el volumen y evitar servicios de procesamiento separados. La ejecución ocurre dentro de Bufstream con Apache DataFusion; Arrow IPC mueve lotes tipados entre Go y Rust, y un benchmark con lotes sintéticos de 5.000 filas alcanzó aproximadamente 1,6 millones de filas por segundo. El sistema falla de forma cerrada: si una transformación falla, no entrega los datos sin transformar y reintenta el trabajo, con retrasos progresivos y desactivación automática para fallos persistentes.
Logpush now supports Transformers, allowing teams to filter, redact, and reshape log streams using SQL before export.