Google Cloud Blog · Barak Epstein, Yuval Ehrental ·
Democratizing Managed Lustre with lower cost and frictionless development
Google Cloud Managed Lustre introduce su Dynamic Tier a 6 centavos por GB/mes, haciendo los sistemas de archivos paralelos accesibles para un rango más amplio de cargas de trabajo en IA y HPC. El servicio unifica el ciclo de vida completo de desarrollo, entrenamiento y almacenamiento en un único namespace, eliminando la fragmentación que requería mantener datos fríos fuera del filesystem y espacios separados para desarrollo. Managed Lustre logra latencias sub-milisegundo para datos calientes con ~300 microsegundos de lectura promedio, proporcionando un rendimiento interactivo comparable al almacenamiento local (descomprime el kernel Linux 4.7x más rápido que soluciones alternativas) además de escalabilidad masiva para entrenamiento distribuido, mejorando 67% el throughput agregado cuando miles de clientes leen el mismo archivo simultáneamente.
Senior Product Manager, Google Cloud Managed Lustre