Google Cloud Blog · Injae Kwak, Shivaji Dutta ·
Day-0 support with 5x perf for Reflection Beam on Google Cloud
Google Cloud presenta soporte desde el primer día para servir el modelo Beam de Reflection en AI Hypercomputer, con recetas optimizadas para llm-d y vLLM, y NVIDIA Dynamo y SGLang. La publicación atribuye a estas configuraciones, según pruebas de clientes, hasta 5 veces más rendimiento y 8 veces menos latencia en instancias A4X Max, y hasta 2 veces más rendimiento y 8 veces menos latencia en máquinas G4. Explica cómo el enrutamiento consciente de KV cache, la separación de prefill y decode, la decodificación especulativa y la descarga de KV cache a DRAM y SSD pueden reducir el trabajo repetido en sesiones largas de programación con agentes.
Run Reflection’s Beam model on Google Cloud AI Hypercomputer with llm-d and NVIDIA Dynamo for up to 5x higher throughput and 8x lower latency.