Google Cloud Blog · Prof. Sashikumaar Ganesan, Fisayo Feyisetan ·
ZenteiQ scales physical AI inference 4x with GKE and llm-d
ZenteiQ informa que GKE Inference Gateway, basado en llm-d, elevó 4,07 veces el throughput de su pipeline de generación de datos sintéticos: pasó de 16.964 a 69.114 tokens por segundo por cada 1.000 aceleradores. El gateway usa la profundidad de las colas de vLLM y la localidad de las KV caches para equilibrar la carga y reutilizar prefijos compartidos, lo que aumentó en 14 puntos porcentuales la tasa de aciertos de caché. Según la empresa, el cambio permitió producir casi 6.000 millones de tokens al día y preparar los conjuntos de datos a tiempo para iniciar los trabajos de preentrenamiento.
ZenteiQ uses GKE Inference Gateway and llm-d to boost multi-model inference throughput 4x and keep foundation model pre-training runs on schedule.