Google Cloud Blog · Ammett Williams ·
Networking for AI inference model serving - GKE only and for all other backends
El artículo presenta dos arquitecturas de referencia para enrutar solicitudes de inferencia de IA: una con backends exclusivamente en Google Kubernetes Engine (GKE) y otra compatible con backends heterogéneos. Ambas usan Private Service Connect como punto de entrada privado y pueden incorporar Apigee para validar identidades y cuotas, y Model Armor para detectar solicitudes maliciosas o filtraciones de datos. En GKE, un Inference Gateway dirige las solicitudes a grupos de réplicas según el modelo y la carga; para otros entornos, un balanceador de carga y una extensión de Cloud Run extraen el identificador del modelo para seleccionar el backend correspondiente.
Enterprises and individual developers frequently run multiple AI inference models. The right architecture can simplify how the models are called while also providing centralized governance. In this post, we'll look at two reference architectures focused on networking AI inference model serving: one for Google Kubernetes Engine (GKE) and one all other backend types. First, we'll explore the commonalities between the reference architectures that you'll see later. Then we'll explore unique components of the architecture for GKE backends and finally, we'll go over the elements of the architecture for all backend types.