Google Cloud Blog · Will Yin, Ivan Nardini ·
How Visko streams real-time world models on Google Cloud TPUs
Visko y Google Cloud trasladaron el modelo de video interactivo Orbis a una sola porción de Cloud TPU y lograron procesar cada fragmento a una velocidad de 1,07 veces la reproducción en tiempo real. La canalización combina generación de video, superresolución y audio sincronizado; para cumplir el plazo de cada fragmento, el equipo aplicó paralelismo Ulysses, atención personalizada con Pallas y una reescritura del modelo de audio en JAX, que lo hizo 5,8 veces más rápido. El caso muestra una estrategia de migración selectiva: usar torchax para llevar modelos de PyTorch a TPU con rapidez y reescribir solo las etapas que limitan la latencia.
AI startup Visko brought Orbis, its interactive, continuously streaming video world model, to production with TPUs in just 30 days.