Hacker News Front Page · wondersky ·
Grace Blackwell needs a new scheduler: 27% more usable GPUs from the same racks
El artículo sostiene que los sistemas NVIDIA NVL72 solo ofrecen su ventaja de ancho de banda cuando el scheduler mantiene los trabajos distribuidos dentro de un mismo rack. Propone usar slices de 16 nodos con dos nodos de reserva por rack: según el modelo citado, esto aporta un 27 % más de capacidad utilizable que asignar racks completos cuando la indisponibilidad de nodos es del 2 %. También describe cómo SkyPilot combina colocación consciente de la topología, sustitución de nodos defectuosos y desfragmentación automática; una prueba de preentrenamiento de GR00T registró un aumento del rendimiento del 14,4 %.
NVL72 puts all 72 GPUs in a rack on one NVLink fabric, but only rack-local jobs get the speedup. How SkyPilot keeps multi-node training and inference on NVLink with topology-aware placement, in-place recovery from GPU failures, and automatic defragmentation.