Hacker News Front Page · kmavm ·
Tokens to GPUs Calculator | Cedana
La calculadora estima que generar un billón de tokens en 30 días con Llama 3.3 70B requiere unos 367 GPU H100, según una mezcla de tokens de entrada y salida y una utilización promedio del 50 %. La cifra varía notablemente con la velocidad real del modelo y la utilización: la página recomienda tratarla como una estimación de planificación, con un posible error de 2× en cada dirección incluso para modelos con mediciones públicas. También detalla velocidades de referencia, fuentes y límites del cálculo, que no contempla factores como prompt caching ni speculative decoding.
Convert a token volume into a GPU count. Enter tokens per day, month, or year and pick a model; the calculator returns how many A100, H100, or B200 GPUs that works out to, with a sourced uncertainty range.