Simon Willison · Simon Willison ·
Release: ttok 1.0
ttok 1.0 cambia el tokenizador predeterminado de GPT-4 al de la familia GPT-5/GPT-6. Aunque OpenAI aún no ha confirmado que GPT-6 use el mismo tokenizador, una prueba con siete modelos y 31 casos encontró que todos contaban 44.794 tokens y coincidían entre sí.
Count and truncate text based on tokens