ttok 1.0 actualiza la herramienta para contar tokens y se ajusta a los nuevos modelos de OpenAI

Un valor por defecto más acertado para contar tokens

Simon Willison publicó ttok 1.0 el 9 de octubre de 2026. La herramienta ayuda a los desarrolladores a contar y truncar texto según los tokens, los trozos de texto que OpenAI y otras compañías de IA usan para procesar el lenguaje.

La actualización es más que un cambio de versión rutinario. Cambia el tokenizer por defecto, que era el usado por GPT-4, por el usado por GPT-5 y GPT-6. Willison dijo que el cambio fue una buena excusa para por fin lanzar una versión 1.0 después de darse cuenta de que la herramienta estaba usando por defecto el tokenizer de GPT-4 cuando debería usar por defecto el de GPT-5/GPT-6.

Por qué importa el cambio

Los tokenizers dividen el texto en piezas que los modelos de IA pueden entender. Si una herramienta usa el tokenizer equivocado, contará los tokens de forma incorrecta, lo que puede provocar que el código corte el texto demasiado pronto o use demasiada memoria. Acertar con esto es importante para cualquier persona que construya aplicaciones sobre modelos de lenguaje grandes.

Se cree que GPT-5 y GPT-6 usan ambos el mismo tokenizer. Willison señaló un commit del investigador William Liu que probó varios modelos GPT, incluyendo GPT-5.5, GPT-5.6 y las distintas variantes de GPT-6 conocidas como Astra, Sol y Luna.

Los siete modelos reportaron 44.794 tokens y coincidieron en todos los casos de prueba. GPT-6 no introdujo ningún cambio en el conteo de entradas, según el experimento ¹.

OpenAI aún no lo ha confirmado oficialmente

Aunque la evidencia es alentadora, OpenAI no ha confirmado públicamente que GPT-6 use el mismo tokenizer que la familia GPT-5. Hay un issue abierto discutiendo la pregunta, y algunas personas de la comunidad lo han calificado de frustrante ¹.

Dicho esto, los datos del experimento de Liu dan a los desarrolladores una buena razón para confiar en el nuevo valor por defecto. La herramienta de Willison ahora refleja ese entendimiento, y cualquiera que actualice desde ttok 0.4 debería ver cuentas de tokens más precisas al trabajar con los últimos modelos de OpenAI.

Qué hace ttok

ttok es una herramienta de línea de comandos que toma texto como entrada y либо cuenta cuántos tokens contiene o lo recorta a una longitud especificada. Es útil para desarrolladores que necesitan mantenerse dentro de los límites de tokens al enviar prompts a modelos de IA.

Con el lanzamiento 1.0, la herramienta usa por defecto el tokenizer compartido por GPT-5 y GPT-6, lo que facilita trabajar con los modelos actuales de OpenAI sin tener que especificar manualmente qué sistema usar.

Correcciones y actualizaciones

• Corregido el 21 de octubre de 2026. Una versión anterior decía que las variantes de GPT-6 incluían Cyber y que el lanzamiento 1.0 ocurrió después de informes de usuarios sobre errores de conteo; la fuente dice que Willison mismo descubrió el valor por defecto del tokenizer de GPT-4 y eliminó Cyber de las variantes. Una versión anterior decía que un experimento confirmaba que GPT-5 y GPT-6 comparten el mismo tokenizer; la fuente indica que OpenAI no lo ha confirmado y que el experimento solo sugiere que probablemente sean el mismo. Otra versión anterior decía que Willison describió el cambio como meramente una buena excusa, mientras que la fuente lo cita diciendo que fue una excusa razonable.

Los datos clave

• ttok 1.0 ahora usa por defecto el tokenizer usado por GPT-5 y GPT-6
• El experimento de William Liu mostró que siete modelos GPT reportaron 44.794 tokens
• OpenAI no ha confirmado oficialmente que GPT-6 comparta el tokenizer de GPT-5
• La herramienta cuenta y trunca texto según tokens para aplicaciones de IA
• El cambio corrige cuentas de tokens incorrectas que afectaban al soporte de modelos más recientes

Fuentes

1. Release: ttok 1.0