Cómo funcionattok 1.0 actualiza la herramienta de conteo de tokens para coincidir con los nuevos modelos de OpenAIHerald of AIPaul Downey desde Berkhamsted, Reino Unido, CC BY 2.0, vía Wikimedia Commons
Cómo funciona
ttok 1.0 actualiza la herramienta de conteo de tokens para coincidir con los nuevos modelos de OpenAI
Simon Willison publica una herramienta actualizada que ahora usa por defecto el tokenizer empleado por GPT-5 y GPT-6, tras un experimento reciente que sugirió que comparten el mismo sistema.