ttok 1.0 Aggiorna lo strumento di conteggio dei token per i nuovi modelli OpenAI

A smarter default for token counting

Simon Willison ha rilasciato ttok 1.0 il 9 ottobre 2026. Lo strumento aiuta gli sviluppatori a contare e troncare il testo in base ai token, ovvero le porzioni di testo che OpenAI e altre aziende di intelligenza artificiale usano per elaborare il linguaggio.

L'aggiornamento è più di una semplice modifica di versione. Cambia il tokenizer predefinito da quello usato da GPT-4 a quello usato da GPT-5 e GPT-6. Willison ha detto che il cambiamento è stato una buona scusa per finalmente rilasciare una versione 1.0, dopo essersi reso conto che lo strumento impostava come predefinito il tokenizer di GPT-4 quando avrebbe dovuto impostare quello di GPT-5/GPT-6.

Why the switch matters

I tokenizer dividono il testo in pezzi che i modelli di intelligenza artificiale possono capire. Se uno strumento usa il tokenizer sbagliato, conterrebbe i token in modo errato, il che potrebbe far sì che il codice tronchi il testo troppo presto o utilizzi troppa memoria. Fare questa operazione correttamente è importante per chiunque sviluppi applicazioni basate su grandi modelli linguistici.

GPT-5 e GPT-6 sono entrambi ritenuti usare lo stesso tokenizer. Willison ha indicato una modifica del ricercatore William Liu che ha testato diversi modelli GPT, tra cui GPT-5.5, GPT-5.6, e le diverse varianti di GPT-6 note come Astra, Sol e Luna.

Tutti e sette i modelli hanno riportato 44.794 token e corrisposto in ogni caso di test. GPT-6 non ha introdotto alcuna modifica al conteggio degli input, secondo l'esperimento ¹.

OpenAI has not officially confirmed it yet

Sebbene le evidenze siano promettenti, OpenAI non ha confermato pubblicamente che GPT-6 usi lo stesso tokenizer della famiglia GPT-5. C'è un problema aperto che discute la questione, e alcune persone nella comunità l'hanno definita frustrante ¹.

Detto questo, i dati dell'esperimento di Liu danno agli sviluppatori un valido motivo per fidarsi della nuova impostazione predefinita. Lo strumento di Willison ora riflette questa consapevolezza, e chiunque effettui un aggiornamento da ttok 0.4 dovrebbe vedere conteggi dei token più precisi quando lavora con gli ultimi modelli di OpenAI.

What ttok does

ttok è uno strumento da riga di comando che prende un input di testo e conta quanti token contiene oppure lo taglia a una lunghezza specifica. È utile per gli sviluppatori che devono restare entro i limiti di token quando inviano richieste ai modelli di intelligenza artificiale.

Con il rilascio della versione 1.0, lo strumento imposta come predefinito il tokenizer condiviso da GPT-5 e GPT-6, rendendo più facile lavorare con gli attuali modelli di OpenAI senza dover specificare manualmente quale sistema usare.

Correzioni e aggiornamenti

• Corretto il 21 ottobre 2026. Una versione precedente affermava che le varianti di GPT-6 includevano Cyber e che il rilascio della versione 1.0 era avvenuto dopo segnalazioni degli utenti sugli errori di conteggio; la fonte diceva che Willison stesso aveva scoperto l'impostazione predefinita del tokenizer di GPT-4 e rimosso Cyber dalle varianti. Una versione precedente affermava che un esperimento aveva confermato che GPT-5 e GPT-6 condividono lo stesso tokenizer; la fonte sostiene che OpenAI non lo ha confermato e che l'esperimento lascia solo supporre che siano probabilmente gli stessi. Un'altra versione precedente affermava che Willison aveva descritto il cambiamento come meramente una buona scusa, mentre la fonte lo cita chiamandolo una scusa ragionevole.

I fatti principali

• ttok 1.0 ora imposta come predefinito il tokenizer usato da GPT-5 e GPT-6
• L'esperimento di William Liu ha mostrato sette modelli GPT che riportavano tutti 44.794 token
• OpenAI non ha confermato ufficialmente che GPT-6 condivide il tokenizer di GPT-5
• Lo strumento conta e tronca il testo in base ai token per le applicazioni di intelligenza artificiale
• Il cambiamento corregge i conteggi errati dei token che interessavano il supporto per i modelli più recenti

Fonti

1. Release: ttok 1.0