Compressione ThinkBit a due bit: il ragionamento dell'AI rimane affilato e i costi di inferenza si riducono dell'8×

I modelli AI ragionanti possono generare migliaia di parole (token) per una singola risposta. Questo li rende lenti e costosi, perché devono spostare grandi quantità di dati. Memorizzare i pesi del modello — i numeri che controllano il suo modo di pensare — in due bit invece del solito formato bfloat16 a sedici bit potrebbe rendere l'inferenza otto volte più economica, secondo il articolo pubblicato il 26 ottobre.

Il punto di attenzione è che la maggior parte delle tecniche a due bit viene testata su domande facili a scelta multipla o su punteggi di perplessità, che misurano quanto bene un modello prevede la parola successiva. Questi test dicono poco sul fatto che il modello possa ancora affrontare difficili problemi di matematica o logica. ThinkBit è stato progettato specificamente per preservare questa capacità di ragionamento.

Cosa potresti farci

• I ricercatori potrebbero comprimere modelli linguistici ragionanti in storage a due bit, riducendo potenzialmente i costi di inferenza di circa otto volte e mantenendo intatta la capacità del modello di risolvere difficili problemi di matematica e logica ¹.
• Gli sviluppatori di app AI potrebbero eseguire modelli con capacità di ragionamento più velocemente e a minor costo su dispositivi quotidiani come smartphone, poiché memorizzare i pesi in due bit invece che in formato a sedici bit riduce drasticamente le esigenze di memoria ¹.
• Un ricercatore potrebbe valutare un modello compresso sul benchmark MATH-500 per confermare che il processo di quantizzazione non ha distrutto la sua capacità di ragionare ¹.

Una ricetta in tre passi per un ragionamento affilato

ThinkBit tratta ogni peso come un minuscolo intero codeword moltiplicato per una scale in virgola mobile condivisa da un gruppo di pesi vicini. Il framework assegna prima a ogni strato della rete un tier a bit — 2, 3, o un'opzione ternaria — in base a quanto quello strato è sensibile alla compressione. Questo significa che gli strati importanti ricevono un po' più di precisione.

Poi il sistema cerca le codeword migliori blocco per blocco usando un metodo chiamato Gumbel-softmax. Dato che osservare ogni strato in isolamento può perdere come interagiscono, il team ricalibra poi le scale mantenendo fisse le codeword. Questo passo usa la distillazione della conoscenza: al modello compresso si insegna a imitare le distribuzioni di output del modello insegnante.

Infine, una breve fase di addestramento consapevole della quantizzazione (QAT) permette al modello di riassegnare le codeword per adattarsi meglio alla distribuzione originale. Per scegliere il checkpoint finale, i ricercatori eseguono un test di ragionamento accoppiato su problemi dal set di addestramento e scelgono whichever versione — quella ricalibrata o quella QAT — che performa meglio.

Numeri che contano

Quando testato sul modello a 1,7 miliardi di parametri Qwen3-1.7B, il checkpoint ricalibrato ha ottenuto 46,7 sul benchmark MATH-500 (un insieme di 500 problemi di matematica), rispetto a 30,0 di un altro metodo chiamato EfficientQAT addestrato sugli stessi dati. Dopo il passo QAT, il punteggio è balzato a 73,0.

Con appena 0,52 GB, il modello compresso ThinkBit è più piccolo di qualsiasi versione GGUF a due bit pubblicata di Qwen3-1.7B ed è comunque più accurato su MATH-500. L'approccio scala verso l'alto: per un modello a 14 miliardi di parametri, un checkpoint da 3,74 GB ha ottenuto 94,8 su MATH-500, contro 97,5 per la versione completa bfloat16 da 29,5 GB.

Cosa verrà dopo

I ricercatori dimostrano che ThinkBit può preservare il ragionamento riducendo drasticamente l'uso di memoria. Se il metodo verrà adottato, potrebbe rendere l'AI ragionante più economica da eseguire su laptop, smartphone e server cloud. Il lavoro è disponibile su Hugging Face, e gli autori provengono da Microsoft.

Questa storia segnala una tendenza a solo scopo informativo. Non costituisce parere o incoraggiamento a fare nessuna di queste cose.

Com'è nella pratica

Sul modello Qwen3 da 1,7 miliardi di parametri, il checkpoint ricalibrato di ThinkBit ha ottenuto 46,7 sul benchmark MATH-500, rispetto a 30,0 per EfficientQAT addestrato sugli stessi dati ¹. Dopo una breve fase di addestramento consapevole della quantizzazione, il punteggio è salito a 73,0, e il modello pesava solo 0,52 GB, risultando più piccolo di qualsiasi versione GGUF a due bit pubblicata di Qwen3-1.7B e comunque più accurato . L'approccio scala anche verso l'alto: su un modello da 14 miliardi di parametri, un checkpoint da 3,74 GB ha ottenuto 94,8 contro 97,5 per il modello completo bfloat16 da 29,5 GB, mostrando solo un piccolo calo nella qualità del ragionamento per una frazione delle dimensioni . Il benchmark MATH-500 misura le prestazioni su 500 problemi di matematica, quindi punteggi più alti indicano una migliore capacità di risolvere problemi .

I fatti principali

• ThinkBit riduce i modelli AI a storage a due bit, diminuendo i costi di inferenza fino a 8×.
• Preserva la capacità di ragionamento, ottenendo 73,0 su MATH-500 per Qwen3-1.7B dopo l'addestramento consapevole della quantizzazione.
• Il modello compresso è da 0,52 GB — più piccolo di qualsiasi altra versione GGUF a due bit dello stesso modello.
• Per un modello da 14B parametri, un checkpoint da 3,74 GB ha ottenuto 94,8 su MATH-500, vicino al punteggio a piena precisione di 97,5.
• Il metodo usa allocazione dei bit per strato, ricerca codeword Gumbel-softmax e ricalibrazione con distillazione della conoscenza.

Fonti

1. Paper page - ThinkBit: Search Codewords, Recalibrate Scales, Select by Reasoning