Un modello di AI grande ha imparato a riparare il proprio cervello senza essere riaddestrato
I ricercatori hanno scoperto che un modello da 27 miliardi di parametri può modificare i propri parametri interni per diventare più preciso: senza bisogno di un insegnante umano.

Cosa ci si potrebbe fare
- Un ricercatore potrebbe modificare i parametri interni di un modello da 27 miliardi di parametri per migliorarne la precisione per sole alcune ore su una singola GPU, invece di eseguire un costoso processo di riaddestramento completo 1.
- Uno sviluppatore potrebbe prendere una copia corrotta o danneggiata di un modello linguistico grande e chiedergli di individuare le parti rotte e riscriverle usando valori estratti dalle sue regioni intatte 1.
- Un team potrebbe eseguire sessioni ripetute di auto-modifica, dove ogni turno sostituisce quello precedente, spingendo progressivamente la precisione del modello verso l'alto nel tempo senza aggiungere costi per ogni risposta 1.
Come funziona la self-rewriting
Normalmente, migliorare un modello linguistico significa sottoporlo a un altro lungo ciclo di addestramento: alimentarlo con dati, calcolare i gradienti e regolare miliardi di pesi finché non migliora 1. È costoso e lento. I ricercatori hanno posto una domanda più semplice: può un modello osservare i propri errori e cambiare i propri parametri per funzionare meglio?
Hanno dato a un modello da 27 miliardi di parametri l'accesso ai propri pesi, ad alcuni compiti già valutati che aveva sbagliato, e la possibilità di eseguire compiti autonomamente 1. Il modello ha diagnosticato dove falliva e modificato i pesi responsabili di quei fallimenti . Ha fatto tutto questo da solo, senza alcun segnale di addestramento esterno .
Risultati: il modello ha battuto sé stesso
Su un set fisso di 490 problemi mai visti prima dal modello, l'auto-modifica lo ha reso 6,6 punti più accurato 1. Un'altra sessione di modifica ha prodotto un miglioramento analogamente significativo . Il modello era selettivo: presentava una modifica solo quando i suoi test interni la supportavano, e ogni modifica sostituiva quella precedente. In otto sessioni consecutive la sua accuratezza è continuata a salire .
A differenza dei trucchi di test-time scaling, in cui un calcolo aggiuntivo garantisce risposte migliori ma dopo svaniscono, questi guadagni sono rimasti bloccati nei pesi del modello e non hanno comportato costi extra per risposta 1. A differenza dell'addestramento tradizionale, non richiedeva infrastrutture speciali di pre-addestramento o post-addestramento: bastava un open model e poche ore su una singola GPU .
Riparare una copia danneggiata
I ricercatori hanno spinto oltre. Hanno corrotto una copia del modello e le hanno chiesto di riparare sé stessa 1. Il modello danneggiato ha trovato la matrice rotta e l'ha riscritta usando valori presi dalle sue stesse parti integre, senza mai leggere i pesi originali indenni . Partendo da problemi di matematica puramente testuali, la riparazione ha fatto passare le prestazioni della copia danneggiata da 7% al 70% di accuratezza sui benchmark di immagini che non aveva mai incontrato, raggiungendo l'83% di quanto poteva fare il modello indenne .
Le dimensioni contano: solo il più grande ci è riuscito
La capacità non si è manifestata a tutte le scale. Tra quattro versioni della stessa famiglia di modelli, la versione da 2 miliardi di parametri non ha fatto alcuna modifica, quelle da 4 e 9 miliardi si sono ulteriormente compromesse, e solo il modello da 27 miliardi è riuscito a lavorare su sé stesso come farebbe un essere umano: confrontando i suoi stati nascosti sulle risposte che finivano correttamente contro quelle che esaurivano i token, e indebolendo la direzione che le separava 1.
Questa storia segnala un risultato di ricerca a puro titolo informativo.
I fatti principali
- Un modello da 27B parametri ha riscritto i propri pesi usando solo il suo ragionamento, senza gradienti o addestramento
- Le auto-modifiche hanno migliorato l'accuratezza di 6,6 punti su 490 problemi mai visti e sono continuate a crescere in 8 sessioni
- Il modello ha riparato una copia danneggiata dal 7% al 70% di accuratezza su benchmark immagine mai visti
- Solo il modello da 27B nella famiglia è riuscito; il da 2B non ha fatto modifiche e i modelli più piccoli si sono deteriorati
- I miglioramenti sono persistenti nei pesi, senza costi aggiuntivi per risposta e senza infrastrutture speciali richieste
Fonti
Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste
Continua a leggere
Come funzionaQwen3-1.7B mappa migliaia di conversazioni in quartieri visiviHerald of AI
Qwen3-1.7B mappa migliaia di conversazioni in quartieri visivi
Un nuovo atlante interattivo rivela come lo stesso argomento appaia diverso all'interno del modello a seconda della lingua utilizzata.
Allenare l'AI sulle immagini fa pensare in modo più spaziale anche quando si danno solo parole
Un nuovo studio mostra che far esercitare i modelli linguistici sulle immagini cambia il modo in cui risolvono enigmi fatti di solo testo, e spiega perché questo conta per gli strumenti di AI che usi ogni giorno.
Come funzionaCome Meta triplica la produttività ingegneristica grazie agli agenti per distribuire le tecniche dei modelli di annunciHerald of AI
Come Meta triplica la produttività ingegneristica grazie agli agenti per distribuire le tecniche dei modelli di annunci
Il nuovo sistema di agenti AI di Meta adatta automaticamente piccoli miglioramenti attraverso migliaia di modelli pubblicitari, risparmiando milioni nei costi di calcolo.