Modelli di intelligenza artificiale che imparano insegnando a se stessi a livelli di pensiero più profondi
Un nuovo metodo permette ai modelli linguistici di utilizzare i propri loop di ragionamento più profondi come insegnanti, creando un ciclo di addestramento auto-migliorante.
Insegnare a un'IA a essere il proprio tutor
I modelli linguistici dedicano molto tempo ad apprendere dai dati — leggendo testo, rispondendo a domande, risolvendo problemi. Ma c'è l'idea crescente che il miglior insegnante per un modello possa essere il modello stesso.
I ricercatori hanno proposto un metodo chiamato LoopOPD (Looped On-Policy Distillation) che permette a un modello linguistico di utilizzare i propri passaggi di ragionamento più profondi come fonte di segnale di addestramento 1. L'approccio è costruito attorno a un tipo di modello noto come Looped Language Model, o LoopLM. Questi modelli riutilizzano lo stesso insieme di parametri attraverso più passaggi computazionali, come eseguire la stessa logica più e più volte mentre si costruisce una catena di pensiero più lunga. Pensatelo come permettere a uno studente di pensare a un problema passo dopo passo piuttosto che saltare direttamente a una risposta.
La sfida principale è stata come addestrare questi modelli in modo efficace. I metodi precedenti si basavano su segnali di ricompensa sparsi difficili da scalare attraverso i loop, o richiedevano un modello insegnante esterno — che è costoso e può creare una discrepanza tra ciò che l'insegnante sa e ciò che lo studente vede 1.
Come funziona l'autoapprendimento
LoopOPD capovolge il problema. Invece di introdurre un insegnante esterno, il metodo utilizza una copia congelata del modello stesso — una che ha eseguito loop computazionali aggiuntivi — come insegnante per una versione studente ancora nel mezzo dei suoi loop 1. Lo studente genera le proprie risposte, chiamate rollout, e poi apprende abbinando le previsioni a livello di token della versione più profonda e completata di sé stesso.
Questo crea una supervisione densa e passo dopo passo senza bisogno di alcun dato o modello esterno 1. L'insegnante ha accesso a informazioni che lo studente non ha ancora — come gli ultimi passaggi del ragionamento — e questo vantaggio è esattamente ciò da cui lo studente impara.
Far evolvere l'insegnante
Il passaggio successivo è stato rendere il sistema realmente auto-migliorante. Nella versione base, l'insegnante rimane congelato. Ma i ricercatori hanno introdotto Dynamic LoopOPD (D-LoopOPD), che aggiorna periodicamente l'insegnante man mano che i parametri condivisi del modello vengono aggiornati 1. Questo significa che lo studente è sempre guidato dall'ultima e migliore versione di sé stesso, creando un ciclo di miglioramento continuo.
Il team ha dimostrato matematicamente che un singolo aggiornamento di addestramento può produrre un miglioramento locale simultaneo sia a livello di loop superficiali che profondi, in determinate condizioni 1. Hanno testato l'approccio su modelli Ouro-Thinking e hanno scoperto che LoopOPD ha migliorato il ragionamento matematico, mentre D-LoopOPD ha offerto ulteriori vantaggi grazie ai suoi aggiornamenti dinamici dell'insegnante . Curiosamente, anche se i modelli sono stati addestrati solo su dati matematici, hanno migliorato anche su compiti di ragionamento generale e generazione di codice, suggerendo che il metodo insegna competenze trasferibili .
Il lavoro è stato presentato ad arXiv nell'ottobre 2026 ed è in revisione per ICLR 2027 1.
I fatti principali
- LoopOPD permette a un modello di utilizzare i propri loop di ragionamento più profondi come insegnante
- Dynamic LoopOPD aggiorna l'insegnante man mano che i parametri vengono aggiornati, abilitando il miglioramento continuo
- I modelli addestrati solo su dati matematici hanno migliorato anche il ragionamento generale e la generazione di codice
- Il metodo è stato testato su modelli Ouro-Thinking e presentato ad arXiv nell'ottobre 2026