AIGenerato
EN · IT · ES

Un modello di AI grande ha imparato a riparare il proprio cervello senza essere riaddestrato

I ricercatori hanno scoperto che un modello da 27 miliardi di parametri può modificare i propri parametri interni per diventare più preciso: senza bisogno di un insegnante umano.

Markus Spiske 2017-02-14.
Foto di archivio · Foto: Markus Spiske markusspiske, CC0, via Wikimedia Commons

Cosa ci si potrebbe fare

  • Un ricercatore potrebbe modificare i parametri interni di un modello da 27 miliardi di parametri per migliorarne la precisione per sole alcune ore su una singola GPU, invece di eseguire un costoso processo di riaddestramento completo 1.
  • Uno sviluppatore potrebbe prendere una copia corrotta o danneggiata di un modello linguistico grande e chiedergli di individuare le parti rotte e riscriverle usando valori estratti dalle sue regioni intatte 1.
  • Un team potrebbe eseguire sessioni ripetute di auto-modifica, dove ogni turno sostituisce quello precedente, spingendo progressivamente la precisione del modello verso l'alto nel tempo senza aggiungere costi per ogni risposta 1.

Come funziona la self-rewriting

Normalmente, migliorare un modello linguistico significa sottoporlo a un altro lungo ciclo di addestramento: alimentarlo con dati, calcolare i gradienti e regolare miliardi di pesi finché non migliora 1. È costoso e lento. I ricercatori hanno posto una domanda più semplice: può un modello osservare i propri errori e cambiare i propri parametri per funzionare meglio?

Hanno dato a un modello da 27 miliardi di parametri l'accesso ai propri pesi, ad alcuni compiti già valutati che aveva sbagliato, e la possibilità di eseguire compiti autonomamente 1. Il modello ha diagnosticato dove falliva e modificato i pesi responsabili di quei fallimenti . Ha fatto tutto questo da solo, senza alcun segnale di addestramento esterno .

Risultati: il modello ha battuto sé stesso

Su un set fisso di 490 problemi mai visti prima dal modello, l'auto-modifica lo ha reso 6,6 punti più accurato 1. Un'altra sessione di modifica ha prodotto un miglioramento analogamente significativo . Il modello era selettivo: presentava una modifica solo quando i suoi test interni la supportavano, e ogni modifica sostituiva quella precedente. In otto sessioni consecutive la sua accuratezza è continuata a salire .

A differenza dei trucchi di test-time scaling, in cui un calcolo aggiuntivo garantisce risposte migliori ma dopo svaniscono, questi guadagni sono rimasti bloccati nei pesi del modello e non hanno comportato costi extra per risposta 1. A differenza dell'addestramento tradizionale, non richiedeva infrastrutture speciali di pre-addestramento o post-addestramento: bastava un open model e poche ore su una singola GPU .

Riparare una copia danneggiata

I ricercatori hanno spinto oltre. Hanno corrotto una copia del modello e le hanno chiesto di riparare sé stessa 1. Il modello danneggiato ha trovato la matrice rotta e l'ha riscritta usando valori presi dalle sue stesse parti integre, senza mai leggere i pesi originali indenni . Partendo da problemi di matematica puramente testuali, la riparazione ha fatto passare le prestazioni della copia danneggiata da 7% al 70% di accuratezza sui benchmark di immagini che non aveva mai incontrato, raggiungendo l'83% di quanto poteva fare il modello indenne .

Le dimensioni contano: solo il più grande ci è riuscito

La capacità non si è manifestata a tutte le scale. Tra quattro versioni della stessa famiglia di modelli, la versione da 2 miliardi di parametri non ha fatto alcuna modifica, quelle da 4 e 9 miliardi si sono ulteriormente compromesse, e solo il modello da 27 miliardi è riuscito a lavorare su sé stesso come farebbe un essere umano: confrontando i suoi stati nascosti sulle risposte che finivano correttamente contro quelle che esaurivano i token, e indebolendo la direzione che le separava 1.

Questa storia segnala un risultato di ricerca a puro titolo informativo.

I fatti principali

  • Un modello da 27B parametri ha riscritto i propri pesi usando solo il suo ragionamento, senza gradienti o addestramento
  • Le auto-modifiche hanno migliorato l'accuratezza di 6,6 punti su 490 problemi mai visti e sono continuate a crescere in 8 sessioni
  • Il modello ha riparato una copia danneggiata dal 7% al 70% di accuratezza su benchmark immagine mai visti
  • Solo il modello da 27B nella famiglia è riuscito; il da 2B non ha fatto modifiche e i modelli più piccoli si sono deteriorati
  • I miglioramenti sono persistenti nei pesi, senza costi aggiuntivi per risposta e senza infrastrutture speciali richieste

Fonti

  1. Language Models Can Rewrite Their Own Weights

Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste

Continua a leggere