I ricercatori ottengono la generazione di testo in un solo passo con Seq-Drifting
Un nuovo framework mappa il rumore casuale direttamente su testo completo in un unico passaggio, saltando il lento processo multi-step in cui si basano la maggior parte dei modelli di IA.
Un modo più veloce per generare testo
La maggior parte dei modelli linguistici di IA che utilizzano la tecnologia di diffusione genera testo partendo da rumore casuale e affinandolo gradualmente attraverso più passi — come mettere a fuoco lentamente una foto sfocata. Mentre questi modelli possono produrre molti token in una volta, hanno comunque bisogno di diversi cicli di campionamento prima che il testo appaia di buona qualità.
Ricerche condotti da Jiayu Liu, Ruizhi Zhao, Tianyun Ji, Yee Whye Teh, Zhenya Huang e Ning Miao hanno proposto un nuovo metodo chiamato Seq-Drifting che salta completamente questi passaggi aggiuntivi 1. Il loro approccio genera un'intera sequenza di testo in un singolo passaggio in avanti, prendendo il rumore casuale e trasformandolo direttamente in linguaggio coerente.
Come funziona
Seq-Drifting applica un concetto chiamato "deriva" (drifting) a sequenze di rappresentazioni continue di token. In termini semplici, il modello impara una mappatura diretta dal rumore gaussiano — pura casualità — al testo effettivo 1.
La differenza chiave rispetto ai precedenti modelli linguistici basati sulla diffusione sta nel modo in cui il sistema guida ciascun token durante l'addestramento. I modelli tradizionali derivano il loro segnale di addestramento direttamente dai token reali in una sequenza di addestramento. Seq-Drifting costruisce invece ciò che i ricercatori chiamano un "campo di deriva" (drift field), dove il bersaglio per ogni posizione si adatta in base al contesto già generato 1.
Ad ogni posizione, due forze lavorano insieme. Una forza di attrazione guida ciascun output verso rappresentazioni di token che hanno senso nel contesto. Una forza di repulsione agisce nella direzione opposta, impedendo che diversi campioni collassino in output identici e fermando il modello dal ripetersi all'interno di una singola sequenza 1.
Durante l'addestramento, il generatore impara da questo campo di deriva. Poi al momento dell'inferenza, produce tutti i token congiuntamente in un solo passaggio.
Ottimi risultati in un solo passo
I ricercatori hanno testato Seq-Drifting sul benchmark di modellazione linguistica LM1B e hanno raggiunto un punteggio di perplessità generativa di 36,01 in un solo passo 1. La perplessità è una misura comune di quanto bene un modello linguistico predice il testo — punteggi più bassi significano migliori prestazioni.
Il metodo ha mostrato risultati competitivi sia nella generazione non condizionata, dove il modello produce testo autonomamente, sia in quella condizionata, dove segue un prompt o un'istruzione data 1.
Oltre alla creazione di testo libero, il team ha condotto anche esperimenti su traduzione, riassunto e compiti di ragionamento, riscontrando che il framework rimane efficace in queste diverse applicazioni 1. I risultati suggeriscono che la deriva sulle sequenze di token è un percorso valido verso la generazione efficiente di testo in un solo passo.
I ricercatori hanno pubblicato il loro codice su GitHub perché altri possano costruirci sopra 2.
I fatti principali
- Seq-Drifting genera intere sequenze di testo in un singolo passaggio in avanti, eliminando il campionamento diffusion multi-step
- Raggiunge una perplessità generativa di 36,01 sul benchmark LM1B in un solo passo
- Il metodo utilizza un campo di deriva con forze di attrazione e repulsione per guidare la generazione dei token
- Seq-Drifting è stato testato su traduzione, riassunto e compiti di ragionamento oltre alla generazione aperta
- Il codice è pubblicamente disponibile su GitHub