I ricercatori ottengono la generazione di testo in un solo passo con Seq-Drifting
Un nuovo framework mappa il rumore casuale direttamente su testo completo in un unico passaggio, saltando il lento processo a più fasi in cui si basano la maggior parte dei modelli di AI.

- Parti da un rumore completamente casuale
- Fallo passare tramite il metodo una volta sola
- E ti ritrovi del testo già scritto e completo
Un modo più veloce per generare testo
La maggior parte dei modelli linguistici di AI che utilizzano la tecnologia di diffusione genera testo partendo da rumore casuale e affinandolo gradualmente attraverso più passi — come mettere a fuoco lentamente una foto sfocata. Mentre questi modelli possono produrre molti token in una volta, hanno comunque bisogno di diversi cicli di campionamento prima che il testo appaia di buona qualità.
Ricerche condotti da Jiayu Liu, Ruizhi Zhao, Tianyun Ji, Yee Whye Teh, Zhenya Huang e Ning Miao hanno proposto un nuovo metodo chiamato Seq-Drifting che salta completamente questi passaggi aggiuntivi 1. Il loro approccio genera un'intera sequenza di testo in un singolo passaggio in avanti, prendendo il rumore casuale e trasformandolo direttamente in linguaggio coerente.
Come funziona
Seq-Drifting applica un concetto chiamato "deriva" (drifting) a sequenze di rappresentazioni continue di token. In termini semplici, il modello impara una mappatura diretta dal rumore gaussiano — pura casualità — al testo effettivo 1.
La differenza chiave rispetto ai precedenti modelli linguistici basati sulla diffusione sta nel modo in cui il sistema guida ciascun token durante l'addestramento. I modelli tradizionali derivano il loro segnale di addestramento direttamente dai token reali in una sequenza di addestramento. Seq-Drifting costruisce invece ciò che i ricercatori chiamano un "campo di deriva" (drift field), dove il bersaglio per ogni posizione si adatta in base al contesto già generato 1.
Ad ogni posizione, due forze lavorano insieme. Una forza di attrazione guida ciascun output verso rappresentazioni di token che hanno senso nel contesto. Una forza di repulsione agisce nella direzione opposta, impedendo che diversi campioni collassino in output identici e fermando il modello dal ripetersi all'interno di una singola sequenza 1.
Durante l'addestramento, il generatore impara da questo campo di deriva. Poi al momento dell'inferenza, produce tutti i token congiuntamente in un solo passaggio.
Ottimi risultati in un solo passo
I ricercatori hanno testato Seq-Drifting sul benchmark di modellazione linguistica LM1B e hanno raggiunto un punteggio di perplessità generativa di 36,01 in un solo passo 1. La perplessità è una misura comune di quanto bene un modello linguistico predice il testo — punteggi più bassi significano migliori prestazioni.
Il metodo ha mostrato risultati competitivi sia nella generazione non condizionata, dove il modello produce testo autonomamente, sia in quella condizionata, dove segue un prompt o un'istruzione data 1.
Oltre alla creazione di testo libero, il team ha condotto anche esperimenti su traduzione, riassunto e compiti di ragionamento, riscontrando che il framework rimane efficace in queste diverse applicazioni 1. I risultati suggeriscono che la deriva sulle sequenze di token è un percorso valido verso la generazione efficiente di testo in un solo passo.
I ricercatori hanno pubblicato il loro codice su GitHub perché altri possano costruirci sopra 2.
I fatti principali
- Seq-Drifting genera intere sequenze di testo in un singolo passaggio in avanti, eliminando il campionamento diffusion multi-step
- Raggiunge una perplessità generativa di 36,01 sul benchmark LM1B in un solo passo
- Il metodo utilizza un campo di deriva con forze di attrazione e repulsione per guidare la generazione dei token
- Seq-Drifting è stato testato su traduzione, riassunto e compiti di ragionamento oltre alla generazione aperta
- Il codice è pubblicamente disponibile su GitHub
Fonti
Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste
Continua a leggere
App e prodottiCanva permette di disattivare la maggior parte degli strumenti AI e ridurre le immagini AI nelle ricercheHerald of AICC BY-SA 3.0, via Wikimedia Commons
Canva permette di disattivare la maggior parte degli strumenti AI e ridurre le immagini AI nelle ricerche
Gli utenti del software di progettazione possono ora disabilitare le funzionalità di intelligenza artificiale generativa o limitare quante immagini create dall'AI appaiono nei risultati delle ricerche.
Come funzionaCome Meta triplica la produttività ingegneristica grazie agli agenti per distribuire le tecniche dei modelli di annunciHerald of AI
Come Meta triplica la produttività ingegneristica grazie agli agenti per distribuire le tecniche dei modelli di annunci
Il nuovo sistema di agenti AI di Meta adatta automaticamente piccoli miglioramenti attraverso migliaia di modelli pubblicitari, risparmiando milioni nei costi di calcolo.
Come funzionaUn modello di AI grande ha imparato a riparare il proprio cervello senza essere riaddestratoHerald of AI
Un modello di AI grande ha imparato a riparare il proprio cervello senza essere riaddestrato
I ricercatori hanno scoperto che un modello da 27 miliardi di parametri può modificare i propri parametri interni per diventare più preciso: senza bisogno di un insegnante umano.