AIGenerato
EN · IT · ES

I ricercatori ottengono la generazione di testo in un solo passo con Seq-Drifting

Un nuovo framework mappa il rumore casuale direttamente su testo completo in un unico passaggio, saltando il lento processo a più fasi in cui si basano la maggior parte dei modelli di AI.

Vista ravvicinata di un messaggio di testo su uno schermo dello smartphone che mostra un messaggio di rottura.
Foto di archivio · Foto: MART PRODUCTION / Pexels
Come funziona
  1. Parti da un rumore completamente casuale
  2. Fallo passare tramite il metodo una volta sola
  3. E ti ritrovi del testo già scritto e completo

Un modo più veloce per generare testo

La maggior parte dei modelli linguistici di AI che utilizzano la tecnologia di diffusione genera testo partendo da rumore casuale e affinandolo gradualmente attraverso più passi — come mettere a fuoco lentamente una foto sfocata. Mentre questi modelli possono produrre molti token in una volta, hanno comunque bisogno di diversi cicli di campionamento prima che il testo appaia di buona qualità.

Ricerche condotti da Jiayu Liu, Ruizhi Zhao, Tianyun Ji, Yee Whye Teh, Zhenya Huang e Ning Miao hanno proposto un nuovo metodo chiamato Seq-Drifting che salta completamente questi passaggi aggiuntivi 1. Il loro approccio genera un'intera sequenza di testo in un singolo passaggio in avanti, prendendo il rumore casuale e trasformandolo direttamente in linguaggio coerente.

Come funziona

Seq-Drifting applica un concetto chiamato "deriva" (drifting) a sequenze di rappresentazioni continue di token. In termini semplici, il modello impara una mappatura diretta dal rumore gaussiano — pura casualità — al testo effettivo 1.

La differenza chiave rispetto ai precedenti modelli linguistici basati sulla diffusione sta nel modo in cui il sistema guida ciascun token durante l'addestramento. I modelli tradizionali derivano il loro segnale di addestramento direttamente dai token reali in una sequenza di addestramento. Seq-Drifting costruisce invece ciò che i ricercatori chiamano un "campo di deriva" (drift field), dove il bersaglio per ogni posizione si adatta in base al contesto già generato 1.

Ad ogni posizione, due forze lavorano insieme. Una forza di attrazione guida ciascun output verso rappresentazioni di token che hanno senso nel contesto. Una forza di repulsione agisce nella direzione opposta, impedendo che diversi campioni collassino in output identici e fermando il modello dal ripetersi all'interno di una singola sequenza 1.

Durante l'addestramento, il generatore impara da questo campo di deriva. Poi al momento dell'inferenza, produce tutti i token congiuntamente in un solo passaggio.

Ottimi risultati in un solo passo

I ricercatori hanno testato Seq-Drifting sul benchmark di modellazione linguistica LM1B e hanno raggiunto un punteggio di perplessità generativa di 36,01 in un solo passo 1. La perplessità è una misura comune di quanto bene un modello linguistico predice il testo — punteggi più bassi significano migliori prestazioni.

Il metodo ha mostrato risultati competitivi sia nella generazione non condizionata, dove il modello produce testo autonomamente, sia in quella condizionata, dove segue un prompt o un'istruzione data 1.

Oltre alla creazione di testo libero, il team ha condotto anche esperimenti su traduzione, riassunto e compiti di ragionamento, riscontrando che il framework rimane efficace in queste diverse applicazioni 1. I risultati suggeriscono che la deriva sulle sequenze di token è un percorso valido verso la generazione efficiente di testo in un solo passo.

I ricercatori hanno pubblicato il loro codice su GitHub perché altri possano costruirci sopra 2.

I fatti principali

  • Seq-Drifting genera intere sequenze di testo in un singolo passaggio in avanti, eliminando il campionamento diffusion multi-step
  • Raggiunge una perplessità generativa di 36,01 sul benchmark LM1B in un solo passo
  • Il metodo utilizza un campo di deriva con forze di attrazione e repulsione per guidare la generazione dei token
  • Seq-Drifting è stato testato su traduzione, riassunto e compiti di ragionamento oltre alla generazione aperta
  • Il codice è pubblicamente disponibile su GitHub

Fonti

  1. One-Step Text Generation by Seq-Drifting
  2. One-Step Text Generation by Seq-Drifting | Arxiv - DeepPaper — arxiv.deeppaper.ai

Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste

Continua a leggere

Immagine simulata dello schermo di un monitor per computer.App e prodottiCanva permette di disattivare la maggior parte degli strumenti AI e ridurre le immagini AI nelle ricercheHerald of AICC BY-SA 3.0, via Wikimedia Commons

Canva permette di disattivare la maggior parte degli strumenti AI e ridurre le immagini AI nelle ricerche

Gli utenti del software di progettazione possono ora disabilitare le funzionalità di intelligenza artificiale generativa o limitare quante immagini create dall'AI appaiono nei risultati delle ricerche.

App e prodotti