Un unico quadro matematico prevede il modo migliore per generare immagini e testo

Un reticolo per governarli tutti

I modelli a diffusione e quelli autoregressivi (AR) sono stati a lungo considerati famiglie separate di IA generativa. I modelli a diffusione, che rimuovono gradualmente il rumore da un'intera immagine o sequenza tutta insieme, sono diventati lo standard per i dati continui come foto e video. I modelli autoregressivi, che generano un token alla volta condizionatamente a ciò che è venuto prima, hanno dominato domini discreti come il linguaggio ¹. Alcuni approcci ibridi recenti hanno cercato di fondere i due metodi, ma ognuno fissa il proprio piano di decodifica per progettazione.

Un nuovo studio sostiene che questa separazione non è necessaria. I ricercatori T. Y. Tsui, Jiatao Gu e Lingjie Liu della University of Pennsylvania presentano un unico quadro teorico chiamato reticolo di corruzione che colloca diffusione, AR e ogni piano intermedio sulla stessa struttura matematica. Ogni possibile decodificatore diventa un percorso attraverso questo reticolo ¹.

Il costo è la dipendenza scartata

L'intuizione chiave è come definiscono la qualità di un piano. Misurano il costo di qualsiasi piano di decodifica come la correlazione totale — la dipendenza — che i suoi passaggi paralleli scartano. Questo costo corrisponde alla divergenza del piano dal campionamento esatto, il che significa che quantifica esattamente quanto una data approccio si allontani dalla generazione perfetta ¹.

Da questa definizione emerge una previsione chiara: il numero minimo di passaggi di cui ha bisogno un piano a costo zero è determinato interamente dalla geometria dei dati stessi. Per i dati che seguono una struttura di Markov su un grafo, quel minimo equivale al treedepth del grafo — una misura ben nota della teoria dei grafi. Il treedepth cresce logaritmicamente con la lunghezza della sequenza e linearmente con il lato di una griglia ¹. Questa è la stessa regola sia per i token discreti che per i campi continui.

Prevedere prima della decodifica

Quando un piano utilizza meno passaggi del treedepth, deve pagare un costo positivo — una certa dipendenza va sempre persa. Lo studio mostra che è ancora possibile classificare quei piani subottimali prima che inizi qualsiasi decodifica, utilizzando un kernel di dipendenza pairwise stimato direttamente dai pesi del modello preaddestrato ¹. Questo significa che non è necessario eseguire la generazione completa per sapere quale piano svolgerà meglio a un numero fisso di passaggi.

Gli autori testano queste previsioni attraverso la generazione di testo, la generazione di immagini e la generazione di video, verificando la maggior parte delle previsioni di classificazione con metriche e benchmark diversi ¹. Il lavoro offre ai progettisti di modelli un principio concreto per scegliere e costruire piani di decodifica, che si stiano costruendo futuri modelli AR, modelli a diffusione o ibridi da qualche parte nel mezzo.

Il codice del progetto è stato reso pubblico.

Why it matters

Per anni, scegliere un piano di decodifica è stato in gran parte una decisione ingegneristica: si ottimizzava empiricamente per ogni famiglia di modelli. Questo quadro trasforma quel processo in qualcosa di prevedibile. Se conosci la struttura di dipendenza dei tuoi dati e hai i pesi preaddestrati, puoi classificare i piani in anticipo invece di eseguire dozzine di generazioni di prova ¹. Quel passaggio dal metodo per tentativi ed errori a un design guidato dalla teoria potrebbe far risparmiare un calcolo significativo attraverso la prossima generazione di modelli generativi.

I fatti principali

I modelli a diffusione, AR e ibridi possono tutti essere rappresentati come percorsi su un singolo reticolo di corruzione
Il numero minimo di passaggi a costo zero per i dati di Markov equivale al treedepth del grafo — logaritmico rispetto alla lunghezza della sequenza
Le classifiche dei piani possono essere previste prima della decodifica utilizzando un kernel di dipendenza pairwise da pesi preaddestrati
Le previsioni sono state verificate attraverso benchmark di generazione di testo, immagini e video
Il codice è disponibile all'indirizzo https://github.com/TSUITUENYUE/The-Lattice-of-Transition-Laws