AIGenerato
EN · IT · ES

Ricercatori sviluppano un metodo per rendere i grandi modelli linguistici più veloci nelle risposte

Un nuovo approccio di addestramento e inferenza chiamato DScout potrebbe aiutare i sistemi di intelligenza artificiale a generare testo fino a quattro volte più velocemente mantenendo l'accuratezza.

Come funzionaRicercatori sviluppano un metodo per rendere i grandi modelli linguistici più veloci nelle risposteHerald of AI

Rendere l'intelligenza artificiale più veloce: il problema

I grandi modelli linguistici come quelli di Qwen possono ormai produrre risposte impressionanti, ma continuano a generare il testo una parola alla volta. Questo processo, chiamato decoding autoregressivo, può essere lento, specialmente quando gli utenti vogliono risposte rapide.

I ricercatori hanno lavorato a metodi per accelerare tutto ciò. Un approccio è il decoding speculativo, in cui un modello più piccolo propone più parole insieme e il modello più grande verifica se sono corrette. Tuttavia, anche con questi metodi ci sono dei limiti.

Quando un modello più piccolo suggerisce diversi token (parole o parti di parole), il sistema accetta solo una sequenza consecutiva all'inizio. Se un token iniziale è sbagliato, tutti quelli successivi corretti vengono sprecati. Questo significa che avere semplicemente più previsioni non porta sempre a tempi di risposta più veloci.

Un nuovo approccio di fattorizzazione

Il team di ricerca ha introdotto un metodo chiamato DScout. Invece di trattare previsione e verifica come passaggi separati, hanno suddiviso il problema in parti più piccole usando quella che chiamano fattorizzazione.

Per l'addestramento, DScout divide il calcolo della perdita in tre parti: inclusione (se il token verrà accettato), pesatura (quanto è prezioso quel token) e perdita di previsione. Questo aiuta il modello a concentrarsi sui token più probabili da accettare di seguito, invece che su singole previsioni corrette.

Per l'inferenza, hanno diviso il throughput in un rapporto semplice: token accettati per round diviso tempo impiegato per round. Questo ha guidato le scelte sulla profondità del modello e su quanti token proporre insieme.

Risultati attraverso i benchmark

Il metodo è stato testato su sei benchmark diversi utilizzando i modelli Qwen3-4B e Qwen3-8B. I risultati hanno mostrato un aumento medio della velocità di 3,84× su Qwen3-4B e 4,14× su Qwen3-8B rispetto al decoding autoregressivo. Questo ha migliorato il precedente miglior baseline rispettivamente dell'9,1% e del 7,1%.

I ricercatori hanno anche scoperto che selezionare automaticamente la configurazione migliore per ogni carico di lavoro fornisce un'ulteriore accelerazione fino al 9,75% rispetto all'uso di una configurazione fissa.

Il team dietro questo lavoro include ricercatori di varie istituzioni, con il paper presentato su arXiv nell'ottobre 2026. Il paper completo è disponibile online e si prevede che seguiranno il codice e materiali aggiuntivi.

Correzioni e aggiornamenti

  • Corretta in data 23 ottobre 2026. Una versione precedente definiva il decoding autoregressivo in termini di parole; il lavoro riporta la discussione intorno ai token in tutto il testo. Le definizioni sostitutive sono coerenti con come la fonte descrive il decoding speculativo come proposta e verifica a livello di token. Una versione precedente descriveva il terzo componente come "accuratezza di previsione" anziché il termine usato dalla fonte, "loss di previsione". L'affermazione sulla velocità nell'elemento 1 era supportata, poiché il paper riporta fino a un aumento medio della velocità di 4,14× su Qwen3-8B, che la versione originale aveva approssimato a "fino a quattro volte".

I fatti principali

Su Qwen3-4B e Qwen3-8B, DScout gira in media 3,84 volte e 4,14 volte più velocemente del decoding autoregressivo, rispettivamente.

  • Il metodo usa la fattorizzazione per guidare sia le decisioni di addestramento che quelle di inferenza
  • I test su sei benchmark mostrano miglioramenti costanti
  • La selezione automatica della configurazione aggiunge fino al 9,75% di accelerazione aggiuntiva

Fonti

  1. Factorization-Guided Training and Inference for Diffusion-Drafted Speculative Decoding

Ogni fatto di questa notizia viene dalla fonte qui sopra.

Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste

Continua a leggere