AIGenerato
EN · IT · ES

Un nuovo metodo di attenzione accelera i modelli AI con scorciatoie matematiche

Un articolo presenta DoSA, che trova i token più importanti più velocemente usando limiti invece di calcoli completi.

Una figura dal paper "DoSA: Dots Sparse Attention".
Figure: Meng et al., arXiv:2610.13990, CC BY 4.0 (licenza)
Come funziona

Una tecnica che rende i modelli linguistici dell'AI più veloci saltando i calcoli inutili.

  1. Valuta prima alcuni token
  2. Salta i token poco probabili con il calcolo
  3. Valuta con precisione i token rimasti

Il problema dell'attenzione sparsa

I modelli AI moderni utilizzano un meccanismo di attention — un processo che aiuta il modello a decidere quali parti del testo precedente sono più importanti quando genera ogni nuova parola. Nei grandi modelli linguistici, questo passaggio di attention è uno dei più lenti durante l'esecuzione del modello, soprattutto con input lunghi.

I metodi di Sparse attention provano a risolvere questo problema calcolando l'attention solo per un piccolo sottoinsieme di token — chiamati keys — invece di tutti. Ma anche questi metodi efficienti richiedono comunque di valutare ogni key contro ogni indexer head prima di scegliere i candidati migliori, il che rallenta le cose.

Come funziona DoSA

Un nuovo metodo chiamato DoSA, ovvero Dots Sparse Attention, adotta un approccio diverso. Invece di valutare tutto completamente, utilizza limitanti matematici per capire quali token meritano probabilmente un'occhiata più da vicino — e quali possono essere scartati con certezza.

L'idea è che selezionare i top K token non richieda sempre di conoscere il punteggio esatto di ogni candidato. Un insieme seed di token già valutati fornisce un limite inferiore alla soglia vincente. Poi, due tipi di bounds aiutano a escludere i token senza computazione completa:

  • Le head projections non negative e i joint residual bounds mostrano il contributo positivo massimo che un token potrebbe avere.
  • I bounds di aggregazione basati sull'attivazione mostrano quanto un head negativo potrebbe sottrarre.

Insieme, questi bounds creano un certificato che indica solo i token ancora eleggibili per la valutazione completa. Il filtering a punteggio esatto riduce ulteriormente il lavoro necessario per ottenere i risultati e fare le scelte finali.

Risultati

I test sono stati eseguiti su GPU in compiti di inglese, cinese e coding. DoSA ha accelerato l'indexer completo fino a 2,74 volte rispetto a SGLang e 1,69 volte rispetto a LiteTopK 1.

Le valutazioni end-to-end su GLM-5.2 e DeepSeek-V3.2 hanno registrato uno speedup nel time-to-first-token fino a 1,94x e 1,50x rispetto alle due linee di base, rispettivamente 1.

Perché è importante

Un'inferenza più veloce significa che i modelli AI possono rispondere più rapidamente e funzionare su hardware meno potente. Questo è specialmente importante per applicazioni che richiedono bassa latenza, come chatbot in tempo reale o dispositivi con risorse di calcolo limitate. Riducendo la quantità di calcoli necessaria nella sparse attention — uno dei passaggi più pesanti in termini di computazione — DoSA rende più semplice l’esecuzione efficiente di modelli di grandi dimensioni.

Il paper include anche un'analisi di come geometria e margini di selezione influenzino le prestazioni, offrendo spunti su quando e perché il metodo funziona meglio.

Il lavoro è stato pubblicato su arXiv da Fanxu Meng e Taosong Fang a settembre 2026 1.

Correzioni e aggiornamenti

  • Corretto il 20 ottobre 2026. Una versione precedente di questa storia includeva dettagli non confermati dalle fonti. Sono stati corretti o rimossi.

I fatti principali

  • DoSA utilizza bound matematici per saltare la valutazione completa di token irrilevanti nella sparse attention
  • I test su GPU hanno mostrato uno speedup dell'indexer fino a 2,74x su SGLang e 1,69x su LiteTopK
  • È stato riportato uno speedup end-to-end di 1,94x (GLM-5.2) e 1,50x (DeepSeek-V3.2)
  • Il metodo è lossless, il che significa che preserva la selezione esatta dei token
  • I test hanno coperto carichi di lavoro in inglese, cinese e coding

Fonti

  1. DoSA: Dots Sparse Attention

Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste

Continua a leggere