Un solo blocco Transformer può fare il lavoro di molti strati
Un nuovo approccio permette a un singolo blocco Vision Transformer di essere ripetuto a diverse "profondità", eguagliando i modelli più grandi pur utilizzando molti meno parametri.

Un programma che analizza le immagini usando un unico blocco di elaborazione ripetuto al posto di tanti strati diversi, rendendolo molto più piccolo.
- Dagli un'immagine da analizzare
- Un blocco gira e rigira
- Mescola le sue parti in modo diverso ogni volta
- Ottieni il risultato in fretta
Impilare blocchi o riutilizzarli?
La maggior parte dei moderni transformer per visione — reti neurali che elaborano immagini — funziona come una catena di montaggio. Un'immagine passa attraverso uno stack di molti blocchi transformer, ognuno dei quali affina le caratteristiche dell'immagine 1. I Vision Transformer standard (ViT) utilizzano tipicamente decine di questi blocchi, e ogni blocco memorizza il proprio set separato di pesi. Questo funziona bene per la precisione, ma richiede molta memoria.
I ricercatori Adrian Bulat, Yassine Ouali e Georgios Tzimiropoulos hanno posto una domanda più semplice: e se non avessero affatto bisogno di decine di blocchi diversi? E se un unico blocco, ripetuto più e più volte, potesse fare lo stesso lavoro?
Un blocco, tante personalità
La loro risposta è un sistema che chiamano reViT — un Vision Transformer ricorrente con esperti a profondità programmabile. Invece di dare a ogni strato il proprio FFN (feed-forward network, la parte di un transformer che elabora le informazioni) specializzato, reViT condivide un piccolo banco di FFN esperti e li mescola in modo diverso a ogni ripetizione 1.
Pensatelo come uno chef che ha un insieme limitato di ingredienti base ma crea piatti completamente diversi a seconda di quanto di ciascuno utilizza. Un numero continuo di "profondità normalizzata" dice al modello esattamente come mescolare gli esperti in qualsiasi passaggio, tracciando un percorso fluido attraverso i parametri del modello mentre esegue 1.
Più piccolo ma comunque potente
I risultati sono sorprendenti. Quando addestrato da zero su ImageNet-1k, un modello reViT-B/16 raggiunge la stessa precisione di DeiT III ma memorizza circa il 70% in meno di parametri 1. Questo significa un modello molto più piccolo che presta ancora al livello di uno molto più grande.
Quando i ricercatori hanno estratto le conoscenze da un grande modello insegnante chiamato DINOv2 usando solo le caratteristiche di output, una versione a 8 esperti di reViT ha mantenuto quasi tutta la precisione dell'insegnante nei test linear-probe — il che significa che puoi facilmente addestrare un classificatore semplice sopra le sue caratteristiche apprese 1. Anche questo modello distillato si è dimostrato valido per altri compiti come la segmentazione delle immagini e la previsione della profondità.
Un modello, la profondità che serve
Forse la funzionalità più pratica è qualcosa che il team chiama addestramento elastic-depth. Poiché il modello impara un percorso continuo attraverso le miscele dei suoi esperti, un singolo checkpoint salvato può essere eseguito a diverse profondità semplicemente campionando lungo lo stesso percorso 1. Si ottiene un modello unico che può scambiare flessibilmente velocità e precisione al volo.
Per situazioni in cui serve una prestazione fissa, il blocco ricorrente può anche essere "srotolato" in un grafo statico tradizionale, eliminando la necessità di mescolare in tempo reale pur mantenendo lo stesso costo computazionale per passaggio 1.
Il lavoro è stato pubblicato su arXiv nell'ottobre 2026 e rappresenta un cambiamento verso architetture per visione più efficienti che riesaminano quanto possano realizzare ripetizione e riutilizzo dei parametri 3.
I fatti principali
- Un singolo blocco transformer ricorrente può eguagliare la precisione di un codificatore per visione a profondità completa
- reViT-B/16 raggiunge la precisione di DeiT III con circa il 70% in meno di parametri memorizzati
- Un modello distillato a 8 esperti mantiene quasi tutta la precisione del suo insegnante DINOv2
- L'addestramento elastic-depth permette a un singolo checkpoint di funzionare a più profondità
- La fusione nello spazio dei pesi è stata identificata come l'approccio Mixture of Experts più solido tra quelli testati
Fonti
Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste
Continua a leggere
Come funzionaCome Meta triplica la produttività ingegneristica grazie agli agenti per distribuire le tecniche dei modelli di annunciHerald of AI
Come Meta triplica la produttività ingegneristica grazie agli agenti per distribuire le tecniche dei modelli di annunci
Il nuovo sistema di agenti AI di Meta adatta automaticamente piccoli miglioramenti attraverso migliaia di modelli pubblicitari, risparmiando milioni nei costi di calcolo.
Come funzionaUn modello di AI grande ha imparato a riparare il proprio cervello senza essere riaddestratoHerald of AI
Un modello di AI grande ha imparato a riparare il proprio cervello senza essere riaddestrato
I ricercatori hanno scoperto che un modello da 27 miliardi di parametri può modificare i propri parametri interni per diventare più preciso: senza bisogno di un insegnante umano.
Come funzionaI bot per gli acquisti con l'AI diventano più sicuri di sé quando chiedono di pensare di più — ma non più intelligentiHerald of AIDeni Williams from São Paulo, Brasil / Brazil, CC BY 2.0, via Wikimedia Commons
I bot per gli acquisti con l'AI diventano più sicuri di sé quando chiedono di pensare di più — ma non più intelligenti
Un nuovo studio dimostra che chiedere agli assistenti con l'AI di ragionare più a lungo prima di suggerire prodotti li rende solo più sicuri di sé, non effettivamente più corretti.