Un solo blocco Transformer può fare il lavoro di molti strati

Impilare blocchi o riciclarli?

La maggior parte dei moderni transformer per visione — reti neurali che elaborano immagini — funziona come una catena di montaggio. Un'immagine passa attraverso uno stack di molti blocchi transformer, ognuno dei quali rifinisce le caratteristiche dell'immagine ¹. I Vision Transformer standard (ViT) utilizzano tipicamente decine di questi blocchi, e ogni blocco memorizza il proprio set separato di pesi. Questo funziona bene per la precisione, ma costa molta memoria.

I ricercatori Adrian Bulat, Yassine Ouali e Georgios Tzimiropoulos hanno posto una domanda più semplice: e se non avessero affatto bisogno di decine di blocchi unici? E se un unico blocco, ripetuto più e più volte, potesse fare lo stesso lavoro?

Un blocco, tante personalità

La loro risposta è un sistema che chiamano reViT — un Vision Transformer ricorrente con esperti a profondità programmabile. Invece di dare a ogni strato il proprio FFN (feed-forward network, la parte di un transformer che elabora le informazioni) esclusivo, reViT condivide un piccolo banco di FFN esperti e li mescola in modo diverso a ogni ripetizione ¹.

Pensatelo come uno chef che ha un insieme limitato di ingredienti base ma crea piatti completamente diversi a seconda di quanto di ciascuno utilizza. Un numero continuo di "profondità normalizzata" dice al modello esattamente come mescolare gli esperti in qualsiasi passaggio, tracciando un percorso fluido attraverso i parametri del modello mentre esegue ¹.

Più piccolo ma comunque potente

I risultati sono sorprendenti. Quando addestrato da zero su ImageNet-1k, un modello reViT-B/16 raggiunge la stessa precisione di DeiT III ma memorizza circa il 70% in meno di parametri ¹. Questo significa un modello molto più piccolo che presta ancora al livello di uno molto più grande.

Quando i ricercatori hanno estratto le conoscenze da un grande modello insegnante chiamato DINOv2 usando solo le caratteristiche di output, una versione a 8 esperti di reViT ha mantenuto quasi tutta la precisione dell'insegnante nei test linear-probe — il che significa che puoi facilmente addestrare un classificatore semplice sopra le sue caratteristiche apprese ¹. Anche questo modello distillato si è dimostrato valido per altri compiti come la segmentazione delle immagini e la previsione della profondità.

Un modello, la profondità che serve

Forse la funzionalità più pratica è qualcosa che il team chiama addestramento elastic-depth. Poiché il modello impara un percorso continuo attraverso le miscele dei suoi esperti, un singolo checkpoint salvato può essere eseguito a diverse profondità semplicemente campionando lungo lo stesso percorso ¹. Si ottiene un modello unico che può scambiare flessibilmente velocità e precisione al volo.

Per situazioni in cui serve una prestazione fissa, il blocco ricorrente può anche essere "srotolato" in un grafo statico tradizionale, eliminando la necessità di mescolare in tempo reale pur mantenendo lo stesso costo computazionale per passaggio ¹.

Il lavoro è stato pubblicato su arXiv nell'ottobre 2026 e rappresenta un cambiamento verso architetture per visione più efficienti che riesaminano quanto possano realizzare ripetizione e riutilizzo dei parametri ³.

I fatti principali

Un singolo blocco transformer ricorrente può eguagliare la precisione di un codificatore per visione a profondità completa
reViT-B/16 raggiunge la precisione di DeiT III con circa il 70% in meno di parametri memorizzati
Un modello distillato a 8 esperti mantiene quasi tutta la precisione del suo insegnante DINOv2
L'addestramento elastic-depth permette a un singolo checkpoint di funzionare a più profondità
La fusione nello spazio dei pesi è stata identificata come l'approccio Mixture of Experts più solido tra quelli testati