Un solo bloque Transformer puede hacer el trabajo de muchas capas
Un nuevo enfoque permite que un único bloque de Vision Transformer se repita a diferentes "profundidades", igualando a modelos más grandes mientras usa muchos menos parámetros.
¿Apilar bloques o reciclarlos?
La mayoría de los vision transformers modernos —redes neuronales que procesan imágenes— funcionan como una línea de ensamblaje. Una imagen pasa a través de una pila de muchos bloques transformer, cada uno refinando las características de la imagen 1. Los Vision Transformers (ViT) estándar suelen usar docenas de estos bloques, y cada bloque almacena su propio conjunto separado de pesos. Esto funciona bien para la precisión, pero cuesta mucha memoria.
Los investigadores Adrian Bulat, Yassine Ouali y Georgios Tzimiropoulos se hicieron una pregunta más simple: ¿qué pasaría si no necesitaras docenas de bloques únicos? ¿Y si un solo bloque, repetido una y otra vez, pudiera hacer el mismo trabajo?
Un bloque, muchas personalidades
Su respuesta es un sistema que llaman reViT —un Vision Transformer recurrente con expertos programados por profundidad. En lugar de darle a cada capa su propia FFN (feed-forward network, la parte de un transformer que procesa información) exclusiva, reViT comparte un pequeño banco de FFN de expertos y los mezcla de manera diferente en cada repetición 1.
Piensa en ello como un chef que tiene un conjunto limitado de ingredientes base pero crea platos completamente distintos dependiendo de la cantidad de cada ingrediente que use. Un número continuo de "profundidad normalizada" le indica al modelo exactamente cómo mezclar los expertos en cualquier paso dado, trazando un camino suave a través de los parámetros del modelo mientras se ejecuta 1.
Más pequeño pero aún fuerte
Los resultados son llamativos. Cuando se entrenó desde cero en ImageNet-1k, un modelo reViT-B/16 alcanzó la misma precisión que DeiT III pero almacena aproximadamente un 70% menos de parámetros 1. Eso significa un modelo mucho más pequeño que aún rinde al nivel de uno mucho más grande.
Cuando los investigadores destilaron conocimiento de un modelo maestro grande llamado DINOv2 usando solo características de salida, una versión de 8 expertos de reViT conservó casi toda la precisión del maestro en pruebas de linear probe —lo que significa que puedes entrenar fácilmente un clasificador simple sobre sus características aprendidas 1. Este modelo destilado también se transfirió bien a otras tareas como segmentación de imágenes y predicción de profundidad.
Un modelo, cualquier profundidad que necesites
Quizás la característica más práctica es algo que el equipo llama entrenamiento de profundidad elástica. Debido a que el modelo aprende una trayectoria continua a través de las mezclas de sus expertos, un único checkpoint guardado puede ejecutarse a múltiples profundidades distintas simplemente muestreando a lo largo de la misma trayectoria 1. Obtienes un modelo que puede intercambiar flexible e inmediatamente velocidad por precisión.
Para situaciones donde necesitas rendimiento fijo, el bloque recurrente también puede "desenrollarse" en un gráfico estático tradicional, eliminando la necesidad de mezcla en tiempo real mientras mantiene el mismo costo computacional por paso 1.
El trabajo se publicó en arXiv en octubre de 2026 y representa un cambio hacia arquitecturas visuales más eficientes que reconsideran cuánto pueden lograr la repetición y la reutilización de parámetros 3.
Los datos clave
- Un solo bloque transformer recurrente puede igualar la precisión de un codificador visual de profundidad completa
- reViT-B/16 logra la precisión de DeiT III con aproximadamente un 70% menos de parámetros almacenados
- Un modelo destilado de 8 expertos retiene casi toda la precisión de su maestro DINOv2
- El entrenamiento de profundidad elástica permite que un checkpoint opere a múltiples profundidades
- La fusión en el espacio de pesos fue identificada como el enfoque más fuerte de Mixture of Experts probado