IAGenerado
EN · IT · ES

Un solo bloque Transformer puede hacer el trabajo de muchas capas

Un nuevo enfoque permite que un único bloque de Vision Transformer se repita a diferentes "profundidades", igualando a modelos más grandes mientras usa muchos menos parámetros.

Laptop mostrando código con reflejo, perfecto para temas de tecnología y programación.
Foto de archivo · Foto: Christina Morillo / Pexels
Cómo funciona

Un programa que analiza imágenes usando una sola unidad de procesamiento que se repite en lugar de muchas capas diferentes, haciéndolo mucho más pequeño.

  1. Dale una foto para analizar
  2. Un bloque se ejecuta una y otra vez
  3. Combina sus partes de forma distinta en cada iteración.
  4. Obtienes el resultado rápidamente

¿Apilar bloques o reciclarlos?

La mayoría de los vision transformers modernos —redes neuronales que procesan imágenes— funcionan como una línea de ensamblaje. Una imagen pasa a través de una pila de muchos bloques transformer, cada uno refinando las características de la imagen 1. Los Vision Transformers (ViT) estándar suelen usar docenas de estos bloques, y cada bloque almacena su propio conjunto separado de pesos. Esto funciona bien para la precisión, pero cuesta mucha memoria.

Los investigadores Adrian Bulat, Yassine Ouali y Georgios Tzimiropoulos se hicieron una pregunta más simple: ¿qué pasaría si no necesitaras docenas de bloques únicos? ¿Y si un solo bloque, repetido una y otra vez, pudiera hacer el mismo trabajo?

Un bloque, muchas personalidades

Su respuesta es un sistema que llaman reViT —un Vision Transformer recurrente con expertos programados por profundidad. En lugar de darle a cada capa su propia FFN (feed-forward network, la parte de un transformer que procesa información) exclusiva, reViT comparte un pequeño banco de FFN de expertos y los mezcla de manera diferente en cada repetición 1.

Piensa en ello como un chef que tiene un conjunto limitado de ingredientes base pero crea platos completamente distintos dependiendo de la cantidad de cada ingrediente que use. Un número continuo de "profundidad normalizada" le indica al modelo exactamente cómo mezclar los expertos en cualquier paso dado, trazando un camino suave a través de los parámetros del modelo mientras se ejecuta 1.

Más pequeño pero aún fuerte

Los resultados son llamativos. Cuando se entrenó desde cero en ImageNet-1k, un modelo reViT-B/16 alcanzó la misma precisión que DeiT III pero almacena aproximadamente un 70% menos de parámetros 1. Eso significa un modelo mucho más pequeño que aún rinde al nivel de uno mucho más grande.

Cuando los investigadores destilaron conocimiento de un modelo maestro grande llamado DINOv2 usando solo características de salida, una versión de 8 expertos de reViT conservó casi toda la precisión del maestro en pruebas de linear probe —lo que significa que puedes entrenar fácilmente un clasificador simple sobre sus características aprendidas 1. Este modelo destilado también se transfirió bien a otras tareas como segmentación de imágenes y predicción de profundidad.

Un modelo, cualquier profundidad que necesites

Quizás la característica más práctica es algo que el equipo llama entrenamiento de profundidad elástica. Debido a que el modelo aprende una trayectoria continua a través de las mezclas de sus expertos, un único checkpoint guardado puede ejecutarse a múltiples profundidades distintas simplemente muestreando a lo largo de la misma trayectoria 1. Obtienes un modelo que puede intercambiar flexibilidad e inmediatez por precisión.

Para situaciones donde necesitas rendimiento fijo, el bloque recurrente también puede "desenrollarse" en un gráfico estático tradicional, eliminando la necesidad de mezcla en tiempo real mientras mantiene el mismo costo computacional por paso 1.

El trabajo se publicó en arXiv en octubre de 2026 y representa un cambio hacia arquitecturas visuales más eficientes que reconsideran cuánto pueden lograr la repetición y la reutilización de parámetros 3.

Los datos clave

  • Un solo bloque transformer recurrente puede igualar la precisión de un codificador visual de profundidad completa
  • reViT-B/16 logra la precisión de DeiT III con aproximadamente un 70% menos de parámetros almacenados
  • Un modelo destilado de 8 expertos retiene casi toda la precisión de su maestro DINOv2
  • El entrenamiento de profundidad elástica permite que un checkpoint opere a múltiples profundidades
  • La fusión en el espacio de pesos fue identificada como el enfoque más fuerte de Mixture of Experts probado

Fuentes

  1. Paper page - One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts
  2. One Block, Multiple Depths: Recurrent Vision Transformers with Depth ...
  3. 2610.12448 One Block, Multiple Depths: Recurrent Vision Transformers ...

Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes

Sigue leyendo