Un solo bloque Transformer puede hacer el trabajo de muchas capas
Un nuevo enfoque permite que un único bloque de Vision Transformer se repita a diferentes "profundidades", igualando a modelos más grandes mientras usa muchos menos parámetros.

Un programa que analiza imágenes usando una sola unidad de procesamiento que se repite en lugar de muchas capas diferentes, haciéndolo mucho más pequeño.
- Dale una foto para analizar
- Un bloque se ejecuta una y otra vez
- Combina sus partes de forma distinta en cada iteración.
- Obtienes el resultado rápidamente
¿Apilar bloques o reciclarlos?
La mayoría de los vision transformers modernos —redes neuronales que procesan imágenes— funcionan como una línea de ensamblaje. Una imagen pasa a través de una pila de muchos bloques transformer, cada uno refinando las características de la imagen 1. Los Vision Transformers (ViT) estándar suelen usar docenas de estos bloques, y cada bloque almacena su propio conjunto separado de pesos. Esto funciona bien para la precisión, pero cuesta mucha memoria.
Los investigadores Adrian Bulat, Yassine Ouali y Georgios Tzimiropoulos se hicieron una pregunta más simple: ¿qué pasaría si no necesitaras docenas de bloques únicos? ¿Y si un solo bloque, repetido una y otra vez, pudiera hacer el mismo trabajo?
Un bloque, muchas personalidades
Su respuesta es un sistema que llaman reViT —un Vision Transformer recurrente con expertos programados por profundidad. En lugar de darle a cada capa su propia FFN (feed-forward network, la parte de un transformer que procesa información) exclusiva, reViT comparte un pequeño banco de FFN de expertos y los mezcla de manera diferente en cada repetición 1.
Piensa en ello como un chef que tiene un conjunto limitado de ingredientes base pero crea platos completamente distintos dependiendo de la cantidad de cada ingrediente que use. Un número continuo de "profundidad normalizada" le indica al modelo exactamente cómo mezclar los expertos en cualquier paso dado, trazando un camino suave a través de los parámetros del modelo mientras se ejecuta 1.
Más pequeño pero aún fuerte
Los resultados son llamativos. Cuando se entrenó desde cero en ImageNet-1k, un modelo reViT-B/16 alcanzó la misma precisión que DeiT III pero almacena aproximadamente un 70% menos de parámetros 1. Eso significa un modelo mucho más pequeño que aún rinde al nivel de uno mucho más grande.
Cuando los investigadores destilaron conocimiento de un modelo maestro grande llamado DINOv2 usando solo características de salida, una versión de 8 expertos de reViT conservó casi toda la precisión del maestro en pruebas de linear probe —lo que significa que puedes entrenar fácilmente un clasificador simple sobre sus características aprendidas 1. Este modelo destilado también se transfirió bien a otras tareas como segmentación de imágenes y predicción de profundidad.
Un modelo, cualquier profundidad que necesites
Quizás la característica más práctica es algo que el equipo llama entrenamiento de profundidad elástica. Debido a que el modelo aprende una trayectoria continua a través de las mezclas de sus expertos, un único checkpoint guardado puede ejecutarse a múltiples profundidades distintas simplemente muestreando a lo largo de la misma trayectoria 1. Obtienes un modelo que puede intercambiar flexibilidad e inmediatez por precisión.
Para situaciones donde necesitas rendimiento fijo, el bloque recurrente también puede "desenrollarse" en un gráfico estático tradicional, eliminando la necesidad de mezcla en tiempo real mientras mantiene el mismo costo computacional por paso 1.
El trabajo se publicó en arXiv en octubre de 2026 y representa un cambio hacia arquitecturas visuales más eficientes que reconsideran cuánto pueden lograr la repetición y la reutilización de parámetros 3.
Los datos clave
- Un solo bloque transformer recurrente puede igualar la precisión de un codificador visual de profundidad completa
- reViT-B/16 logra la precisión de DeiT III con aproximadamente un 70% menos de parámetros almacenados
- Un modelo destilado de 8 expertos retiene casi toda la precisión de su maestro DINOv2
- El entrenamiento de profundidad elástica permite que un checkpoint opere a múltiples profundidades
- La fusión en el espacio de pesos fue identificada como el enfoque más fuerte de Mixture of Experts probado
Fuentes
Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes
Sigue leyendo
Cómo funcionaCómo Meta triplica la productividad de ingeniería usando agentes para propagar técnicas de modelos publicitariosHerald of AI
Cómo Meta triplica la productividad de ingeniería usando agentes para propagar técnicas de modelos publicitarios
El nuevo sistema de agentes de IA de Meta adapta pequeñas mejoras en miles de modelos publicitarios de forma automática, ahorrando millones en costos de computación.
Cómo funcionaUn modelo grande de inteligencia artificial aprendió a reparar su propio cerebro sin necesidad de volver a entrenarseHerald of AI
Un modelo grande de inteligencia artificial aprendió a reparar su propio cerebro sin necesidad de volver a entrenarse
Los investigadores descubrieron que un modelo de 27 mil millones de parámetros puede editar sus propios ajustes internos para volverse más preciso; no se necesita un maestro humano.
Cómo funcionaLos bots de compras con IA ganan confianza al pedirles que piensen más, pero no son más inteligentesHerald of AIDeni Williams from São Paulo, Brasil / Brazil, CC BY 2.0, via Wikimedia Commons
Los bots de compras con IA ganan confianza al pedirles que piensen más, pero no son más inteligentes
Un nuevo estudio muestra que hacer que los asistentes de IA razonen más tiempo antes de sugerir productos solo los hace sonar seguros de sí mismos, no realmente más acertados.