IAGenerado
EN · IT · ES

Entrenar IAs con imágenes las hace pensar más espacialmente aunque solo les des palabras

Un nuevo estudio muestra que dar a los modelos de lenguaje práctica con fotos cambia cómo resuelven acertijos solo con texto —y por qué y cómo esto importa para las herramientas de IA que usas cada día.

Cómo funcionaEntrenar IAs con imágenes las hace pensar más espacialmente aunque solo les des palabrasHerald of AI

Qué puedes hacer con ello

  • Los diseñadores de herramientas de IA podrían usar estos hallazgos para construir asistentes más inteligentes comprendiendo cómo la formación multimodal previa moldea el comportamiento de un modelo y dónde podría cometer errores extraños 1.
  • Los investigadores podrían probar distintas configuraciones multimodales entre familias de modelos para ver si un pensamiento moldeado por la visión emerge en el razonamiento solo con texto 1.
  • Los ingenieros que trabajen en modelos unificados de doble vía como BAGEL o Janus-Pro podrían señalar exactamente qué vía transporta el pensamiento espacial durante la generación y ajustar el diseño en consecuencia 1.

Qué hicieron los investigadores

Un equipo formado por Qi Zhang, Bohan Wang, Qianru Sun y Hanwang Zhang escribió un artículo publicado en el sitio de preimpresión arXiv el 11 de noviembre de 2026 1. Plantearon una pregunta simple pero sorprendente: si entrenas una IA con texto e imágenes, ¿sigue usando esa experiencia visual cuando después alguien le da solo palabras?

Para averiguarlo, probaron diez configuraciones multimodales diferentes entre seis familias de IA distintas, comparándolas con versiones solo con texto de los mismos modelos 1. Usaron dos tipos de pruebas. Un conjunto requería que el modelo imaginara escenas en el espacio —cosas como rotación mental, doblar papel o imaginar cómo se ve una escena desde la perspectiva de otra persona—. El otro conjunto era puramente simbólico, como problemas básicos de lógica que pueden resolverse siguiendo reglas sin necesidad de ninguna imagen .

Luego «ablationaron» o bloquearon la parte del modelo que transporta el pensamiento con forma visual y observaron qué pasó con sus respuestas 1.

Qué cambió cuando se desactivó el pensamiento visual

En el modelo Chameleon, que tiene unos 7 000 millones de parámetros, bloquear esa vía relacionada con la visión redujo los puntajes en una prueba difícil de razonamiento llamada BIG-Bench Hard (BBH) navigate en 27,6 puntos porcentuales, mientras dejó casi sin cambios las preguntas sobre expresiones booleanas, mejorándolas ligeramente en 5,6 puntos porcentuales 1. Esa brecha de 33,2 puntos porcentuales entre ambas tareas es lo que los investigadores llaman una doble disociación —demuestra que las dos habilidades residen en partes distintas del modelo .

El efecto también fue muy específico: dependía de la dirección de la señal y aparecía principalmente en ciertas capas de la red 1. No estaba causado porque las tareas fueran simplemente más difíciles, requirieran más pasos de razonamiento o involucraran secuencias más largas .

Cuando los investigadores probaron modelos más grandes de unos 32 000 millones de parámetros, el efecto se extendió más allá del puro pensamiento espacial para incluir también la unión de distintas características visuales como color y forma 1.

Cómo lo manejaron los distintos diseños de modelo

En los modelos especiales de doble vía llamados BAGEL y Janus-Pro, el pensamiento con forma visual se asentaba ordenadamente dentro de la vía de generación como un soporte fino unidimensional, mientras que una vía separada de comprensión almacenaba información espacial en una forma más rica pero no era la principal impulsora del rendimiento 1. Esto ayudó al equipo a separar lo que un modelo puede decodificar de lo que realmente usa para razonar .

El estudio sugiere que el entrenamiento multimodal no solo mejora cuán bien una IA maneja las imágenes —remolda permanentemente la geometría de cómo razona con solo palabras.1 Eso significa que cada chatbot o herramienta de asistencia construida sobre estas bases puede llevar hábitos visuales ocultos moldeados por la formación temprana con imágenes, tanto si quien se la alimenta de texto pretendiera usarlos como si no .

Este relato informa sobre una tendencia con fines informativos. No constituye asesoramiento ni aliento para hacer nada de ello.

¿Qué tan bueno es?

En el modelo Chameleon-7B, quitar la vía de pensamiento con forma visual hizo que la precisión en la tarea BIG-Bench Hard (BBH) navigate cayera 27,6 puntos porcentuales, mientras la precisión en expresiones booleanas permaneció esencialmente igual, e incluso mejoró ligeramente en 5,6 puntos porcentuales, creando una brecha de 33,2 puntos porcentuales que los investigadores llaman doble disociación 1. Al probarse en modelos más grandes de 32 000 millones de parámetros, el efecto se amplió desde el razonamiento puramente espacial para incluir la unión de características visuales como color y forma . El estudio cubrió diez configuraciones multimodales entre seis familias de modelos comparadas contra sus versiones solo con texto emparejadas, realizado por Qi Zhang, Bohan Wang, Qianru Sun y Hanwang Zhang . Las puntuaciones más altas en BBH navigate indican mayor capacidad de razonamiento espacial, así que la caída pronunciada muestra que el pensamiento con forma visual juega un papel causal en esas tareas .

Los datos clave

  • Bloquear el pensamiento con forma visual en el modelo Chameleon de 7 000 millones de parámetros redujo la precisión en BBH navigate en 27,6 puntos porcentuales, mientras las expresiones booleanas mejoraron 5,6 pp
  • El efecto fue específico de la dirección, localizado por capas, y no explicable por la dificultad de la tarea o la profundidad del razonamiento
  • Los modelos más grandes de 32 000 millones de parámetros mostraron el efecto ampliándose a la vinculación no espacial de atributos visuales
  • En los modelos de doble vía BAGEL y Janus-Pro, la configuración visual causal se localizó en la vía de generación

Fuentes

  1. Emergent Vision-Shaped Thinking in Text-Only Reasoning through Multimodal Training

Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes

Sigue leyendo

Un fotograma del vídeo de anuncio.Cómo funcionaInvestigadores de Microsoft resuelven un problema matemático de 31 años y hacen que los agentes de código con IA reduzcan costos en una cuarta parteHerald of AI▶

Investigadores de Microsoft resuelven un problema matemático de 31 años y hacen que los agentes de código con IA reduzcan costos en una cuarta parte

Un rompecabezas matemático de décadas se resuelve por fin, y un nuevo método ayuda a las herramientas de codificación con IA a ahorrar dinero sin perder velocidad.

Cómo funciona