AIGenerato
EN · IT · ES

Allenare l'AI sulle immagini fa pensare in modo più spaziale anche quando si danno solo parole

Un nuovo studio mostra che far esercitare i modelli linguistici sulle immagini cambia il modo in cui risolvono enigmi fatti di solo testo, e spiega perché questo conta per gli strumenti di AI che usi ogni giorno.

Come funzionaAllenare l'AI sulle immagini fa pensare in modo più spaziale anche quando si danno solo paroleHerald of AI

Cosa se ne può fare

  • I progettisti di strumenti di AI potrebbero usare questi risultati per costruire assistenti più intelligenti comprendendo come l'addestramento multimodale precedente plasma il comportamento di un modello e dove potrebbe commettere errori strani 1.
  • I ricercatori potrebbero verificare diverse configurazioni multimodali tra famiglie di modelli diversi per vedere se il pensiero modellato dalla visione emerge nel ragionamento puramente testuale 1.
  • Gli ingegneri che lavorano su modelli unitari a doppio percorso come BAGEL o Janus-Pro potrebbero individuare esattamente quale percorso trasporta il pensiero spaziale durante la generazione e regolare il progetto di conseguenza 1.

Cosa hanno fatto i ricercatori

Un team incluso Qi Zhang, Bohan Wang, Qianru Sun e Hanwang Zhang ha pubblicato un articolo sul sito di preprint arXiv l'11 novembre 2026 1. Si sono posti una domanda semplice ma sorprendente: se addestri un'AI su testo e immagini insieme, continuerà a usare quell'esperienza visiva quando qualcuno più tardi le dà solo parole?

Per scoprirlo, hanno testato dieci configurazioni multimodali diverse attraverso sei famiglie di AI differenti, confrontandole con versioni solo testuali corrispondenti degli stessi modelli 1. Hanno usato due tipi di enigmi. Un insieme richiedeva al modello di immaginare scene nello spazio — cose come rotazione mentale, piegare un foglio di carta o immaginare come apparirebbe il mondo attraverso gli occhi di un'altra persona. L'altro era puramente simbolico, come problemi di logica di base risolvibili seguendo regole senza nessuna immagine .

Poi hanno rimosso o bloccato la parte del modello che trasporta il pensiero modellato dalla visione e hanno osservato cosa succedesse alle sue risposte 1.

Cosa è cambiato quando il pensiero basato sulla visione è stato spento

Nel modello Chameleon, che ha circa 7 miliardi di parametri, bloccare quel percorso legato alla visione ha ridotto i punteggi in un test di ragionamento difficile chiamato BIG-Bench Hard (BBH) navigate del 27,6 punti percentuali, mentre ha lasciato quasi invariate le domande su espressioni booleane, migliorandole leggermente del 5,6 punti percentuali 1. Quel divario di 33,2 punti percentuali tra i due compiti è quello che i ricercatori chiamano doppia dissociazione — dimostra che le due abilità abitano in parti diverse del modello .

L'effetto era anche molto specifico: dipendeva dalla direzione del segnale e appariva principalmente in determinati strati della rete 1. Non era causato dal fatto che i compiti fossero semplicemente più difficili, che richiedessero più passaggi di ragionamento o coinvolgessero sequenze più lunghe .

Quando i ricercatori hanno testato modelli più grandi intorno ai 32 miliardi di parametri, l'effetto si è esteso oltre il puro pensiero spaziale per includere anche l'unione di diverse caratteristiche visive come colore e forma 1.

Come gestirlo con diversi design di modelli

Nei modelli speciali a doppio percorso chiamati BAGEL e Janus-Pro, la modellazione visiva era contenuta con discrezione all'interno del percorso di generazione come un vettore monodimensionale sottile, mentre un percorso separato di comprensione memorizzava informazioni spaziali in una forma più ricca ma non era il principale motore delle prestazioni 1. Questo ha aiutato il team a separare ciò che un modello può decodificare da ciò che effettivamente usa per ragionare .

Lo studio suggerisce che l'addestramento multimodale non migliora solo quanto bene un'AI elabora le immagini — ridefinisce permanentemente la geometria del suo ragionamento con sole parole 1. Questo significa che ogni chatbot o strumento assistenziale costruito su queste basi potrebbe portare abitudini visive nascoste plasmate da addestramenti precedenti sulle immagini, indipendentemente dal fatto che riceva o meno testo .

Questa storia segnala una tendenza per fini esclusivamente informativi. Non costituisce consiglio né incoraggiamento a fare alcuna di queste cose.

Quanto è valido

Nel modello Chameleon-7B, rimuovere il percorso di pensiero modellato dalla visione ha causato un calo dell'accuratezza di 27,6 punti percentuali sul compito BBH navigate mentre l'accuratezza su espressioni booleane è rimasta sostanzialmente invariata, migliorando persino leggermente del 5,6 punti percentuali, determinando un divario di 33,2 punti percentuali che i ricercatori chiamano doppia dissociazione 1. Quando testato su modelli più grandi da 32 miliardi di parametri, l'effetto si è esteso dal puro ragionamento spaziale all'inclusione di un'Unione di caratteristiche visive come colore e forma . Lo studio ha coperto dieci configurazioni multimodali attraverso sei famiglie di modelli confrontate con versioni corrispondenti solo testuali, condotte da Qi Zhang, Bohan Wang, Qianru Sun e Hanwang Zhang . Punteggi più alti su BBH navigate indicano una maggiore capacità di ragionamento spaziale, quindi il calo netto dimostra che il pensiero modellato dalla visione gioca un ruolo causale in quei compiti .

I fatti principali

  • Bloccare il pensiero modellato dalla visione nel modello Chameleon 7B ha ridotto l'accuratezza su BBH navigate del 27,6 punti percentuali mentre le espressioni booleane sono migliorate del 5,6 pp
  • L'effetto era specifico per direzione, localizzato negli strati, e non spiegabile con difficoltà del compito o profondità di ragionamento
  • Modelli più grandi da 32B hanno mostrato l'allargamento dell'effetto al legame di attributi visivi non spaziali
  • Nei modelli a doppio percorso BAGEL e Janus-Pro, la modellazione causale della visione si localizza nel percorso di generazione

Fonti

  1. Emergent Vision-Shaped Thinking in Text-Only Reasoning through Multimodal Training

Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste

Continua a leggere