AIGenerato
EN · IT · ES

Qwen3-1,7B mappa migliaia di conversazioni in cluster visivi

Un atlante interattivo mostra come lo stesso argomento appaia diverso all'interno del modello a seconda della lingua utilizzata.

Cosa si può fare con questo strumento

  • Un ricercatore potrebbe seguire migliaia di conversazioni all'interno di un piccolo modello linguistico per vedere visivamente come le idee viaggino attraverso le sue rappresentazioni interne 1.
  • Chiunque utilizzi strumenti di chat con AI potrebbe esaminare una mappa interattiva e osservare che la stessa domanda occupa una regione diversa all'interno del modello a seconda della lingua con cui viene posta 1.

Dentro la scatola nera

Qwen3, un modello di AI open-source cinese sviluppato da Alibaba, non è mai stato semplice da osservare dall'interno. Ogni volta che si digita un messaggio, il modello attraversa strati di matematica di cui la maggior parte delle persone sente parlare solo nei paper tecnici 1. Una nuova mappa interattiva permette ora ai visitatori di seguire migliaia di conversazioni all'interno di una piccola versione del modello, chiamata Qwen3-1.7B, che contiene 1,7 miliardi di parametri .

Ogni token — una parola, una parte di parola o un segno di punteggiatura — inizia come una riga in una tabella di embedding, un elenco appreso di numeri 1. Quella riga è solo un punto di partenza . Man mano che il modello legge più avanti, il flusso residuo, il suo spazio di lavoro centrale condiviso, continua ad aggiungere nuovi numeri in ogni posizione . In Qwen3-1,7B ogni posizione trasporta un vettore di 2,048 numeri . Definire quei numeri la "mente" del modello è una metafora; i numeri sono reali e misurabili .

Il foglio inglese

Il progetto è iniziato con 900 coppie di domande e risposte in inglese distribuite su 100 argomenti quotidiani 1. Per ciascuna coppia l'autore ha registrato lo stato finale in ogni posizione di token, per poi appiattire tutti quei vettori insieme ai 151.936 embedding di input in un unico spazio di componenti principali . Il risultato mostra una nuvola arancione per ogni token del vocabolario e centinaia di linee colorate che tracciano ciascuna conversazione in ordine testuale .

Ruotando la vista, le linee inglesi collassano quasi interamente in un piano 1. Un piano di best-fit contiene circa il 99,3% della variazione nella proiezione 3D . Questo non significa che il modello pensi in modo semplice; significa che il campione particolare dei 100 argomenti, proiettato su tre assi, occupa una fetta sottile dell'intero spazio 2.048-dimensionale . Collegare gli stati dei token successivi in ordine di lettura traccia ciascun percorso .

La lingua cambia il vicinato

Aggiungendo le versioni cinesi degli stessi argomenti sono apparsi percorsi rosa che si collocavano visibilmente accanto a, ma spostati rispetto, quelli blu inglesi 1. Entrambi i set utilizzano lo stesso quadro globale fisso della PCA; le risposte sono state generate in modo indipendente dal modello piuttosto che copiate come traduzioni . Separandole, possiamo vedere in pratica un concetto astratto: il modello conserva sia ciò di cui si parla sia la lingua utilizzata per quella discussione codificate all'interno dei suoi vettori.

Tedesco e croato sono stati poi introdotti come ulteriori confronti 1. L'esperimento stesso non riesce a distinguere se il cambiamento derivi dal sistema di scrittura, dal vocabolario, dalla grammatica, dalla tokenizzazione o dal modo in cui le domande sono formulate . L'autore nota che aspettarsi che una rappresentazione porti un significato puro, completamente distaccato dalle parole usate per esprimerlo, possa essere stata l'ipotesi sbagliata fin dall'inizio . Già ruotando la tabella di embedding si rivelano gruppi tra i punti grezzi del vocabolario prima che inizi qualsiasi conversazione .

Correzioni e aggiornamenti

  • Corretto il 15 novembre 2026. Una versione precedente sosteneva che l'atlante mappasse 1.500+ percorsi; la fonte dice invece migliaia senza dare quel numero specifico. Una versione precedente omitteva inoltre la tokenizzazione dall'elenco dei fattori indistinguibili; la fonte la include esplicitamente insieme a sistema di scrittura, vocabolario, formulazione e qualità delle risposte.

I fatti principali

  • Mappa migliaia di percorsi di conversazione attraverso Qwen3-1,7B utilizzando vettori del flusso residuo 1
  • Domande e risposte in inglese su 100 argomenti collassano su un piano che contiene ~99,3% della variazione 1
  • Le risposte in cinese appaiono in una regione vicina e separata da quelle inglesi 1
  • Il modello utilizza vettori da 2.048 numeri per ogni posizione di token nel flusso residuo 1
  • L'atlante interattivo confronta traiettorie in inglese, cinese, tedesco e croato 1

Fonti

  1. What thousands of conversations look like inside a language model — operator0x.com

Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste

Continua a leggere

TokenGate fa leggere ai modelli di intelligenza artificiale documenti lunghi fino a 11 volte più velocemente, esaminando in fretta le parti meno importanti

Una nuova tecnica aperta consente all'intelligenza artificiale di saltare i testi irrilevanti durante l'elaborazione di input lunghi, riducendo i tempi di attesa e l'uso della memoria su modelli come Qwen3 senza perdere precisione.

Come funziona