AIGenerato
EN · IT · ES

Come i modelli linguistici dimenticano lentamente l'inizio dei loro prompt

Un nuovo teorema spiega perché un certo tipo di modello Transformer, in determinate condizioni, perde gradualmente il filo del suo prompt man mano che genera più testo.

Una mano che scrive vividamente complesse equazioni matematiche sulla lavagna.
Foto di archivio · Foto: https://kaboompics.com/ / Pexels

![]A hand vividly writing complex mathematical equations on a chalkboard.

Come funziona
  1. Scrivi un prompt dettagliato con istruzioni precise
  2. L'AI genera il testo token per token
  3. L'influenza del prompt si affievolisce mentre vengono prodotti più token
  4. La parte successiva dipende più dal testo recente che dall'inizio

Per ricordare è inscritto

Un nuovo articolo di ricerca mostra che i modelli linguistici perdono naturalmente il filo delle loro istruzioni iniziali nel tempo. Lo studio, pubblicato su arXiv da Shuyang Xiang, dà un nome a un comportamento che i ricercatori osservano da tempo: più il modello avanza nella generazione di testo, meno mantiene informazioni dall'inizio del suo prompt.

Il lavoro chiama questo fenomeno "conditional no-hair theorem", prendendo in prestito un termine dalla fisica. In astrofisica, il no-hair theorem dice che i buchi neri possono essere descritti da solo alcune proprietà, perdendo tutti gli altri dettagli su cosa è caduto dentro. Qui l'idea è simile: dato il testo che il modello ha già generato, l'influenza del prompt originale svanisce.

Misurare la velocità con cui i modelli dimenticano

I ricercatori hanno confrontato due prompt diversi seguiti dalla stessa continuazione di testo. Poiché l'output finale era identico, qualsiasi differenza negli stati interni del modello doveva provenire dal prompt stesso. Hanno misurato quanto questa differenza si riducesse man mano che venivano generati più token.

Hanno trovato che il divario tra i due stati interni decade approssimativamente come una legge di potenza — il che significa che si riduce come uno diviso per t elevato a una certa potenza, dove t è il numero di token generati. Una potenza più alta significa un dimenticamento più veloce 1.

I modelli addestrati, come quelli usati nelle applicazioni AI quotidiane, dimenticano relativamente velocemente, con un tasso di decadimento intorno a 0.55-0.7. I modelli non addestrati partono con un tasso molto più lento, intorno a 0.2-0.5, il che significa che trattengono le informazioni del prompt per più tempo. L'articolo dimostra anche un limite matematico su quanto del prompt possa rimanere, a seconda della lunghezza del prompt e della profondità del modello 1. La dimostrazione ha delle condizioni: vale per i transformer di profondità finita di un tipo comune (pre-LN softmax transformers) i cui punteggi di attenzione rimangono limitati, e solo quando le attivazioni che entrano in ogni passo di normalizzazione si mantengono lontane dallo zero . Le misurazioni confrontano due prompt seguiti dalla stessa continuazione, quindi descrivono come la traccia di un prompt svanisce in quel contesto, non tutto ciò che un chatbot tiene traccia in una conversazione.

Perché succede

Il meccanismo è geometrico. Man mano che la finestra di contesto si riempie, l'attenzione diretta che il modello presta al prompt originale si diluisce attraverso una quantità sempre crescente di testo. I token successivi agiscono come corridori di staffetta, passando ciò che hanno raccolto dai token precedenti — ma questa staffetta può solo rallentare il dimenticamento di una piccola quantità logaritmica, non fermarlo del tutto.

Per testare questa idea, il team ha costruito un modello lineare semplificato che può essere risolto esattamente. Ha riprodotto lo stesso decadimento rallentato osservato nelle reti reali non addestrate e ha confermato che il limite matematico non può essere migliorato.

Quando i ricercatori hanno aggiunto un bias logit per annullare l'effetto di diluizione, hanno trovato che il dimenticamento si è rallentato all'inizio dell'addestramento e si è effettivamente invertito dopo ulteriore addestramento. Questo suggerisce che la diluizione è sia necessaria che sufficiente per il dimenticamento che hanno misurato 1.

Ciò che sopravvive si sposta nel testo

L'implicazione chiave è che qualsiasi proprietà del prompt che "sopravvive" — come la lingua in cui è stato scritto — non può rimanere codificata negli stati interni del modello. Deve essere portata avanti dal testo generato stesso.

Nei termini del paper, più un modello di questo tipo scrive, più quello che mantiene del suo prompt deve vivere nel testo che ha già prodotto.

Correzioni e aggiornamenti

  • Corretto il 20 ottobre 2026. Una versione precedente non precisava in quali condizioni il teorema è dimostrato: solo per transformer di profondità finita di un certo tipo (pre-LN softmax transformer) i cui punteggi di attenzione restano limitati, e quando si verifica un'ulteriore condizione sulle loro attivazioni. Affermava anche che il documento spiega perché i testi lunghi deraglino, cosa che il documento non afferma. Le condizioni sono state aggiunte e tale affermazione rimossa.

I fatti principali

  • Nei modelli misurati, le informazioni del prompt svaniscono man mano che vengono generati più token, seguendo approssimativamente una legge di potenza
  • I modelli addestrati dimenticano più velocemente (tasso ~0,55-0,7) di quelli non addestrati (tasso ~0,2-0,5)
  • Il "teorema condizionale no-hair", dimostrato per transformer softmax pre-LN a profondità finita nelle condizioni indicate, afferma che le informazioni del prompt sopravvissute devono essere veicolate dal testo generato
  • Un modello semplificato a relay lineare ha confermato il limite matematico e il comportamento osservato

Fonti

  1. A Conditional No-Hair Theorem for Transformers: How Language Models Forget Their Prompt

Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste

Continua a leggere