Come i modelli linguistici dimenticano lentamente l'inizio dei loro prompt

![]A hand vividly writing complex mathematical equations on a chalkboard.

Per ricordare è inscritto

Un nuovo articolo di ricerca mostra che i modelli linguistici perdono naturalmente il filo delle loro istruzioni iniziali nel tempo. Lo studio, pubblicato su arXiv da Shuyang Xiang, dà un nome a un comportamento che i ricercatori osservano da tempo: più il modello avanza nella generazione di testo, meno mantiene informazioni dall'inizio del suo prompt.

Il lavoro chiama questo fenomeno "conditional no-hair theorem", prendendo in prestito un termine dalla fisica. In astrofisica, il no-hair theorem dice che i buchi neri possono essere descritti da solo alcune proprietà, perdendo tutti gli altri dettagli su cosa è caduto dentro. Qui l'idea è simile: dato il testo che il modello ha già generato, l'influenza del prompt originale svanisce.

Misurare la velocità con cui i modelli dimenticano

I ricercatori hanno confrontato due prompt diversi seguiti dalla stessa continuazione di testo. Poiché l'output finale era identico, qualsiasi differenza negli stati interni del modello doveva provenire dal prompt stesso. Hanno misurato quanto questa differenza si riducesse man mano che venivano generati più token.

Hanno trovato che il divario tra i due stati interni decade approssimativamente come una legge di potenza — il che significa che si riduce come uno diviso per t elevato a una certa potenza, dove t è il numero di token generati. Una potenza più alta significa un dimenticamento più veloce ¹.

I modelli addestrati, come quelli usati nelle applicazioni AI quotidiane, dimenticano relativamente velocemente, con un tasso di decadimento intorno a 0.55-0.7. I modelli non addestrati partono con un tasso molto più lento, intorno a 0.2-0.5, il che significa che trattengono le informazioni del prompt per più tempo. L'articolo dimostra anche un limite matematico su quanto del prompt possa rimanere, a seconda della lunghezza del prompt e della profondità del modello ¹. La dimostrazione ha delle condizioni: vale per i transformer di profondità finita di un tipo comune (pre-LN softmax transformers) i cui punteggi di attenzione rimangono limitati, e solo quando le attivazioni che entrano in ogni passo di normalizzazione si mantengono lontane dallo zero . Le misurazioni confrontano due prompt seguiti dalla stessa continuazione, quindi descrivono come la traccia di un prompt svanisce in quel contesto, non tutto ciò che un chatbot tiene traccia in una conversazione.

Perché succede

Il meccanismo è geometrico. Man mano che la finestra di contesto si riempie, l'attenzione diretta che il modello presta al prompt originale si diluisce attraverso una quantità sempre crescente di testo. I token successivi agiscono come corridori di staffetta, passando ciò che hanno raccolto dai token precedenti — ma questa staffetta può solo rallentare il dimenticamento di una piccola quantità logaritmica, non fermarlo del tutto.

Per testare questa idea, il team ha costruito un modello lineare semplificato che può essere risolto esattamente. Ha riprodotto lo stesso decadimento rallentato osservato nelle reti reali non addestrate e ha confermato che il limite matematico non può essere migliorato.

Quando i ricercatori hanno aggiunto un bias logit per annullare l'effetto di diluizione, hanno trovato che il dimenticamento si è rallentato all'inizio dell'addestramento e si è effettivamente invertito dopo ulteriore addestramento. Questo suggerisce che la diluizione è sia necessaria che sufficiente per il dimenticamento che hanno misurato ¹.

Ciò che sopravvive si sposta nel testo

L'implicazione chiave è che qualsiasi proprietà del prompt che "sopravvive" — come la lingua in cui è stato scritto — non può rimanere codificata negli stati interni del modello. Deve essere portata avanti dal testo generato stesso.

Nei termini del paper, più un modello di questo tipo scrive, più quello che mantiene del suo prompt deve vivere nel testo che ha già prodotto.

Correzioni e aggiornamenti

Corrected on 20 October 2026. An earlier version did not say under which conditions the theorem is proved: only for transformers of finite depth of one kind (pre-LN softmax transformers) whose attention scores stay bounded, and when one more condition on their activations holds. It also said the paper explains why long texts drift, which the paper does not say. The conditions have been added and that claim removed.

I fatti principali

In the models measured, prompt information fades as more tokens are generated, roughly following a power law
Trained models forget faster (rate ~0.55-0.7) than untrained ones (rate ~0.2-0.5)
The "conditional no-hair theorem", proved for finite-depth pre-LN softmax transformers under stated conditions, says surviving prompt information must be carried by the generated text
A simplified linear relay model confirmed the mathematical bound and observed behavior

Fonti

A Conditional No-Hair Theorem for Transformers: How Language Models Forget Their Prompt