Cómo los modelos de lenguaje olvidan lentamente el inicio de sus prompts

El olvido está incorporado

Un nuevo artículo de investigación demuestra que los modelos de lenguaje pierden naturalmente el rastro de sus instrucciones iniciales del prompt con el tiempo. El hallazgo, publicado en arXiv por Shuyang Xiang, pone nombre a un comportamiento que los investigadores han observado durante mucho tiempo: cuanto más avanza un modelo en la generación de texto, menos información conserva del inicio de su prompt.

El artículo llama a esto «teorema condicional sin cabello», tomando prestado un término de la física. En astrofísica, el teorema sin cabello dice que los agujeros negros pueden describirse mediante solo unas pocas propiedades, perdiendo todos los otros detalles sobre lo que cayó en ellos. Aquí, la idea es similar: dado el texto que un modelo ya ha generado, la influencia del prompt original se desvanece.

Midiendo qué tan rápido olvidan los modelos

Los investigadores compararon dos prompts diferentes que fueron seguidos exactamente por el mismo texto de continuación. Dado que la salida posterior era idéntica, cualquier diferencia en los estados internos del modelo tenía que provenir solo del prompt. Medieron cómo disminuía esa diferencia a medida que se generaban más tokens.

Encontraron que la brecha entre los dos estados internos decae aproximadamente según una ley de potencias, lo que significa que se reduce como uno dividido por t elevada a alguna potencia, donde t es el número de tokens generados. Una potencia más alta significa un olvido más rápido ¹.

Los modelos entrenados, como los usados en aplicaciones cotidianas de IA, olvidan relativamente rápido, con una tasa de decaimiento alrededor de 0,55 a 0,7. Los modelos no entrenados comienzan con una tasa mucho más lenta, alrededor de 0,2 a 0,5, lo que significa que retienen información del prompt por más tiempo. El artículo también demuestra un límite matemático sobre cuánto del prompt puede permanecer, dependiendo de la longitud del prompt y la profundidad del modelo ¹. La demostración tiene condiciones: se aplica a transformers de profundidad finita de un tipo común (transformers pre-LN softmax) cuyas puntuaciones de atención permanecen acotadas, y solo cuando las activaciones que entran en cada paso de normalización se mantienen alejadas de cero . Las mediciones comparan dos prompts seguidos por la misma continuación, por lo que describen cómo se desvanece la huella de un prompt en ese entorno, no todo lo que un chatbot lleva cuenta en una conversación.

Por qué ocurre

El mecanismo es geométrico. A medida que la ventana de contexto se llena, la atención directa que el modelo presta al prompt original se diluye a través de una cantidad cada vez mayor de texto. Los tokens posteriores actúan como relevistas, pasando lo que hayan captado de tokens anteriores, pero este relevo solo puede ralentizar el olvido en una pequeña cantidad logarítmica, no detenerlo por completo.

Para probar esta idea, el equipo construyó un modelo lineal simplificado que puede resolverse exactamente. Reprodujo el mismo decaimiento creciente observado en redes reales no entrenadas y confirmó que el límite matemático no puede mejorarse.

Cuando los investigadores añadieron un sesgo de logit para cancelar el efecto de dilución, encontraron que el olvido se ralentizó al principio del entrenamiento y realmente se invirtió después de más entrenamiento. Esto sugiere que la dilución es tanto necesaria como suficiente para el olvido que midieron ¹.

Lo que sobrevive pasa al texto

La implicación clave es que cualquier propiedad del prompt que «sobreviva», como el idioma en el que fue escrito, no puede permanecer codificada en los estados internos del modelo. Tiene que ser llevada adelante por el texto generado mismo.

En términos del artículo, cuanto más escribe un modelo de este tipo, más lo que conserva de su prompt tiene que vivir en el texto que ya ha producido.

Correcciones y actualizaciones

• Corrected on 20 October 2026. An earlier version did not say under which conditions the theorem is proved: only for transformers of finite depth of one kind (pre-LN softmax transformers) whose attention scores stay bounded, and when one more condition on their activations holds. It also said the paper explains why long texts drift, which the paper does not say. The conditions have been added and that claim removed.

Los datos clave

• In the models measured, prompt information fades as more tokens are generated, roughly following a power law
• Trained models forget faster (rate ~0.55-0.7) than untrained ones (rate ~0.2-0.5)
• The "conditional no-hair theorem", proved for finite-depth pre-LN softmax transformers under stated conditions, says surviving prompt information must be carried by the generated text
• A simplified linear relay model confirmed the mathematical bound and observed behavior

Fuentes

1. A Conditional No-Hair Theorem for Transformers: How Language Models Forget Their Prompt