Cómo los modelos de lenguaje olvidan lentamente el inicio de sus prompts
Un nuevo teorema muestra por qué un tipo de modelo Transformer, bajo condiciones establecidas, pierde gradualmente el rastro de su prompt a medida que genera más texto.

- Escribes un prompt detallado con instrucciones concretas
- La IA genera texto token por token
- La influencia del prompt se desvanece a medida que se producen más tokens
- Lo que se escribe después depende más del texto reciente que del principio
El olvido está incorporado
Un nuevo artículo de investigación demuestra que los modelos de lenguaje pierden naturalmente el rastro de sus instrucciones iniciales del prompt con el tiempo. El hallazgo, publicado en arXiv por Shuyang Xiang, pone nombre a un comportamiento que los investigadores han observado durante mucho tiempo: cuanto más avanza un modelo en la generación de texto, menos información conserva del inicio de su prompt.
El artículo llama a esto «teorema condicional sin cabello», tomando prestado un término de la física. En astrofísica, el teorema sin cabello dice que los agujeros negros pueden describirse mediante solo unas pocas propiedades, perdiendo todos los otros detalles sobre lo que cayó en ellos. Aquí, la idea es similar: dado el texto que un modelo ya ha generado, la influencia del prompt original se desvanece.
Midiendo qué tan rápido olvidan los modelos
Los investigadores compararon dos prompts diferentes que fueron seguidos exactamente por el mismo texto de continuación. Dado que la salida posterior era idéntica, cualquier diferencia en los estados internos del modelo tenía que provenir solo del prompt. Medieron cómo disminuía esa diferencia a medida que se generaban más tokens.
Encontraron que la diferencia entre los dos estados internos decae aproximadamente según una ley de potencias, lo que significa que se reduce como uno dividido por t elevada a alguna potencia, donde t es el número de tokens generados. Una potencia más alta significa un olvido más rápido 1.
Los modelos entrenados, como los usados en aplicaciones cotidianas de IA, olvidan relativamente rápido, con una tasa de decaimiento alrededor de 0,55 a 0,7. Los modelos no entrenados comienzan con una tasa mucho más lenta, alrededor de 0,2 a 0,5, lo que significa que retienen información del prompt por más tiempo. El artículo también demuestra un límite matemático sobre cuánto del prompt puede permanecer, dependiendo de la longitud del prompt y la profundidad del modelo 1. La demostración tiene condiciones: se aplica a transformers de profundidad finita de un tipo común (transformers pre-LN softmax) cuyas puntuaciones de atención permanecen acotadas, y solo cuando las activaciones que entran en cada paso de normalización se mantienen alejadas de cero . Las mediciones comparan dos prompts seguidos por la misma continuación, por lo que describen cómo se desvanece la huella de un prompt en ese entorno, no todo lo que un chatbot lleva cuenta en una conversación.
Por qué ocurre
El mecanismo es geométrico. A medida que la ventana de contexto se llena, la atención directa que el modelo presta al prompt original se diluye a través de una cantidad cada vez mayor de texto. Los tokens posteriores actúan como relevistas, pasando lo que hayan captado de tokens anteriores, pero este relevo solo puede ralentizar el olvido en una pequeña cantidad logarítmica, no detenerlo por completo.
Para probar esta idea, el equipo construyó un modelo lineal simplificado que puede resolverse exactamente. Reprodujo el mismo decaimiento creciente observado en redes reales no entrenadas y confirmó que el límite matemático no puede mejorarse.
Cuando los investigadores añadieron un sesgo de logit para cancelar el efecto de dilución, encontraron que el olvido se ralentizó al principio del entrenamiento y realmente se invirtió después de más entrenamiento. Esto sugiere que la dilución es tanto necesaria como suficiente para el olvido que midieron 1.
Lo que sobrevive pasa al texto
La implicación clave es que cualquier propiedad del prompt que «sobreviva», como el idioma en el que fue escrito, no puede permanecer codificada en los estados internos del modelo. Tiene que ser llevada adelante por el texto generado mismo.
En términos del artículo, cuanto más escribe un modelo de este tipo, más lo que conserva de su prompt tiene que vivir en el texto que ya ha producido.
Correcciones y actualizaciones
- Corregido el 20 de octubre de 2026. Una versión anterior no especificaba bajo cuáles condiciones se demuestra el teorema: solo para transformadores de profundidad finita de un tipo (transformadores pre-LN softmax) cuyas puntuaciones de atención permanecen acotadas, y cuando se cumple una condición adicional sobre sus activaciones. También afirmaba que el artículo explica por qué los textos largos se desvían, cosa que el artículo no dice. Se agregaron las condiciones y se eliminó esa afirmación.
Los datos clave
- En los modelos analizados, la información del prompt se desvanece a medida que se generan más tokens, siguiendo aproximadamente una ley de potencias
- Los modelos entrenados olvidan más rápido (tasa ~0,55-0,7) que los no entrenados (tasa ~0,2-0,5)
- El "teorema condicional sin pelo", demostrado para transformadores softmax pre-LN de profundidad finita bajo las condiciones indicadas, establece que la información del prompt que sobrevive debe ser transportada por el texto generado
- Un modelo simplificado de relevo lineal confirmó la cota matemática y el comportamiento observado
Fuentes
Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes
Sigue leyendo
Cómo funcionaTurboMamba combina Mamba y Transformer para modelos de lenguaje más rápidos e inteligentesHerald of AI
TurboMamba combina Mamba y Transformer para modelos de lenguaje más rápidos e inteligentes
Una nueva arquitectura híbrida mejora la velocidad y la precisión combinando dos tipos de diseños de inteligencia artificial.
Cómo funcionaTransformador todo a transistor aprende en contextoHerald of AI
Transformador todo a transistor aprende en contexto
Un nuevo circuito físico fabricado completamente con transistores demuestra que la inteligencia artificial a nivel de hardware puede realizar el mismo tipo de aprendizaje rápido y sobre la marcha que los grandes modelos de lenguaje.
Cómo funcionaCómo Meta triplica la productividad de ingeniería usando agentes para propagar técnicas de modelos publicitariosHerald of AI
Cómo Meta triplica la productividad de ingeniería usando agentes para propagar técnicas de modelos publicitarios
El nuevo sistema de agentes de IA de Meta adapta pequeñas mejoras en miles de modelos publicitarios de forma automática, ahorrando millones en costos de computación.