IAGenerado
EN · IT · ES

La investigación de Yibo Liu muestra que los agentes de IA pierden conocimientos cada vez que pasan notas a sus sucesores

Cuando los sistemas de IA resumen su trabajo para la siguiente ronda, algunas lecciones se pierden; un problema para cualquier herramienta que dependa de una memoria paso a paso.

Ilustración que muestra cómo los agentes de IA pierden conocimientos al pasar resúmenes cortos entre ellos en cadena.
Imagen: cdn-thumbnails.huggingface.co
Cómo funciona

Un agente puede pasar notas a otros agentes para transmitir lo que ha aprendido.

  1. El agente prueba acciones para descubrir reglas ocultas.
  2. Escribe un resumen de 300 caracteres con esas reglas.
  3. Le pasa la nota a otro agente que comienza de cero.
  4. El nuevo agente solo se guiará por esa nota.

El experimento en términos sencillos

Un investigador llamado Yibo Liu publicó un estudio en arXiv que analiza algo que muchos constructores de IA dan por sentado: qué tan bien los agentes de IA transmiten lo que han aprendido cuando pasan su trabajo a otra versión de sí mismos 1.

El equipo construyó 56 mundos de prueba interactivos, cada uno con reglas ocultas que el agente debía descubrir mediante prueba y error. Un agente que no recibía nada al inicio fallaba todas las veces. Pero un agente al que se le daba una declaración corta de 300 caracteres de las reglas tenía éxito 1. Eso permitió una comparación clara: la pregunta era si esas reglas sobrevivían cuando se escribían y pasaban adelante.

Una configuración permitió que un solo agente jugara ocho «vidas» dentro de cada mundo mientras conservaba todo su historial intacto. Otra configuración encadenaba ocho agentes separados — cada uno jugaba solo una vida y luego recibía una nota de 300 caracteres de su predecesor para llevarla adelante 1.

Tras ocho generaciones en la cadena, el agente final no obtuvo un rendimiento mejor que el del agente individual después de aproximadamente cuatro vidas. Los conocimientos desaparecían en cada paso 1.

¿Qué causó la pérdida?

Los investigadores desglosaron el problema usando versiones controladas de la cadena. Cambiar el modelo a mitad de cadena no generó pérdida adicional: era el mismo modelo durante toda la cadena. Comprimirlo todo en 300 caracteres provocó una pequeña caída. Pero comprimir repetidamente, nota tras nota tras nota, causó el mayor daño 1.

Hubo un paliativo parcial. Cuando cada nuevo escritor leía desde el registro completo de vidas anteriores en lugar de empezar desde la nota previa, los mismos 300 caracteres recuperaban entre el 70 por ciento y el 82 por ciento de lo perdido 1. No resolvía todo, pero mostraba dónde estaba la fuga.

Otras ideas —decirle al escritor que registrara evidencias, pedirle que revisara la nota heredada, o exigir un registro estructurado— no marcaron diferencia 1. El resultado se mantuvo firme también en distintos tamaños de modelo .

Qué significa esto para ti

Si alguna vez has usado un asistente de IA que se apoya en sus propias respuestas previas —un ayudante de codificación que sigue editando, un robot de planificación que relee notas antiguas, o una automatización que encadena varios pasos—, esta investigación sugiere un límite silencioso. Las percepciones sutiles que requieren múltiples intentos para notar no siempre caben con comodidad en un resumen corto. Cuando la siguiente turnada parte desde ese resumen en lugar del registro completo, esas percepciones pueden desaparecer 1.

La conclusión es sencilla y coincide con la propia conclusión del artículo: un agente no puede entregar lo que aún no ha comprendido, y una regla que requiere varias vidas para verse se perderá en aquella vida que no se transmita 1.

Esta noticia informa sobre una tendencia con fines únicamente informativos. No constituye asesoramiento ni recomendación de realizar ninguna de estas acciones.

Los datos clave

  • Los agentes de IA en una cadena de 8 entregas realizan no mejor que un solo agente después de aproximadamente 4 vidas
  • La compresión repetida causa más pérdida de conocimientos que el límite de 300 caracteres en sí mismo
  • Leer desde registros completos anteriores en lugar de la última nota recupera entre el 70% y el 82% de los conocimientos perdidos
  • Decirles a los agentes que registren evidencias, revisen notas o lleven libros no redujo la pérdida
  • El resultado fue consistente en distintos tamaños de modelo

Fuentes

  1. Agents Cannot Hand Over What They Have Not Yet Understood

Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes

Sigue leyendo