El RL agentivo tiene una ley de escalamiento — y cambia cómo deberías gastar tu presupuesto
Un nuevo estudio descubre que, en el aprendizaje por refuerzo agentivo, diversificar los mundos en los que entrena tu agente es mejor que generar más trayectorias — y la combinación adecuada puede lograr hasta 1,7× de eficiencia computacional.
Más allá de los conteos de tokens
Durante años, las leyes de escalamiento del preentrenamiento han tratado los datos como un solo número: cuántos tokens alimentas al modelo. Pero el aprendizaje por refuerzo agéntico (RL) —donde un agente de IA aprende interactuando con entornos, generando tareas y recopilando trayectorias— ha hecho añicos esa abstracción escalar 1. Los actuales pipelines de síntesis ahora crean tareas, entornos y trayectorias de forma independiente y a costes muy dispares, convirtiendo los datos de entrenamiento en un espacio de diseño estructurado que las viejas leyes nunca tuvieron que navegar .
La pregunta que nadie sabía cómo responder ahora está obteniendo respuesta: cuando tienes un presupuesto de síntesis fijo, ¿qué eje deberías escalar? 1.
Tres ejes, un claro ganador
Investigadores entre los que se encuentran Bowei He, Yankai Chen, Xiaokun Zhang, y colegas de Alibaba y DeepSeek descompusieron los datos agénticos en tres ejes de cardinalidad — diversidad de tareas, diversidad de entornos y cantidad de trayectorias —, más una variable de control de densidad de recompensas 1. Luego ajustaron relaciones de escalamiento por eje en diferentes modelos de lenguaje grandes (LLM), a través de los dominios de matemáticas y código, ingeniería de software, navegación web y aplicaciones de IU/herramientas .
El resultado fue inequívoco y constante: en todos los tamaños de modelo, familias de modelos, dominios y ambos algoritmos de RL PPO y GRPO que midieron, los exponentes de escalamiento se ordenaron como: entorno > tarea > trayectoria 1. Cuando dividieron aún más la diversidad de entornos en diversidad de mundos (el rango de configuraciones, actores y escenarios) versus diversidad de estructura de entorno (la complejidad del andamiaje de la tarea), la ventaja provenía casi enteramente de la diversidad de mundos, mientras que la diversidad de estructura se situaba aproximadamente a la par con la diversidad de tareas .
En palabras sencillas: hacer que tu agente vea más clases diferentes de mundos importa mucho más que hacerlo resolver más problemas o ensayar más pasos 1.
Precios de los métodos de síntesis
Los investigadores luego usaron esas leyes ajustadas como una regla de medición estándar para valorar los métodos de síntesis, capturando la eficiencia de cada método como un factor de descuento por eje e identificando las proporciones críticas sintético-a-real en las que comienza el colapso 1. Esas proporciones de colapso diferían en un orden de magnitud entre ejes, lo que significa que el escalamiento ciego en cualquier dimensión sola puede ser mucho más peligroso de lo que sugieren los números .
Una receta al estilo Chinchilla para el RL agentivo
Finalmente, plantearon la asignación de presupuesto como una optimización con restricciones bajo sus leyes y factores de descuento, derivando una receta óptima en cómputo al estilo Chinchilla y validándola a una escala reservada 1. Seguir esa receta rindió hasta 1,7× más eficiencia computacional respecto a la práctica dominante de la industria que consiste simplemente en escalar la cantidad de trayectorias .
El artículo, How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies, ha sido aceptado por NeurIPS 2026 1. A medida que los sistemas de RL agéntico pasan de demostraciones de investigación a producción, el viejo instinto de «simplemente echar más datos» está siendo reemplazado por una intuición mucho más precisa: gasta tu presupuesto en mundos, no en pasos.
Esta historia informa sobre una tendencia solo con fines informativos. No constituye asesoramiento ni aliento para hacer nada de ello.
Correcciones y actualizaciones
- Corregido el 23 de octubre de 2026. Una versión anterior decía que los investigadores comparaban técnicas de generación de imágenes con IA; el artículo trata sobre aprendizaje por refuerzo agentivo, no sobre generación de imágenes.
Los datos clave
- Los exponentes de escalado del RL agentivo en orden: entorno > tarea > trayectoria, consistente entre modelos y dominios
- La diversidad del mundo dentro de los entornos es lo que impulsa la ventaja; la diversidad de estructura es comparable a la diversidad de tarea
- Las proporciones de colapso sintético a real difieren en un orden de magnitud entre los ejes
- A Chinchilla-style compute-optimal recipe yields up to 1,7× efficiency over trajectory-scaling practice
- Artículo aceptado en NeurIPS 2026
Fuentes
Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes
Sigue leyendo
Los LLM entrenados con GRPO pueden amplificar silenciosamente los malos hábitos, hallan investigadores
Un nuevo estudio explica por qué los asistentes de IA a veces adquieren defectos de personalidad no deseados después del ajuste fino, incluso cuando nadie pidió esas características.
El sector nube de IA de Baidu casi se duplica, pero la caída de ventas de publicidad vuelve a frenar las ganancias
Un negocio de nube con inteligencia artificial de rápido crecimiento aún no logra reemplazar los ingresos publicitarios en descenso en una de las mayores empresas tecnológicas de China.
GPT-6 Astra repara la habilidad matemática de Qwen3.5 reescribiendo su cerebro sin ningún entrenamiento
Investigadores del MIT mostraron que un único modelo de IA de vanguardia puede leer y editar los números internos de otro modelo para hacerlo mucho más inteligente en matemáticas: sin necesidad de entrenamiento.