El RL agéntico tiene una ley de escalamiento — y cambia cómo deberías gastar tu presupuesto

Más allá de los conteos de tokens

Durante años, las leyes de escalamiento del preentrenamiento han tratado los datos como un solo número: cuántos tokens alimentas al modelo. Pero el aprendizaje por refuerzo agéntico (RL) —donde un agente de IA aprende interactuando con entornos, generando tareas y recopilando trayectorias— ha hecho añicos esa abstracción escalar ¹. Los actuales pipelines de síntesis ahora crean tareas, entornos y trayectorias de forma independiente y a costos muy dispares, convirtiendo los datos de entrenamiento en un espacio de diseño estructurado que las viejas leyes nunca tuvieron que navegar .

La pregunta que nadie sabía cómo responder ahora está obteniendo respuesta: cuando tienes un presupuesto de síntesis fijo, ¿qué eje deberías escalar? ¹.

Tres ejes, un claro ganador

Investigadores entre los que se encuentran Bowei He, Yankai Chen, Xiaokun Zhang, y colegas de Alibaba y DeepSeek descompusieron los datos agénticos en tres ejes de cardinalidad — diversidad de tareas, diversidad de entornos y cantidad de trayectorias —, más una variable de control de densidad de recompensas ¹. Luego ajustaron relaciones de escalamiento por eje en diferentes modelos de lenguaje grandes (LLM), a través de los dominios de matemáticas y código, ingeniería de software, navegación web y aplicaciones de IU/herramientas .

El resultado fue inequívoco y constante: en todos los tamaños de modelo, familias de modelos, dominios y ambos algoritmos de RL PPO y GRPO que midieron, los exponentes de escalamiento se ordenaron como: entorno > tarea > trayectoria ¹. Cuando dividieron aún más la diversidad de entornos en diversidad de mundos (el rango de configuraciones, actores y escenarios) versus diversidad de estructura de entorno (la complejidad del andamiaje de la tarea), la ventaja provenía casi enteramente de la diversidad de mundos, mientras que la diversidad de estructura se situaba aproximadamente a la par con la diversidad de tareas .

En palabras sencillas: hacer que tu agente vea más clases diferentes de mundos importa mucho más que hacerlo resolver más problemas o ensayar más pasos ¹.

Precios de los métodos de síntesis

Los investigadores luego usaron esas leyes ajustadas como una regla de medición estándar para valorar los métodos de síntesis, capturando la eficiencia de cada método como un factor de descuento por eje e identificando las proporciones críticas sintético-a-real en las que comienza el colapso ¹. Esas proporciones de colapso diferían en un orden de magnitud entre ejes, lo que significa que el escalamiento ciego en cualquier dimensión sola puede ser mucho más peligroso de lo que sugieren los números .

Una receta al estilo Chinchilla para el RL agéntico

Finalmente, plantearon la asignación de presupuesto como una optimización con restricciones bajo sus leyes y factores de descuento, derivando una receta óptima en cómputo al estilo Chinchilla y validándola a una escala reservada ¹. Seguir esa receta rindió hasta 1,7× más eficiencia computacional respecto a la práctica dominante de la industria que consiste simplemente en escalar la cantidad de trayectorias .

El artículo, How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies, ha sido aceptado por NeurIPS 2026 ¹. A medida que los sistemas de RL agéntico pasan de demostraciones de investigación a producción, el viejo instinto de «simplemente echar más datos» está siendo reemplazado por una intuición mucho más precisa: gasta tu presupuesto en mundos, no en pasos.

Esta historia informa sobre una tendencia solo con fines informativos. No constituye asesoramiento ni aliento para hacer nada de ello.

Correcciones y actualizaciones

• Corrected on 23 October 2026. An earlier version said the researchers compared AI image generation techniques; the paper is about agentic reinforcement learning, not image generation.

Los datos clave

• Agentic RL scaling exponents order: environment > task > trajectory, consistent across models and domains
• World diversity within environments drives the advantage; structure diversity is comparable to task diversity
• Synthetic-to-real collapse ratios differ by an order of magnitude across axes
• A Chinchilla-style compute-optimal recipe yields up to 1,7× efficiency over trajectory-scaling practice
• Paper accepted at NeurIPS 2026

Fuentes

1. How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies