El QwenGyre de Alibaba acelera el entrenamiento de agentes de IA de ejecución prolongada

El problema de las ejecuciones prolongadas de agentes de IA

Los agentes de IA están mejorando en tareas complejas como escribir repositorios completos de software a partir de una descripción textual. Pero estas tareas pueden tomar horas e implicar casi un millón de tokens ¹. Cuando intentas entrenar agentes con refuerzo elástico a esa escala, aparecen dos grandes problemas.

En primer lugar, los clústeres de GPU pierden enormes cantidades de tiempo esperando a que termine la ejecución más lenta del agente ². En segundo lugar, cuando los agentes se dividen en subtareas, el mismo trabajo se duplica muchas veces, haciendo que el entrenamiento sea costoso e ineficiente ¹.

Cómo QwenGyre resuelve ambos problemas

El equipo de Alibaba's Qwen creó QwenGyre, un marco de refuerzo elástico que mueve las GPUs ociosas entre agentes en ejecución y los entrena con trabajo completado, sin interrumpir las ejecuciones activas a mitad de tarea ¹.

El sistema divide las GPUs en grupos llamados celdas. Una celda central contiene los pesos principales de entrenamiento mientras las celdas satélites ayudan ¹. A medida que las ejecuciones de agentes terminan, el programador cambia esas GPUs a entrenamiento, siempre que queden suficientes celdas para manejar el trabajo en vivo restante . Las llamadas al modelo se enrutan a través de un proxy para que el agente nunca note el cambio .

Para los datos de entrenamiento, QwenGyre registra cada llamada de token y construye un árbol de trayectorias ramificadas en lugar de tratar cada ejecución como una línea recta ². Puntúa el progreso parcial en las ejecuciones que agotan el tiempo en lugar de descartarlas ¹. Como máximo se conservan cinco trayectorias por tarea, y los prefijos compartidos entre ramas se entrenan solo una vez en lugar de copiarse .

Los resultados

En el modelo Qwen 3.8 2,4T, QwenGyre completó 48 pasos de entrenamiento en aproximadamente 75 horas en comparación con 134 horas para entrenamiento asíncrono y 91 horas para entrenamiento colocado ⁴. El sistema fue hasta 1,85 veces más rápido que las mejores alternativas ¹.

Las mejoras de rendimiento incluyeron elevar la tasa de aprobación en NL2RepoBench —un punto de referencia para generación de código a partir de lenguaje natural— de 52,5 por ciento a 58,5 por ciento en solo 48 pasos ¹. En el modelo más pequeño Qwen 3.6 122B, las aceleraciones oscilaron entre 1,38 y 1,82 veces más rápido que las configuraciones existentes según el punto de referencia .

Todas las pruebas utilizaron Claude Code como el andamio del agente ¹. Curiosamente, QwenGyre puede funcionar con agentes de caja negra no modificados, lo que significa que no requiere acceso especial a cómo está construido el agente .

Aún no se ha anunciado ningún lanzamiento de código público ¹. El artículo completo de investigación fue enviado a arXiv en septiembre de 2026 ².

Qué significa esto

El encolado elástico y la deduplicación de trayectorias son dos trucos prácticos que podrían hacer que el futuro entrenamiento de agentes de IA de ejecución prolongada sea mucho más asequible. A medida que los agentes asuman tareas más largas y complejas, técnicas como QwenGyre podrían convertirse en herramientas estándar para cualquiera que los entrene.

Los datos clave

• QwenGyre mueve GPUs ociosas entre ejecuciones de agentes en vivo y entrenamiento sin interrumpir a los agentes
• Los árboles de trayectoria limitan las muestras a 5 por ejecución y entrenan los prefijos compartidos solo una vez
• Hasta 1,85 veces más rápido que el entrenamiento colocado y 1,78 veces más rápido que el asíncrono en pruebas de referencia
• NL2RepoBench pasó de 52,5% a 58,5% en 48 pasos en el modelo Qwen 3,8 2,4T
• No se ha anunciado ningún lanzamiento de código público

Fuentes

1. Alibaba Qwen Introduces QwenGyre: Elastic Reinforcement Learning RL for XLong-Horizon Agents — marktechpost.com
2. QwenGyre: An Elastic Reinforcement Learning Framework for Training ...
3. Alibaba Qwen Launches QwenGyre for Long-Horizon Agent Training — techaimag.com
4. Alibaba QwenGyre Solves Million-Token RL With Elastic GPU Scheduling — gate.com