IAGenerado
EN · IT · ES

MagicBeanStalk sintetiza mejores datos de entrenamiento para mejorar el razonamiento de la IA

Un nuevo método genera problemas difíciles de matemáticas y finanzas a partir de solo unos pocos ejemplos, ayudando a gpt-oss-120b y DeepSeek v4 Flash a mejorar casi 9 puntos.

Vista detallada de ecuaciones matemáticas y diagramas en una pizarra.
Foto de archivo · Foto: https://kaboompics.com/ / Pexels
Cómo funciona

Una técnica que crea problemas nuevos y difíciles de matemáticas y finanzas a partir de unos cuantos ejemplos complicados para entrenar modelos de razonamiento de IA.

  1. Empezamos con algunos problemas duros con los que el modelo falla
  2. Desarmamos cada problema en sus pasos de razonamiento
  3. Construimos problemas nuevos manteniendo la misma lógica
  4. Ajustamos la dificultad para que el modelo acierte en ocasiones y falle en otras

Investigadores han presentado una nueva técnica llamada MagicBeanStalk que genera datos de entrenamiento más inteligentes para sistemas de IA entrenados con aprendizaje por refuerzo y recompensas verificables (RLVR). En lugar de simplemente recopilar más problemas, el método creó nuevos datos de entrenamiento útiles a partir de un puñado de problemas semilla difíciles.

La trampa de la ventaja cero

Al entrenar sistemas de IA con RLVR, el enfoque habitual ha sido reunir o generar grandes colecciones de problemas con respuestas correctas conocidas. Pero el nuevo artículo sostiene que el tamaño sin más del conjunto de datos no garantiza un mejor aprendizaje.

El equipo probó un gran corpus de matemáticas de código abierto reunido a partir de conjuntos de datos RLVR ampliamente usados que contenía 78.000 problemas fuente. Descubrieron que aproximadamente el 88 por ciento de esos problemas caían en lo que llaman una trampa de ventaja cero: para un modelo de IA dado y un presupuesto de entrenamiento, cada problema se resolvía en cada ejecución de entrenamiento o fallaba en todas las ejecuciones 1. Los problemas que siempre se resuelven no aportan ninguna señal de aprendizaje nueva, y los problemas que siempre se fallan son demasiado difíciles para ayudar en absoluto.

El filtrado estándar puede eliminar los problemas inútiles, pero solo puede seleccionar entre lo que ya existe: no puede crear nuevo valor de entrenamiento a partir de los problemas más difíciles. Los investigadores llegaron a la conclusión de que los datos sintéticos eficaces deben requerir los mismos pasos de razonamiento que los problemas difíciles, pero en un nivel de dificultad calibrado en el que algunos intentos tienen éxito y otros fallan.

Crecer problemas a partir de semillas

MagicBeanStalk usa un enfoque de dos partes. Comienza con un pequeño conjunto de problemas semilla difíciles con los que el modelo objetivo tiene dificultades. Primero, descompone cada problema semilla en sus pasos de razonamiento componentes descendentemente. Luego, reconstruye problemas completamente nuevos a partir de esos pasos ascendentemente, manteniendo intacto el plano de razonamiento original mientras ajusta la dificultad para que el modelo pueda tener éxito a veces y fallar otras 1.

Los investigadores señalan que simplemente pedirle a un modelo profesor más fuerte que varíe los problemas difíciles directamente no logra este equilibrio. Se necesita el algoritmo de síntesis recursiva para calibrar la dificultad adecuadamente.

Resultados en tareas de matemáticas y finanzas

En ocho pruebas de razonamiento matemático, el entrenamiento continuado con RLVR en problemas generados por MagicBeanStalk mejoró a gpt-oss-120b de 61,2 a 69,8, una ganancia de 8,6 puntos, y a DeepSeek v4 Flash de 72,4 a 77,9, una ganancia de 5,4 puntos, todo usando un presupuesto de entrenamiento de 16.000 tokens 1. Como comparación, entrenar en el corpus fuente completo de 78.000 problemas produjo solo una mejora de 1,1 puntos, y el subconjunto filtrado más efectivo de datos reales mejoró en 5,8 puntos.

El método también funciona fuera de las matemáticas puras. En una tarea de razonamiento financiero, el equipo sintetizó más de 14.000 problemas de entrenamiento verificables a partir de solo 340 soluciones existentes. Entrenar con esos problemas generados mejoró a Qwen3 en 6,9 puntos en la prueba SecQue y en 2,4 puntos en FinanceBench.

Los hallazgos sugieren que los datos cuidadosamente generados pueden superar de forma notable a los corpus grandes pero no seleccionados, incluso cuando el número total de ejemplos de entrenamiento es muy inferior.

Los datos clave

  • El 88% de los problemas en un gran corpus de matemáticas RLVR de código abierto cae en una trampa de ventaja cero
  • MagicBeanStalk creó nuevos problemas a partir de problemas semilla usando descomposición descendente y síntesis ascendente
  • gpt-oss-120b mejoró 8,6 puntos en las pruebas de matemáticas después de entrenar con datos generados
  • Se sintetizaron más de 14.000 problemas de entrenamiento de finanzas a partir de solo 340 soluciones existentes
  • Entrenar con el corpus fuente completo de 78K mejoró el rendimiento solo 1,1 puntos

Fuentes

  1. MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis

Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes

Sigue leyendo

TokenGate acelera hasta 11 veces la lectura de documentos largos por parte de la IA al pasar por alto las partes menos importantes

Una nueva técnica abierta permite que la IA salte el texto irrelevante al procesar entradas largas, reduciendo los tiempos de espera y el uso de memoria en modelos como Qwen3 sin perder precisión.

Cómo funciona