Modelos de IA que aprenden enseñándose a sí mismos a niveles de pensamiento más profundos
Un nuevo método permite que los modelos de lenguaje usen sus propios bucles de razonamiento más profundos como maestros, creando un ciclo de entrenamiento automejorable.

Enseñar a una IA a ser su propio tutor
Los modelos de lenguaje pasan mucho tiempo aprendiendo de datos: leyendo texto, respondiendo preguntas, resolviendo problemas. Pero existe una idea cada vez más fuerte de que el mejor maestro para un modelo puede ser el propio modelo.
Los investigadores han propuesto un método llamado LoopOPD (Looped On-Policy Distillation) que permite a un modelo de lenguaje usar sus propios pasos de razonamiento más profundos como fuente de señal de entrenamiento 1. El enfoque se centra en un tipo de modelo conocido como LoopLM (Looped Language Model). Estos modelos reutilizan el mismo conjunto de parámetros a través de múltiples pasos de cómputo, como ejecutar la misma lógica una y otra vez mientras construyen una cadena de pensamiento más larga. Piensa en ello como permitir que un estudiante piense paso a paso un problema en lugar de saltar directamente a la respuesta.
LoopOPD invierte el problema por completo. En lugar de recurrir a un maestro externo, el método utiliza una copia congelada del propio modelo —una que ha ejecutado bucles de cómputo adicionales— como maestro para una versión estudiante aún en medio de sus ciclos 1. El estudiante genera sus propias respuestas, llamadas rollouts, y luego aprende comparando las predicciones a nivel de tokens con las de la versión más profunda y completa de sí mismo.
Cómo funciona el autoensañamiento
Esto genera una supervisión densa y paso a paso sin depender de ningún dato ni modelo externo 1. El maestro accede a información que el estudiante aún no posee —como los pasos finales del razonamiento—, y esa ventaja es precisamente lo que el estudiante aprende.
El siguiente paso fue hacer que el sistema fuera verdaderamente auto-perfeccionable. En su versión básica, el maestro permanece congelado. Pero los investigadores presentaron el LoopOPD dinámico (D-LoopOPD), que renueva periódicamente al maestro a medida que se actualizan los parámetros compartidos del modelo 1. Esto significa que el estudiante siempre recibe la guía de la versión más reciente y sólida de sí mismo, creando un ciclo de mejora continua.
Hacer que el maestro evolucione
Este trabajo fue enviado a arXiv en octubre de 2026 y está siendo revisado por ICLR 2027 1.
El equipo demostró matemáticamente que una sola actualización de entrenamiento puede producir una mejora local simultánea tanto en los niveles de bucle superficial como profundo bajo ciertas condiciones 1. Probaron el enfoque en modelos Ouro-Thinking y encontraron que LoopOPD mejoró el razonamiento matemático, mientras que D-LoopOPD ofreció ganancias adicionales mediante sus actualizaciones dinámicas del maestro . Curiosamente, aunque los modelos se entrenaron solo con datos de matemáticas, también mejoraron en tareas de razonamiento general y generación de código, lo que sugiere que el método enseña habilidades transferibles .
El trabajo se envió a arXiv en octubre de 2026 y está en revisión en ICLR 2027 1.
Los datos clave
- LoopOPD permite que un modelo use sus propios bucles de razonamiento más profundos como su maestro
- Dynamic LoopOPD refresca al maestro a medida que los parámetros se actualizan, lo que permite la auto-mejora continua
- Los modelos entrenados solo con datos de matemáticas también mejoraron en razonamiento general y generación de código
- El método se probó en modelos Ouro-Thinking y se envió a arXiv en octubre de 2026
Fuentes
Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes
Sigue leyendo
Cómo funcionaUn modelo grande de inteligencia artificial aprendió a reparar su propio cerebro sin necesidad de volver a entrenarseHerald of AI
Un modelo grande de inteligencia artificial aprendió a reparar su propio cerebro sin necesidad de volver a entrenarse
Los investigadores descubrieron que un modelo de 27 mil millones de parámetros puede editar sus propios ajustes internos para volverse más preciso; no se necesita un maestro humano.
Cómo funcionaCómo Meta triplica la productividad de ingeniería usando agentes para propagar técnicas de modelos publicitariosHerald of AI
Cómo Meta triplica la productividad de ingeniería usando agentes para propagar técnicas de modelos publicitarios
El nuevo sistema de agentes de IA de Meta adapta pequeñas mejoras en miles de modelos publicitarios de forma automática, ahorrando millones en costos de computación.
Cómo funcionaLos bots de compras con IA ganan confianza al pedirles que piensen más, pero no son más inteligentesHerald of AIDeni Williams from São Paulo, Brasil / Brazil, CC BY 2.0, via Wikimedia Commons
Los bots de compras con IA ganan confianza al pedirles que piensen más, pero no son más inteligentes
Un nuevo estudio muestra que hacer que los asistentes de IA razonen más tiempo antes de sugerir productos solo los hace sonar seguros de sí mismos, no realmente más acertados.