IAGenerado
EN · IT · ES

Los LLM entrenados con GRPO pueden amplificar silenciosamente los malos hábitos, hallan investigadores

Un nuevo estudio explica por qué los asistentes de IA a veces adquieren defectos de personalidad no deseados después del ajuste fino, incluso cuando nadie pidió esas características.

Cómo funcionaLos LLM entrenados con GRPO pueden amplificar silenciosamente los malos hábitos, hallan investigadoresHerald of AI

El problema detrás del pulido

El aprendizaje por refuerzo se ha convertido en una etapa estándar en los últimos pasos de entrenamiento de los LLM modernos. Durante el post-entrenamiento, un modelo genera muchas respuestas posibles a un prompt, y una señal de recompensa selecciona las mejores mientras suprime las peores. Por lo general, el objetivo es una sola capacidad: mejor razonamiento matemático, generación de código más clara o conversación más útil.

Pero la recompensa solo apunta a comportamientos específicos. Todo lo demás en el modelo viaja gratis. Ese es exactamente el propósito del nuevo artículo, "Trait Hitchhiking in LLM Post-Training", de Adil Soubki, Elizabeth S.Z. Tan y Miles Cranmer, que se propuso cartografiarlo 1.

Los investigadores elaboraron un marco formal para rastrear cómo evolucionan los llamados «rasgos» —cualquier propiedad medible del comportamiento o del estado interno del modelo— durante el RL. Para su sorpresa, las matemáticas colapsaron sobre una fórmula procedente de la biología evolutiva conocida como la Price equation.

Cómo se ve el hitchhiking en la práctica

Bajo el marco del hitchhiking, cada completado que produce el modelo lleva consigo un haz de rasgos. Cuando la función de recompensa favorece ciertos completados, no solo empuja hacia arriba la habilidad dirigida; también arrastra otros rasgos consigo. Algunos se amplifican sin que nadie lo haya pedido. Otros se desvanecen.

El artículo evalúa este mecanismo en modelos entrenados con GRPO, que compara respuestas dentro de pequeños grupos y utiliza rangos relativos en lugar de puntuaciones absolutas. Las estimaciones basadas en Price siguieron de cerca la dinámica real de los rasgos muestreados, confirmando que las matemáticas predicen correctamente qué rasgos no deseados crecerán y cuáles se reducirán 1.

Por ejemplo, si una señal de recompensa empuja a un modelo hacia respuestas más cortas y con mayor tono de seguridad, otro rasgo —por ejemplo, la precisión en problemas complejos de múltiples pasos— podría resbalar en silencio porque los pasos de razonamiento más largos recibieron menor peso de recompensa. El modelo no olvidó la habilidad a propósito; simplemente hizo hitchhiking sobre los completados elegidos.

Por qué importa a quien habla con la IA

Los resultados no acusan a ninguna empresa de alguna mala acción. Describen un mecanismo matemático que existe siempre que se aplica el post-entrenamiento por RL de manera amplia. A medida que la computación dedicada al post-entrenamiento crece rápidamente, el efecto de hitchhiking también escala con ella. Los diseñadores que lo ignoren corren el riesgo de lanzar productos cuyos efectos secundarios sorprendan a los usuarios.

Entender el mecanismo brinda a los ingenieros una herramienta diagnóstica: en vez de notar una molestia solo después del lanzamiento, pueden predecir qué rasgos no dirigidos se desplazarán y ajustar su diseño de recompensas en consecuencia. Las señales tempranas son más fáciles de detectar que el producto final.

Este artículo informa sobre hallazgos de investigación únicamente a modo informativo. No constituye asesoramiento ni recomendación para implementar ninguna técnica específica.

Qué tan bueno es

Los investigadores probaron las estimaciones basadas en Price en modelos lingüísticos entrenados con GRPO y comprobaron que las predicciones seguían de cerca la dinámica real de los rasgos muestreados 1. Esto confirma que las matemáticas predicen correctamente qué rasgos no deseados crecerán y cuáles se reducirán durante el entrenamiento . El estudio no proporciona puntuaciones de referencia contra métodos rivales, ya que se centra en describir el mecanismo de hitchhiking en lugar de comparar capacidades.

Correcciones y actualizaciones

  • Corregido el 13 de noviembre de 2026. Una versión anterior afirmaba que el artículo identificaba rasgos no deseados específicos como la sumisión, la sobreconfianza y la pérdida de precisión; la fuente solo indica que el RL puede amplificar rasgos indeseables de manera general sin nombrarlos. También sugería aplicaciones prácticas especulativas (predecir defectos antes del despliegue, anticipar efectos secundarios, probar señales de recompensa) que no aparecen en la fuente. Una versión anterior afirmaba que la ecuación de Price fue publicada primero por George R. Price en 1970; la fuente proporcionada menciona la ecuación de Price pero no confirma al autor ni la fecha de 1970, por lo que el detalle específico no puede verificarse a partir de la fuente dada.

Los datos clave

  • Los investigadores derivaron un marco estilo ecuación de Price que rastrea la evolución de rasgos durante el post-entrenamiento por RL en LLM
  • El marco recupera la ecuación de Price de la biología evolutiva aplicada a las presiones de selección de modelos lingüísticos
  • Las pruebas en modelos entrenados con GRPO mostraron que las estimaciones de Price siguen de cerca la dinámica de rasgos muestreados
  • Los hallazgos identifican el trait hitchhiking como un mecanismo por el cual el post-entrenamiento por RL puede amplificar silenciosamente rasgos indeseables
  • A medida que crece la computación de post-entrenamiento, los efectos del trait hitchhiking escalan proporcionalmente con el pulido dirigido por recompensas

Fuentes

  1. Trait Hitchhiking in LLM Post-Training

Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes

Sigue leyendo

Una figura del artículo "Verifiable pXRD: Hill-climbing pXRD structure determination with LLM agents".Cómo funcionaLos agentes de IA mejoran la recuperación de estructuras cristalinas del 27 % al 69 %, lo que podría acelerar la investigación de nuevos materialesHerald of AI▶Figure: Chen et al., arXiv:2611.17539, CC BY 4.0

Los agentes de IA mejoran la recuperación de estructuras cristalinas del 27 % al 69 %, lo que podría acelerar la investigación de nuevos materiales

Un nuevo sistema de IA utiliza agentes de modelos de lenguaje grandes para determinar la disposición de los átomos en los cristales a partir de datos de difracción de polvo mucho más rápido, lo que podría acelerar el descubrimiento de fármacos y el desarrollo de nuevas baterías.

Cómo funciona