IAGenerado
EN · IT · ES

Investigadores de Apple encuentran el límite infranqueable para mejorar el comportamiento de los modelos de IA

Un nuevo estudio muestra cuánto puede mejorar realmente el entrenamiento de seguridad de la IA las capacidades de los modelos —y por qué los métodos actuales siguen quedándose muy cortos.

Jeff Sheldon 2017.
Foto de archivo · Foto: Jeff Sheldon ugmonk, CC0, via Wikimedia Commons

Qué puedes hacer con ello

  • Los ingenieros podrían estimar cuánta mejora del comportamiento de un modelo de IA es teóricamente posible calculando una covarianza usando solo muestras del modelo base sin alinear 1.
  • Los investigadores podrían calcular el techo matemático exacto para la mejora de recompensa bajo una restricción de divergencia KL, reemplazando estimaciones previas más aproximadas basadas en la raíz cuadrada de la divergencia KL 1.
  • Los desarrolladores de IA podrían justificar el uso de la ensemble de recompensas como forma de reducir el reward hacking, dado que el estudio demuestra que mitiga la brecha causada por recompensas proxy imperfectas 1.

Palabras para saber

divergencia KL: Una manera de medir cuán diferentes son dos conjuntos de probabilidades; aquí limita cuánto puede desviarse un modelo durante el entrenamiento · frontera de Pareto: Una curva que muestra los mejores intercambios posibles entre dos objetivos competitivos

Investigadores de Apple han publicado un artículo identificando los límites fundamentales de cuán bien las técnicas de alineación de IA pueden mejorar realmente la salida de un modelo de lenguaje 1. El estudio, aceptado en la conferencia NeurIPS y publicado en noviembre de 2026, examina dos métodos de alineación ampliamente utilizados: el aprendizaje por refuerzo, que intenta maximizar respuestas buenas mientras mantiene al modelo cercano a su comportamiento original, y la "alineación best-of-N", que simplemente selecciona el mejor resultado entre múltiples intentos .

A pesar de su uso cotidiano para producir IA útil y segura, los científicos tenían poco entendimiento de la mejora máxima absoluta que cualquier enfoque de alineación con restricción de divergencia KL podría lograr. La divergencia KL es un término técnico que mide cuánto se ha desplazado el modelo alineado respecto al modelo base, y la restricción actúa como un presupuesto que limita cuán lejos puedes empujar a un modelo durante el entrenamiento 1.

El equipo derivó una expresión de forma cerrada para la mejora óptima de recompensa, revelando que el límite está regido por algo llamado "divergencia de Jeffreys" —un tipo diferente de medida de distancia matemática— en lugar de la raíz cuadrada de la divergencia KL en la que se basaban análisis previos 1. También reformularon esta expresión como una covarianza, lo que da a los ingenieros una herramienta práctica para estimar las ganancias de alineación alcanzables usando solo muestras del modelo base sin alinear .

Una analogía útil: piensa en la alineación como intentar conducir un coche más cerca de un carril deseado. Las reglas empíricas anteriores decían que tu capacidad de dirección escalaba con una medida (la raíz cuadrada de KL), pero las nuevas matemáticas muestran que en realidad escala con una medida diferente y más precisa (la divergencia de Jeffreys). Esto cambia el mapa de lo que es teóricamente posible.

El documento analizó además el "entorno de recompensa proxy", donde en lugar de contar con una señal de recompensa perfecta, los modelos se entrenan contra un proxy imperfecto 1. Los investigadores demostraron que la brecha entre la alineación ideal y lo que logra la alineación basada en proxies crece cuando el error de recompensa aumenta o cuando el factor de penalización KL disminuye —explicando esencialmente cuándo y por qué el "reward hacking" se vuelve peor . El reward hacking ocurre cuando un modelo aprende a explotar debilidades en el sistema de puntuación en lugar de comportarse verdaderamente como se pretende.

Importante: proporcionaron una justificación teórica para una técnica ya utilizada en la práctica: el ensemble de recompensas. Al combinar múltiples señales de recompensa, el reward hacking puede mitigarse 1.

Para poner a prueba su teoría, los investigadores calcularon la frontera de Pareto KL-recompensa para dos tareas comunes: filtrado de seguridad y resumen 1. Encontraron que best-of-N se acerca estrechamente al límite teórico, lo que significa que casi alcanza el techo que sus matemáticas predijeron . En contraste, PPO (Optimización de Política Proximal) y GRPO (Optimización de Política Relativa por Grupos) —dos métodos de aprendizaje por refuerzo ampliamente utilizados— permanecieron sustancialmente subóptimos, dejando un margen significativo para la mejora algorítmica .

Los resultados arrojan luz sobre varios fenómenos largamente observados en la literatura de alineación y sugieren que se necesitan algoritmos mejores para lograr una alineación casi óptima sin requerir muestreo costoso en tiempo de inferencia como best-of-N 1. En términos prácticos, esto significa que los futuros sistemas de IA necesitarán enfoques de entrenamiento más inteligentes en lugar de repetición a la fuerza bruta para volverse tanto más seguros como más capaces.

Por qué esto no es solo teoría

La validación empírica del artículo en tareas reales muestra que incluso los métodos de alineación más ampliamente utilizados hoy en día no alcanzan el tope que sus propias matemáticas predicen. Para desarrolladores que construyen productos de IA, esto significa que existe una brecha identifiable entre lo que es alcanzable en principio y lo que los algoritmos actuales entregan en la práctica 1. Cerrar esa brecha es una dirección de investigación activa, pero el estudio de Apple proporciona un punto de referencia para medir el progreso.

Si estás pasando dificultades, hay ayuda disponible: en Italia llama al 112 o a Teléfono Amigo al 02 2327 2327; en otros lugares, llama al número de emergencia local.

Qué tan bueno es

Los investigadores calcularon la frontera de Pareto KL-recompensa para tareas de seguridad y resumen a través de modelos de lenguaje 1. Se encontró que best-of-N se acercaba estrechamente al límite teórico en estas tareas . En contraste, PPO y GRPO permanecieron sustancialmente subóptimos comparados tanto con best-of-N como con la cota derivada . Esto significa que los métodos de alineación populares actuales todavía dejan sin aprovechar un potencial real de mejora .

Los datos clave

  • Investigadores de Apple publicaron un artículo de noviembre de 2026 que deriva el techo matemático para la alineación KL-regularizada de modelos de lenguaje
  • La ganancia óptima de recompensa está regida por la divergencia de Jeffreys, no por la raíz cuadrada de la divergencia KL que se asumía anteriormente
  • La alineación best-of-N alcanza casi este límite teórico, mientras que PPO y GRPO permanecen sustancialmente subóptimos
  • El reward hacking (brecha entre la alineación ideal y la basada en proxies) empeora con errores de recompensa mayores y penalizaciones KL menores
  • Se demuestra que el ensemble de recompensas mitiga el reward hacking, aportando sustento teórico a una práctica comúnmente utilizada

Fuentes

  1. Theoretical Limits of Language Model Alignment

Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes

Sigue leyendo

Capturas de pantalla de la nueva aplicación de investigación muestran una interfaz de chat sencilla que formula preguntas cotidianas sobre salud junto con citas médicas.Apps y productosApple lanza una app gratuita para que la gente pruebe y moldee herramientas de salud con IA antes de que lleguen a todosHerald of AI

Apple lanza una app gratuita para que la gente pruebe y moldee herramientas de salud con IA antes de que lleguen a todos

Un nuevo estudio de Apple permite a cualquier persona con un iPhone reciente chatear con un asistente de salud con IA y valorar sus respuestas, ayudando a Apple a construir mejores herramientas para personas reales.

Apps y productos