LEASH ayuda a los agentes de IA a saber cuándo pedir ayuda

What you could do with it

• Una empresa podría desplegar agentes de IA en computadoras o teléfonos cotidianos que solo llamen a modelos costosos en la nube cuando la tarea se complique, reduciendo los costos de inferencia en aproximadamente un 19 % ¹.
• Los investigadores podrían dotar a los pequeños agentes de código abierto de la capacidad de detectar su propia confusión y transferir el control a modelos más fuertes sin agregar sobrecarga de entrenamiento o monitoreo adicional ¹.
• Una organización que ejecute flujos de trabajo prolongados de uso de computadora podría permitir que agentes débiles manejen clics y tipeos rutinarios de manera autónoma mientras un observador sombra vigila problemas y escala solo cuando las señales se asemejan a fracasos anteriores ¹.

Asking for help at the right time

LEASH es un nuevo método que hace que los agentes de AI sean más inteligentes sobre cuándo llamar a un sistema más poderoso. Los agentes de uso de computadora son programas que pueden hacer clic en botones, escribir texto y navegar por software por sí mismos. Son útiles para tareas largas, pero ejecutar un modelo de primera categoría en cada paso individual es costoso, y un pequeño modelo de código abierto a menudo falla por sí solo. La escalación de débil a fuerte es la idea de usar un agente más débil por defecto y ceder el control a uno más fuerte solo cuando sea necesario, pero la parte difícil siempre ha sido saber exactamente cuándo escalar.

Los investigadores demuestran que las propias señales internas del agente débil pueden responder a esa pregunta. Comparan los estados ocultos del agente, es decir, las representaciones internas producidas durante cada decisión, con memorias de ejecuciones pasadas exitosas y fallidas. Si un estado actual se parece más a los fracasos, el sistema lo trata como alta incertidumbre y llama al modelo más fuerte. Dado que el estimador reutiliza activaciones ya producidas durante la generación de acciones, no se requiere un pase hacia adelante adicional ni un entrenamiento de monitoreo separado.

Three layers of oversight

LEASH funciona en tres etapas. La primera etapa estima la incertidumbre inicial de la tarea para dirigir los problemas difíciles directamente al agente fuerte. La segunda verifica la incertidumbre en cada paso mientras el agente débil trabaja, escalando dinámicamente si las cosas se desvían del rumbo. Después de que el agente fuerte toma el control, la tercera capa, un observador sombra, continúa vigilándolo a pesar de que la mayoría de las APIs comerciales ocultan sus detalles internos al monitoreo externo.

Las tres capas dependen de la incertidumbre latente extraída de los estados ocultos del modelo débil. Esto mantiene el sistema libre de entrenamiento y económico de ejecutar.

Real results on real benchmarks

Pruebas en OSWorld, un benchmark para agentes de IA que completan tareas de computadora, utilizaron cuatro backbones de modelos contemporáneos. En todas ellas, LEASH mejoró respecto a los agentes débiles independientes y superó a la escalación aleatoria entre 6,55 y 11,94 puntos a las mismas tasas de escalación ¹.

Con Qwen3.5-35B-A3B, LEASH alcanzó un 73,66 % de éxito en tareas a aproximadamente $0,41 por tarea, mientras que Claude Opus 5, que se ejecuta siempre, obtuvo un 72,90 % a mayor costo ¹. El enfoque de débil a fuerte igualó al modelo costoso y redujo el costo de inferencia en aproximadamente un 19 %.

Why this matters

A medida que los agentes de IA asumen flujos de trabajo más largos y complejos, pagar por un modelo de vanguardia en cada clic se convierte en un verdadero cuello de botella. LEASH muestra que la incertidumbre puede estimarse a partir de señales de modelos existentes sin agregar infraestructura pesada. Eso hace que la escalación sea práctica para sistemas que ya dependen de APIs cerradas, donde los pasos internos son de lo contrario invisibles.

El trabajo no afirma resolver cada problema de supervisión. Las APIs de caja negra aún ocultan su razonamiento, y el observador sombra descrito aquí trabaja con comparaciones latentes en lugar de acceso directo a los internos del modelo fuerte. Aun así, los resultados sugieren que un mejor enrutamiento, no solo modelos más grandes, podría ser el camino más escalable hacia adelante.

¹

Los datos clave

• LEASH es un marco libre de entrenamiento que escala de agentes de IA débiles a fuertes basado en señales de incertidumbre latente.
• Utiliza tres capas: enrutamiento a nivel de tarea, escalación a nivel de paso y un observador sombra después de la transferencia.
• Las pruebas en OSWorld muestran que LEASH supera a la escalación aleatoria entre 6,55 y 11,94 puntos a tasas de escalación equivalentes.
• Con Qwen3.5-35B-A3B, LEASH alcanza un 73,66 % de éxito a $0,41 por tarea, igualando a Claude Opus 5 con un 19 % menos de costo.

Fuentes

1. Paper page - LEASH: Uncertainty-Aware Weak-to-Strong Escalation and Oversight for Computer-Use Agents