LEASH aiuta gli agenti AI a capire quando chiedere aiuto

Cosa se ne potrebbe fare

Un'azienda potrebbe distribuire agenti AI su computer quotidiani o telefoni che si rivolgono a modelli costosi nel cloud solo quando il compito si fa difficile, riducendo i costi di inferenza di circa il 19 percento ¹.
I ricercatori potrebbero dotare agenti open-source di minori dimensioni della capacità di riconoscere la propria confusione e di delegare a modelli più forti senza aggiungere ulteriore addestramento o overhead di monitoraggio ¹.
Un'organizzazione che esegue flussi di lavoro prolungati di uso del computer potrebbe lasciare agli agenti deboli la gestione autonoma di clic e digitazioni di routine, mentre un osservatore ombra tiene sotto controllo la situazione e interviene solo quando i segnali assomigliano a fallimenti passati ¹.

Chiedere aiuto al momento giusto

LEASH è un nuovo metodo che rende gli agenti AI più furbi nel decidere quando chiamare in causa un sistema più potente. Gli agenti per l'uso del computer sono programmi capaci di cliccare pulsanti, digitare testo e navigare autonomamente nel software. Sono utili per compiti lunghi, ma eseguire un modello di fascia alta per ogni singolo passaggio è costoso, e un piccolo modello open-source spesso fallisce da solo. L'escalation da debole a forte è l'idea di usare un agente debole come impostazione predefinita e di passare il controllo a uno più forte solo quando serve, ma la parte difficile è sempre stata sapere esattamente quando escalare.

I ricercatori mostrano che i segnali interni dell'agente debole possono rispondere a questa domanda. Confrontano gli stati nascosti dell'agente, ovvero le rappresentazioni interne prodotte durante ogni decisione, con memorie di esecuzioni passate riuscite e fallite. Se uno stato attuale assomiglia di più ai fallimenti, il sistema lo tratta come incertezza elevata e chiama il modello più forte. Poiché l'e stimatore riutilizza attivazioni già prodotte durante la generazione dell'azione, non sono richiesti passaggi forward aggiuntivi né un addestramento separato del monitor.

Tre livelli di supervisione

LEASH funziona in tre fasi. La prima stima l'incertezza iniziale del compito per indirizzare direttamente i problemi difficili verso l'agente forte. La seconda controlla l'incertezza a ogni passaggio mentre lavora l'agente debole, escalando dinamicamente se le cose deviano dalla rotta. Dopo che l'agente forte ha preso il controllo, il terzo livello, un osservatore ombra, continua a sorvegliarlo anche se la maggior parte delle API commerciali nasconde i propri dettagli interni al monitoraggio esterno.

Tutti e tre i livelli si affidano all'incertezza latente estratta dagli stati nascosti del modello debole. Questo mantiene il sistema training-free ed economico da eseguire.

Risultati reali su benchmark reali

I test su OSWorld, un benchmark per agenti AI che completano compiti al computer, ha usato quattro backbone di modelli contemporanei. Su tutti e quattro, LEASH ha migliorato gli agenti deboli standalone e ha battuto l'escalation casuale di 6,55-11,94 punti alle stesse rate di escalation ¹.

Con Qwen3.5-35B-A3B, LEASH ha raggiunto il 73,66 percento di successo nei compiti a circa $0,41 per compito, mentre Claude Opus 5 sempre attivo ha segnato il 72,90 percento a un costo maggiore ¹. L'approccio weak-to-strong ha eguagliato il modello costoso e tagliato i costi di inferenza di circa il 19 percento.

Perché questo importa

Mano a mano che gli agenti AI si assumono flussi di lavoro più lunghi e complessi, pagare un modello di frontiera a ogni clic diventa un vero collo di bottiglia. LEASH mostra che l'incertezza può essere stimata dai segnali del modello esistenti senza aggiungere infrastrutture pesanti. Questo rende l'escalation praticabile per sistemi che dipendono già da API chiuse, dove i passaggi interni restano altrimenti invisibili.

Il lavoro non sostiene di risolvere ogni problema di supervisione. Le API black-box nascondono ancora il proprio ragionamento, e l'osservatore ombra descritto qui funziona con confronti latenti anziché con accesso diretto agli interni del modello forte. Ciononostante, i risultati suggeriscono che un routing migliore, non solo modelli più grandi, potrebbe essere la via più scalabile in futuro.

I fatti principali

LEASH è un framework training-free che scala da agenti AI deboli a forti basandosi su segnali di incertezza latente.
Usa tre livelli: instradamento a livello di compito, escalation a livello di passaggio e un osservatore ombra dopo il passaggio di consegne.
I test su OSWorld mostrano che LEASH supera l'escalation casuale di 6,55-11,94 punti a rate di escalation equivalenti.
Con Qwen3.5-35B-A3B, LEASH raggiunge il 73,66 percento di successo a $0,41 per compito, uguagliando Claude Opus 5 al 19 percento di costo in meno.

Fonti

Paper page - LEASH: Uncertainty-Aware Weak-to-Strong Escalation and Oversight for Computer-Use Agents