LEASH aiuta gli agenti di AI a sapere quando chiedere aiuto

Cosa si potrebbe fare con questo sistema

• Un'azienda potrebbe distribuire agenti di AI su computer o telefoni di uso quotidiano che chiamano modelli cloud costosi solo quando il compito si fa difficile, tagliando i costi di inferenza di circa il 19 percento ¹.
• I ricercatori potrebbero dotare piccoli agenti open-source della capacità di riconoscere la propria confusione e passare a modelli più forti senza aggiungere operazioni di addestramento o monitoraggio aggiuntivo ¹.
• Un'organizzazione che gestisce flussi di lavoro lunghi e basati sull'uso del computer potrebbe permettere ad agenti deboli di gestire in autonomia i click e la digitazione di routine, mentre un osservatore in secondo piano controlla in cerca di problemi e interviene solo quando i segnali assomigliano a fallimenti passati ¹.

Chiedere aiuto al momento giusto

LEASH è un nuovo metodo che rende gli agenti di AI più intelligenti nel decidere quando chiamare in causa un sistema più potente. Gli agenti per l'uso del computer sono programmi in grado di cliccare pulsanti, digitare testo e navigare autonomamente nel software. Sono utili per compiti lunghi, ma eseguire un modello di alto livello per ogni singolo passaggio è costoso, e un piccolo modello open-source spesso non ce la fa da solo. L'idea dell'escalation da debole a forte consiste nell'usare di default un agente più debole e passare il controllo a uno più forte solo quando serve, ma la difficoltà è sempre stata sapere esattamente quando effettuare questa escalazione.

I ricercatori dimostrano che i segnali interni dello stesso agente debole possono rispondere a questa domanda. Confrontano gli stati nascosti dell'agente, ovvero le rappresentazioni interne prodotte durante ogni decisione, con i ricordi di esecuzioni precedenti riuscite e fallite. Se uno stato attuale assomiglia di più ai fallimenti, il sistema lo tratta come un segnale di alta incertezza e chiama il modello più forte. Poiché il valutatore riutilizza le attivazioni già prodotte durante la generazione delle azioni, non sono richiesti passaggi forward aggiuntivi né l'addestramento di un monitor separato.

Tre livelli di supervisione

LEASH funziona in tre fasi. La prima stima l'incertezza iniziale del compito per indirizzare direttamente i problemi difficili verso l'agente forte. La seconda controlla l'incertezza a ogni singolo passaggio mentre l'agente debole lavora, intervenendo dinamicamente se le cose vanno fuori pista. Dopo che l'agente forte prende il sopravvento, il terzo livello, un osservatore in secondo piano, continua a sorvegliarlo anche se la maggior parte delle API commerciali nasconde i propri dettagli interni al monitoraggio esterno.

Tutti e tre i livelli si affidano a un'incertezza latente estratta dagli stati nascosti del modello debole. Questo rende il sistema esente da addestramento e economico da eseguire.

Risultati reali su benchmark reali

I test su OSWorld, un benchmark per agenti di AI che completano compiti al computer, ha utilizzato quattro backbone di modelli contemporanei. Su tutti e quattro, LEASH ha migliorato i risultati degli agenti deboli da soli e ha superato il ricorso casuale di 6,55-11,94 punti a parità di tassi di escalation ¹.

Con Qwen3.5-35B-A3B, LEASH ha raggiunto il 73,66 percento di successo nei compiti a circa 0,41 dollari a compito, mentre Claude Opus 5 attivo costantemente ha segnato il 72,90 percento a un costo più elevato ¹. L'approccio da debole a forte ha raggiunto i risultati del modello costoso e ha tagliato i costi di inferenza di circa il 19 percento.

Perché è importante

Mentre gli agenti di AI affrontano flussi di lavoro sempre più lunghi e complessi, pagare un modello all'avanguardia per ogni singolo click diventa un vero collo di bottiglia. LEASH dimostra che l'incertezza può essere stimata partendo dai segnali già disponibili nei modelli senza aggiungere infrastrutture pesanti. Questo rende l'escalation praticabile per sistemi che dipendono già da API chiuse, dove i passaggi interni restano altrimenti invisibili.

Il lavoro non pretende di risolvere ogni problema di supervisione. Le API in scatola nera nascondono comunque il proprio ragionamento, e l'osservatore in secondo piano descritto qui si basa su confronti latenti piuttosto che sull'accesso diretto agli interni del modello forte. I risultati suggeriscono però che un migliore instradamento, non solo modelli più grandi, potrebbe essere la strada più scalabile per il futuro.

¹

I fatti principali

• LEASH è un framework esente da addestramento che effettua escalation da agenti di AI deboli a forti basandosi su segnali di incertezza latente.
• Utilizza tre livelli: instradamento a livello di compito, escalation a livello di passaggio e un osservatore in secondo piano dopo il passaggio di consegne.
• I test su OSWorld mostrano che LEASH supera il ricorso casuale di 6,55-11,94 punti a tassi di escalation equivalenti.
• Con Qwen3.5-35B-A3B, LEASH raggiunge il 73,66 percento di successo a 0,41 dollari a compito, eguagliando Claude Opus 5 con un costo inferiore del 19 percento.

Fonti

1. Paper page - LEASH: Uncertainty-Aware Weak-to-Strong Escalation and Oversight for Computer-Use Agents