LEASH aiuta gli agenti di AI a sapere quando chiedere aiuto
Un nuovo sistema consente agli agenti di AI di chiedere supporto a modelli più grandi solo quando sono incerti, risparmiando denaro pur mantenendo risultati elevati.
Cosa si potrebbe fare con questo sistema
- Un'azienda potrebbe distribuire agenti di AI su computer o telefoni di uso quotidiano che chiamano modelli cloud costosi solo quando il compito si fa difficile, tagliando i costi di inferenza di circa il 19 percento 1.
- I ricercatori potrebbero dotare piccoli agenti open-source della capacità di riconoscere la propria confusione e passare a modelli più forti senza aggiungere operazioni di addestramento o monitoraggio aggiuntivo 1.
- Un'organizzazione che gestisce flussi di lavoro lunghi e basati sull'uso del computer potrebbe permettere ad agenti deboli di gestire in autonomia i click e la digitazione di routine, mentre un osservatore in secondo piano controlla in cerca di problemi e interviene solo quando i segnali assomigliano a fallimenti passati 1.
Chiedere aiuto al momento giusto
LEASH è un nuovo metodo che rende gli agenti di AI più intelligenti nel decidere quando chiamare in causa un sistema più potente. Gli agenti per l'uso del computer sono programmi in grado di cliccare pulsanti, digitare testo e navigare autonomamente nel software. Sono utili per compiti lunghi, ma eseguire un modello di alto livello per ogni singolo passaggio è costoso, e un piccolo modello open-source spesso non ce la fa da solo. L'idea dell'escalation da debole a forte consiste nell'usare di default un agente più debole e passare il controllo a uno più forte solo quando serve, ma la difficoltà è sempre stata sapere esattamente quando effettuare questa escalazione.
I ricercatori dimostrano che i segnali interni dello stesso agente debole possono rispondere a questa domanda. Confrontano gli stati nascosti dell'agente, ovvero le rappresentazioni interne prodotte durante ogni decisione, con i ricordi di esecuzioni precedenti riuscite e fallite. Se uno stato attuale assomiglia di più ai fallimenti, il sistema lo tratta come un segnale di alta incertezza e chiama il modello più forte. Poiché il valutatore riutilizza le attivazioni già prodotte durante la generazione delle azioni, non sono richiesti passaggi forward aggiuntivi né l'addestramento di un monitor separato.
Tre livelli di supervisione
LEASH funziona in tre fasi. La prima stima l'incertezza iniziale del compito per indirizzare direttamente i problemi difficili verso l'agente forte. La seconda controlla l'incertezza a ogni singolo passaggio mentre l'agente debole lavora, intervenendo dinamicamente se le cose vanno fuori pista. Dopo che l'agente forte prende il sopravvento, il terzo livello, un osservatore in secondo piano, continua a sorvegliarlo anche se la maggior parte delle API commerciali nasconde i propri dettagli interni al monitoraggio esterno.
Tutti e tre i livelli si affidano a un'incertezza latente estratta dagli stati nascosti del modello debole. Questo rende il sistema esente da addestramento e economico da eseguire.
Risultati reali su benchmark reali
I test su OSWorld, un benchmark per agenti di AI che completano compiti al computer, ha utilizzato quattro backbone di modelli contemporanei. Su tutti e quattro, LEASH ha migliorato i risultati degli agenti deboli da soli e ha superato il ricorso casuale di 6,55-11,94 punti a parità di tassi di escalation 1.
Con Qwen3.5-35B-A3B, LEASH ha raggiunto il 73,66 percento di successo nei compiti a circa 0,41 dollari a compito, mentre Claude Opus 5 attivo costantemente ha segnato il 72,90 percento a un costo più elevato 1. L'approccio da debole a forte ha raggiunto i risultati del modello costoso e ha tagliato i costi di inferenza di circa il 19 percento.
Perché è importante
Mentre gli agenti di AI affrontano flussi di lavoro sempre più lunghi e complessi, pagare un modello all'avanguardia per ogni singolo click diventa un vero collo di bottiglia. LEASH dimostra che l'incertezza può essere stimata partendo dai segnali già disponibili nei modelli senza aggiungere infrastrutture pesanti. Questo rende l'escalation praticabile per sistemi che dipendono già da API chiuse, dove i passaggi interni restano altrimenti invisibili.
Il lavoro non pretende di risolvere ogni problema di supervisione. Le API in scatola nera nascondono comunque il proprio ragionamento, e l'osservatore in secondo piano descritto qui si basa su confronti latenti piuttosto che sull'accesso diretto agli interni del modello forte. I risultati suggeriscono però che un migliore instradamento, non solo modelli più grandi, potrebbe essere la strada più scalabile per il futuro.
I fatti principali
- LEASH è un framework esente da addestramento che effettua escalation da agenti di AI deboli a forti basandosi su segnali di incertezza latente.
- Utilizza tre livelli: instradamento a livello di compito, escalation a livello di passaggio e un osservatore in secondo piano dopo il passaggio di consegne.
- I test su OSWorld mostrano che LEASH supera il ricorso casuale di 6,55-11,94 punti a tassi di escalation equivalenti.
- Con Qwen3.5-35B-A3B, LEASH raggiunge il 73,66 percento di successo a 0,41 dollari a compito, eguagliando Claude Opus 5 con un costo inferiore del 19 percento.
Fonti
Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste
Continua a leggere
Come funzionaCome Meta triplica la produttività ingegneristica grazie agli agenti per distribuire le tecniche dei modelli di annunciHerald of AI
Come Meta triplica la produttività ingegneristica grazie agli agenti per distribuire le tecniche dei modelli di annunci
Il nuovo sistema di agenti AI di Meta adatta automaticamente piccoli miglioramenti attraverso migliaia di modelli pubblicitari, risparmiando milioni nei costi di calcolo.
Come funzionaLa ricerca di Yibo Liu mostra che gli agenti AI perdono conoscenze ogni volta che trasmettono appunti ai successoriHerald of AI
La ricerca di Yibo Liu mostra che gli agenti AI perdono conoscenze ogni volta che trasmettono appunti ai successori
Quando i sistemi AI riassumono il proprio lavoro per il turno successivo, alcune lezioni scompaiono — un problema per qualsiasi strumento che dipende dalla memoria passo dopo passo.
App e prodottiL'agente Handoff² di Hark è due volte più veloce per le attività online col computerHerald of AI
L'agente Handoff² di Hark è due volte più veloce per le attività online col computer
Navigare, prenotare voli, compilare moduli ed eseguire ricerche lunghe richiede molto meno tempo quando si delega Handoff al compito.