La ricerca di Yibo Liu mostra che gli agenti AI perdono conoscenze ogni volta che trasmettono appunti ai successori
Quando i sistemi AI riassumono il proprio lavoro per il turno successivo, alcune lezioni scompaiono — un problema per qualsiasi strumento che dipende dalla memoria passo dopo passo.

- L'agente prova delle azioni per scoprire le regole nascoste.
- Ci scrive in 300 caratteri un riassunto di quelle regole.
- Passa il foglietto a un agente fresco.
- Il nuovo agente parte usando solo quell'appunto.
L'esperimento in parole semplici
Un ricercatore di nome Yibo Liu ha pubblicato su arXiv uno studio che analizza qualcosa che molti costruttori di AI danno per scontato: quanto efficacemente gli agenti AI riescono a trasmettere ciò che hanno imparato quando consegnano il proprio lavoro a un'altra versione di sé 1.
Il team ha costruito 56 mondi interattivi di prova, ognuno dei quali nascondeva regole che l'agente doveva scoprire per tentativi ed errori. Un agente a cui non veniva detto nulla all'inizio falliva ogni volta. Ma un agente a cui veniva data una breve dichiarazione di 300 caratteri delle regole aveva successo 1. Questo ha permesso un confronto pulito: la domanda era se quelle regole sopravvivessero quando venivano scritte e trasmesse.
Una configurazione permetteva a un singolo agente di giocare otto "vite" all'interno di ogni mondo mantenendo intatta tutta la cronologia. Un'altra configurazione metteva in catena otto agenti separati — ognuno giocava una sola vita, poi riceveva un appunto di 300 caratteri dal predecessore da portare avanti 1.
Dopo otto generazioni nella catena, l'agente finale non prestava meglio di quanto facesse l'agente solitario dopo circa quattro vite. Le conoscenze scomparivano a ogni passaggio 1.
Cosa ha causato la perdita?
I ricercatori hanno scomposto il problema in parti usando versioni controllate della catena. Cambiare modello a metà catena non creava perdite extra — era lo stesso modello per tutta la durata. Comprimere tutto in 300 caratteri ha causato un calo piccolo. Ma comprimere ripetutamente, appunto dopo appunto dopo appunto, ha causato il danno maggiore 1.
C'è stata una parziale soluzione. Quando ogni nuovo scrittore leggeva dall'intero registro delle vite precedenti invece di partire dall'appunto precedente, gli stessi 300 caratteri recuperavano tra il 70 percento e l'82 percento di ciò che era andato perso 1. Non risolveva tutto, ma mostrava dove stava la falla.
Altre idee — dire allo scrittore di registrare le prove, chiedergli di rivedere l'appunto ereditato, o richiedere un registro strutturato — non hanno fatto differenza 1. Il risultato si è mantenuto stabile anche attraverso dimensioni di modello diverse .
Cosa significa per te
Se hai mai usato un assistente AI che si basa sulle proprie risposte passate — un aiuto per il coding che continua a modificare, un bot di pianificazione che rilegge vecchi appunti, oppure un'automazione che concatena diversi passaggi — questa ricerca suggerisce un limite silenzioso. Le intuizioni sottili che richiedono diversi tentativi per essere notate non entrano sempre comodamente in un breve riassunto. Quando il turno successivo parte da quel riassunto invece che dall'intero registro, quelle intuizioni possono scomparire 1.
La conclusione è semplice e coincide con quella del documento stesso: un agente non può consegnare ciò che non ha ancora capito, e una regola che richiede diverse vite per essere compresa andrà persa in una delle vite che non viene trasmessa 1.
Questa storia segnala un trend a solo scopo informativo. Non costituisce consiglio né incoraggiamento a fare nessuna di queste cose.
I fatti principali
- Gli agenti AI in una catena di 8 passaggi non Performano meglio di un singolo agente dopo circa 4 vite
- La compressione ripetuta causa maggiori perdite di conoscenze rispetto al limite di 300 caratteri di per sé
- Leggere dai registri completi delle vite precedenti invece che dall'ultimo appunto recupera il 70%-82% delle conoscenze perse
- Dire agli agenti di registrare prove, rivedere appunti o tenere registri non ha ridotto la perdita
- Il risultato è stato coerente attraverso diverse dimensioni di modello
Fonti
Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste
Continua a leggere
Come funzionaCome Meta triplica la produttività ingegneristica grazie agli agenti per distribuire le tecniche dei modelli di annunciHerald of AI
Come Meta triplica la produttività ingegneristica grazie agli agenti per distribuire le tecniche dei modelli di annunci
Il nuovo sistema di agenti AI di Meta adatta automaticamente piccoli miglioramenti attraverso migliaia di modelli pubblicitari, risparmiando milioni nei costi di calcolo.
Come funzionaIl ricercatore del MIT vuole che l'AI spieghi se stessa invece di nascondere come funzionaHerald of AI
Il ricercatore del MIT vuole che l'AI spieghi se stessa invece di nascondere come funziona
Jacob Andreas sta allenando l'AI a parlare di ciò che ha imparato, offrendo agli utenti comuni un modo per capire come questi sistemi prendono decisioni, senza affidarsi solo a strumenti complessi di debug.
Come funzionaI ricercatori Apple individuano il limite invalicabile per migliorare il comportamento dei modelli di AIHerald of AI
I ricercatori Apple individuano il limite invalicabile per migliorare il comportamento dei modelli di AI
Un nuovo studio mostra fino a che punto l'addestramento sulla sicurezza dell'AI possa realmente migliorare gli output dei modelli, e perché i metodi attuali restano ancora molto indietro.