Test mostra che i principali agenti AI falliscono nel personalizzare le attività telefoniche per te
Un nuovo test rivela che mentre gli assistenti AI per telefono possono eseguire comandi, faticano a sapere cosa vuoi davvero senza chiedere.
Cosa misura il test
L'idea dietro gli assistenti AI per telefono è che dovrebbero agire per tuo conto, comprendendo le tue abitudini e preferenze. Gli attuali computer-use agents possono portare a termine compiti completamente specificati attraverso le app, ma le richieste reali sono spesso vaghe. Per fare la cosa giusta, un agente deve riempire da solo le lacune — richiamando quello che ha visto fare prima, oppure fermandosi a farti una domanda 1.
iPrefBench è stato costruito per misurare esattamente quella spaccatura tra sapere e chiedere. Viene eseguito all'interno di un ambiente iPhone simulato accoppiato con un utente simulato interattivo che ha una persona coerente costruita a partire da 3.051 eventi di attività passati. Attraverso 26 app quotidiane, il benchmark stabilisce 130 compiti non specificati. Ogni elemento mancante è progettato per essere qualcosa che l'agente potrebbe dedurre dalla tua cronologia passata o qualcosa che solo tu potresti rispondere — non ci sono domande ambigue 1.
I risultati
Sette agenti AI frontier sono stati sottoposti al test. I numeri mostrano una chiara divisione tra esecuzione grezza e vera personalizzazione. Gli agenti hanno completato fino al 91,6% delle azioni singole — aprire l'app giusta, toccare il pulsante giusto — ma hanno raggiunto solo il 47,7% di successo completo del compito quando valutati in base a ciò che l'utente simulato voleva realmente 1. La personalizzazione, non l'azione, è ciò che li rallenta.
La debolezza più grande si è manifestata quando i compiti richiedevano che l'agente chiedesse informazioni che non poteva indovinare. Molti agenti hanno semplicemente continuato avanti senza chiarire, facendo supposizioni non supportate invece di fermarsi per verificare con l'utente 1. I risultati indicano una sfida più profonda per gli assistenti AI personali: imparare non solo cosa fare, ma quando fermarsi e chiedere .
Cosa succede dopo
I ricercatori sperano che iPrefBench diventi un banco di prova condiviso per chiunque costruisca agenti che conoscano realmente il proprio utente e lavorino al suo fianco invece di indovinare alla cieca 1. Per ora, il benchmark evidenzia che il divario tra un assistente che agisce velocemente e uno che agisce correttamente per te rimane ampio .
I fatti principali
- iPrefBench testa gli agenti AI su 130 compiti vaghi attraverso 26 app in un iPhone simulato con 3.051 eventi di attività passati
- Sette agenti frontier hanno completato fino al 91,6% delle azioni ma solo il 47,7% dei compiti completi correttamente per l'utente
- Gli agenti hanno per lo più fallito non facendo abbastanza domande quando mancavano informazioni personali
- Il benchmark è pubblicamente disponibile su Hugging Face