Il test mostra che i principali agenti AI falliscono nel personalizzare le attività telefoniche per te

Cosa misura il test

L'idea dietro gli assistenti AI per telefono è che dovrebbero agire per tuo conto, comprendendo le tue abitudini e preferenze. Gli attuali computer-use agents possono portare a termine compiti completamente specificati attraverso le app, ma le richieste reali sono spesso vaghe. Per fare la cosa giusta, un agente deve riempire da solo le lacune — richiamando quello che ha visto fare prima, oppure fermandosi a farti una domanda ¹.

iPrefBench è stato costruito per misurare esattamente quella spaccatura tra sapere e chiedere. Viene eseguito all'interno di un ambiente iPhone simulato accoppiato con un utente simulato interattivo che ha una persona coerente costruita a partire da 3.051 eventi di attività passati. Attraverso 26 app quotidiane, il benchmark stabilisce 130 compiti non specificati. Ogni elemento mancante è progettato per essere qualcosa che l'agente potrebbe dedurre dalla tua cronologia passata o qualcosa che solo tu potresti rispondere — non ci sono domande ambigue ¹.

I risultati

Sette agenti AI frontier sono stati sottoposti al test. I numeri mostrano una chiara divisione tra esecuzione grezza e vera personalizzazione. Gli agenti hanno completato fino al 91,6% delle azioni singole — aprire l'app giusta, toccare il pulsante giusto — ma hanno raggiunto solo il 47,7% di successo completo del compito quando valutati in base a ciò che l'utente simulato voleva realmente ¹. La personalizzazione, non l'azione, è ciò che li rallenta.

La debolezza maggiore si è manifestata quando i compiti richiedevano che l'agente chiedesse informazioni che non poteva indovinare. Molti agenti hanno semplicemente continuato senza chiarire, facendo supposizioni infondate invece di fermarsi per verificare con l'utente ¹. I risultati indicano una sfida più profonda per gli assistenti AI personali: imparare non solo cosa fare, ma anche quando fermarsi e chiedere .

Cosa succede dopo

I ricercatori sperano che iPrefBench diventi un banco di prova condiviso per chiunque costruisca agenti che conoscano realmente il proprio utente e lavorino al suo fianco invece di indovinare alla cieca ¹. Per ora, il benchmark evidenzia che il divario tra un assistente che agisce velocemente e uno che agisce correttamente per te rimane ampio .

I fatti principali

• iPrefBench testa gli agenti AI su 130 compiti vaghi attraverso 26 app in un iPhone simulato con 3.051 eventi di attività passati
• Sette agenti frontier hanno completato fino al 91,6% delle azioni ma solo il 47,7% dei compiti completi correttamente per l'utente
• Gli agenti hanno per lo più fallito non facendo abbastanza domande quando mancavano informazioni personali
• Il benchmark è pubblicamente disponibile su Hugging Face

Fonti

1. Paper page - iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents