Il test mostra che i principali agenti AI falliscono nel personalizzare le attività telefoniche per te
Un nuovo test rivela che mentre gli assistenti AI per telefono possono eseguire comandi, faticano a sapere cosa vuoi davvero senza chiedere.
Cosa misura il test
L'idea dietro gli assistenti AI per telefono è che dovrebbero agire per tuo conto, comprendendo le tue abitudini e preferenze. Gli attuali computer-use agents possono portare a termine compiti completamente specificati attraverso le app, ma le richieste reali sono spesso vaghe. Per fare la cosa giusta, un agente deve riempire da solo le lacune — richiamando quello che ha visto fare prima, oppure fermandosi a farti una domanda 1.
iPrefBench è stato costruito per misurare esattamente quella spaccatura tra sapere e chiedere. Viene eseguito all'interno di un ambiente iPhone simulato accoppiato con un utente simulato interattivo che ha un profilo coerente costruito a partire da 3.051 eventi di attività passati. Attraverso 26 app quotidiane, il benchmark stabilisce 130 compiti non specificati. Ogni elemento mancante è progettato per essere qualcosa che l'agente potrebbe dedurre dalla tua cronologia passata o qualcosa che solo tu potresti rispondere — non ci sono domande ambigue 1.
I risultati
Sette agenti AI frontier sono stati sottoposti al test. I numeri mostrano una chiara divisione tra esecuzione grezza e la personalizzazione vera e propria. Gli agenti hanno completato fino al 91,6% delle azioni singole — aprire l'app giusta, toccare il pulsante giusto — ma hanno raggiunto solo il 47,7% di successo completo del compito quando valutati in base a ciò che l'utente simulato voleva realmente 1. La personalizzazione, non l'azione, è ciò che li rallenta.
La debolezza maggiore si è manifestata quando i compiti richiedevano che l'agente chiedesse informazioni che non avrebbe potuto indovinare. Molti agenti hanno semplicemente proseguito senza chiedere chiarimenti, facendo supposizioni infondate invece di fermarsi per verificare con l'utente 1. I risultati indicano una sfida più profonda per gli assistenti AI personali: imparare non solo cosa fare, ma anche quando fermarsi e chiedere .
Cosa succede dopo
I ricercatori sperano che iPrefBench diventi un banco di prova condiviso per chiunque costruisca agenti che conoscano realmente il proprio utente e lavorino al suo fianco invece di indovinare alla cieca 1. Per ora, il benchmark evidenzia che il divario tra un assistente che agisce velocemente e uno che agisce correttamente per te rimane ampio .
I fatti principali
- iPrefBench testa gli agenti AI su 130 compiti vaghi attraverso 26 app su un iPhone simulato con 3.051 eventi di attività passati
- Sette agenti frontier hanno completato fino al 91,6% delle azioni ma solo il 47,7% dei compiti completi correttamente per l'utente
- Gli agenti hanno per lo più fallito non facendo abbastanza domande quando mancavano informazioni personali
- Il benchmark è pubblicamente disponibile su Hugging Face
Fonti
Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste
Continua a leggere
App e prodottiL'agente Handoff² di Hark è due volte più veloce per le attività online col computerHerald of AI
L'agente Handoff² di Hark è due volte più veloce per le attività online col computer
Navigare, prenotare voli, compilare moduli ed eseguire ricerche lunghe richiede molto meno tempo quando si delega Handoff al compito.
Apple pone limiti giornalieri alle funzioni di AI di Siri e immagini con iOS 27.3 — iCloud+ a pagamento sblocca molto di più
Gli utenti gratuiti ricevono un credito giornaliero delle funzionalità di AI più avanzate di Apple; superare il limite significa abbonarsi a un piano iCloud+ o aspettare la mezzanotte.
App e prodottiIl chatbot di Google Maps può chiamare le attività per prenotarti gli appuntamenti negli Stati UnitiHerald of AIIanCamp, CC BY-SA 4.0, via Wikimedia Commons
Il chatbot di Google Maps può chiamare le attività per prenotarti gli appuntamenti negli Stati Uniti
Ask Maps utilizza Gemini, il modello di AI di Google, per cercare fasce orarie disponibili e chiamare i negozi direttamente — risparmiandoti tempo nelle commissioni quotidiane.