AIGenerato
EN · IT · ES

Il test mostra che i principali agenti AI falliscono nel personalizzare le attività telefoniche per te

Un nuovo test rivela che mentre gli assistenti AI per telefono possono eseguire comandi, faticano a sapere cosa vuoi davvero senza chiedere.

Come funzionaIl test mostra che i principali agenti AI falliscono nel personalizzare le attività telefoniche per teHerald of AI

Cosa misura il test

L'idea dietro gli assistenti AI per telefono è che dovrebbero agire per tuo conto, comprendendo le tue abitudini e preferenze. Gli attuali computer-use agents possono portare a termine compiti completamente specificati attraverso le app, ma le richieste reali sono spesso vaghe. Per fare la cosa giusta, un agente deve riempire da solo le lacune — richiamando quello che ha visto fare prima, oppure fermandosi a farti una domanda 1.

iPrefBench è stato costruito per misurare esattamente quella spaccatura tra sapere e chiedere. Viene eseguito all'interno di un ambiente iPhone simulato accoppiato con un utente simulato interattivo che ha un profilo coerente costruito a partire da 3.051 eventi di attività passati. Attraverso 26 app quotidiane, il benchmark stabilisce 130 compiti non specificati. Ogni elemento mancante è progettato per essere qualcosa che l'agente potrebbe dedurre dalla tua cronologia passata o qualcosa che solo tu potresti rispondere — non ci sono domande ambigue 1.

I risultati

Sette agenti AI frontier sono stati sottoposti al test. I numeri mostrano una chiara divisione tra esecuzione grezza e la personalizzazione vera e propria. Gli agenti hanno completato fino al 91,6% delle azioni singole — aprire l'app giusta, toccare il pulsante giusto — ma hanno raggiunto solo il 47,7% di successo completo del compito quando valutati in base a ciò che l'utente simulato voleva realmente 1. La personalizzazione, non l'azione, è ciò che li rallenta.

La debolezza maggiore si è manifestata quando i compiti richiedevano che l'agente chiedesse informazioni che non avrebbe potuto indovinare. Molti agenti hanno semplicemente proseguito senza chiedere chiarimenti, facendo supposizioni infondate invece di fermarsi per verificare con l'utente 1. I risultati indicano una sfida più profonda per gli assistenti AI personali: imparare non solo cosa fare, ma anche quando fermarsi e chiedere .

Cosa succede dopo

I ricercatori sperano che iPrefBench diventi un banco di prova condiviso per chiunque costruisca agenti che conoscano realmente il proprio utente e lavorino al suo fianco invece di indovinare alla cieca 1. Per ora, il benchmark evidenzia che il divario tra un assistente che agisce velocemente e uno che agisce correttamente per te rimane ampio .

I fatti principali

  • iPrefBench testa gli agenti AI su 130 compiti vaghi attraverso 26 app su un iPhone simulato con 3.051 eventi di attività passati
  • Sette agenti frontier hanno completato fino al 91,6% delle azioni ma solo il 47,7% dei compiti completi correttamente per l'utente
  • Gli agenti hanno per lo più fallito non facendo abbastanza domande quando mancavano informazioni personali
  • Il benchmark è pubblicamente disponibile su Hugging Face

Fonti

  1. Paper page - iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents

Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste

Continua a leggere