Prueba demuestra que los principales agentes de IA fallan al personalizar tareas del teléfono para ti
Una nueva prueba revela que, si bien los asistentes de IA para teléfonos pueden ejecutar comandos bien, les cuesta saber lo que realmente quieres sin preguntar.
What the test measures
La idea detrás de los asistentes de IA para teléfonos es que deberían actuar en tu nombre, comprendiendo tus hábitos y preferencias. Los computer-use agents de hoy pueden realizar tareas completamente especificadas a través de aplicaciones, pero las solicitudes reales son a menudo vagas. Para hacer lo correcto, un agente debe rellenar los vacíos por sí mismo — recordando lo que ha visto que haces antes, o deteniéndose a preguntarte 1.
iPrefBench se creó para medir exactamente esa separación entre saber y preguntar. Se ejecuta dentro de un entorno simulado de iPhone emparejado con un usuario simulado interactivo que tiene una coherente identidad construida a partir de 3.051 eventos de actividad pasados. En 26 aplicaciones cotidianas, el benchmark establece 130 tareas underspecified. Cada pieza de información faltante está diseñada para ser algo que el agente podría inferir de tu historial pasado, o algo que solo tú podrías responder — no hay preguntas ambiguas 1.
The results
Siete agentes de IA frontier fueron sometidos a la prueba. Los números muestran una clara división entre ejecución en bruto y personalización real. Los agentes completaron hasta un 91,6% de las acciones individuales — abrir la aplicación correcta, tocar el botón correcto — pero solo alcanzaron hasta un 47,7% de éxito total en tareas cuando se comparó con lo que el usuario simulado realmente quería 1. La personalización, no la acción, es lo que los frena.
La mayor debilidad apareció cuando las tareas requerían que el agente pidiera información que no podía adivinar. Muchos agentes simplemente siguieron adelante sin aclarar, haciendo suposiciones infundadas en lugar de detenerse a consultar con el usuario 1. Los hallazgos apuntan a un desafío más profundo para los asistentes de IA personales: aprender no solo qué hacer, sino cuándo detenerse y preguntar .
What comes next
Los investigadores esperan que iPrefBench se convierta en un entorno de prueba compartido para cualquiera que construya agentes que genuinamente conozcan a su usuario y trabajen junto a él en lugar de adivinar ciegamente 1. Por ahora, el benchmark destaca que la brecha entre un asistente que actúa rápido y uno que actúa correctamente para ti sigue siendo amplia .
Los datos clave
- iPrefBench prueba agentes de IA en 130 tareas vagas a través de 26 aplicaciones en un iPhone simulado con 3.051 eventos de actividad pasados
- Siete agentes frontier completaron hasta un 91,6% de las acciones pero solo un 47,7% de las tareas completas correctamente para el usuario
- Los agentes fallaron principalmente por no preguntar suficientes veces cuando les faltaba información personal
- El benchmark está disponible públicamente en Hugging Face