Prueba demuestra que los principales agentes de IA fallan al personalizar tareas telefónicas para los usuarios
Una nueva prueba revela que, si bien los asistentes de IA para móvil pueden ejecutar comandos bien, les cuesta saber lo que realmente quieres sin preguntar.
Qué mide la prueba
La idea detrás de los asistentes de IA para móvil es que deberían actuar en tu nombre, comprendiendo tus hábitos y preferencias. Los computer-use agents actuales pueden ejecutar tareas completamente definidas a través de aplicaciones, pero las solicitudes reales son a menudo vagas. Para hacer lo correcto, un agente debe rellenar los vacíos por sí mismo — recordando lo que ha visto que haces antes, o deteniéndose a preguntarte 1.
iPrefBench se creó para medir exactamente esa separación entre saber y preguntar. Se ejecuta dentro de un entorno simulado de iPhone emparejado con un usuario simulado que tiene una coherente identidad construida a partir de 3.051 eventos de actividad pasados. En 26 aplicaciones cotidianas, el benchmark establece 130 tareas subespecificadas. Cada pieza de información faltante está diseñada para ser algo que el agente podría inferir de tu historial pasado, o algo que solo tú podrías responder — no hay preguntas ambiguas 1.
Los resultados
Siete agentes de IA de última generación fueron sometidos a la prueba. Los números muestran una clara división entre ejecución en bruto y personalización real. Los agentes completaron hasta un 91,6% de las acciones concretas — abrir la aplicación correcta, tocar el botón correcto — pero solo alcanzaron hasta un 47,7% de éxito total en tareas cuando se comparó con lo que realmente quería el usuario simulado 1. La personalización, no la acción, es lo que los frena.
La mayor debilidad apareció cuando las tareas requerían que el agente pidiera información que no podía inferir. Muchos agentes simplemente siguieron adelante sin aclarar, haciendo suposiciones infundadas en lugar de detenerse a consultar con el usuario 1. Los hallazgos apuntan a un desafío más profundo para los asistentes de IA personales: aprender no solo qué hacer, sino cuándo detenerse y preguntar .
Qué sigue
Los investigadores esperan que iPrefBench se convierta en un entorno de prueba compartido para cualquiera que construya agentes que genuinamente conozcan a su usuario y trabajen junto a él en lugar de adivinar ciegamente 1. Por ahora, el benchmark destaca que la brecha entre un asistente que actúa rápido y uno que actúa correctamente para ti sigue siendo amplia .
Los datos clave
- iPrefBench prueba agentes de IA en 130 tareas vagas a través de 26 aplicaciones en un iPhone simulado con 3.051 eventos de actividad pasados
- Siete agentes frontier completaron hasta un 91,6% de las acciones pero solo un 47,7% de las tareas completas correctamente para el usuario
- Los agentes fallaron principalmente por no preguntar suficientes veces cuando les faltaba información personal
- El benchmark está disponible públicamente en Hugging Face
Fuentes
Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes
Sigue leyendo
Apps y productosEl agente Handoff² de Hark es dos veces más rápido para realizar tareas informáticas en líneaHerald of AI
El agente Handoff² de Hark es dos veces más rápido para realizar tareas informáticas en línea
Significa que navegar, reservar vuelos, completar formularios y largas tareas de investigación se realizan notablemente más rápido cuando le permites a Handoff hacerlas por ti.
Apple limita diariamente las funciones de Siri con IA y herramientas de imagen en iOS 27.3 — iCloud+ desbloquea más
Los usuarios gratuitos reciben una cuota diaria de las funciones de IA más avanzadas de Apple; al alcanzar el límite, toca pagar un plan de iCloud+ o esperar hasta medianoche.
Apps y productosEl chatbot de Google Maps puede llamar a negocios para agendarte citas en EE.UU.Herald of AIIanCamp, CC BY-SA 4.0, via Wikimedia Commons
El chatbot de Google Maps puede llamar a negocios para agendarte citas en EE.UU.
Ask Maps usa Gemini, el modelo de IA de Google, para buscar horarios disponibles y llamar a tiendas directamente, ahorrándote tiempo en mandados.