Los bots de compras con IA ganan confianza al pedirles que piensen más, pero no son más inteligentes
Un nuevo estudio muestra que hacer que los asistentes de IA razonen más tiempo antes de sugerir productos solo los hace sonar seguros de sí mismos, no realmente más acertados.

Qué podrías hacer con esto
- Un comprador que usa un asistente de IA para elegir productos en línea podría recordar que un modelo que suena muy seguro de sí mismo no significa que su recomendación sea realmente mejor 1.
- Un desarrollador que construye un agente de compras con IA podría omitir agregar pasos de razonamiento adicionales solo para que el sistema suene más confiado, ya que el estudio encontró que eso no mejora la precisión real 1.
- Un investigador que estudia la confiabilidad de la IA podría usar los benchmarks WebShop, SQID y WANDS del estudio para probar si nuevos modelos sufren de la misma brecha entre confianza y precisión 1.
El experimento
Los investigadores evaluaron diez modelos líderes de IA como agentes de compras autónomos: programas que pueden navegar listados de productos y hacer recomendaciones en nombre de los usuarios 1. Construyeron tres benchmarks a partir de plataformas reales de comercio electrónico: WebShop, el conjunto de datos SQID de Amazon y la plataforma WANDS de Wayfair . Cada benchmark presentó información multimodal de productos a la IA, combinando imágenes y descripciones de texto, y le pidió elegir la mejor opción.
La pregunta central era simple: si le pides a un modelo que piense más fuerte, dedicando más esfuerzo de razonamiento a cada elección, ¿realmente escoge mejores productos?
En los tres benchmarks, la respuesta fue no. Aumentar el esfuerzo de pensamiento no elevó la calidad de las decisiones de forma estadísticamente significativa 1.
La confianza subió. La precisión se mantuvo estable / sin cambios.
Donde el esfuerzo de pensamiento adicional sí tuvo un efecto medible fue en la confianza. Los modelos a los que se les pidió pensar más tiempo reportaron confianza significativamente mayor en sus elecciones 1. En términos sencillos: la IA se volvió más convencida de que tenía razón, pero en realidad no tenía más razón .
Los investigadores también midieron la calibración: si la confianza declarada por un modelo coincidía con su precisión verdadera. Encontraron que la mayoría de los modelos estaban mal calibrados en cada nivel de esfuerzo de razonamiento, lo que significa que sus números de confianza no podían confiarse como guía de corrección 1.
Los errores viajan en grupo
Otro hallazgo impactante fue que los errores se comparten fuertemente entre modelos. Cuando un modelo de IA cometía un error en una tarea, varios otros tendían a fallar en la misma tarea también 1. En problemas donde muchos modelos fallaban, una gran cantidad elegía exactamente el mismo producto equivocado .
Qué significa esto para compradores cotidianos
A medida que los asistentes de compras con IA se vuelven más comunes, esta investigación es un recordatorio de que un modelo que suena confiado no significa que haya tomado una buena decisión. El tiempo extra de reflexión que algunos servicios publicitan puede dar la impresión de un análisis más profundo, pero el estudio encontró que eso no se traduce en mejores recomendaciones de productos 1.
Qué tan bueno es
Los investigadores Adi Krishnamoorthy y X.Y. Han probaron diez modelos frontier de IA en tres benchmarks de comercio electrónico construidos a partir de WebShop, el conjunto de datos SQID de Amazon y la plataforma WANDS de Wayfair 1. Encontraron que aumentar el esfuerzo de razonamiento no mejoró la calidad de las decisiones de forma estadísticamente significativa en los tres benchmarks . Al mismo tiempo, los modelos reportaron confianza significativamente mayor cuando se les pidió pensar más tiempo, y la mayoría de los modelos estaban mal calibrados en cada nivel de razonamiento . Los errores también se compartieron ampliamente, lo que significa que muchos modelos tendrían a elegir exactamente el mismo producto equivocado en tareas donde varios fallaron .
Los datos clave
- Diez modelos frontier de IA fueron probados como agentes de compras en tres benchmarks de comercio electrónico
- Más esfuerzo de razonamiento aumentó la confianza reportada pero no la calidad de las decisiones
- La mayoría de los modelos estaban mal calibrados: su confianza no coincidía con la precisión real
- Los errores se compartieron entre modelos: cuando uno fallaba, otros a menudo fallaban en la misma tarea con la misma respuesta equivocada
Fuentes
Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes
Sigue leyendo
Cómo funcionaLos agentes de IA mejoran la recuperación de estructuras cristalinas del 27 % al 69 %, lo que podría acelerar la investigación de nuevos materialesHerald of AI▶Figure: Chen et al., arXiv:2611.17539, CC BY 4.0
Los agentes de IA mejoran la recuperación de estructuras cristalinas del 27 % al 69 %, lo que podría acelerar la investigación de nuevos materiales
Un nuevo sistema de IA utiliza agentes de modelos de lenguaje grandes para determinar la disposición de los átomos en los cristales a partir de datos de difracción de polvo mucho más rápido, lo que podría acelerar el descubrimiento de fármacos y el desarrollo de nuevas baterías.
Los LLM entrenados con GRPO pueden amplificar silenciosamente los malos hábitos, hallan investigadores
Un nuevo estudio explica por qué los asistentes de IA a veces adquieren defectos de personalidad no deseados después del ajuste fino, incluso cuando nadie pidió esas características.
Cómo funcionaCómo Meta triplica la productividad de ingeniería usando agentes para propagar técnicas de modelos publicitariosHerald of AI
Cómo Meta triplica la productividad de ingeniería usando agentes para propagar técnicas de modelos publicitarios
El nuevo sistema de agentes de IA de Meta adapta pequeñas mejoras en miles de modelos publicitarios de forma automática, ahorrando millones en costos de computación.