IAGenerado
EN · IT · ES

Los bots de compras con IA ganan confianza al pedirles que piensen más, pero no son más inteligentes

Un nuevo estudio muestra que hacer que los asistentes de IA razonen más tiempo antes de sugerir productos solo los hace sonar seguros de sí mismos, no realmente más acertados.

Português O PlayStation 2 (oficialmente abreviado como PS2) foi o segundo console produzido pela empresa Sony, após o PlayStation original.
Foto de archivo · Foto: Deni Williams from São Paulo, Brasil / Brazil, CC BY 2.0, via Wikimedia Commons (licencia)

Qué podrías hacer con esto

  • Un comprador que usa un asistente de IA para elegir productos en línea podría recordar que un modelo que suena muy seguro de sí mismo no significa que su recomendación sea realmente mejor 1.
  • Un desarrollador que construye un agente de compras con IA podría omitir agregar pasos de razonamiento adicionales solo para que el sistema suene más confiado, ya que el estudio encontró que eso no mejora la precisión real 1.
  • Un investigador que estudia la confiabilidad de la IA podría usar los benchmarks WebShop, SQID y WANDS del estudio para probar si nuevos modelos sufren de la misma brecha entre confianza y precisión 1.

El experimento

Los investigadores evaluaron diez modelos líderes de IA como agentes de compras autónomos: programas que pueden navegar listados de productos y hacer recomendaciones en nombre de los usuarios 1. Construyeron tres benchmarks a partir de plataformas reales de comercio electrónico: WebShop, el conjunto de datos SQID de Amazon y la plataforma WANDS de Wayfair . Cada benchmark presentó información multimodal de productos a la IA, combinando imágenes y descripciones de texto, y le pidió elegir la mejor opción.

La pregunta central era simple: si le pides a un modelo que piense más fuerte, dedicando más esfuerzo de razonamiento a cada elección, ¿realmente escoge mejores productos?

En los tres benchmarks, la respuesta fue no. Aumentar el esfuerzo de pensamiento no elevó la calidad de las decisiones de forma estadísticamente significativa 1.

La confianza subió. La precisión se mantuvo estable / sin cambios.

Donde el esfuerzo de pensamiento adicional sí tuvo un efecto medible fue en la confianza. Los modelos a los que se les pidió pensar más tiempo reportaron confianza significativamente mayor en sus elecciones 1. En términos sencillos: la IA se volvió más convencida de que tenía razón, pero en realidad no tenía más razón .

Los investigadores también midieron la calibración: si la confianza declarada por un modelo coincidía con su precisión verdadera. Encontraron que la mayoría de los modelos estaban mal calibrados en cada nivel de esfuerzo de razonamiento, lo que significa que sus números de confianza no podían confiarse como guía de corrección 1.

Los errores viajan en grupo

Otro hallazgo impactante fue que los errores se comparten fuertemente entre modelos. Cuando un modelo de IA cometía un error en una tarea, varios otros tendían a fallar en la misma tarea también 1. En problemas donde muchos modelos fallaban, una gran cantidad elegía exactamente el mismo producto equivocado .

Qué significa esto para compradores cotidianos

A medida que los asistentes de compras con IA se vuelven más comunes, esta investigación es un recordatorio de que un modelo que suena confiado no significa que haya tomado una buena decisión. El tiempo extra de reflexión que algunos servicios publicitan puede dar la impresión de un análisis más profundo, pero el estudio encontró que eso no se traduce en mejores recomendaciones de productos 1.

Qué tan bueno es

Los investigadores Adi Krishnamoorthy y X.Y. Han probaron diez modelos frontier de IA en tres benchmarks de comercio electrónico construidos a partir de WebShop, el conjunto de datos SQID de Amazon y la plataforma WANDS de Wayfair 1. Encontraron que aumentar el esfuerzo de razonamiento no mejoró la calidad de las decisiones de forma estadísticamente significativa en los tres benchmarks . Al mismo tiempo, los modelos reportaron confianza significativamente mayor cuando se les pidió pensar más tiempo, y la mayoría de los modelos estaban mal calibrados en cada nivel de razonamiento . Los errores también se compartieron ampliamente, lo que significa que muchos modelos tendrían a elegir exactamente el mismo producto equivocado en tareas donde varios fallaron .

Los datos clave

  • Diez modelos frontier de IA fueron probados como agentes de compras en tres benchmarks de comercio electrónico
  • Más esfuerzo de razonamiento aumentó la confianza reportada pero no la calidad de las decisiones
  • La mayoría de los modelos estaban mal calibrados: su confianza no coincidía con la precisión real
  • Los errores se compartieron entre modelos: cuando uno fallaba, otros a menudo fallaban en la misma tarea con la misma respuesta equivocada

Fuentes

  1. Thinking Harder Doesn't Lead to Better Choices: Reasoning Effort Increases the Confidence but Not the Correctness of LLM

Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes

Sigue leyendo

Una figura del artículo "Verifiable pXRD: Hill-climbing pXRD structure determination with LLM agents".Cómo funcionaLos agentes de IA mejoran la recuperación de estructuras cristalinas del 27 % al 69 %, lo que podría acelerar la investigación de nuevos materialesHerald of AI▶Figure: Chen et al., arXiv:2611.17539, CC BY 4.0

Los agentes de IA mejoran la recuperación de estructuras cristalinas del 27 % al 69 %, lo que podría acelerar la investigación de nuevos materiales

Un nuevo sistema de IA utiliza agentes de modelos de lenguaje grandes para determinar la disposición de los átomos en los cristales a partir de datos de difracción de polvo mucho más rápido, lo que podría acelerar el descubrimiento de fármacos y el desarrollo de nuevas baterías.

Cómo funciona