AIGenerato
EN · IT · ES

I bot per gli acquisti con l'AI diventano più sicuri di sé quando chiedono di pensare di più — ma non più intelligenti

Un nuovo studio dimostra che chiedere agli assistenti con l'AI di ragionare più a lungo prima di suggerire prodotti li rende solo più sicuri di sé, non effettivamente più corretti.

Português O PlayStation 2 (oficialmente abreviado como PS2) foi o segundo console produzido pela empresa Sony, após o PlayStation original.
Foto di archivio · Foto: Deni Williams from São Paulo, Brasil / Brazil, CC BY 2.0, via Wikimedia Commons (licenza)

Cosa puoi farci

  • Un acquirente che utilizza un assistente con l'AI per selezionare prodotti online potrebbe tenere a mente che un modello molto sicuro di sé non significa che il suo consiglio sia effettivamente migliore 1.
  • Uno sviluppatore che costruisce un agente per gli acquisti con l'AI potrebbe evitare di aggiungere passaggi di ragionamento extra solo per far sembrare il sistema più fiducioso, poiché lo studio ha constatato che ciò non migliora l'accuratezza reale 1.
  • Un ricercatore che studia l'affidabilità dell'AI potrebbe utilizzare i test di riferimento WebShop, SQID e WANDS dello studio per verificare se nuovi modelli soffrano dello stesso divario tra confidenza e accuratezza 1.

L'esperimento

I ricercatori hanno testato dieci modelli di AI all'avanguardia come agenti per gli acquisti autonomi — programmi in grado di navigare tra le schede prodotto e formulare raccomandazioni per conto degli utenti 1. Hanno costruito tre test di riferimento partendo da piattaforme di e-commerce reali: WebShop, l'insieme di dati SQID di Amazon e la piattaforma WANDS di Wayfair . Ciascun test ha presentato all'AI informazioni multimodali sui prodotti, combinando immagini e descrizioni testuali, e gli ha chiesto di scegliere l'opzione migliore.

La domanda chiave era semplice: se chiedi a un modello di pensare di più — dedicando maggior sforzo di ragionamento a ciascuna scelta — riesce effettivamente a scegliere prodotti migliori?

Attraverso tutti e tre i test, la risposta è stata no. Aumentare lo sforzo di ragionamento non ha migliorato la qualità delle decisioni in alcun modo statisticamente significativo 1.

La confidenza è aumentata. L'accuratezza è rimasta piatta.

Dove lo sforzo di ragionamento aggiuntivo ha avuto un effetto misurabile è stato sulla confidenza. I modelli a cui veniva richiesto di riflettere più a lungo hanno dichiarato una confidenza significativamente più alta nelle proprie scelte 1. Detto in parole povere: l'AI diventava più convinta di avere ragione, ma non era affatto più corretta .

I ricercatori hanno inoltre misurato la calibrazione — se la confidenza dichiarata da un modello corrispondesse alla sua vera accuratezza. Hanno riscontrato che la maggior parte dei modelli era scarsamente calibrata a ogni livello di sforzo di ragionamento, il che significa che i loro numeri di confidenza non potevano essere considerati una guida attendibile per la correttezza 1.

Gli errori viaggiano in gruppo

Un altro risultato sorprendente è che gli errori sono fortemente condivisi tra i modelli. Quando un modello di AI sbagliava un compito, diversi altri tendevano a errare sullo stesso compito 1. Nei problemi in cui molti modelli fallivano, un gran numero di essi sceglieva esattamente lo stesso prodotto errato .

Cosa comporta questo per chi fa acquisti quotidianamente

Man mano che gli assistenti per gli acquisti con l'AI diventano più comuni, questa ricerca ricorda che un modello che suona sicuro di sé non significa che abbia fatto una buona scelta. Il tempo di ragionamento extra che alcuni servizi pubblicizzano potrebbe dare l'impressione di un'analisi più profonda, ma lo studio ha rilevato che non si traduce in raccomandazioni di prodotti migliori 1.

Quanto è affidabile

I ricercatori Adi Krishnamoorthy e X.Y. Han hanno testato dieci modelli di AI all'avanguardia su tre test di e-commerce costruiti a partire da WebShop, dall'insieme di dati SQID di Amazon e dalla piattaforma WANDS di Wayfair 1. Hanno scoperto che aumentare lo sforzo di ragionamento non migliorava la qualità delle decisioni in alcun modo statisticamente significativo attraverso tutti e tre i test . Nel frattempo, i modelli hanno riportato una confidenza significativamente più alta quando pregati di riflettere più a lungo, e la maggior parte dei modelli risultava scarsamente calibrata a ogni livello di ragionamento . Gli errori erano inoltre fortemente condivisi, il che significa che molti modelli tendevano a scegliere esattamente lo stesso prodotto errato nei compiti in cui diversi avevano fallito .

I fatti principali

  • Dieci modelli di AI all'avanguardia sono stati testati come agenti per gli acquisti in tre test di e-commerce
  • Maggior sforzo di ragionamento ha aumentato la confidenza dichiarata ma non la qualità delle decisioni
  • La maggior parte dei modelli era scarsamente calibrata: la loro confidenza non corrispondeva all'accuratezza effettiva
  • Gli errori erano condivisi tra i modelli: quando uno falliva, altri spesso fallivano nello stesso compito scegliendo la stessa risposta sbagliata

Fonti

  1. Thinking Harder Doesn't Lead to Better Choices: Reasoning Effort Increases the Confidence but Not the Correctness of LLM

Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste

Continua a leggere

Una figura dell'articolo "Verifiable pXRD: Hill-climbing pXRD structure determination with LLM agents".Come funzionaGli agenti di AI aumentano il recupero delle strutture cristalline dal 27% al 69%, potenzialmente accelerando la ricerca sui nuovi materialiHerald of AI▶Figure: Chen et al., arXiv:2611.17539, CC BY 4.0

Gli agenti di AI aumentano il recupero delle strutture cristalline dal 27% al 69%, potenzialmente accelerando la ricerca sui nuovi materiali

Un nuovo sistema di AI utilizza agenti basati su modelli linguistici di grandi dimensioni per determinare la disposizione degli atomi nei cristalli a partire dai dati di diffrazione di polvere molto più velocemente, un passo che potrebbe accelerare la scoperta di farmaci e lo sviluppo di nuove batterie.

Come funziona