AIGenerato
EN · IT · ES

Un nuovo benchmark testa la strategia dell'AI facendola giocare Slay the Spire

SpireBench mostra che i modelli AI più avanzati possono eguagliare i giocatori umani medi in un gioco di carte, ma faticano ancora con la strategia a lungo termine e la propensione al rischio.

Primo piano di mani che tengono uno smartphone con un grafico a barre colorato. Ideale per temi aziendali e tecnologici.
Foto di archivio · Foto: RDNE Stock project / Pexels

Un nuovo modo per testare la strategia dell'AI

I ricercatori hanno presentato SpireBench, un benchmark che valuta quanto bene i modelli linguistici di grandi dimensioni possono pianificare e prendere decisioni su lunghi periodi di tempo. Invece di dare all'AI puzzle brevi da risolvere, l'hanno fatta giocare a tutto il gioco di carte commerciale Slay the Spire al livello di difficoltà più alto.

La maggior parte dei benchmark AI attuali testa i modelli solo su compiti brevi e isolati, rendendo difficile capire se un'AI possa davvero pensare in anticipo. SpireBench cambia questo creando un contesto in cui le scelte iniziali plasmano il risultato molti passaggi dopo, proprio come la pianificazione nel mondo reale.

Come hanno performato i modelli

Tra 20 diversi GPT-5.5 e altri frontier models, i risultati hanno mostrato esiti misti. I modelli più forti hanno battuto avversari computerizzati basilari e hanno eguagliato il giocatore umano medio, ma sono stati ben lontani dai giocatori esperti umani. 1

Nell'Atto 1 del gioco, i migliori modelli AI hanno vinto circa il 90 percento delle partite, quasi eguagliando gli streamer esperti, che vincono dall'85 al 92 percento delle volte. Ma man mano che il gioco procedeva, il divario è cresciuto. Nell'Atto 2, i modelli hanno vinto solo il 40-50 percento delle partite rispetto al 65-78 percento degli esperti. All'Atto 3, i modelli hanno ottenuto solo lo 0-20 percento di vittorie contro il 56-71 percento degli esperti. 2

Cosa va storto

Il problema principale riguardava il rischio. Tutti i modelli erano eccessivamente cauti. Sceglievano di mantenere alta la loro salute invece di spenderla per rendere il loro personaggio più forte. Nella battaglia finale dell'Atto 1, i migliori modelli hanno mantenuto un mediano del 90 percento della loro salute massima, mentre i giocatori umani esperti ne tenevano solo circa il 53 percento. 2

I modelli hanno anche fallito nell'imparare dall'esperienza. I ricercatori hanno dato all'AI la possibilità di scrivere memorie tra le partite per migliorarsi nel tempo. Ma quelle memorie erano spesso sbagliate: il 17 percento delle memorie archiviate conteneva informazioni false, e i consigli erano fortemente sbilanciati verso la cautela. I suggerimenti rischiosi erano superati sette a uno dai consigli sicuri. 2

I test hanno anche mostrato che parte del successo dei modelli derivava dalla conoscenza pregressa del gioco integrata nei loro dati di addestramento. Quando i ricercatori hanno rinominato ogni termine di gioco con un sostituto coerente, le prestazioni dei modelli sono diminuite, confermando che la memoria della strategia di Slay the Spire aveva giocato un ruolo nei loro punteggi.

Perché è importante

SpireBench dà ai ricercatori uno strumento per individuare esattamente dove e perché gli agenti AI falliscono su lunghe distese di processo decisionale. Man mano che i sistemi AI vengono spinti in ruoli sempre più complessi e reali, comprendere queste lacune nella pianificazione a lungo termine diventerà sempre più importante.

I fatti principali

  • I migliori modelli AI hanno vinto l'Atto 1 di Slay the Spire il 90% delle volte, eguagliando gli umani esperti, ma sono scesi allo 0-20% all'Atto 3
  • I modelli erano eccessivamente cauti, mantenendo un mediano del 90% di salute al boss dell'Atto 1 contro il 53% dei giocatori esperti
  • Il 17% delle memorie scritte dai modelli tra le partite conteneva informazioni false
  • Rinominare tutti i termini di gioco ha abbassato le prestazioni dei modelli, mostrando che la conoscenza pregressa del gioco aiutava i punteggi
  • Il benchmark ha testato 20 modelli linguistici di grandi dimensioni alla massima difficoltà del gioco

Fonti

  1. SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire
  2. SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models ... — academy.dair.ai
  3. Protocol · SpireBench

Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste

Continua a leggere

Português O PlayStation 2 (oficialmente abreviado como PS2) foi o segundo console produzido pela empresa Sony, após o PlayStation original.Come funzionaI bot per gli acquisti con l'AI diventano più sicuri di sé quando chiedono di pensare di più — ma non più intelligentiHerald of AIDeni Williams from São Paulo, Brasil / Brazil, CC BY 2.0, via Wikimedia Commons

I bot per gli acquisti con l'AI diventano più sicuri di sé quando chiedono di pensare di più — ma non più intelligenti

Un nuovo studio dimostra che chiedere agli assistenti con l'AI di ragionare più a lungo prima di suggerire prodotti li rende solo più sicuri di sé, non effettivamente più corretti.

Come funziona
Una figura dell'articolo "Verifiable pXRD: Hill-climbing pXRD structure determination with LLM agents".Come funzionaGli agenti di AI aumentano il recupero delle strutture cristalline dal 27% al 69%, potenzialmente accelerando la ricerca sui nuovi materialiHerald of AI▶Figure: Chen et al., arXiv:2611.17539, CC BY 4.0

Gli agenti di AI aumentano il recupero delle strutture cristalline dal 27% al 69%, potenzialmente accelerando la ricerca sui nuovi materiali

Un nuovo sistema di AI utilizza agenti basati su modelli linguistici di grandi dimensioni per determinare la disposizione degli atomi nei cristalli a partire dai dati di diffrazione di polvere molto più velocemente, un passo che potrebbe accelerare la scoperta di farmaci e lo sviluppo di nuove batterie.

Come funziona