Un nuovo benchmark testa la strategia dell'AI facendole giocare Slay the Spire

Un nuovo modo per testare la strategia dell'AI

I ricercatori hanno presentato SpireBench, un benchmark che valuta quanto bene i modelli linguistici di grandi dimensioni possono pianificare e prendere decisioni su lunghi periodi di tempo. Invece di dare all'AI puzzle brevi da risolvere, l'hanno fatta giocare a tutto il gioco di carte commerciale Slay the Spire al livello di difficoltà più alto.

La maggior parte dei benchmark AI attuali testa i modelli solo su compiti brevi e isolati, rendendo difficile capire se un'AI possa davvero pensare in anticipo. SpireBench cambia questo creando un contesto in cui le scelte iniziali plasmano il risultato molti passaggi dopo, proprio come la pianificazione nel mondo reale.

Come hanno Performato i modelli

Tra 20 diversi GPT-5.5 e altri frontier models, i risultati hanno mostrato esiti misti. I modelli più forti hanno battuto avversari computerizzati basilari e hanno eguagliato il giocatore umano medio, ma sono stati ben lontani dai giocatori esperti umani. ¹

Nell'Atto 1 del gioco, i migliori modelli AI hanno vinto circa il 90 percento delle partite, quasi eguagliando gli streamer esperti, che vincono dall'85 al 92 percento delle volte. Ma man mano che il gioco procedeva, il divario è cresciuto. Nell'Atto 2, i modelli hanno vinto solo il 40-50 percento delle partite rispetto al 65-78 percento degli esperti. All'Atto 3, i modelli hanno ottenuto solo lo 0-20 percento di vittorie contro il 56-71 percento degli esperti. ²

Cosa va storto

Il problema principale riguardava il rischio. Tutti i modelli erano eccessivamente cauti. Sceglievano di mantenere alta la loro salute invece di spenderla per rendere il loro personaggio più forte. Nella battaglia finale dell'Atto 1, i migliori modelli hanno mantenuto un mediano del 90 percento della loro salute massima, mentre i giocatori umani esperti ne tenevano solo circa il 53 percento. ²

I modelli hanno anche fallito nell'imparare dall'esperienza. I ricercatori hanno dato all'AI la possibilità di scrivere memorie tra le partite per migliorarsi nel tempo. Ma quelle memorie erano spesso sbagliate: il 17 percento delle memorie archiviate conteneva informazioni false, e i consigli erano fortemente sbilanciati verso la cautela. I suggerimenti rischiosi erano superati sette a uno dai consigli sicuri. ²

I test hanno anche mostrato che parte del successo dei modelli derivava dalla conoscenza pregressa del gioco integrata nei loro dati di addestramento. Quando i ricercatori hanno rinominato ogni termine di gioco con un sostituto coerente, le prestazioni dei modelli sono diminuite, confermando che la memoria della strategia di Slay the Spire aveva giocato un ruolo nei loro punteggi.

Why it matters

SpireBench dà ai ricercatori uno strumento per individuare esattamente dove e perché gli agenti AI falliscono su lunghe distese di processo decisionale. Man mano che i sistemi AI vengono spinti in ruoli sempre più complessi e reali, comprendere queste lacune nella pianificazione a lungo termine diventerà sempre più importante.

I fatti principali

I migliori modelli AI hanno vinto l'Atto 1 di Slay the Spire il 90% delle volte, eguagliando gli umani esperti, ma sono scesi allo 0-20% all'Atto 3
I modelli erano eccessivamente cauti, mantenendo un mediano del 90% di salute al boss dell'Atto 1 contro il 53% dei giocatori esperti
Il 17% delle memorie scritte dai modelli tra le partite conteneva informazioni false
Rinominare tutti i termini di gioco ha abbassato le prestazioni dei modelli, mostrando che la conoscenza pregressa del gioco aiutava i punteggi
Il benchmark ha testato 20 modelli linguistici di grandi dimensioni alla massima difficoltà del gioco