Nuevo test pone a prueba la estrategia de la IA haciéndola jugar a Slay the Spire

Una nueva forma de probar la estrategia de la IA

Los investigadores han presentado SpireBench, un test que evalúa qué tan bien los modelos lingüísticos grandes pueden planificar y tomar decisiones a lo largo de períodos prolongados. En lugar de dar a la IA acertijos cortos para resolver, la dejaron jugar al completo juego comercial de mazos de cartas Slay the Spire en el nivel de dificultad más alto.

La mayoría de los tests actuales de IA solo prueban a los modelos con tareas cortas y aisladas, lo que dificulta ver si una IA puede realmente pensar con anticipación. SpireBench cambia eso al crear un entorno donde las decisiones tempranas moldean el resultado muchos pasos después, al igual que la planificación en el mundo real.

Cómo se desempeñaron los modelos

Entre 20 GPT-5.5 y otros modelos de vanguardia, los resultados mostraron outcomes mixtos. Los modelos más fuertes vencieron a oponentes informáticos básicos e igualaron al jugador humano promedio, pero quedaron muy por debajo de los jugadores humanos expertos. ¹

En el Acto 1 del juego, los principales modelos de IA ganaron alrededor del 90 por ciento de las partidas, casi igualando a los streamers expertos, que ganan del 85 al 92 por ciento de las veces. Pero a medida que el juego continuaba, la brecha se ensanchó. En el Acto 2, los modelos ganaron solo entre el 40 y el 50 por ciento de las partidas, comparado con el 65 al 78 por ciento de los expertos. Para el Acto 3, los modelos lograron solo entre el 0 y el 20 por ciento de victorias, frente al 56 al 71 por ciento de los expertos. ²

Qué sale mal

El principal problema fue el riesgo. Todos los modelos eran excesivamente cautelosos. Elegían mantener su salud alta en lugar de gastar salud para hacer a su personaje más fuerte. En la pelea contra el jefe del Acto 1, los mejores modelos mantuvieron una mediana del 90 por ciento de su salud máxima, mientras que los jugadores humanos expertos solo conservaban alrededor del 53 por ciento. ²

Los modelos también fallaron al aprender de la experiencia. Los investigadores le dieron a la IA la capacidad de escribir memorias entre partidas para que pudiera mejorar con el tiempo. Pero esas memorias a menudo eran erróneas: el 17 por ciento de las memorias guardadas contenía información falsa, y el consejo estaba sesgado pesadamente hacia la cautela. Los consejos arriesgados fueron superados por siete a uno por consejos seguros. ²

Las pruebas también mostraron que parte del éxito de los modelos provenía de conocimientos previos del juego integrados en sus datos de entrenamiento. Cuando los investigadores renombraron cada término del juego con un reemplazo consistente, el rendimiento de los modelos disminuyó, confirmando que el recuerdo de la estrategia de Slay the Spire jugó un papel en sus puntuaciones.

Why it matters

SpireBench ofrece a los investigadores una herramienta para señalar exactamente dónde y por qué fallan los agentes de IA durante largos períodos de toma de decisiones. A medida que los sistemas de IA se despliegan en roles más complejos y reales, entender estas brechas en la planificación a largo plazo será cada vez más importante.

Los datos clave

Los principales modelos de IA ganaron el Acto 1 de Slay the Spire el 90 por ciento de las veces, igualando a humanos expertos, pero cayeron al 0-20 por ciento para el Acto 3
Los modelos eran excesivamente cautelosos, manteniendo una mediana del 90 por ciento de salud en el jefe del Acto 1, frente al 53 por ciento de los jugadores expertos
El 17 por ciento de las memorias escritas por los modelos entre partidas contenía información falsa
Renombrar todos los términos del juego redujo el rendimiento de los modelos, mostrando que el conocimiento previo del juego ayudó a las puntuaciones
El test probó a 20 modelos lingüísticos grandes en la dificultad más alta del juego