La legge di scaling del reinforcement learning agentic — e cambia come dovresti spendere il tuo budget

Oltre il conteggio dei token

Per anni le leggi di scaling del pretraining hanno trattato i dati come un unico numero: quanti token somministri al modello. Ma il reinforcement learning (RL) agentic — dove un agente AI impara interagendo con ambienti, generando compiti e raccogliendo traiettorie — ha fatto a pezzi quell'astrazione scalare ¹. I moderni pipeline di sintesi ora creano compiti, ambienti e traiettorie in modo indipendente e con costi enormemente diversi, trasformando i dati di allenamento in uno spazio di progettazione strutturato che le vecchie leggi non avevano mai dovuto affrontare .

La domanda a cui nessuno sapeva come rispondere sta ora ottenendo una risposta: quando hai un budget di sintesi fisso, quale asse devi far crescere? ¹.

Tre assi, un vincitore chiaro

Ricercatori tra cui Bowei He, Yankai Chen, Xiaokun Zhang e colleghi di Alibaba e DeepSeek hanno scomposto i dati agentic in tre assi cardinali — diversità dei compiti, diversità degli ambienti e numero di traiettorie — più una variabile di controllo della densità dei premi ¹. Hanno poi adattato relazioni di scaling per ciascun asse su modelli linguistici di grandi dimensioni (LLM) diversi, attraverso domini di matematica e codice, ingegneria del software, navigazione web e applicazioni UI/strumenti .

Il risultato è stato inequivocabile e coerente: attraverso tutte le dimensioni dei modelli, le famiglie di modelli, i domini e sia gli algoritmi RL PPO che GRPO misurati, gli esponenti di scaling si sono classificati come ambiente > compito > traiettoria ¹. Quando hanno ulteriormente suddiviso la diversità ambientale in diversità mondiale (l'insieme di ambientazioni, attori e scenari) versus diversità della struttura ambientale (la complessità dell'impalcatura dei compiti), il vantaggio è arrivato quasi interamente dalla diversità mondiale, mentre la diversità della struttura si è attestata circa sulla stessa linea della diversità dei compiti .

In parole povere: far vedere all'agente tipi di mondi più diversi conta ben più che fargli risolvere più problemi o ripassare più passi ¹.

Valutare i metodi di sintesi

I ricercatori hanno quindi usato quelle leggi adattate come un metro standard per valutare l'efficienza di ciascun metodo di sintesi, catturando per ogni asse un fattore di sconto e individuando i rapporti critici sintetico-reale oltre i quali inizia il collasso ¹. Quei rapporti di collasso differivano di un ordine di grandezza tra gli assi, il che significa che uno scaling accecato su qualsiasi singola dimensione può essere molto più pericoloso di quanto i numeri suggeriscano .

Una ricetta in stile Chinchilla per il RL agentic

Infine hanno formulato l'allocazione del budget come un'ottimizzazione vincolata sotto le loro leggi e fattori di sconto, ricavando una ricetta compute-optimal in stile Chinchilla e validandola a una scala tenuta separata ¹. Seguire quella ricetta ha prodotto fino a 1,7× di efficienza computazionale rispetto alla pratica dominante nell'industria, che consiste semplicemente nello scalare il numero di traiettorie .

Il paper, How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies, è stato accettato da NeurIPS 2026 ¹. Man mano che i sistemi agentic RL passano dalle demo di ricerca alla produzione, il vecchio istinto di «buttarci semplicemente più dati sopra» viene sostituito da un'intuizione molto più precisa: spendi il tuo budget in mondi, non in passi.

Questa storia segnala una tendenza solo a scopo informativo. Non costituisce consiglio né invito a fare alcuna di queste cose.

Correzioni e aggiornamenti

Corretto il 23 ottobre 2026. Una versione precedente affermava che i ricercatori avevano confrontato tecniche di generazione di immagini AI; il paper riguarda il reinforcement learning agentic, non la generazione di immagini.

I fatti principali

L'ordinamento degli esponenti di scaling del RL agentic: ambiente > compito > traiettoria, coerente attraverso modelli e domini
La diversità mondiale all'interno degli ambienti guida il vantaggio; la diversità della struttura è paragonabile alla diversità dei compiti
I rapporti di collasso sintetico-reale differiscono di un ordine di grandezza tra gli assi
Una ricetta compute-optimal in stile Chinchilla garantisce fino a 1,7× di efficienza rispetto alla pratica di scaling delle traiettorie
Paper accettato a NeurIPS 2026

Fonti

How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies