AIGenerato
EN · IT · ES

I ricercatori Apple individuano il limite invalicabile per migliorare il comportamento dei modelli di AI

Un nuovo studio mostra fino a che punto l'addestramento sulla sicurezza dell'AI possa realmente migliorare gli output dei modelli, e perché i metodi attuali restano ancora molto indietro.

Jeff Sheldon 2017.
Foto di archivio · Foto: Jeff Sheldon ugmonk, CC0, via Wikimedia Commons

Cosa si potrebbe fare con questo risultato

  • Gli ingegneri potrebbero stimare quanto sia teoricamente possibile migliorare il comportamento di un modello di AI calcolando una covarianza utilizzando solo campioni del modello base non allineato 1.
  • I ricercatori potrebbero calcolare il preciso tetto matematico per il miglioramento del reward sotto un vincolo di divergenza KL, sostituendo le precedenti stime approssimative basate sulla radice quadrata della divergenza KL 1.
  • Gli sviluppatori di AI potrebbero giustificare l'uso del reward ensembling come metodo per ridurre il reward hacking, poiché lo studio dimostra che mitiga il divario causato da reward proxy imperfetti 1.

Parole da conoscere

KL-divergence: Un modo per misurare quanto siano diverse due distribuzioni di probabilità; qui limita di quanto un modello può discostarsi durante l'addestramento · Pareto frontier: Una curva che mostra i migliori compromessi possibili tra due obiettivi in competizione

I ricercatori Apple hanno pubblicato un articolo che identifica i limiti fondamentali di quanto efficacemente le tecniche di allineamento dell'AI possano realmente migliorare l'output di un modello linguistico 1. Lo studio, accettato alla conferenza NeurIPS e pubblicato nel novembre 2026, esamina due metodi di allineamento ampiamente utilizzati: l'apprendimento per rinforzo (reinforcement learning), che cerca di massimizzare risposte positive mantenendo il modello vicino al suo comportamento originale, e l'allineamento "best-of-N", che semplicemente seleziona il risultato migliore tra molteplici tentativi .

Nonostante il loro utilizzo quotidiano nella produzione di AI utile e sicura, gli scienziati avevano una scarsa comprensione del miglioramento assoluto massimo che qualsiasi approccio di allineamento vincolato dalla divergenza KL potesse raggiungere. La divergenza KL è un termine tecnico che misura di quanto il modello allineato si sia spostato dal modello base, e il vincolo agisce come un budget che limita di quanto si possa spingere un modello durante l'addestramento 1.

Il team ha ricavato un'espressione in forma chiusa per il miglioramento ottimale del reward, rivelando che il limite è governato da qualcosa chiamato "divergenza di Jeffreys" — un diverso tipo di misura di distanza matematica — piuttosto che dalla radice quadrata della divergenza KL su cui si erano basati analisi precedenti 1. Hanno inoltre riformulato questa espressione come una covarianza, che fornisce agli ingegneri uno strumento pratico per stimare i guadagni di allineamento ottenibili utilizzando solo campioni del modello base non allineato .

Un'analogia utile: pensate all'allineamento come a cercare di guidare un'auto più vicina a una corsia desiderata. Le vecchie regole empiriche dicevano che la vostra capacità di sterzata scalava con una misura (la radice quadrata della KL), ma la nuova matematica mostra che in realtà scala con una misura diversa e più accurata (divergenza di Jeffreys). Questo cambia la mappa di ciò che è teoricamente possibile.

L'articolo analizza ulteriormente l'impostazione del "reward proxy", in cui invece di avere un segnale di reward perfetto, i modelli vengono addestrati contro un proxy imperfetto 1. I ricercatori hanno dimostrato che il divario tra l'allineamento ideale e ciò che raggiunge l'allineamento basato su proxy cresce quando l'errore del reward aumenta o quando il fattore di penalità KL diminuisce — spiegando essenzialmente quando e perché il "reward hacking" peggiora . Il reward hacking si verifica quando un modello impara a sfruttare le debolezze del sistema di punteggio piuttosto che comportarsi realmente come desiderato.

È importante sottolineare che hanno fornito una giustificazione teorica per una tecnica già utilizzata nella pratica: il reward ensembling. Combinando più segnali di reward, il reward hacking può essere mitigato 1.

Per testare la loro teoria, i ricercatori hanno calcolato la frontiera di Pareto KL-reward per due compiti comuni: filtraggio della sicurezza e riassunzione 1. Hanno scoperto che best-of-N si avvicina molto al limite teorico, cioè quasi raggiunge il soffitto previsto dalla loro matematica . Al contrario, PPO (Proximal Policy Optimization) e GRPO (Group Relative Policy Optimization) — due metodi di reinforcement learning ampiamente utilizzati — sono rimasti sostanzialmente subottimali, lasciando ampio spazio per miglioramenti algoritmici .

I risultati gettano luce su diversi fenomeni a lungo osservati nella letteratura sull'allineamento e suggeriscono che sono necessari algoritmi migliori per raggiungere un allineamento quasi ottimale senza richiedere campionamento costoso in fase di inferenza come best-of-N 1. In termini pratici, questo significa che i futuri sistemi di AI potranno necessitare di approcci di addestramento più intelligenti piuttosto che ripetizioni brute force per diventare sia più sicuri che più capaci.

Perché non è solo teoria

La validazione empirica dell'articolo su compiti reali mostra che anche i metodi di allineamento oggi più ampiamente utilizzati non stanno raggiungendo il muro che la loro stessa matematica prevede. Per gli sviluppatori che costruiscono prodotti di AI, questo significa che esiste un divario identificabile tra ciò che è realizzabile in linea di principio e ciò che gli algoritmi attuali consegnano nella pratica 1. Colmare tale divario è una direzione di ricerca attiva, ma lo studio Apple fornisce un benchmark contro cui misurare i progressi.

Se stai attraversando un momento difficile, c'è aiuto disponibile: in Italia chiama il 112 o Telefono Amico allo 02 2327 2327; altrove, usa il tuo numero di emergenza locale.

Quanto è efficace

I ricercatori hanno calcolato la frontiera di Pareto KL-reward per compiti di sicurezza e riassunzione attraverso modelli linguistici 1. Si è trovato che best-of-N si avvicina molto al limite teorico in questi compiti . Al contrario, PPO e GRPO sono rimasti sostanzialmente subottimali rispetto sia a best-of-N sia al limite derivato . Questo significa che i metodi di allineamento popolari attuali lasciano ancora inesplorato un reale potenziale di miglioramento .

I fatti principali

  • I ricercatori Apple hanno pubblicato un articolo di novembre 2026 che deriva il tetto matematico per l'allineamento con regolarizzazione KL dei modelli linguistici
  • Il guadagno ottimale del reward è governato dalla divergenza di Jeffreys, non dalla finora assunta radice quadrata della divergenza KL
  • L'allineamento best-of-N raggiunge quasi questo limite teorico, mentre PPO e GRPO rimangono sostanzialmente subottimali
  • Il reward hacking (divario tra allineamento ideale e proxy) peggiora con errori di reward maggiori e penalità KL minori
  • È dimostrato che il reward ensembling mitiga il reward hacking, fornendo una base teorica per una pratica comunemente usata

Fonti

  1. Theoretical Limits of Language Model Alignment

Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste

Continua a leggere