Il 90% del lavoro negli USA riguarda compiti che i benchmark dell'AI non riescono a misurare

Una mappa di ciò che l'AI sa fare e di ciò che non sa fare

Mercor ha pubblicato un nuovo report di ricerca chiamato Benchmark Map, che traccia quanto bene i benchmark esistenti sull'AI coprano i veri impieghi americani. I risultati sono sorprendenti: circa il 90% delle ore lavorative negli Stati Uniti è dedicato a compiti che i benchmark standard dell'AI sfiorano appena ¹.

Per costruire la mappa, Mercor ha studiato 923 professioni elencate dal sistema O*NET del Dipartimento del Lavoro degli USA, che descrive tutti i principali tipi di lavoro nel paese. Attraverso quei lavori, O*NET elenca 18.797 compiti individuali — come "preparare, redigere e rivedere documenti legali" oppure "consigliare i clienti riguardo transazioni aziendali." (esempi tratti dalla fonte) Mercor ha poi controllato quanti di quei compiti compaiono in un elenco curato di 29 benchmark sull'AI noti per qualità e pertinenza nel mondo reale.

Solo 208 delle 923 professioni avevano almeno cinque prompt di benchmark collegabili ai propri compiti. Sei delle 22 grandi famiglie professionali non avevano affatto alcuna professione con quel livello di copertura.

Il bias è evidente

Le lacune non sono casuali. I dati mostrano che i creatori di benchmark sull'AI tendono a concentrarsi prima sulle industrie grandi e meglio retribuite. I lavori in settori come l'ingegneria del software e la finanza dominano i benchmark popolari, mentre ruoli ugualmente importanti a medio stipendio ricevono ben minore attenzione.

Prendiamo il campo legale, ad esempio. I benchmark coprono estesamente i compiti svolti dagli avvocati, ma testano quasi per nulla il lavoro dei segretari legali o degli impiegati di tribunale — anche se questi ruoli affrontano livelli simili di esposizione all'AI ¹. Lo stesso schema si ripete in altri settori: la "coda lunga" dei lavori di conoscenza più piccoli e medi resta largamente invisibile agli valutatori dell'AI.

Perché è importante:

Il problema va oltre i dati mancanti. Se i benchmark non coprono ciò che la maggior parte degli americani fa effettivamente al lavoro, diventa molto difficile sapere se i modelli attuali di AI siano davvero pronti per l'uso nel mondo reale. Un modello di AI potrebbe ottenere buoni punteggi nelle sfide di programmazione, ma avere difficoltà con i compiti quotidiani che costituiscono la gran parte dell'economia.

Mercor ha dichiarato che prevede di continuare ad ampliare la propria copertura di benchmark in modo che i ricercatori possano comprendere meglio dove si trova l'AI e dove mostra le proprie debolezze. Per ora, la Benchmark Map funge da promemoria che gli attuali report sui progressi dell'AI potrebbero non raccontare tutta la storia su quanto bene le macchine possono gestire la forza lavoro americana.

Correzioni e aggiornamenti

• Corretto il 12 novembre 2026. Una versione precedente citava compiti Esempio non presenti nella fonte; la sostituzione utilizza correttamente descrizioni di compiti O*NET verbatim per gli avvocati. Per il punto 2, entrambe le versioni riportavano lo stesso risultato chiave sostenuto dalla fonte.

I fatti principali

• Il 90% delle ore lavorative negli USA è dedicato a compiti con copertura di benchmark scarsa o assente
• Solo 208 delle 923 professioni USA hanno almeno 5 prompt di benchmark collegati ai propri compiti
• Sei delle 22 grandi famiglie professionali non hanno alcuna professione con copertura di benchmark 5+
• I benchmark sovrarappresentano settori ad alto salario come software e finanza
• Mercor ha pubblicato la Benchmark Map per tracciare la copertura delle capacità di AI in tutta l'economia

Fonti

1. A benchmark map of the US economy | Mercor