Il 90% del lavoro negli Usa riguarda attività che i benchmark dell'intelligenza artificiale non riescono a misurare

Una mappa di cosa l'AI sa fare e di cosa non sa fare

Mercor ha pubblicato un nuovo rapporto di ricerca intitolato Benchmark Map, che traccia quanto bene i benchmark esistenti sull'intelligenza artificiale coprano i lavori effettivi negli Stati Uniti. I risultati sono sorprendenti: circa il 90% delle ore lavorative negli Stati Uniti viene impiegato in attività che i benchmark standard dell'AI toccano appena ¹.

Per costruire la mappa, Mercor ha studiato 923 professioni elencate dal sistema O*NET del Dipartimento del Lavoro degli Stati Uniti, che descrive tutte le principali tipologie di lavoro nel paese. Su queste professioni, O*NET elenca 18.797 attività singole — cose come "redigere contratti legali" o "consigliare i clienti sulle norme fiscali". Mercor poi ha verificato quante di queste attività comparissero in un elenco curato di 29 benchmark di AI noti per qualità e rilevanza nel mondo reale.

Solo 208 delle 923 professioni avevano almeno cinque prompt di benchmark che potevano essere collegati alle loro attività. Sei delle 22 grandi famiglie professionali non avevano affatto professioni con quel livello di copertura.

Il bias è palese

Le lacune non sono casuali. I dati mostrano che i creatori di benchmark di AI tendono a concentrarsi per primi su settori ampi e ben retribuiti. I lavori nei campi come l'ingegneria del software e la finanza dominano i benchmark popolari, mentre ruoli altrettanto importanti a reddito medio ricevono molta meno attenzione.

Prendiamo il settore legale, ad esempio. I benchmark coprono ampiamente le attività svolte dagli avvocati, ma testano appena il lavoro degli assistenti legali o degli impiegati di tribunale — anche se questi ruoli affrontano livelli simili di esposizione all'AI ¹. Lo stesso modello si ripete in altri settori: la "coda lunga" di lavori della conoscenza più piccoli e di medie dimensioni rimane largamente invisibile ai valutatori di AI.

Perché è importante

Il problema va oltre la mancanza di dati. Se i benchmark non coprono ciò che fanno davvero la maggior parte degli americani sul lavoro, diventa molto difficile capire se i modelli di AI attuali siano realmente pronti per l'uso nel mondo reale. Un modello di AI potrebbe ottenere ottimi risultati nelle sfide di programmazione, ma faticherebbe con le attività quotidiane che costituiscono la maggior parte dell'economia.

Mercor ha dichiarato che intende continuare ad ampliare la propria copertura dei benchmark in modo che i ricercatori possano comprendere meglio dove si trova l'AI e dove mostra le sue carenze. Per ora, la Benchmark Map funge da promemoria che i rapporti sui progressi dell'AI di oggi potrebbero non raccontare tutta la storia su quanto bene le macchine sanno gestire la forza lavoro americana.

I fatti principali

• Il 90% delle ore lavorative negli Usa viene impiegato in attività con scarsa o nessuna copertura tramite benchmark
• Solo 208 delle 923 professioni americane hanno almeno 5 prompt di benchmark collegati alle loro attività
• Sei delle 22 grandi famiglie professionali non hanno professioni con copertura di benchmark pari o superiore a 5
• I benchmark sovrarappresentano settori ad alto salario come quelli del software e della finanza
• Mercor ha pubblicato la Benchmark Map per tenere traccia della copertura delle capacità di AI

Fonti

1. A benchmark map of the US economy | Mercor