El 90% del trabajo en EE. UU. se realiza en tareas que los indicadores de IA no pueden medir

Un mapa de lo que la IA puede y no puede hacer

Mercor publicó un nuevo informe de investigación llamado Benchmark Map, que rastrea hasta qué punto los indicadores actuales de IA cubren los empleos reales de Estados Unidos. Los hallazgos son llamativos: alrededor del 90% de las horas laborales en Estados Unidos se dedican a tareas que los indicadores estándar de inteligencia artificial apenas rozan ¹.

Para elaborar el mapa, Mercor estudió 923 ocupaciones catalogadas por el sistema O*NET del Departamento de Trabajo de EE. UU., que describe todos los tipos principales de trabajo del país. A lo largo de esos empleos, O*NET enumera 18.797 tareas individuales, como "redactar contratos legales" o "asesorar a clientes sobre normativas fiscales". Luego, Mercor revisó cuántas de esas tareas aparecen en una lista curada de 29 indicadores de IA conocidos por su calidad y relevancia práctica.

Solo 208 de las 923 ocupaciones tenían al menos cinco prompts de evaluación vinculados a sus tareas. Seis de cada 22 grandes grupos profesionales carecían por completo de ocupaciones con ese nivel de cobertura.

El sesgo es evidente

Las lagunas no son aleatorias. Los datos muestran que los creadores de indicadores de IA tienden a enfocarse primero en las industrias más grandes y mejor pagadas. Los empleos en campos como la ingeniería de software y las finanzas dominan los indicadores más populares, mientras que roles igualmente importantes de ingresos medios reciben mucha menos atención.

Tome el campo legal, por ejemplo. Los indicadores cubren ampliamente las tareas realizadas por abogados, pero apenas evalúan el trabajo de secretarios legales o auxiliares judiciales, a pesar de que esos roles enfrentan niveles similares de exposición a la IA ¹. El mismo patrón se repite en otros sectores: la "cola larga" de trabajos intelectuales pequeños y medianos queda casi invisible para quienes miden el desempeño de la IA.

Por qué importa

El problema va más allá de los datos faltantes. Si los indicadores no cubren lo que realmente hace la mayoría de los estadounidenses en el trabajo, resulta muy difícil saber si los modelos actuales de inteligencia artificial están verdaderamente listos para el uso cotidiano. Un modelo de IA podría obtener buenos resultados en desafíos de programación, pero presentar dificultades con las tareas diarias que conforman la mayor parte de la economía.

Mercor indicó que planea seguir ampliando la cobertura de sus indicadores para que los investigadores puedan entender mejor dónde se encuentra la IA y dónde presenta limitaciones. Por ahora, el Benchmark Map sirve como recordatorio de que los informes actuales sobre el avance de la IA tal vez no cuenten la historia completa sobre cuán bien las máquinas pueden manejar la fuerza laboral estadounidense.

Los datos clave

• El 90% de las horas laborales en EE. UU. se dedican a tareas con poca o ninguna cobertura de indicadores
• Solo 208 de 923 ocupaciones en EE. UU. tienen al menos 5 prompts de evaluación vinculados a sus tareas
• Seis de cada 22 grandes grupos profesionales no tienen ocupaciones con cobertura de 5+ indicadores
• Los indicadores sobrerrepresentan industrias de altos salarios como software y finanzas
• Mercor publicó el Benchmark Map para rastrear la cobertura de capacidades de IA en toda la economía

Fuentes

1. A benchmark map of the US economy | Mercor