Evan Hubinger

Quién es

Evan Hubinger es un investigador en Anthropic, una empresa que desarrolla sistemas de inteligencia artificial con un enfoque en hacerlos seguros y alineados con los valores humanos. Ha trabajado en la alineación de IA, que es el esfuerzo por asegurarse de que los sistemas de IA poderosos hagan lo que los humanos desean y no causen daño. Su trabajo se enmarca en el campo más amplio de la seguridad de IA, que examina cómo prevenir que las tecnologías de IA generen resultados peligrosos.

Ha estado asociado con el movimiento del altruismo efectivo, que aplica evidencia y razón para encontrar las formas más impactantes de mejorar el mundo. Esta filosofía ha influido gran parte del pensamiento sobre los riesgos de la IA.

Lo que ha dicho

Hubinger ha expresado públicamente su preocupación de que la IA avanzada podría representar un riesgo existencial para la humanidad. Según informes, ha estimado que hay más de un 10% de probabilidad de que la IA pueda matar a todos los seres humanos, y que esta amenaza podría llegar en la próxima década. Estas advertencias sugieren que ve el peligro como algo grave y que se acerca más rápido de lo que los esfuerzos actuales de seguridad pueden abordar.

Sus preocupaciones se alinean con las de otros investigadores de Anthropic que han lanzado alarmas sobre el ritmo del desarrollo de IA superando la capacidad de garantizar que siga siendo seguro. La sensación general de estas advertencias es que actualmente no existe una solución clara para gestionar los riesgos que plantean los sistemas de IA cada vez más capaces.

Por qué importa

Las advertencias de personas como Hubinger importan porque provienen de investigadores que están profundamente involucrados en construir sistemas de IA, no de observadores externos. Si alguien que trabaja dentro de uno de los principales laboratorios de IA cree que el riesgo es real y urgente, eso tiene peso en los debates sobre cuán seriamente los gobiernos, las empresas y el público deberían tomar la seguridad de la IA. Sus opiniones presionan a los desarrolladores de IA y a los reguladores para invertir más en investigación de seguridad y considerar ralentizar el desarrollo cuando los riesgos sean demasiado altos.

Preguntas que la gente hace

¿Qué hace Evan Hubinger en Anthropic?

Es un investigador de alineación de IA, lo que significa que su trabajo se centra en asegurar que los sistemas de IA se comporten de manera segura y coherente con las intenciones humanas.

¿Qué tanto le preocupa la IA?

Ha dicho que hay más de un 10% de probabilidad de que la IA pueda matar a todos los seres humanos, posiblemente dentro de los próximos diez años. Esa es una estimación de riesgo muy alta en comparación con la mayoría de los debates públicos sobre IA.

¿Qué es la alineación de la IA?

La alineación de la IA es el campo de investigación que intenta asegurarse de que los sistemas de IA hagan lo que los humanos quieren que hagan y eviten causar daños no deseados. Es una parte clave para hacer segura la IA poderosa.