Publicidad
Revista Digital
Publicidad

“Un puñado de hombres tiene un poder casi ilimitado": la advertencia de la ONU por el riesgo de la IA para la humanidad

El debate sobre los límites de la IA escala y la ONU pide salvaguardas urgentes y figuras clave de la industria advierten sobre pérdida de control, concentración de poder y riesgos para la humanidad.
Una computadora portátil muestra una representación digital de un cerebro de inteligencia artificial iluminado en azul; al fondo se observa, desenfocado, un edificio institucional y bandera de la ONU.
La ONU y líderes tecnológicos han advertido sobre los riesgos asociados con el desarrollo de sistemas de inteligencia artificial cada vez más avanzados. (Foto: Imagen generada con IA / ChatGPT)

La inteligencia artificial avanza a una velocidad que incluso algunos de sus principales desarrolladores consideran difícil de controlar. Líderes de empresas como OpenAI, Anthropic y hasta la ONU están en la lista de quienes piden reducir el ritmo de desarrollo de los modelos más avanzados.

El alto comisionado de las Naciones Unidas para los derechos humanos, Volker Türk, pidió este lunes a los gobiernos y a las principales empresas de inteligencia artificial que actúen con urgencia ante los riesgos que plantea el desarrollo de sistemas cada vez más capaces y autónomos.

Publicidad

Türk solicitó establecer salvaguardas para la llamada inteligencia artificial de frontera (los sistemas más avanzados que están desarrollando las principales compañías) y que su gobernanza se base en el derecho internacional de los derechos humanos.

La ONU ya había advertido que la IA avanzada podría convertirse en un “riesgo existencial para la humanidad” si continúa avanzando sin controles suficientes. Türk planteó la necesidad de establecer supervisión independiente y reglas vinculantes antes de que los sistemas sean demasiado poderosos para controlarlos.


La preocupación ya está dentro de las empresas de IA

Dario Amodei, CEO de Anthropic, pidió recientemente que la industria “ponga ritmo” al desarrollo de la IA de frontera para dar tiempo a que las medidas de seguridad alcancen a las capacidades de los modelos.

Amodei publicó el ensayo We Must Pace the Frontier , en el que advirtió que si el desarrollo continúa sin controles suficientes, los sistemas podrían superar la capacidad de las personas para entenderlos y controlarlos. También señaló como riesgo el desarrollo de sistemas capaces de mejorar la siguiente generación de IA.

Su propuesta consiste en desacelerar el avance lo suficiente para que las evaluaciones de seguridad, los mecanismos de supervisión y la coordinación entre empresas y gobiernos puedan mantenerse al ritmo del desarrollo.

Sam Altman, CEO de OpenAI, dijo que su compañía implementará evaluadores independientes para sus modelos avanzados. También reconoció que existen riesgos que la industria debe tomar en serio.

Altman identifica dos escenarios que considera especialmente preocupantes. El primero es que los seres humanos pierdan el control sobre sistemas de IA y que el poder de esta tecnología termine concentrado en una sola persona, empresa o gobierno.

El ejecutivo también ha dicho que incluso una probabilidad de 10% de que la IA contribuya a la extinción humana sería un riesgo inaceptable. Sin embargo, esa cifra no es una estimación de Altman. Geoffrey Hinton, uno de los pioneros de la inteligencia artificial, ha planteado una probabilidad de entre 10% y 20% de que la tecnología pueda provocar la extinción humana en las próximas décadas.

Publicidad

Elon Musk también respaldó el llamado de Amodei. Su respuesta fue breve: “Dario tiene razón”. Musk ha advertido durante años sobre los riesgos de una IA que pueda superar la capacidad humana de control y anteriormente había apoyado llamados para establecer límites al desarrollo de sistemas avanzados.

Bill Gates también ve riesgos, pero no solo de extinción

En un ensayo publicado recientemente, el cofundador de Microsoft sostiene que la humanidad está entrando en una etapa de transformación tecnológica en la que las decisiones que se tomen ahora serán determinantes.

Gates reconoce el potencial de la IA para acelerar avances en campos como la medicina y la educación, pero advierte que la tecnología también puede profundizar problemas relacionados con el empleo, la seguridad y el uso malicioso de sistemas cada vez más capaces.

En particular, señaló tres riesgos que considera relevantes: el desplazamiento de trabajadores, el uso de la IA por parte de delincuentes y el impacto que la tecnología puede tener en el desarrollo de los niños.

La discusión coincide con una postura que Microsoft acaba de formalizar, pues la compañía publicó un borrador de su Código de Conducta para los modelos de Microsoft AI, en el que establece límites sobre la autonomía y el comportamiento de sus futuros sistemas.

El documento parte de una idea que resume su filosofía: “las personas importan más que la IA”. Microsoft plantea que sus modelos deben permanecer bajo control humano y que la compañía está dispuesta a sacrificar parte de su generalidad, autonomía o capacidad si eso es necesario para mantener ese control.

¿Qué es lo que preocupa sobre la IA?

Una de las mayores preocupaciones sobre el avance de esta tecnología es la pérdida de control. Los sistemas de IA están pasando de responder preguntas a ejecutar tareas de varios pasos, utilizar herramientas, escribir código y operar de manera cada vez más autónoma. Cuanto mayor sea esa autonomía, mayor es la preocupación por comportamientos que sus desarrolladores no hayan previsto.

Altman considera que un escenario problemático no necesariamente implica que una IA tome el control del mundo, también podría ocurrir que unas pocas empresas, personas o gobiernos concentren capacidades de inteligencia artificial que otorguen una ventaja desproporcionada sobre el resto de la sociedad.

Publicidad

Türk coincide con ello, y señaló que "un puñado de hombres tiene un poder casi ilimitado sobre la IA".

Para el alto comisionado de la ONU para los derechos humanos, el momento de establecer esos límites es ahora, antes de que la tecnología avance más rápido que la capacidad de los gobiernos y las empresas para controlarla.

“Tenemos que asegurarnos de que la IA siga estando al servicio de la humanidad, y no que la humanidad termine al servicio de la IA”, advirtió.

Newsletter

Únete a nuestra comunidad. Te mandaremos una selección de nuestras historias.

Publicidad

Publicidad