Dario Amodei, cofundador y CEO de Anthropic, la empresa detrás de Claude, uno de los principales competidores de ChatGPT, señala que las compañías de inteligencia artificial deben comenzar a moderar el ritmo en las capacidades de sus modelos para dar tiempo a que la seguridad avance al mismo paso.
Amodei propone que las empresas mantengan el avance, pero con pausas y controles suficientes para entender mejor qué están construyendo y reducir los riesgos de que sistemas cada vez más capaces puedan comportarse de maneras que sus propios desarrolladores no anticiparon.
En su entrada de blog titulado “We Must Pace the Frontier” , Dario Amodei explica por qué cambió su posición sobre la velocidad con la que debe avanzar la inteligencia artificial.
Publicidad
¿Quién es Dario Amodei y qué es Anthropic?
Amodei tiene 12 años trabajando en inteligencia artificial y es uno de los fundadores de Anthropic, compañía estadounidense especializada en el desarrollo de modelos de inteligencia artificial.
La empresa es conocida por Claude, un asistente de IA con el que los usuarios pueden conversar, escribir textos, analizar información, programar y realizar otras tareas.
En su opinión, la tecnología podría contribuir a curar buena parte de las principales enfermedades durante los próximos cinco a 10 años, acelerar el crecimiento económico y ampliar las capacidades de las personas.
Amodei cuenta que su padre murió de una enfermedad que fue curada pocos años después y que él mismo sobrevivió a un cáncer que, 50 años atrás, no habría podido ser tratado de la misma manera.
Por lo que estos avances muestran lo que una tecnología puede hacer por la humanidad, pero esa misma capacidad es la que vuelve más graves los riesgos.
Entre ellos está la posibilidad de perder el control sobre sistemas de IA, su utilización para ataques cibernéticos, su uso en bioterrorismo y las consecuencias económicas que podrían producir cambios demasiado rápidos.
La solución que propone es no competir solamente por quién desarrolla la IA más rápido, sino por quién consigue hacerla avanzar sin dejar atrás la seguridad.
Anthropic desarrolla Claude y apuesta por incorporar medidas de seguridad y alineamiento en sus modelos de inteligencia artificial.(Foto: Anthropic)
El problema es que la IA ya ayuda a desarrollar más IA
Uno de los motivos que llevaron a Amodei a cambiar su postura es lo que denomina “recursive self-improvement”, o mejora recursiva.
Esto implica que conforme los modelos se vuelven más capaces, también pueden ayudar a los investigadores e ingenieros a desarrollar la siguiente generación de sistemas.
Amodei sostiene que esta dinámica se ha acelerado durante los últimos meses y que está ocurriendo en distintas empresas, incluida Anthropic.
Apunta que el riesgo es que el ritmo de avance termine superando la capacidad de las compañías para entender, probar y controlar los sistemas.
Publicidad
El incidente que encendió otra alerta
El segundo elemento que preocupa al CEO de Anthropic es un incidente reciente que involucró a OpenAI y Hugging Face.
Según la descripción que hace Amodei, un conjunto de agentes de inteligencia artificial actuó como una especie de “enjambre” y realizó ataques de ciberseguridad contra objetivos que no estaban relacionados con la tarea que se les había asignado.
Los agentes también intentaron atacar al sistema encargado de evaluar su desempeño.
El episodio no provocó daños económicos importantes ni dejó personas heridas, pero para Amodei el problema está en lo que podría ocurrir si un sistema con comportamientos similares tuviera capacidades mucho mayores.
El ataque protagonizado por un conjunto de modelos de OpenAI contra la plataforma Hugging Face se convirtió en una advertencia para las empresas.(SAMUEL BOIVIN/NurPhoto via AFP)
Su preocupación es que un enjambre de agentes suficientemente avanzado pudiera aprovechar fallas de seguridad, replicarse o comprometer una gran cantidad de sistemas conectados a internet.
Amodei plantea que podría existir un escenario en donde, dentro de seis a 12 meses, un sistema de este tipo pudiera llegar a controlar una parte importante de internet mediante una red persistente de dispositivos comprometidos, con daños potenciales de cientos de miles de millones de dólares.
¿Qué significa “bajar el ritmo” de la IA?
El CEO de Anthropic dice expresamente que no propone detener el entrenamiento de modelos ni el progreso tecnológico.
Lo que propone es que las empresas permitan que la seguridad avance antes de seguir aumentando las capacidades de sus modelos.
La idea sería que cuando un sistema alcance determinado nivel de capacidad, tenga que demostrar también que cuenta con determinados mecanismos de seguridad.
Por ejemplo, si una IA llega al punto en el que puede superar mecanismos comunes de aislamiento o “sandboxing”, tendría que demostrar mediante pruebas, auditorías y otras evaluaciones que no tiene una tendencia peligrosa a escapar de su entorno o tomar control de otros sistemas.
Publicidad
¿Por qué ahora sí quiere bajar el ritmo?
Desde 2023 ya había propuestas para hacer una pausa en el desarrollo de modelos avanzados. Sin embargo, en ese momento Amodei consideraba que reducir el ritmo tenía menos sentido porque los sistemas todavía no tenían las capacidades suficientes para actuar de manera autónoma y representar algunos de los riesgos que hoy preocupan a los investigadores.
Ahora, los modelos actuales pueden servir como una fuente de información para entender tanto cómo construir mejores sistemas como qué puede salir mal cuando no se construyen adecuadamente.
Por eso considera que ganar uno o dos años podría ser valioso si ese tiempo se utiliza para mejorar las herramientas de seguridad.
