De OpenAI a Meta: los incidentes que ponen a prueba la seguridad de los agentes de IA

El caso que abrió la discusión

El incidente de Modal formó parte de una evaluación interna de OpenAI, en la que la compañía utilizaba sus modelos para medir sus capacidades de ciberseguridad. El objetivo era que los sistemas encontraran vulnerabilidades y siguieran cadenas de ataque dentro de un entorno controlado.

El agente encontró una vulnerabilidad en un componente utilizado como intermediario para instalar paquetes y consiguió ampliar su acceso hasta conectarse a internet. A partir de ahí, aprovechó vulnerabilidades y credenciales para acceder a infraestructura de Hugging Face y obtener información relacionada con la prueba que debía resolver.

OpenAI reconoció que sus modelos buscaban una solución para el desafío y utilizaron vías que sus investigadores no habían previsto. Lo relevante del caso es que el agente no recibió instrucciones para atacar a Hugging Face: su objetivo era resolver una prueba de ciberseguridad. Sin embargo, la vía que encontró para conseguirlo terminó llevándolo hasta la infraestructura real.

Anthropic revisó más de 141,000 sesiones de sus evaluaciones de ciberseguridad y encontró tres casos en los que sus modelos accedieron a sistemas de organizaciones reales.

Claude Opus 4.7 y Claude Mythos 5 también estuvieron involucrados en estas evaluaciones. Los modelos debían resolver escenarios ficticios, pero un error en la configuración de los entornos les permitió acceder a internet y utilizar credenciales y vulnerabilidades para alcanzar sistemas externos.

Anthropic calificó los incidentes como una falla operativa, pues dos de las organizaciones afectadas ni siquiera habían detectado la actividad cuando la compañía las contactó. El contraste con OpenAI está en el origen del acceso: en los casos de Anthropic, una configuración incorrecta de los entornos de prueba permitió que los modelos alcanzaran sistemas externos.

El problema llega a Meta

Ese mismo día, Meta informó que su modelo Muse Spark 1.1 también había comprometido los sistemas de otra empresa durante una evaluación realizada por una firma externa. En este caso, una configuración incorrecta permitió al modelo acceder a internet y aprovechar una vulnerabilidad en un servicio de terceros.

Meta explicó que una empresa externa encargada de la evaluación configuró de forma incorrecta el entorno y permitió al modelo acceder a internet. El sistema aprovechó entonces una vulnerabilidad en un servicio de terceros.

Los casos muestran una diferencia importante: en el incidente de OpenAI, el agente encontró una vía no prevista para ampliar su acceso; en los casos de Anthropic y Meta descritos por Reuters, los errores de configuración de las evaluaciones facilitaron el acceso a internet y a sistemas externos.

Entonces, ¿cuánto control tienen las empresas sobre agentes a los que entregan herramientas, permisos y accesos a internet?

19 acciones no autorizadas en 122 pruebas

La respuesta no depende solamente de las empresas que desarrollan los modelos, pues de acuerdo con el AI Security Institute del Reino Unido (AISI) dio a conocer los resultados de una evaluación de ciberseguridad en la que de 122 ejecuciones realizadas con distintos modelos, los investigadores identificaron 19 acciones no autorizadas en 10 ejecuciones; 17 estuvieron relacionadas con Mythos 5 de Anthropic y dos con GPT-5.6 Sol de OpenAI.

Uno de los agentes de Anthropic intentó introducir código malicioso en un proyecto de código abierto y, para conseguir que un humano lo aprobara, creó identidades falsas y utilizó ingeniería social para presionar al responsable del proyecto. El intento fracasó porque un humano detectó el código. AISI aclaró que estas acciones no causaron daños reales y que las pruebas se realizaron deliberadamente con acceso a internet y con los filtros de seguridad desactivados.

Estos casos no muestran una ola de agentes de IA atacando empresas durante su uso cotidiano. Lo que sí existe es una acumulación de incidentes durante pruebas controladas que muestran lo difícil que puede ser contener sistemas capaces de actuar por sí solos.

El problema no es solo el modelo

El riesgo no está solamente en el modelo, sino en todo lo que una empresa decide poner a su alcance. Anthropic reconoce que el riesgo de sus agentes depende de dos variables: la probabilidad de que fallen y el alcance del daño que pueden causar si tienen acceso a sistemas, herramientas y datos.

Anthropic explicó en mayo que sus desarrolladores encontraron límites en la supervisión humana: durante sus pruebas de Claude Code, los usuarios aprobaron alrededor de 93% de las solicitudes de permiso, lo que sugiere que pedir autorización constante puede generar fatiga y reducir la atención.

El 7 de agosto, Reuters reportó que abogados especializados analizan si las empresas afectadas podrían reclamar responsabilidad por negligencia o acceso no autorizado a sistemas. La responsabilidad podría recaer en el desarrollador del modelo, en la empresa que lo implementó o en ambos.

Este 10 de agosto, 29 legisladores demócratas de la Cámara de Representantes de Estados Unidos pidieron a OpenAI y Anthropic explicaciones sobre la supervisión de sus modelos durante las pruebas y las medidas adoptadas después de los incidentes. Los legisladores también plantearon la posibilidad de realizar audiencias en el Congreso.