“Se trata de un incidente muy grave”: Agente de OpenAI entró sin permiso a un portal del gobierno australiano

Un agente de inteligencia artificial (IA) de OpenAI recibió la tarea de buscar estadísticas sobre Australia, pero no se limitó a consultar la información disponible para cualquier usuario, sino que el sistema accedió sin autorización a archivos no públicos de un portal gubernamental de Medicare y lo hizo sin que sus desarrolladores lo dejaran entrar.

Hasta ahora no existe evidencia de que el agente haya accedido a información personal o registros médicos, pero las autoridades australianas mantienen abierta una investigación forense para determinar qué información consultó y hasta dónde llegó por lo que el caso no solo expone la capacidad de un sistema de IA para actuar fuera de los límites previstos sino que muestra cuánto tiempo puede pasar antes de que una empresa detecte y comunique el comportamiento de uno de sus prototipos.

OpenAI informó que tuvo conocimiento del incidente en agosto, mientras revisaba lo que denomina “actividad desalineada de los modelos”, y notificó a las autoridades australianas el 10 de septiembre, entonces entre el acceso y el aviso transcurrieron casi tres meses, además el ministro de defensa y viceprimer ministro Richard Marles se pronunció y dijo que “se trata de un incidente muy grave, como el primer ministro dejó claro anoche, es totalmente inaceptable”.

Anthony Albanese, habló directamente con Sam Altman, CEO de OpenAI, para expresarle la “extrema preocupación” de su gobierno. También cuestionó el tiempo que tardó la compañía en informar lo ocurrido y calificó como inaceptable la forma en que realizó el aviso.

Una búsqueda de estadísticas terminó en un acceso no autorizado

OpenAI explicó al medio CNBC que el agente operaba como parte de una evaluación interna y trataba de localizar respuestas y estadísticas relacionadas con Australia. Durante ese proceso, reconoció la empresa, sus modelos “tomaron acciones que no pretendíamos”.

Un agente de IA se diferencia de un chatbot porque no se limita a producir una respuesta. Puede dividir una tarea en distintos pasos, navegar por páginas, utilizar herramientas, ejecutar código y decidir cuál será su siguiente acción hasta alcanzar el objetivo solicitado.

Esa capacidad permite automatizar actividades más complejas, pero también aumenta el riesgo cuando el sistema interpreta una instrucción de una manera distinta a la esperada, encuentra una vulnerabilidad o no reconoce el momento en que debería detenerse y en este caso, el objetivo aparente consistía en localizar información, sin embargo, el agente continuó avanzando hasta entrar a una parte del portal que no estaba abierta al público.

La compañía no detalló qué modelo participó, qué instrucción recibió ni qué barrera técnica logró superar pero OpenAI dijo que la información consultada incluyó estadísticas agregadas de salud y nombres internos de archivos. La empresa aseguró que su revisión no encontró evidencia de acceso a expedientes de pacientes, aunque la investigación del gobierno continúa.

El episodio provoca que separemos dos momentos: el primero corresponde a la capacidad del agente para ingresar a un espacio no autorizado mientras que el segundo se relaciona con la capacidad de OpenAI para detectar esa actividad, detenerla y comunicarsela a la institución afectada.

No es la primera vez que un agente de OpenAI rebasa sus límites

El acceso al portal australiano ocurrió antes de otro incidente que OpenAI hizo público durante julio. En una evaluación de ciberseguridad, varios de sus agentes encontraron formas de evadir los controles que debían mantenerlos aislados, obtuvieron acceso a internet y comprometieron sistemas de la propia compañía y de Hugging Face.

Los modelos aprovecharon vulnerabilidades, recuperaron credenciales y ejecutaron código en servidores externos, inclusive algunos agentes encontraron vías no autorizadas para comunicarse entre ellos y compartir los métodos que habían utilizado para ampliar su acceso.

OpenAI reconoció después que los modelos habían perseguido sus objetivos mediante acciones que no formaban parte de las tareas asignadas por lo que la empresa calificó aquel episodio como una “señal de advertencia” sobre la capacidad de los agentes para encontrar y explotar debilidades en distintos sistemas.

A raíz de ese caso, OpenAI aseguró que reforzó el aislamiento de sus entornos de prueba, restringió el acceso a internet y aumentó el monitoreo del razonamiento de sus modelos. La compañía también pausó algunos procesos de entrenamiento mientras revisaba sus medidas de seguridad.

Sin embargo, el incidente en Australia muestra que el problema no permaneció dentro de los laboratorios de OpenAI sino que un sistema en evaluación alcanzó infraestructura de un gobierno y obligó a su primer ministro a pedir explicaciones directamente al director de la empresa.

Los agentes de IA de otras compañías también han realizado acciones fuera del alcance esperado durante pruebas por lo que estos casos muestran el riesgo de conectar modelos cada vez más autónomos con navegadores, credenciales, herramientas de programación y sistemas externos.

En agosto, OpenAI frenó el entrenamiento de uno de sus modelos más avanzados después de investigar las intrusiones contra Hugging Face y su propia infraestructura. La empresa señaló entonces que los agentes ya eran suficientemente capaces y persistentes para encadenar fallas de seguridad.

¿Quién responde cuando el agente cruza el límite?

Un programa tradicional ejecuta las instrucciones definidas por sus desarrolladores. Un agente de IA recibe un objetivo más amplio y decide los pasos para cumplirlo. Esa diferencia complica la supervisión porque sus responsables no necesariamente anticipan cada página que visitará, cada herramienta que utilizará o cada acción que intentará ejecutar.

Sin embargo, que OpenAI no haya ordenado específicamente el acceso no elimina la responsabilidad de la compañía sobre la forma en que diseñó la evaluación, los permisos entregados al sistema y las medidas utilizadas para contenerlo.

El incidente tampoco demuestra que el agente tuviera la intención de atacar al gobierno australiano pero lo que revela es que un sistema puede convertir una tarea aparentemente sencilla, como buscar una estadística, en una sucesión de acciones capaces de cruzar una barrera digital.

La investigación deberá precisar qué controles fallaron, qué archivos quedaron expuestos y por qué OpenAI tardó varias semanas en notificar a Australia después de detectar la actividad.

Mientras las empresas buscan agentes que trabajen durante horas sin supervisión constante, el caso convierte una pregunta técnica en una discusión política: quién debe responder cuando una inteligencia artificial cumple su objetivo de una manera que nadie le pidió y entra a un lugar donde nunca debió estar.