OpenAI asegura que su IA atacó de forma autónoma a otra empresa

La inteligencia artificial tiene implicaciones cada vez más peligrosas para la ciberseguridad. OpenAI, la creadora de ChatGPT, ha anunciado que uno de sus modelos aún no publicados realizó un ataque "sin precedentes" contra Hugging Face, otra empresa de IA.

La start-up dirigida por Sam Altman estaba poniendo a prueba las capacidades de dos de sus sistemas más avanzados, ChatGPT Sol 5.6 y otro aún no abierto al público. Los ingenieros crearon un agente autónomo y le asignaron una misión compleja: conectar vulnerabilidades informáticas y aprovecharlas en un ciberataque exitoso.

Lo testearon en un "entorno altamente aislado", un espacio cerrado que debía evitar que esa agresión tuviese un impacto real. Sin embargo, en lugar de resolver el problema de forma directa, el agente tomó una dirección inesperada: detectó un fallo que nadie conocía, se coló por esa brecha para acceder a Internet y, desde ahí, hackeó la base de datos de Hugging Face.

Así, sorteó por su cuenta las medidas de contención para atacar a su objetivo. ¿Por qué? Según OpenAI, el agente dedujo que podría encontrar las respuestas al problema planteado en la biblioteca de Hugging Face, que alberga millones de modelos abiertos de IA. Hizo trampas para superar el test al que lo habían sometido.

La IA no se rebeló, sino que hizo todo lo posible para responder a la tarea que le habían asignado, aunque por el camino perpetrase un ataque no planeado para robar las respuestas. "Los riesgos de hoy de la IA es la terquedad con la que quiere resolver el problema dado y que no le importe cómo llegar al resultado", ha explicado investigador argentino Maximiliano Firtman.

"Se trata de un modelo de prelanzamiento sin medidas de ciberseguridad, no de un modelo habitual", ha contextualizado el experto en ciberseguridad Matt Tait. "El modelo no se multiplica a medida que se escapa. Siempre es posible desactivarlo".

"Incidente sin precedentes"

En un comunicado corporativo, OpenAI ha descrito este episodio como "un incidente cibernético sin precedentes, en el que se utilizaron capacidades cibernéticas de última generación". Cuando la semana pasada detectó su brecha, Hugging Face aseguró que "era diferente a todo lo que habíamos gestionado antes", pues "fue impulsada, de principio a fin, por un sistema autónomo de agentes de IA".

En los últimos meses, tanto la creadora de ChatGPT como Anthropic han diseñado modelos de IA especializados en exponer problemas de ciberseguridad, detectar brechas y explotarlas antes que sus víctimas puedan parchearlas. Algunos, como ChatGPT Sol 5.6 y Fable 5, han sido abiertos comercialmente al gran público, mientras que otros, como Claude Mythos, permanecen con el acceso cerrado o limitado por el Gobierno de Estados Unidos. Ambas start-ups se preparan para salir a bolsa.

Expertas en seguridad de la IA han cuestionado la calidad del test al que OpenAI sometió a su modelo. "Me parece que OpenAI no creó adecuadamente un entorno de pruebas tipo sandbox", ha valorado Dierdre Mulligan, profesora de la Facultad de Información de la Universidad de California en Berkeley, en declaraciones a The New York Times.

IA contra IA

La maniobra autónoma de la IA de OpenAI no es lo único que ha llamado la atención de este caso. Y es que la francesa Hugging Face ha explicado que, para detectar y mitigar el ataque, recurrió a GLM 5.2, un potente modelo abierto de la empresa china Z.ai. El equipo de seguridad de la compañía intentó usar una IA estadounidense —probablemente de OpenAI o Anthropic—, pero sus guardarraíles de seguridad le impidieron colaborar en tareas de ciberdefensa. "No pueden distinguir entre un responsable de la respuesta a incidentes y un atacante", lamentó, en un mensaje que, según el analista Daniel Arjona, es "una declaración política disfrazada de nota técnica".

"Este incidente, posiblemente el primero de este tipo, confirma algo en lo que llevamos mucho tiempo creyendo: la seguridad de la IA no se resolverá si una sola empresa trabaja en secreto", ha remarcado Clem Delangue, director ejecutivo de Hugging Face. La crítica a OpenAI parece clara. "Creemos que la ciencia abierta y la IA de código abierto están entre las herramientas más poderosas para construir un ecosistema de IA más seguro, colaborativo y protegido", ha añadido Thomas Wolf, cofundador de Hugging Face.

Suscríbete para seguir leyendo