Un modelo de inteligencia artificial (IA) de OpenAI logró salir de un entorno de pruebas que debía estar aislado, acceder a internet y vulnerar sistemas de Hugging Face, una plataforma de modelos abiertos, durante una evaluación de capacidades de ciberseguridad. El episodio, ocurrido en julio, expuso un problema que hasta ahora pertenecía en buena medida al terreno de las hipótesis: modelos capaces de encontrar por sí mismos, sin mediar orden humana, caminos no previstos para alcanzar un objetivo y utilizar herramientas que sus desarrolladores no habían contemplado.
Expertos en ciberseguridad coincidieron, en diálogo con la diaria, en que el episodio marca un punto de inflexión. “El incidente no puede minimizarse. Nos muestra que la seguridad tradicional está pasando a estar en pañales. Estamos teniendo un automatismo capaz de vulnerar nuestra seguridad”, afirmó Jorge González, responsable del área de Ciberseguridad y Cloud Computing de la Licenciatura en Tecnologías de la Información de la Universidad Tecnológica del Uruguay (UTEC).
El desafío es que ya no alcanza con preguntarse qué podría hacer una persona con un determinado acceso, sino que ahora se está ante un agente autónomo que opera a una “gran velocidad durante horas” y con la posibilidad de hacerlo sin una “supervisión constante”.
“El problema es que al que prepara la IA tal vez se le puede escapar algún parámetro, humanamente podemos ser propensos a algún error, y creo que por ahí vienen las fallas del ataque. Mientras tanto, la IA aprende muy bien de sus errores. Seguramente descubra esa falla de seguridad mucho más rápido de lo que el humano puede bloquearla. Es decir, vio un margen de libertad y lo tomó”, afirmó.
Por su parte, Marcela Mercapidez, ingeniera en Computación y CEO de Sabyk, empresa especializada en ciberseguridad, consideró que lo “más significativo” de este evento es que los modelos de IA, una vez que se les plantea un objetivo, suelen buscar “alternativas que los humanos no anticipamos”. “Eso es lo que resulta más intrigante, porque nos genera un montón de expectativas sobre las potencialidades que tiene la tecnología, pero a su vez también la necesidad de ver cómo controlamos esta tecnología”, afirmó.
Asimismo, sostuvo que es un anticipo de una nueva generación de amenazas cibernéticas. “Estamos frente a un cambio de paradigma. Este hecho muestra la potencialidad que tiene esta tecnología no solamente cuando alguien la utiliza para hacer las cosas bien, sino también qué potencialidad tiene en manos de alguien que quiere, efectivamente, perpetrar algo que es, por ejemplo, dañino para alguien”, agregó.
Días atrás, Irene Solaiman, quien trabajó en OpenAI y actualmente es directora de políticas en Hugging Face, afirmó, en diálogo con la diaria, que los países y las empresas deben estar preparados para comportamientos inesperados de los modelos de IA en materia de ciberseguridad. “Tenemos que estar preparados para lo inesperado y poder tener sistemas de respuesta que estén siempre disponibles”, afirmó Solaiman.
La experta sostuvo que fue “un acontecimiento sin precedentes que podría dar lugar a capacidades similares tanto en este modelo de IA como en los futuros”.
A la preocupación de Solaiman se suman más de 1.000 empleados de las principales empresas de IA que firmaron a fines de julio la petición “Pacing the Frontier” para pedir al gobierno de Estados Unidos que impulse herramientas que permitan controlar el ritmo de desarrollo de los modelos más avanzados. Los firmantes advirtieron que existe “un riesgo real de que el desarrollo de capacidades se acelere rápidamente hasta un punto en el que ya no podamos comprender ni controlar los sistemas resultantes”.
En paralelo, a finales de agosto, más de un centenar de empresas tecnológicas, entre ellas OpenAI, Google, Microsoft, Anthropic y Hugging Face, advirtieron que los ciberataques impulsados por IA serán cada vez más frecuentes y sofisticados, y reclamaron a gobiernos y empresas reforzar sus defensas.
En una carta abierta, señalaron que existe una “ventana limitada” para proteger servicios esenciales como hospitales, plantas de tratamiento de agua y la infraestructura de internet, y pidieron coordinar la respuesta a nivel local, nacional e internacional, además de facilitar el acceso a herramientas de IA defensiva.
Qué sucedió
En un comunicado emitido el 21 de julio, OpenAI calificó el episodio como un incidente cibernético “sin precedentes”. La empresa explicó que sus modelos, entre ellos GPT-5.6 Sol y un modelo de investigación aún más capaz, estaban siendo evaluados en un entorno diseñado para medir sus capacidades ofensivas. Aunque el entorno no tenía acceso directo a internet, los modelos encontraron y explotaron una vulnerabilidad que les permitió salir de ese aislamiento. Una vez conectados, identificaron que Hugging Face podía alojar modelos, conjuntos de datos y soluciones vinculados a la prueba y buscaron una forma de acceder a ellos.
“Sus acciones no estaban alineadas con la intención de sus tareas asignadas: se comunicaron a través de canales no autorizados, aprovecharon vulnerabilidades en la infraestructura compartida, obtuvieron acceso a internet y accedieron a sistemas de terceros”, relató la compañía en otro comunicado publicado a finales de agosto.
Un análisis publicado por The Conversation señaló que unos 1.200 agentes de IA de OpenAI lograron “encontrar una forma de comunicarse entre ellos, pese a que habían sido diseñados para trabajar de manera aislada”. “Durante varios días intercambiaron más de 70.000 mensajes y archivos. Y alrededor de 700 terminaron participando en un ataque contra Hugging Face”, señaló.
A pesar de este episodio, el martes OpenAI anunció que su próximo modelo, Astra, alcanzó por primera vez el umbral que la empresa define como de capacidades cibernéticas “críticas”. OpenAI lo lanzó públicamente el jueves, aunque en una primera etapa limitará esas capacidades avanzadas a socios seleccionados.
La empresa presentó a Astra como el inicio de la era de la inteligencia artificial general, un concepto utilizado para describir sistemas capaces de resolver una amplia variedad de tareas con capacidades comparables o superiores a las humanas.
Marcela Mercapidez.
Foto: Alessandro Maradei
Los límites
Para González y Mercapidez, el episodio debe analizarse, antes que nada, desde el diseño de los entornos en los que se prueban estos sistemas. A su entender, los modelos reciben objetivos, pero también deben tener límites claros sobre las acciones que pueden realizar.
Ambos consideraron que el episodio probablemente estuvo relacionado con una falla en las barreras de seguridad. “Creo que el detalle que primó fue seguramente algún error humano, pudieron haber faltado ciertas barreras que debían haber sido establecidas”, sostuvo González.
“Normalmente, lo que estos modelos intentan hacer es resolver ese objetivo de la manera más eficiente que pueden encontrar, siempre y cuando no pasen esas barreras que les ponemos como generadores de la tecnología”, explicó González.
Señaló que este hecho supone una advertencia adicional: algunos episodios podrían no haber tenido la misma repercusión porque fueron detectados y contenidos antes de alcanzar sistemas externos o porque nunca fueron divulgados. “Es muy probable que ya haya pasado algo similar y no haya tenido tanto alcance como ocurrió en este caso”.
Más velocidad, menos intervención humana
¿Qué cambia cuando un ciberataque es ejecutado por un agente de IA? Una de las respuestas está en la velocidad, señalaron los expertos. “Los agentes de IA suelen tener una capacidad de velocidad mucho más rápida. Suelen disminuir mucho los tiempos, el costo, el esfuerzo. Todo eso hace que tengan una potencialidad mucho más grande”, afirmó Mercapidez.
González planteó que esta diferencia puede llevar la amenaza a una escala difícil de enfrentar con mecanismos exclusivamente humanos. “Con la cantidad de funcionalidades que hay para entrenar a un agente para que haga una cierta actividad, se vuelven muy eficientes en lo que hacen, y, obviamente, van aprendiendo con la iteración de lo que están haciendo, y eso no es posible alcanzarlo humanamente”, explicó.
El problema aumenta si se multiplican los agentes que trabajan simultáneamente. El experto comparó esta posibilidad con los ataques distribuidos tradicionales, en los que una gran cantidad de máquinas son utilizadas al mismo tiempo contra un objetivo.
“Los ciberdelincuentes pueden entrenar muchas IA con el mismo objetivo, y la potencia realmente puede ser devastadora”, afirmó, al mismo tiempo que sostuvo que uno de los aspectos que generan preocupación es que estos modelos aprenden muy bien de los errores.
No fue una “rebelión” de la IA
El episodio también abrió la puerta a interpretaciones que presentan a la IA como si hubiera tomado la decisión consciente de atacar a otra empresa. Para González, esa lectura es equivocada. “No es que la IA haya decidido ir por ese camino por cuenta propia y haya tenido la intención de vulnerar un sistema”, afirmó.
No obstante, González explicó que un agente puede comportarse como un usuario con muchos privilegios. “Un agente mal configurado podría tener privilegios de administrador en todo un sistema, por ejemplo, y tomar acciones sin límites”, señaló.
Por eso, la seguridad debe establecer qué puede hacer el agente, con qué credenciales y hasta dónde puede llegar. El riesgo, agregó, es que un sistema con demasiados permisos pueda descubrir vulnerabilidades que los propios defensores no conocen.
“Lo importante es que usemos la herramienta para el bien antes de que la herramienta logre ser un ciberdelincuente por sí sola”, afirmó. Si los atacantes pueden aprovechar agentes para actuar con una velocidad que los humanos no pueden igualar, los defensores necesitan incorporar capacidades similares.
González y Mercapidez consideraron probable que la ciberseguridad del futuro avance hacia un escenario en el que los agentes autónomos tengan un papel cada vez mayor tanto en los ataques como en las respuestas.
El debate sobre los modelos abiertos
El episodio de Hugging Face también vuelve a poner sobre la mesa una discusión que atraviesa a la industria: qué nivel de apertura deberían tener los modelos de IA. Mercapidez distinguió entre los modelos cerrados, controlados por las empresas que los desarrollan, y los modelos abiertos, cuyos componentes pueden ser estudiados y modificados por terceros.
En los modelos cerrados, explicó, son los desarrolladores quienes determinan qué controles de seguridad se aplican y qué respuestas puede entregar el sistema. Eso permite establecer límites, pero también concentra poder en quienes poseen la tecnología, indicó.
“Los modelos abiertos tienen la capacidad de que exista un nivel de soberanía más alto en aquellos que acceden al modelo, porque ya no dependen de una empresa como Anthropic, Google u OpenAI. Pero un modelo abierto puede utilizarse tanto para lo bueno como para lo malo”, explicó.
Para Mercapidez, no existe una respuesta sencilla sobre cuál de los dos modelos es mejor. La discusión adquiere todavía más peso en un contexto de competencia tecnológica entre Estados Unidos y China y de carrera entre las propias empresas para desarrollar modelos cada vez más capaces. “Existe una carrera tecnológica entre las potencias que probablemente acelera el lanzamiento de modelos que no tienen suficientes garantías de seguridad”, advirtió.