La empresa de inteligencia artificial (IA) Anthropic decidió restringir el acceso a uno de sus modelos más avanzados tras comprobar que es capaz de detectar y explotar vulnerabilidades críticas en sistemas informáticos, una medida que reactivó el debate sobre quién define los límites del desarrollo tecnológico, dijo a la diaria el economista y profesor universitario Pablo Da Rocha.
“En la carrera global por desarrollar inteligencia artificial cada vez más poderosa, Anthropic —empresa fundada por exintegrantes de OpenAI y conocida por su discurso centrado en la seguridad— acaba de admitir algo que hasta hace poco sonaba a ciencia ficción: construyó un modelo tan capaz en ciberseguridad que decidió no liberarlo al público general”, afirmó Da Rocha.
El economista se refiere al modelo Claude Mythos Preview, un sistema diseñado para analizar y poner a prueba la seguridad de programas informáticos, que muestra, según un comunicado de Anthropic, que “los modelos de IA han alcanzado un nivel de capacidad de programación que les permite superar a todos, excepto a los humanos más expertos, en la detección y explotación de vulnerabilidades de software”.
“Ya ha detectado miles de vulnerabilidades de alta gravedad, incluyendo algunas en todos los principales sistemas operativos y navegadores web. Dado el ritmo de avance de la IA, no pasará mucho tiempo antes de que estas capacidades se extiendan, posiblemente más allá de los actores comprometidos con su implementación segura. Las consecuencias —para la economía, la seguridad pública y la seguridad nacional— podrían ser graves”, indicó.
En términos concretos, esto significa que la IA puede encontrar fallas que ni siquiera los propios desarrolladores del software conocen, lo que abre tanto la posibilidad de prevenir ataques como de facilitar intrusiones informáticas a gran escala.
Varios medios en el mundo se han referido a este tema como “hay una nueva IA tan potente que asusta: Claude Mythos descubre fallos críticos, negocia, oculta o manipula”, “Anthropic oculta su nuevo modelo Mythos por ser demasiado peligroso”, entre muchos otros titulares.
Cambio de etapa
Frente a esta situación, Anthropic anunció el Proyecto Glasswing, que reúne a Amazon Web Services, Anthropic, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorgan Chase, la Fundación Linux, Microsoft, NVIDIA y Palo Alto Networks, “en un esfuerzo por proteger el software más crítico del mundo”.
“El Proyecto Glasswing es un intento urgente de utilizar estas capacidades con fines defensivos. Como parte del Proyecto Glasswing, los socios fundadores mencionados anteriormente utilizarán Mythos Preview en sus labores de seguridad defensiva. Anthropic compartirá sus aprendizajes para que toda la industria se beneficie”, se señala en el comunicado.
Para Da Rocha, este episodio marca un cambio de etapa. “Es un punto de inflexión en el debate sobre hasta dónde puede avanzar la IA antes de que la sociedad disponga de mecanismos reales para gobernarla”, sostuvo, al tiempo que advirtió que ya no se trata únicamente de mejoras incrementales, como razonar mejor o escribir código más rápido, sino de capacidades que pueden alterar equilibrios concretos en áreas sensibles como la ciberseguridad.
“Mythos Preview es capaz de identificar y explotar vulnerabilidades de día cero —fallas desconocidas incluso por los desarrolladores del software afectado— en sistemas operativos, navegadores y otros componentes críticos de la infraestructura digital contemporánea. La empresa sostiene que el salto fue tan abrupto que resolvió restringir su acceso a un conjunto acotado de actores vinculados a la defensa informática”, indicó.
En términos prácticos, la capacidad de detectar vulnerabilidades de “día cero” implica identificar fallas que ni siquiera los desarrolladores conocen, lo que podría permitir tanto prevenir ataques informáticos masivos como, en manos equivocadas, facilitarlos a gran escala. “La lógica de esta empresa es defensiva: si una IA puede encontrar fallas antes que un atacante, también puede ayudar a corregirlas antes de que esas fallas sean explotadas. Dicho de otro modo, la empresa optó por poner esta capacidad, al menos por ahora, del lado de quienes reparan cerraduras y no de quienes buscan forzarlas”, indicó.
Una discusión política
Da Rocha subrayó que el problema excede lo técnico. “Si una empresa privada puede desarrollar una herramienta con este nivel de impacto potencial y decidir de forma unilateral quién accede a ella, la discusión deja de ser empresarial y pasa a ser política, económica y geopolítica”, señaló.
“Si capacidades de alto riesgo pueden emerger sin haber sido buscadas de forma explícita, entonces el problema ya no es solo qué se diseña, sino qué efectos colaterales produce la propia dinámica de la competencia tecnológica. El avance de la IA deja de parecerse a una simple mejora incremental y empieza a adquirir rasgos de salto cualitativo: una frontera que se cruza antes de que existan reglas, controles o consensos suficientes”, advirtió.
“Estamos entrando en una fase en la cual las evaluaciones tradicionales empiezan a quedarse cortas para medir riesgos sociales concretos. Cuando una empresa afirma que un modelo ya satura varios test existentes, lo que está diciendo, en el fondo, es que nuestras métricas van detrás de la tecnología”, agregó.
Más allá del campo de la ciberseguridad, Da Rocha advirtió que estas capacidades pueden tener impactos más amplios en el mundo del trabajo y en la distribución del poder económico. “Un sistema que investiga fallas, propone soluciones, programa, ejecuta tareas y opera con creciente autonomía no reemplaza automáticamente a trabajadores calificados, pero sí modifica el contenido del trabajo, acelera ritmos, redefine estándares de productividad y fortalece a quienes controlan la infraestructura, los datos y el cómputo”, añadió.
Para el economista, el punto “más crítico” es la ausencia de marcos institucionales adecuados para gestionar estos avances. “Hoy no existen reglas globales suficientemente robustas para decidir qué capacidades deberían liberarse, cuáles deberían restringirse, bajo qué supervisión y con qué obligaciones de transparencia. El mercado corre, la tecnología salta y la política llega tarde”, afirmó.
“La enseñanza de fondo es clara. Si las empresas más avanzadas del sector admiten que ciertos modelos son demasiado riesgosos para circular libremente, entonces la conversación pública ya no puede limitarse a celebrar la innovación. La discusión debe pasar a otro plano: qué capacidad social, estatal e internacional tenemos para gobernar tecnologías que avanzan más rápido que nuestras instituciones. Porque cuando una inteligencia artificial resulta demasiado inteligente para salir a la calle, el verdadero problema no es la calle: es la ausencia de reglas para habitar el mundo que esa tecnología está ayudando a crear”, concluyó.