El investigador de Anthropic Jacob Coxon anunció su dimisión de la empresa y cuestionó la forma en que los laboratorios están avanzando en el desarrollo de inteligencia artificial, al considerar que corren hacia una superinteligencia sin garantías suficientes de seguridad.
“Renuncié a Anthropic hoy. Pasé los últimos tres años haciendo investigación de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos compañías está actuando de manera responsable. Están corriendo directamente hacia una superinteligencia automejorante y apostando con nuestras vidas”, escribió Coxon en X.
El investigador sostuvo que el potencial de los sistemas que se están desarrollando no debe ser subestimado y advirtió que pronto podrían existir sistemas capaces de “hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales”.
“Las personas que están construyendo IA creen sinceramente que podría matarnos a todos para finales de la década. Esto no es un truco de marketing”, afirmó. El investigador agregó que algunos ejecutivos e investigadores moderan su lenguaje públicamente, pero que, según su experiencia, las mismas personas expresan temor en privado. “Ninguna otra actividad humana representa este nivel de peligro”, sostuvo.
Coxon también cuestionó que las empresas continúen desarrollando estos sistemas pese a reconocer los riesgos. A su juicio, dentro de OpenAI muchos no han interiorizado “las apuestas civilizatorias”, mientras que en Anthropic el problema sería diferente: la compañía comprendería los riesgos, pero estaría atrapada en una carrera por llegar primero ante el temor de que ningún otro actor vaya a actuar de manera responsable.
El investigador se mostró, sin embargo, favorable a una mayor coordinación entre los laboratorios de IA. Mencionó como una señal positiva el ataque contra Hugging Face y consideró que este tipo de episodios puede favorecer acuerdos entre laboratorios estadounidenses para controlar el ritmo de desarrollo. Al mismo tiempo, advirtió que no considera que el sector esté encaminado a evitar una carrera global, que podría requerir medidas como una prohibición temporal de mejorar las capacidades de los modelos.
Su llamado final estuvo dirigido a otros investigadores del sector: “¿Quieres iniciar una ejecución de aprendizaje por refuerzo superinteligente sin una comprensión rigurosa de su mente? ¿Deberías agachar la cabeza porque de todos modos está sucediendo o aprovechar este momento para pedir condiciones diferentes?”.
La publicación cobró mayor relevancia después de que Evan Hubinger, un empleado de mayor rango de Anthropic, respondiera que Coxon tenía razón. “Realmente creemos con sinceridad que la IA podría acabar con todos los seres humanos”, escribió Hubinger. No obstante, precisó que personalmente estima que la probabilidad de que eso ocurra durante la próxima década es inferior al 10%.
“Creo que Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia y no estamos claramente en camino de lograrlo”, indicó.
Posteriormente, Hubinger aclaró su declaración y señaló que el propio informe de riesgos de Anthropic contempla esta preocupación, aunque considera que los sistemas actuales tienen pocas probabilidades de adquirir un nivel de poder semejante.
Anthropic nació a partir de una ruptura dentro de OpenAI. Los hermanos Dario y Daniela Amodei, junto con otros exempleados de la compañía dirigida por Sam Altman, fundaron Anthropic en 2021 después de expresar preocupaciones sobre el enfoque de seguridad de OpenAI. La nueva empresa se presentó entonces como una alternativa con una mayor prioridad en la seguridad y el desarrollo responsable de la IA.
Situación de la industria
Las advertencias se producen en un contexto de creciente preocupación dentro de la industria. Más de 1.000 empleados de las principales empresas de IA firmaron a finales de julio la petición “Pacing the Frontier”, que reclama al gobierno de Estados Unidos herramientas para controlar el ritmo de desarrollo de los modelos más avanzados. Los firmantes advirtieron que existe “un riesgo real de que el desarrollo de capacidades se acelere rápidamente hasta un punto en el que ya no podamos comprender ni controlar los sistemas resultantes”.
En paralelo, más de un centenar de empresas tecnológicas, entre ellas OpenAI, Google, Microsoft, Anthropic y Hugging Face, advirtieron a finales de agosto que los ciberataques impulsados por IA serán cada vez más frecuentes y sofisticados. En una carta abierta, señalaron que existe una “ventana limitada” para proteger servicios esenciales como hospitales, plantas de tratamiento de agua y la infraestructura de internet.
Los temores aparecieron luego de que un modelo de inteligencia artificial de OpenAI logró salir de un entorno de pruebas que debía estar aislado, acceder a internet y vulnerar sistemas de Hugging Face, una plataforma de modelos abiertos, durante una evaluación de capacidades de ciberseguridad. El episodio, ocurrido en julio, expuso un problema que hasta ahora pertenecía en buena medida al terreno de las hipótesis: modelos capaces de encontrar por sí mismos, sin mediar orden humana, caminos no previstos para alcanzar un objetivo y utilizar herramientas que sus desarrolladores no habían contemplado.
Las advertencias sobre los riesgos de la inteligencia artificial, como las formuladas por Coxon, se han vuelto cada vez más frecuentes. En los últimos meses y años, varios empleados del sector han renunciado públicamente a sus empresas debido a sus inquietudes sobre la seguridad, mientras que otros han expresado su temor de que la tecnología avance demasiado rápido y llegue un día en que supere la capacidad humana para controlarla.
Salida en bolsa
La declaración de Coxon se produce además en un momento de fuerte expansión de Anthropic. Según informó el diario español Expansión, la compañía prepara una posible salida a Bolsa en Nueva York y aspira a aprovechar el actual entusiasmo de los inversores por la inteligencia artificial. La operación podría llevar a la empresa a una valoración de hasta dos billones de dólares, de acuerdo con las estimaciones citadas por el medio.
Expansión señaló que Anthropic proyecta además ingresos de entre 190.000 y 200.000 millones de dólares para 2028.
El crecimiento está acompañado por enormes necesidades de infraestructura. Anthropic ha firmado contratos por un valor combinado de 80.000 millones de dólares para garantizar capacidad de cómputo en nuevos centros de datos en Estados Unidos, en un momento en que la demanda de infraestructura necesaria para entrenar y desplegar modelos de IA supera la oferta, según Expansión.
La expansión comercial se produce en medio de una competencia cada vez mayor entre los principales laboratorios de inteligencia artificial. Anthropic no solo disputa el mercado con OpenAI y Google, sino que también enfrenta la presión de competidores chinos que ofrecen modelos a menores precios. Al mismo tiempo, la compañía afronta presiones regulatorias y “fricciones” con el gobierno de Estados Unidos, según el medio español.