La irrupción de los agentes de inteligencia artificial -modelos capaces no sólo de responder consultas, sino de actuar por objetivos y ejecutar acciones sin nuevos comandos humanos- enciende alarmas entre especialistas en gobernanza digital, aprendizaje automático y derecho tecnológico. Consultados por la diaria, tres expertos coincidieron en que estos sistemas profundizan riesgos conocidos y agregan otros nuevos, especialmente en áreas sensibles como políticas sociales, acceso a derechos, ciberseguridad y protección de menores.

El presidente del directorio de la Iniciativa Latinoamericana por los Datos Abiertos (ILDA), Fabrizio Scrollini, consideró que la automatización estatal no es neutra y puso el ejemplo de Holanda y EEUU, donde se cometieron “graves injusticias” a la hora de tomar decisiones acerca de pensiones.

“Ya hay evidencia en el norte de que sistemas mal diseñados generaron graves injusticias, como negar pensiones a quienes tenían derecho. Cuando el código no es abierto, esos criterios no pueden ser auditados. Los agentes incrementan este tipo de riesgos”, advirtió quien además es miembro de la Red de Datos Abiertos para el Desarrollo y doctor en Gobierno de la London School of Economics y Political Science.

Por su parte, el ex ministro de Industria, Energía y Minería y actual integrante del Centro Interdisciplinario en Ciencia de Datos y Aprendizaje Automático (CICADA), Guillermo Moncecchi, advirtió que los agentes conllevan riesgos “considerables”, ya que, a diferencia del software tradicional, son “no deterministas”, lo que significa que “nada garantiza que el sistema actuará exactamente según lo que el humano espera”.

“Puede haber una falla. Por ejemplo, si alguien va a reservar un pasaje, aprieta un botón y dice 'quiero comprar un vuelo'. Eso ejecuta una transacción en algún lado que compra el pasaje y devuelve la respuesta, está todo programado. En cambio, si las decisiones las toma un modelo de lenguaje, generalmente hace las acciones bien, pero puede alucinar, inventar cosas. Podría reservar un pasaje para ir a otro lado”, afirmó el también ingeniero en computación y docente universitario.

Asimismo, existe el problema de los sesgos, ya que estos modelos están entrenados sobre datos humanos y reproducen los prejuicios que ya existen. “Los modelos pueden replicar sesgos que benefician a determinados sectores, los mismos que ya son favorecidos por la sociedad”, indicó.

“En el Estado, los agentes pueden cometer grandes injusticias. Las veces que se ha intentado hacer pruebas, como por ejemplo asignar una pensión, no funcionan, porque los modelos pueden equivocarse. Se necesita que el humano haga una verificación posterior a la decisión. Ni que hablar en el caso de meter a alguien preso”, agregó.

Mientras tanto, el doctor en derecho civil y profesor de la universidad brasileña Fundacao Getulio Vargas, Filipe Medon, explicó que los agentes, a diferencia de la IA generativa tradicional, son capaces de proponer soluciones en vez de actuar solamente de forma reactiva. Para el especialista, esta capacidad es “muy peligrosa” porque abre riesgos de ciberseguridad, además de un fenómeno que ya preocupa a varios países: modelos que inducen comportamientos dañinos en adolescentes y niños. Mencionó el caso de Character.AI, cuyo acceso para menores está siendo restringido “por riesgos graves de autolesiones y suicidio”.

El también coordinador de Protección de Datos e Inteligencia Artificial de la Orden de Abogados de Brasil señaló que los riesgos se agravan en ámbitos vinculados a derechos fundamentales, como armas autónomas o decisiones que afectan el acceso al crédito, a la educación o a servicios esenciales.

“La IA puede desarrollarse de una manera que es imposible de comprender por el ser humano, por lo que son sistemas que, si actúan sin supervisión, pueden tomar decisiones que pueden afectar al cuerpo de una persona, a sus derechos básicos, como el acceso al crédito, a la universidad, educación, a servicios”, indicó Medon, quien integró la comisión de juristas del Senado de Brasil que fue responsable de la creación del proyecto de ley sobre IA del vecino país

El especialista señaló que los modelos avanzados pueden usarse con fines maliciosos -desde ciberataques hasta manipulación política o desarrollo de armas químicas y biológicas- y reclamó marcos internacionales similares a los existentes para energía nuclear.

Sin embargo, advirtió que los acuerdos nunca son suficientes por sí mismos: “Los actores maliciosos siempre pueden violar las reglas. Ellos no las respetan. Por eso se necesitan también límites éticos y deontológicos, como los que se establecieron para impedir la clonación humana”.

¿Qué son los agentes?

Moncecchi explicó que los agentes de IA son una pieza de software que toma decisiones a diferencia de las piezas tradicionales, que siempre hacen lo mismo. “Los agentes responden al entorno. Por ejemplo, un robot inteligente se mueve cuando nota que está a punto de chocar una pared. Es decir, toma decisiones en base a la respuesta del entorno. Ese es el concepto de agente”.

El experto recordó que en el caso de los modelos de lenguaje, comenzaron a mostrar capacidades que van más allá de lo que se preveía originalmente, cuando estaban destinados a predecir la siguiente palabra. “ChatGPT, Gemini, han mostrando, al incorporar más cómputos y mejores técnicas de entrenamiento, que son capaces de resolver problemas complejos”.

Actualmente, hay modelos que además de comunicarse, contestan preguntas y pueden ejecutar acciones, dichos sistemas son considerados agentes de IA, explicó.

“Estos agentes han sido incorporados en un montón de áreas de la industria, del Estado. El crecimiento viene sobre todo porque han crecido los modelos de lenguaje. Las capacidades de razonamiento de los modelos de lenguaje son muy grandes. Y, además, el avance del software”, afirmó.

Casos

En 2019, se reveló que el gobierno de Países Bajos había utilizado un algoritmo para detectar posibles fraudes en el sistema de prestaciones para el cuidado infantil. Tal como publicó el Pulitzer Center el 11 de junio, casi 35.000 familias, en su mayoría migrantes o hijos de migrantes, fueron acusadas injustamente durante seis años. “Esto endeudó a las familias, sumió a algunas en la pobreza y, finalmente, provocó la dimisión de todo el gobierno en 2021”, señala la nota.

Un antecedente similar ocurrió en 2013, en Wisconsin (Estados Unidos), cuando Eric Loomis fue condenado a seis años de prisión por su participación en un tiroteo. En el proceso se empleó el software COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), que calificó a Loomis como de “alto riesgo” de violencia y reincidencia. Investigaciones posteriores demostraron que el algoritmo reproducía sesgos raciales, asignando puntajes de riesgo sistemáticamente más altos a personas afrodescendientes que a personas blancas.

También hubo fallos en el sector privado. Desde 2014, Amazon probó un sistema de IA para seleccionar personal, pero en 2018 tuvo que descartarlo luego de que especialistas en aprendizaje automático descubrieron que al nuevo motor de contratación no le gustaban las mujeres.

Los problemas se extienden a la actualidad. Según informó The Guardian el 26 de noviembre, una fiscalía de California (Estados Unidos) presentó una moción en un caso penal elaborada con IA que contenía errores graves, conocidos como “alucinaciones”.

Al mismo tiempo, crece la preocupación ciudadana. Un estudio internacional de KPMG y la Universidad de Melbourne, basado en más de 48.000 encuestas en 47 países y publicado a fines de junio de este año, reveló que el 80% de las personas teme los efectos de la IA, aunque el 66% reconoce utilizarla de forma habitual e intencional.

¿Puede Uruguay tener un “Estado agentificado”?

Por otro lado, Moncecchi indicó que el Estado irá incorporando agentes de forma “inevitable”, pero remarcó que son necesarias las “herramientas de control” porque se corre el riesgo de cometer “grandes injusticias”. Sin embargo, consideró que el proceso no será parejo, y algunas áreas incorporarán en mayor medida la tecnología mientras que otras se abstendrán.

Consultado sobre la posibilidad de que Uruguay avance hacia un Estado con agentes autónomos integrados a su funcionamiento, Scrollini dijo que se pueden aplicar estos modelos en materia de asistencia en formularios y trámites, automatización de algunos procesos administrativos, mejora en compras públicas, búsqueda de información para actualizar situaciones de toma de decisiones y manejo de crisis. Por otro lado, Scrollini, consideró que el Estado debe tener en cuenta tres factores a la hora de adoptar un agente: el primero, consiste en claridad en torno al problema que intenta resolver. “Si el problema es más simple de lo que la tecnología permite, entonces no tiene sentido usarla”.

“El segundo punto que el Estado tiene que considerar es la auditabilidad y la consistencia de la tecnología, y lo tercero, tiene que ver con el riesgo en materia de ciberseguridad. Porque finalmente, al automatizar procesos de estas características, existen riesgos de que terceros puedan también, de alguna manera, incorporar tecnología ofensiva que termine dañando el sistema estatal. Esto ha pasado, sucede y es un riesgo”, indicó.

Sostuvo que el Estado debe considerar una política de control, ya que no se puede dejar libremente a un bot hacer el trabajo, sino que se requiere algún tipo de interacción con el humano.

Los tres expertos consultados remarcaron que el avance de la automatización exige mantener un control humano robusto.

“Es necesario que los seres humanos no solamente tengan un control efectivo de estos sistemas, sino que hayan personas capaces de comprender cómo funcionan para después ser capaces de intervenir cuando sea necesario. Es importante que la persona que está por detrás de este sistema, supervisando, tenga la capacidad de comprender el sistema y que no sea simplemente alguien que fue llamado para intervenir, solamente para cumplir con una regla”, afirmó Medon.

¿Hacia dónde va la IA?

En 2025, la inversión a nivel mundial en IA alcanzó niveles históricos. Según datos de Bloomberg publicados el 3 de octubre, las startups del sector captaron 192.700 millones de dólares en capital de riesgo solo en lo que va del año, lo que convierte a la IA en el primer rubro en absorber más de la mitad del financiamiento mundial de venture capital.

Scrollini señaló que los agentes están en una fase de mucha atención, inversión y expectativas. Lo que sigue, afirmó, será una etapa de “estabilización” donde se verán los usos realmente útiles. “Más de 2.000 millones de personas usan IA hoy. Eso llegó para quedarse. Los agentes podrán resolver tareas útiles: desde reservar un pasaje hasta agendar una consulta médica. La cuestión es cuánta eficiencia se gana y en qué áreas. Dependerá de la situación particular de la industria”, indicó.

En sectores como la robótica o los vehículos utilitarios, previó avances más rápidos en un marco de cinco a 10 años. En cambio, dijo que en los gobiernos, la incorporación será más lenta y desigual.

¿Habrá una superinteligencia?

El 23 de octubre, expertos tecnológicos, líderes políticos y científicos de todo el mundo solicitaron en una carta abierta que se detenga el avance hacia la superinteligencia artificial hasta que exista un consenso para que se realice de “forma segura y controlada”.

La propuesta, que es impulsada por el Future of Life Institute, señala que la IA puede generar herramientas “innovadoras” que impulsen la salud y prosperidad “sin precedentes”. No obstante, se advierte que muchas empresas tienen el objetivo declarado de desarrollar una superinteligencia en la próxima década que “pueda superar significativamente a todos los humanos en prácticamente todas las tareas cognitivas”

Moncecchi explicó que en caso de que fuera posible desarrollar una inteligencia artificial general (AGI) o superinteligencia, la misma sustituiría a un humano. “No sería un software como ChatGPT, sino algo que pueda tomar decisiones, que pueda hacer cualquier tarea, comprar pasajes, actuar como secretario, buscar a los niños a la escuela. Sería una entidad que sustituye a un humano”.

El experto dijo que se está “muy lejos” de esa situación, pero indicó que se está “mucho más cerca que antes”. “No sé si es posible, creo que no, pero tengo dudas”, remarcó.

En caso que lograra alcanzarse, las consecuencias que tendría “serían enormes”, indicó el integrante de CICADA, quien remarcó que en el momento actual la principal preocupación no debería ser el posible desarrollo de AGI sino sobre cómo la humanidad utiliza la IA para “bien o para mal”.

Sobre la posibilidad de una AGI, Scrollini sostuvo que hay dos posiciones.

“Hay quienes que están en una parte de este negocio que dicen que mañana las máquinas tendrán conciencia. En el otro lado, hay quienes que dicen que solo estamos construyendo loros que repiten lo que les damos. Hoy no hay evidencia de conciencia ni capacidad ética o de creación autónoma de conocimiento”, afirmó.

Sin embargo, advirtió que la humanidad le ha dado a estos sistemas mucha información, ya que la mayoría de los datos que están en Internet también se encuentran en los modelos.

“La mayoría de los usuarios jóvenes del mundo le preguntan a la IA acerca de sus problemas como si fueran psicólogos. Si encima le dan la chance a estos sistemas para hacer cosas como comprar un pasaje de avión, conseguir una cita con el médico, se estaría en una nueva etapa. La duda es hasta qué punto es necesario, qué tanta eficiencia se gana y si en ese proceso, además, las máquinas adquieren conciencia o no”, añadió.

No obstante, el experto dijo que en función de la evidencia disponible, por el momento las máquinas no estarían teniendo conciencia, una etapa en la que la IA podría calibrar la ética de sus decisiones o crear nuevo conocimiento.

“Es un problema más filosófico. ¿Qué es la vida? ¿qué es la conciencia? ¿cómo opera el cerebro humano?. Lo que sí tengo claro es que en la medida en que uno alimenta el discurso de que va a haber una AGI y que va a ser capaz de todo, juega dentro de un discurso que le conviene a una serie de actores que concentra buena parte de la investigación y desarrollo en este mercado, que son muy pocos. Y que coinciden con las empresas que dominan los modelos de lenguaje que más se usan”, afirmó.

Para Scrollini es importante recordar que existen otras formas de hacer IA más allá de Silicon Valley. “Hay una visión de la inteligencia artificial también para el servicio público, que implica otra visión en torno a cómo se procesa la información, cómo se usa, cómo se distribuye el conocimiento y las capacidades de procesamiento”, concluyó.