“Los sistemas lingüísticos de IA son un precursor ideal de regímenes tecnofascistas”: Regina Kreide

Editar

En el marco de las jornadas académicas sobre Los futuros de la democracia, la investigadora alemana Regina Kreide, de la Universidad de Giessen, visitará Montevideo esta semana. Especializada en historia política y teoría social, brindará la conferencia de cierre, titulada “¿Apertura democrática al futuro? Cómo los sistemas lingüísticos de IA transforman la esfera pública política”. Antes de su llegada, conversamos con ella sobre los efectos de la inteligencia artificial (IA) en el debate político, el tipo de lenguaje que promueven los chatbots, las nuevas herramientas de desinformación y qué ocurre cuando no es posible darse cuenta de si hablan personas o bots.

¿Qué relación hay entre la democracia y la IA? ¿Cómo afecta la IA a la democracia?

A primera vista, podría parecer que no tienen nada que ver, pero ocurre todo lo contrario. Existe una conexión fundamental entre la democracia y la IA generadora de lenguaje. Las esferas públicas democráticas prometen una forma específica de “apertura hacia el futuro”, que es un componente central de la democracia: los ciudadanos pueden protestar contra las condiciones existentes, cuestionarlas, plantear nuevos temas y proponer soluciones alternativas, así como cuestionar las interpretaciones y leyes vigentes. Es precisamente esta apertura a diferentes resultados la que se ve sometida a presión debido a la creciente integración de las técnicas computacionales en la comunicación política y cotidiana. Los algoritmos de recomendación, los modelos de lenguaje generativo, la moderación automatizada, la microsegmentación y los sistemas de predicción funcionan basándose en conjuntos de datos históricos. Estos los traducen en patrones predecibles. Al hacerlo, preestructuran lo que es, en esencia, un debate abierto, al limitarlo y cerrarlo a enfoques verdaderamente nuevos. En consecuencia, la esfera pública democrática y las técnicas computacionales se encuentran en un estado de tensión.

Va a visitar nuestro país en el marco del proyecto Los futuros de la democracia. ¿Cuáles son las promesas de la IA, cuáles está cumpliendo ya y cuáles podría cumplir?

El tema de las jornadas es una de las cuestiones más importantes de nuestro tiempo. Esto se debe también a que el sector de la IA ofrece numerosas promesas para el futuro. Sam Altman, de OpenAI, por ejemplo, describe en “The Intelligence Age” cómo la IA será capaz de acelerar los descubrimientos científicos y ampliar la capacidad de acción humana. Y Marc Andreessen, desarrollador de software estadounidense, inversor de capital riesgo y autor del Manifiesto tecnoptimista [2023], considera que la IA es una herramienta universal para resolver problemas, gracias a lo cual la IA, la inteligencia, la energía y los mercados capitalistas se combinarán para crear una dinámica de progreso que se refuerza a sí misma.

Sin embargo, debemos preguntarnos si el cumplimiento de estas promesas es siquiera deseable. ¿Realmente queremos vivir en una “monarquía de directores generales”, como la describe Curtis Yarvin, líder intelectual de Silicon Valley? En su opinión, un hipotético régimen de IA puede tomar decisiones de forma eficiente y eficaz precisamente sin la participación política de todos los afectados. Sin embargo, la democracia es un proceso que lleva tiempo; de lo contrario, las necesidades y aspiraciones de la mayoría quedan desatendidas.

Las primeras esperanzas depositadas en internet también estaban estrechamente vinculadas a las expectativas democráticas. Muchas personas –entre ellas, Tim Berners-Lee, el inventor de internet– asociaban la comunicación digital con una mayor apertura, igualdad y participación. De hecho, la IA generativa está teniendo ahora un impacto decisivo en la infraestructura de la comunicación pública. Para entenderlo, debemos analizar brevemente de qué tipo de IA estamos hablando aquí.

Al principio, las plataformas de redes sociales solo implementaban modelos de IA conocidos como “IA predictiva”. Funcionaban como “clasificadores”, actuando casi como un detective: buscaban, categorizaban y predecían lo que los usuarios podrían querer ver a continuación. Esto daba la impresión de que la IA conocía nuestras necesidades mejor que nosotros mismos: sugería productos y hacía recomendaciones de voto. Todos estamos familiarizados con esto. La nueva generación –la IA generativa–, con sus grandes modelos de lenguaje [LLM], actúa más bien como un asistente personal y crea nuevas combinaciones por sí misma. Lo hace introduciendo guiones e imágenes en las aplicaciones. Actualmente, ambos sistemas –la “IA de recomendación” y la “IA generativa”– siguen funcionando en paralelo, solapándose y complementándose entre sí. Esto tiene implicaciones concretas para la esfera pública política.

¿Cuáles son?

Los cambios son numerosos. Nos enfrentamos al “atestamiento”, al “desorden” de la esfera pública. Debido a los bajos costos de producción, los LLM están inundando las aplicaciones con grandes cantidades de publicaciones engañosas, contradictorias o sin sentido. Esto es posible porque la IA generativa ha reducido el costo de la creación de contenidos casi a cero mediante “granjas de contenido” totalmente automatizadas. El mero volumen obliga al periodismo y a la sociedad civil a adoptar una postura reactiva. Como resultado, la línea entre la crítica bien fundada y el ruido estratégico se vuelve difusa.

También se está produciendo un aumento masivo de la difamación, el discurso de odio y las noticias falsas. Mientras que las IA más antiguas requerían “fábricas de trolls” humanas para bombardear a los oponentes políticos con comentarios de odio, ahora es aún más fácil. Los LLM se comunican a través de bots automatizados y altamente adaptables en lenguaje natural, lanzan insultos de forma deliberada y manipulan las narrativas en tiempo real. La comunicación digital combina así un amplio alcance con escasa rendición de cuentas.

Y hay algo más que se ha intensificado. Aunque los prejuicios contra determinados grupos sociales ya existían incluso antes de la era de la IA, la IA generativa –que siempre se basa en datos existentes– ahora capta y refuerza esos prejuicios preexistentes. Un estudio de la Unesco sobre los sesgos contra las mujeres y las niñas en los grandes modelos de lenguaje muestra cómo se incorporan a los sistemas técnicos conjuntos de conocimientos desiguales.

Y no debemos subestimar hasta qué punto tanto las redes “tradicionales” de bots de IA como los simuladores de comunicación basados en LLM influyen en la formación de la opinión política. El alcance político no refleja simplemente la relevancia social; más bien, solo puede crearse mediante la microsegmentación algorítmica, las campañas coordinadas y la amplificación generada por la IA. Cambridge Analytica y las campañas de desinformación rusas son ejemplos paradigmáticos de interferencia encubierta en la formación de la opinión democrática. Los estudios sobre la normalización de contenidos de extrema derecha en Youtube también muestran la rapidez con la que los contenidos políticos llegan a nuevas audiencias a través de actores interconectados y algoritmos de recomendación. Actualmente estamos observando que la IA generativa –simplemente al simular el lenguaje humano, y nada más– crea un combustible aparentemente inagotable, y a menudo tóxico, para la comunicación.

Entonces, ¿la denominada “IA generativa” es realmente generativa, o simplemente reproduce lo que ya existe?

La IA generativa solo es verdaderamente creativa en una medida muy limitada. Se puede hablar de agentes mínimamente racionales. Persiguen objetivos, responden a estímulos y optimizan sus respuestas, de forma muy similar a un cortapasto robótico. Un ser humano actuaría de manera similar. La nueva generación también puede “aprender”. Pero el aprendizaje automático significa que se trata de un sistema para predecir respuestas, textos o imágenes, como es el caso de Chat GPT, por ejemplo. El aprendizaje aquí sigue siempre el mismo principio: un algoritmo analiza grandes cantidades de datos en busca de patrones, estrategias y correlaciones, y luego los compila en un modelo capaz de clasificar también datos nuevos. Por ejemplo, “animal, pequeño, liso, verde” se reconoce como una rana. Estos procesos ya se están utilizando en coches autónomos, en la detección de fraudes y en la optimización de procesos administrativos. Así es como los sistemas de IA pueden parecer creativos: pueden diseñar una silla al estilo de una palta o reformular un soneto de Shakespeare con el tono de una película de piratas, pero esta creatividad siempre consiste en combinar patrones ya existentes.

Además, la relación comunicativa de la IA con el mundo difiere fundamentalmente de la comunicación humana. Esto se debe a que la máquina no establece sus propios objetivos. Siempre hay alguien que la programa y le proporciona instrucciones para su entrenamiento. Además, los LLM no poseen experiencia corporal ni una relación propia con el mundo. Entienden los contextos lingüísticos, pero no experimentan el amor, la muerte, la culpa ni la justicia. Carecen de conocimiento del mundo. En consecuencia, reproducen contradicciones sin reconocerlas como tales. En una conversación un bot puede decir “los cisnes son azules”; tú lo corriges, y entonces el bot dice: “De acuerdo, los cisnes son azules y blancos”. Siguen produciéndose alucinaciones y se cometen errores. Además, simulan comprender sin generar significado en el sentido estricto. Por ejemplo, no deciden que hoy en día sea necesario un concepto diferente de libertad porque la situación política y social haya cambiado.

En resumen: la IA no quiere nada, no arriesga nada y no asume ninguna responsabilidad. O, como dijo Armanda Askell: siempre son serviciales, honestas e inofensivas.

Es cierto, la IA parece complaciente e incluso “servil”, a veces. ¿Qué efectos podría tener esta tendencia en el comportamiento de los ciudadanos y en la democracia en general?

Los efectos sobre la sociedad democrática van más allá de los aspectos individuales mencionados. Esto se debe a que estos avances tienen lugar en un contexto tecnocapitalista en el que los imperativos técnicos, económicos y políticos están estrechamente entrelazados. La concentración del poder informático, el software y la tecnología de semiconductores en manos de unos pocos empresarios tecnológicos pone de relieve estas dependencias geopolíticas.

Sin embargo, hay un aspecto clave: los LLM debilitan la democracia a través de su modo de comunicación afirmativo, predeterminado técnicamente. Pueden reproducir críticas ya existentes, pero no pueden llevar a cabo una crítica autorreflexiva basada en su propia experiencia. Cuando los sistemas de asistencia dan prioridad a la concordancia constante, a la complacencia superficial y a la dependencia ineludible del usuario, surge un estilo de lenguaje sumiso. Los usuarios experimentan una comunicación aparentemente personal, mientras que su atención y sus datos son explotados con fines económicos.

A esto se suma una crisis de autenticidad. El peligro radica en que la comunicación generada artificialmente se está volviendo prácticamente indistinguible del discurso humano. Cuando no queda claro si las declaraciones proceden de personas, de bots o de redes coordinadas, la confianza en la esfera pública se erosiona. El modo de vida democrático pierde entonces su capacidad de aprender de los conflictos.

Todavía hay defensores del tecnoptimismo, pero, al mismo tiempo, están tomando forma ideologías asociadas a tendencias autocráticas en materia de tecnología, por ejemplo, en torno a figuras como Peter Thiel y Alex Karp. ¿Hay riesgo de una autocracia tecnológica?

Creo que sí. Un efecto crucial de los LLM sobre el público es que estos modelos no son capaces de realizar una crítica autorreflexiva, sino que se limitan a reproducir las críticas de otros. A los bots se los alimenta con una variante de la “psicología positiva” que refuerza constantemente a los usuarios y no cuestiona sus posturas. Por lo tanto, el lenguaje utilizado por los LLM tiende a ser afirmativo y servil, y se caracteriza por un conformismo estructural. En consecuencia, los sistemas lingüísticos de IA son un precursor ideal de regímenes tecnofascistas que prometen libertad sin democracia ni crítica. El “culto técnico afirmativo se limita a fingir que ofrece participación en igualdad de condiciones y libertad económica. La libertad y la conformidad voluntaria se convierten así en una misma cosa”. Siguiendo al filósofo Theodor Adorno, se puede hablar de una “imitación del tecnofascismo”. Las condiciones técnicas agotan los recursos para la reflexión crítica, simulan la comunicación pública y explotan el acceso de bajo umbral a los consumidores para la extracción de datos.

¿Hay otro camino? ¿Cómo podría la IA reforzar la democracia?

La IA solo puede promover la democracia en una medida muy limitada. La “Máquina de Habermas”, por ejemplo –un programa que se está probando para mejorar y simplificar la deliberación–, utiliza la IA para generar y perfeccionar posibles declaraciones de consenso. Los participantes aportan sus puntos de vista, pero la IA sugiere a continuación formulaciones que se orientan hacia una visión compartida, las cuales pueden ser evaluadas y modificadas por los participantes. En este caso, la IA funciona como una especie de mediador o moderador automatizado. Pero aquí, al menos, las personas siguen siendo los verdaderos actores políticos. Sin embargo, ya existen otras herramientas diseñadas para trasladar por completo la deliberación pública a las máquinas –el programa “Habermolt”, por ejemplo–. Con Habermolt, las personas delegan la participación política en la máquina, que se comunica y toma decisiones en su nombre. La máquina, sin embargo, nunca puede saber exactamente qué quiere realmente cada individuo ni qué quiere todo el mundo colectivamente. Esto se debe a que los sistemas de lenguaje de la IA “no saben”, ya que, como dije, carecen de conexión con el mundo real. Se limitan a establecer conexiones plausibles basadas en lo que ya está almacenado en el contexto de las palabras amor y muerte. Solo tienen una conexión indirecta con el mundo real.

¿Qué se podría hacer, entonces?

Necesitamos una respuesta democrática que combine la regulación institucional –global, idealmente– con un contrapoder social a nivel local y regional. Las estrategias “de arriba hacia abajo” incluyen normas de concesión de licencias, requisitos de transparencia, auditorías independientes, controles de seguridad y supervisión pública. Las estrategias “de abajo hacia arriba” parten de los ciudadanos, las iniciativas y los movimientos sociales que cuestionan públicamente los fines y los límites de aplicaciones concretas de la IA. Necesitamos democratizar la IA. Las decisiones relativas al desarrollo, la implantación y la distribución de riesgos no deben dejarse exclusivamente en manos de las empresas y los expertos técnicos.

La democratización también implica algo más que una mera consulta. Las personas afectadas deben participar en la definición de los problemas, la selección de datos, la determinación de los fines admisibles y el seguimiento de las consecuencias. Esto es especialmente necesario cuando las decisiones algorítmicas determinan las oportunidades en la vida. Por lo tanto, un órgano de supervisión humano no debe organizarse como un mero trámite simbólico que se limite a dar el visto bueno a las recomendaciones de las máquinas. Por encima de todo, necesita tiempo, conocimientos, derechos de objeción y un poder de decisión real. La democracia no puede permitirse ningún “atajo”, como lo llama Cristina Lafont. La rendición de cuentas debe seguir siendo trazable. No debe desaparecer en una caja negra ni en una larga cadena de proveedores de servicios técnicos.