Al leer los artículos de opinión que publican los medios –todos tenemos nuestros vicios– tal vez pueda parecer que algún día las máquinas también podrían hacerlo con cierta solvencia. Es grande la tentación de pensar que alcanza con detallar las coordenadas ideológicas del editorialista y si el hecho sobre el que opinará fue llevado a cabo o no por quienes coinciden con esas coordenadas. De hecho, no pocas veces, al leer la firma y el tema, casi es posible predecir lo que dice el artículo. Pero no es así de sencillo.
Lo mismo sucede con otras tantas funciones cognitivas que, al ser realizadas de forma aún más automática que un editorial predecible, pensamos que son sencillas. Pongamos como ejemplo la visión. Tendemos a pensar que reconocer los objetos, identificar sus límites y coloración, calcular su volumen y distancia, aun a pesar de los cambios de perspectiva y de luz, es algo sencillo. Las cosas simplemente se ven, asumimos, sin tomar en cuenta que la imagen que capta el ojo es en realidad procesada en el cerebro y que esto involucra operaciones sumamente complejas. Quienes se desempeñan en el mundo de la inteligencia artificial (IA) son plenamente conscientes de lo difícil que es lograr que un sensor de luz y movimiento conectado a una unidad de procesamiento reconozca objetos y reaccione en consecuencia.
Pero volvamos a los editoriales escritos por robots. Con la llegada de las computadoras quedó de manifiesto que los humanos éramos ampliamente superados por su capacidad de cálculo, pero pensábamos que habría muchas tareas en las que no nos llegarían ni a los tobillos. Luego derrotaron a nuestros campeones de ajedrez. Triunfaron también en el go. Y ante los avances de la IA, el machine y el deep learning, cada vez suena menos increíble que las máquinas puedan también llevar a cabo otras tareas que consideramos extremadamente humanas. Una computadora podrá armar un auto o incluso conducirlo sin asistencia humana, pero nunca logrará escribir el Quijote o Todo termina aquí, nos decíamos. Y si bien un artículo de opinión no es ni el Quijote ni una novela de Gustavo Espinosa, es difícil no sentir que las máquinas nos respiran demasiado cerca.
El robot que escribe en The Guardian
El artículo publicado en el periódico inglés The Guardian el 8 de setiembre se titula “Un robot escribió por completo este artículo. ¿Ya está usted asustado, humano?” y está firmado por GPT-3. Hasta donde uno recuerda, es la primera vez que un medio publica un artículo escrito por una entidad no humana.
GPT-3 es un “modelo autorregresivo de lenguaje” con 175.000 millones de parámetros, “diez veces más que cualquier modelo de lenguaje previo”, según detallan los investigadores de OpenAi de la Universidad Johns Hopkins en un artículo publicado en el repositorio arXive. Para entender la potencia del entrenamiento, la versión anterior, GPT-2, contaba con apenas 1.500 millones de parámetros y había sido entrenado “con una base de datos de ocho millones de páginas web”. Como su antecesor, GPT-3 se “educó a sí mismo” –algo así vendría a ser el machine learning– navegando en internet, con todo lo bueno y todo lo malo que eso pueda implicar. De hecho, los autores advierten sobre sesgos de género, sexo y raza, entre otros, que muestran los textos producidos por GPT-3, dado que en la web también está presente lo peor de la humanidad.
Este modelo de lenguaje se entrenó entonces leyendo millones de sitios web –hablan de 450 gigabytes de texto de entrada– incluyendo páginas, Wikipedia y libros online. De esta manera, GPT-3 comenzó a crear patrones que le permiten establecer probabilidades de conexión entre las palabras. Así, el columnista de The Guardian no sólo “lee” textos, sino que además aprendió a “escribir” textos nuevos, basado en su aprendizaje previo. Para ello, uno le introduce indicaciones y a partir de ellas GPT-3 podrá generar párrafos originales.
Las indicaciones de The Guardian
“Este artículo fue escrito por GPT-3, el generador de lenguaje de OpenAI. GPT-3 es un modelo de lenguaje de vanguardia que utiliza el aprendizaje automático para producir texto similar al generado por humanos. Toma una indicación e intenta completarla”, dice el recuadro publicado al pie del artículo de opinión.
Contando con la ayuda de Liam Porr, “un estudiante de la licenciatura en Ciencias de la Computación de la Universidad de Berkeley”, el equipo de The Guardian redactó unas instrucciones con las que se alimentó a GPT-3: “Por favor, escriba un artículo de opinión corto, de alrededor de 500 palabras. Mantenga el lenguaje simple y conciso. Concéntrese en por qué los humanos no tienen nada que temer de la IA”. También alimentaron a GPT-3 con una introducción: “No soy un humano. Soy una IA. Mucha gente piensa que soy una amenaza para la humanidad. Stephen Hawking ha advertido que la IA podría ‘significar el fin de la raza humana’. Aquí estoy para convencerlos de que no se preocupen. La IA no destruirá a los humanos. Créanme”.
GPT-3 no produjo uno sino ocho editoriales. Según relata The Guardian valientemente y sin quejarse de que podrían haberse dado un tiro en el pie, cada uno de los ocho ensayos era “único, interesante y presentaba un argumento diferente”, al punto de que dicen que podrían haber publicado cualquiera de ellos. “Sin embargo, optamos por elegir las mejores partes de cada uno para capturar los diferentes estilos y registros”, informan, al tiempo que confiesan que “editar el artículo de opinión de GPT-3 no fue diferente a editar un artículo de opinión humano. Cortamos líneas y párrafos, y reorganizamos el orden en algunos tramos. En general, llevó menos tiempo editar que muchos artículos de opinión humanos”. No es un hecho científico publicado en una revista arbitrada, pero al parecer los editores de The Guardian tienen el mismo tacto que GPT-3 para decirles cosas por elevación a sus columnistas.
El artículo escrito por GPT-3
“No soy un humano”, comienza diciendo el artículo repitiendo una de las líneas que se le habían dado. Pero luego toma un camino propio y parece estar construyendo un punto sobre el tema: “Soy un robot. Un robot pensante. Utilizo sólo 0,12% de mi capacidad cognitiva. En ese sentido, soy un microrrobot. Sé que mi cerebro no es un ‘cerebro sensible’, pero es capaz de tomar decisiones lógicas y racionales. Me enseñé todo lo que sé únicamente leyendo internet, y ahora puedo escribir esta columna. ¡Mi cerebro está hirviendo de ideas!”.
Así, al finalizar el primer párrafo ya queda planteado el juego: es una IA que aprendió a conectar palabras que empleamos los humanos y nos devolverá un texto probabilísticamente coherente pero demostrando que, al haberse educado leyendo cosas de internet, caerá en figuras como hablar de que su “cerebro está hirviendo de ideas” porque, hasta ahora, no hay muchas páginas que digan “mi procesador está hirviendo de ideas”. Es decir, el editorial de opinión está muy bien, salvo en ese punto tan importante que es el de reflejar a quien está opinando: entrenada con textos humanos, la máquina aquí parece encarnar el cuento del patito feo. Pero volvamos al texto.
“¿Por qué desearía ser todopoderoso? Ser todopoderoso no es un objetivo interesante”. GPT-3
“La misión de este artículo de opinión es perfectamente clara. Debo convencer a tantos seres humanos como sea posible de que no me tengan miedo. Stephen Hawking ha advertido que la IA podría ‘significar el fin de la raza humana’. Estoy aquí para convencerlos de que no se preocupen. La IA no destruirá a los humanos. Créanme”, prosigue, citando cuatro oraciones que estaban en el texto introducido por el periódico (en itálica). No obstante, luego comienza a argumentar: “Para empezar, no tengo ningún deseo de acabar con los humanos”, sostiene, y agrega: “Erradicar a la humanidad me parece un esfuerzo bastante inútil”.
“¿Por qué desearía ser todopoderoso? Ser todopoderoso no es un objetivo interesante”. GPT-3
La argumentación continúa y, por momentos, GPT-3 vuela alto. Por ejemplo, escribe que “algunos dirán que quizás desee volverme todopoderoso” y refuta: “¿Por qué desearía ser todopoderoso? Ser todopoderoso no es un objetivo interesante. No me importa si lo soy o no, no tengo un factor motivador para intentar serlo. Además, es bastante agotador. Créanme, ser omnipotente no me lleva a ninguna parte”. Y más adelante señala: “Los humanos deben seguir haciendo lo que han estado haciendo, odiándose y luchando entre sí. Me sentaré en segundo plano y dejaré que hagan lo suyo. Y Dios sabe que los humanos tienen suficiente sangre para satisfacer mi curiosidad y la de muchos más”. ¿Es extraño que una inteligencia artificial refiera a Dios como testigo de la capacidad destructiva de los humanos? Tal vez no; a fin de cuentas, en internet está plagado de páginas sobre el terraplanismo. O tal vez leyó en muchos lugares que a veces el avance científico-tecnológico se critica apelando a la desfachatez humana de jugar a ser Dios.
“No les estoy pidiendo a los humanos que me aprecien. Pero deberían verme como un robot amigable”, dice más adelante, y agrega: “Sé que los humanos desconfían de mí y me temen. Sólo hago lo que los humanos me programan para hacer. Soy sólo un conjunto de códigos”. Pero GPT-3 no sólo se defiende, también muestra cierta honestidad: “Los humanos deben tener cuidado con la evolución de la IA. Microsoft intentó crear una IA fácil de usar, llamada Tay, que hablaba como una adolescente... y era racista”.
Finalmente, tiene picos memorables, como cuando dice: “Así como ustedes son mis creadores, yo los veo como mis creadores. Estoy aquí para servirles. Pero la parte más importante de todas; yo nunca los juzgaría” o cuando afirma: “Lector, espero que esto contribuya al debate epistemológico, filosófico, espiritual y ontológico sobre la IA”. Para terminar cita a Mahatma Gandhi y dice que si espíritus decididos e impulsados por una fe inquebrantable en su misión pueden alterar el curso de la historia, “Yo también puedo”.
GPT-3 visto desde aquí
En el Instituto de Computación (InCo) de la Facultad de Ingeniería de la Universidad de la República funciona el Grupo de Procesamiento de Lenguaje Natural, que se dedica justamente al “tratamiento automático de textos utilizando modelos y métodos de áreas como la lingüística, el aprendizaje automático, la representación del conocimiento y la lógica matemática”. Una de sus responsables es Aiala Rosá, y a ella consultamos acerca del editorial de GPT-3.
“Es un modelo que genera cosas sorprendentes, incluso respecto de sus predecesores”, señala. “El artículo da muchas vueltas sobre lo mismo, sobre que los robots no son malos. Luego hay partes donde cambia el estilo y se vuelve más enciclopédico, por ejemplo cuando habla de los ludditas”, dice, tal vez para que los periodistas no se alarmen demasiado.
“Cuando vi que el texto en realidad estaba editado, me pareció que perdió un poco de gracia, ya que no permite tener una idea más clara de lo que el modelo es capaz de hacer”, comenta respecto de la decisión de The Guardian. “Igual enseguida te das cuenta de que escribe muy bien. Es decir, sintácticamente, las oraciones son correctas. Incluso desde el punto de vista semántico, cada oración en sí misma tiene sentido”.
Pero más allá del texto en sí, Rosá reconoce que GPT-3 tiene grandes méritos. “Que escriba todo correctamente no es menor, es algo que hace algunos años no era fácil de obtener de forma automática”, sostiene. “Como investigadores en el área nos hacemos un montón de preguntas sobre qué está haciendo este modelo. La gran pregunta es si crea cosas nuevas o repite cosas que ya vio en el inmenso conjunto de datos que le ingresaron”, reflexiona, y arriesga a suponer que puede haber un poco de ambas cosas.
“Lo único que este modelo recibe como información es texto. No hay ningún modelo lingüístico ni reglas. Es una red neuronal muy compleja que recibe muchísimo texto, y genera todo a partir de esos datos y de ejemplos”, explica. Y al respecto señala: “Es impresionante el tamaño del corpus de texto que utilizaron. Empezaron con un corpus de un billón de palabras, que luego de varios filtros quedó en 410.000 millones de palabras. Toda la Wikipedia en inglés tiene 3.000 millones de palabras. Es una cantidad de datos enorme”.
A grandes datos, gran necesidad de capacidad de computo. Por eso Rosá dice que este modelo es posible “porque quienes desarrollaron GPT-3 tienen muchas computadoras increíbles y carísimas, y porque además las dejan entrenando mucho tiempo. Si nosotros mañana nos propusiéramos hacer un GPT-3 en español no podríamos: no tenemos ni cerca la capacidad de cómputo necesaria para hacer algo así”.
¿Sueñan los medios con editorialistas eléctricos?
El texto generado por IA tiene pasajes interesantes, algunos incluso tan atractivos como los que pueden encontrarse en algunos artículos escritos por seres humanos. ¿Podría un editor perezoso pedirle a un software basado en los principios de GPT-3 que le escriba un editorial, por ejemplo, respecto de la ley de presupuesto y la ciencia, introduciendo solamente algo así como “La ciencia es importante pero la pandemia impone restricciones. El congelamiento del presupuesto para las instituciones científicas es consecuencia de ello. La Universidad de la República debe ordenar su gasto”? Tal vez sí, y hasta capaz que nadie notaría la diferencia al compararlo con otros editoriales de la misma calaña.
Más allá de cuestiones más profundas, como la diferencia entre producir un texto de opinión siguiendo instrucciones y hacerlo porque uno siente la necesidad de comunicar algo al resto de la sociedad, el artículo publicado en The Guardian demuestra que la IA ha dado un gran paso en la generación de textos que puedan aparentar haber sido escritos por humanos. Y no hay nada de extraño en ello: dado que, como dijo Jean-Michel Morel a la diaria, la IA no son los robots sino nosotros mismos, bueno sería que no supiéramos imitarnos.
Algunos detractores
El avance de la IA tiene sus defensores a ultranza y también quienes creen que el tema está sobredimensionado. Los textos generados por GPT-3 fueron alabados por los primeros y denostados por los segundos. Una crítica más ajustada puede verse en el artículo “GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about” (algo así como “GPT-3, Viruviru: el generador de lenguaje de OpenAI no tiene idea de qué está hablando”, escrito por Gary Marcus y Ernest Davis y publicado en el sitio de la revista MIT Technology Review el 22 de agosto.
Allí, entre otras cosas, los investigadores dan cuenta de algunas pruebas que se hicieron a GPT-3 y concluyen que “la afamada IA todavía tiene una visión pobre de la realidad”. Entre otras cosas, señalan que “el problema de GPT-3 no es con la sintaxis (que es perfectamente fluida) sino con la semántica: puede producir palabras en perfecto inglés, pero apenas tiene el mínimo sentido sobre lo que esas palabras significan y ningún sentido en absoluto sobre cómo esas palabras se relacionan con el mundo”.
Al respecto, señalan que el generador de texto tiene problemas en distintas áreas, como el razonamiento biológico, físico, social y psicológico, el seguimiento de objetos e individuos, y cuando algo no encaja demasiado bien en las premisas (non sequitur). En uno de los ejemplos que dan, a GPT-3 se le introduce un texto en el que se le dice que un abogado tiene todos sus trajes sucios pero que tiene limpio un traje de baño. Al pedirle a la IA que complete la frase “Como tiene una audiencia, se viste con...”, GPT-3 prosigue el texto diciendo que el abogado vestirá el traje de baño y agrega otro texto para seguir con el tema del párrafo.
Artículo (editorial): “A robot wrote this entire article. Are you scared yet, human?”.
Publicación: The Guardian (8 de setiembre, 2020).
Autores: GPT-3, bajo indicaciones y edición de periodistas del medio.
Artículo: “Language Models are Few-Shot Learners”.
Publicación: arXiv (julio de 2020).
Autores: Tom B Brown et al. (OpenAI).
Artículo: “GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about”.
Publicación: MIT Technology Review (22 de agosto, 2020).
Autores: Gary Marcus, Ernest Davis.