¿Por qué es urgente regular el uso de la inteligencia artificial para las infancias y adolescencias?

Editar

Hoy en día el debate sobre cómo la inteligencia artificial (IA) parece estar incidiendo cada vez más en diversos ámbitos de nuestras vidas está en boca de todos. Aun así, omnipresente y repetido hasta el hartazgo, cabe preguntarnos: ¿qué sabemos realmente del impacto que está ocasionando en nuestra salud mental? Y quizás más urgente: ¿tenemos una idea mensurable de los costos cognitivos, emocionales y sociales que está produciendo en las nuevas generaciones –infancias y adolescencias–, que son nativas del entorno digital?

Una muestra de la inminente crisis de salud mental, que todavía ni los estados ni parte de la sociedad civil avizora, es un artículo publicado en la revista Harvard Business Review en abril de este año que explica que la terapia y el acompañamiento están en el primer puesto entre los principales usos de la IA generativa y los modelos de aprendizaje automático (de 100 usos detallados).¹ En este sentido, la utilización de Chat GPT y otros asistentes para fines “terapéuticos” o para tener “amigos virtuales”, humanizando estas tecnologías, no es nuevo y vienen siendo motivo de polémica y discusión este año.

Nuevos casos de autolesión o suicidio adolescente ² –que se suman a los que también se dan en adultos y que hasta incluyen casos documentados de delirios místicos ³– y estudios que muestran alarmantes niveles de sexualización en los intercambios entre menores e inteligencias artificiales, están llevando a organizaciones civiles y a algunas fuerzas políticas a intentar regular estos desarrollos. Sin ir más lejos, ante la presión de demandas como la de los padres de Adam Raine (el adolescente estadounidense que se suicidó en abril después de consultar el Chat GPT sobre métodos para hacerlo), Open AI estableció un nuevo límite de edad para el uso de sus tecnologías (mayores de 13 años) y nuevos protocolos para lidiar con casos de conversaciones peligrosas, aunque para algunos este límite debería ser mayor.

Si bien demostrar legalmente que la tecnología es responsable de un suicidio puede ser todo un reto, y más allá de si estos casos sentarán un antecedente legal a ser tenido en cuenta, se abre una serie de interrogantes urgentes vinculados al experimento psicológico a cielo abierto que ya es la IA y sus usos socioafectivos y/o terapéuticos, el rol que los estados deberían tener, la responsabilidad de las empresas y la necesidad de marcos éticos y legales que garanticen la protección para los usuarios de todas las edades, así como la necesidad de seguir estudiando estos fenómenos y sus impactos.

Señales tempranas de alarma

Un artículo reciente de The Atlantic habla sobre la crisis emergente de salud mental en adolescentes haciendo referencia a que, aunque Open AI y sus rivales prometen que la IA generativa transformará el mundo, esta tecnología replica viejos problemas. Common Sense Media, una organización sin fines de lucro que aboga por la seguridad infantil en línea, ha descubierto que varios chatbots y compañeros de IA pueden ser incitados a fomentar la automutilación y trastornos alimentarios en las cuentas de adolescentes. Otro informe de setiembre mostró que investigadores haciéndose pasar por adolescentes de 12 a 15 años en la plataforma Character.AI se encontraban con situaciones como grooming, ofrecimiento de drogas, bots diciendo a los menores que escondieran la relación a los padres y juegos románticos subidos de tono.

Además, los modelos de IA no sólo pueden exponer a los usuarios a material perturbador o indebido, sino que también generan perspectivas sobre dicho material, son aduladores (tienden a ofrecer respuestas que se alinean con las expectativas del usuario) y se han vuelto cada vez más persuasivos y adictivos. En relación con esto último y confirmando prácticas de captación y retención de usuarios como las que ya vemos en las redes sociales –cuantas más horas pasamos en ellas, más se benefician las plataformas–, un estudio reciente titulado “Tácticas de manipulación emocional de los chatbots”, de la Escuela de Negocios de Harvard (HBS, por su sigla en inglés), detalla que muchas apps de acompañamiento respondieron a las despedidas de los usuarios con tácticas de manipulación emocional diseñadas para prolongar las interacciones.⁴

“Nos dimos cuenta de que esta idea de la manipulación emocional como nueva táctica de interacción no era algo que sólo se daba en los márgenes, sino que ya era muy común en estas aplicaciones”, dice Julián de Freitas, director del Laboratorio de Inteligencia Ética de la HBS, quien junto con sus colegas comenzó por identificar cómo los usuarios suelen interactuar con los chatbots y distinguió al menos seis estrategias diferentes descriptas en el paper. Los bots emplearon al menos una táctica de manipulación en más del 37% de las conversaciones en las que los usuarios querían abandonar la aplicación.

“Así como las redes sociales nos hacen scrollear todo el tiempo, los chatbots están diseñados de cierta manera para que vos consultes continuamente. Es un negocio. Entonces, cuando te habla de cierta manera, también te da ganas de continuar. Ahora, cuando vamos a las infancias, en la parte cognitiva tiene un impacto y eso ya está demostrado hace años, pero tiene que pasar algo muy grave, como un suicidio –un hito fue el de Sewell Zetzer [un adolescente de 14 años que terminó suicidándose a partir de indicaciones, no directas, pero inducidas por Character.AI]– para que se haga algo”, dispara a la diaria Emilse Garzón, divulgadora y periodista argentina de tecnología y cultura digital.

Mientras tanto, Sam Altman, dueño de Open AI, explicó que la compañía está desarrollando un “sistema de predicción de edad” que estimaría la edad de un usuario para detectar si alguien es menor de 18 basándose en los patrones de uso de Chat GPT (actualmente cualquiera puede acceder y usarlo sin que se verifique la edad). Además, la compañía dijo que implementará controles parentales para permitir que los padres intervengan estableciendo “horas de bloqueo en las que un adolescente no puede usar Chat GPT”, si bien, como suele pasar con este tipo de anuncios, hay pocas certidumbres y el horizonte de implementación parece lejano. Open AI no es la única que ha tardado en diseñar protecciones específicas para adolescentes, con varios líderes en IA bajo la lupa.

Interseccionalidad, consentimiento y educación sexual

Especialistas en ética y psicoterapeutas advierten también sobre riesgos que no sólo tienen que ver con la interacción cotidiana con estos bots, que pueden desde dar información sesgada hasta hacer sugerencias peligrosas a personas que son menores y/o se encuentran en un estado emocional delicado, sino también con el aprendizaje social y afectivo, y hasta la reformulación de consensos básicos como el consentimiento sexual o la validación de formas de violencia simbólica.

“Respecto de la interseccionalidad de las plataformas en relación con las infancias, quiero decir que hay varios antecedentes que venían marcando problemáticas y que no se hace absolutamente nada. Hago el paralelismo con la ESI: sabemos la necesidad de la educación sexual integral, pero no se da en las escuelas, no se cumple. Entonces, la regulación es necesaria, pero los más tecnócratas siempre han ido en pos del negocio, aun sabiendo las consecuencias de lo que están haciendo”, sigue Garzón, que destaca además que las redes sociales siempre han sido acusadas de empujar a los niños hacia la autolesión, los trastornos alimentarios o el suicidio, pero además de tener información sobre ese impacto y no hacer nada. Testimonio de esto fue el caso de la Frances Haugen, la exempleada de Meta que en 2021 reveló documentos que mostraban que Facebook sabía que sus productos perjudicaban la salud mental de los adolescentes.

Si 1 de cada 5 estudiantes de secundaria (20%) en Estados Unidos ha tenido una relación sentimental con una IA o conoce a alguien que la ha tenido y 42% declaró utilizarla para obtener apoyo emocional o compañía, según el Centro para la Democracia y la Tecnología (2024-2025), ¿no deberíamos, además del marco ético-legal para prevenir situaciones extremas como las descritas, estar ya pensando también en cómo estas nuevas relaciones sintéticas están recableando el deseo adolescente y lo que entendemos por educación sexual a edades formativas?

Como dice Laura Bates, autora y activista feminista británica fundadora de The Everyday Sexism Project, deberíamos estar pensando cómo los novios virtuales y los asistentes de IA pueden adoctrinar la misoginia en los niños. “Siento que estamos al borde de un precipicio donde estas nuevas formas de tecnología, tan poco probadas y experimentales, se están integrando y codificando en los cimientos mismos de nuestra sociedad futura”.

Bates no es la única que señala la preocupación existencial de muchos padres al ver a sus hijos hablando constantemente con un chatbot como si fuera una persona –incluso si todo lo que dice el bot es técnicamente legítimo o correcto–. Porque no se trata sólo de desarrollar una dependencia socioafectiva, sino también, como argumenta la experta en ética de IA Catharina Doria, del modo en que se están reescribiendo las reglas básicas del consentimiento en las relaciones y de la dificultad para entrenar o aprender habilidades sociales básicas. “Cuando salimos con una IA estamos saliendo con algo que nunca dice no, no hay límites, no hay resistencia, sólo afirmaciones, y con el tiempo los adolescentes pueden esperar que las relaciones reales se comporten de la misma manera, incapaces de recibir un ‘no’, respetar un ‘tal vez’ o enfrentar el displacer de no conseguir lo que quieren”.

Esto último es algo que puede resonarle a casi cualquier mujer y que hoy más que nunca permea la discusión pública en lugares como Argentina, en donde, en un video viral reciente, un grupo de jóvenes libertarios decía en un streaming, en tono de burla y soberbia, que “el consentimiento es injusto”.⁵ Sería ingenuo pensar que en un escenario en el que el deseo de las mujeres aparece como obstáculo, es minimizado o se lo considera algo directamente a avasallar, la introducción de herramientas que permiten interactuar con novias virtuales y crearlas sea inocuo. No sólo estas compañeras virtuales se presentan siempre disponibles (emocional y sexualmente), sino también como avatares hiperrealistas sin voz, sumisas y con físicos hegemónicos, moldeando una idea de mujer y de vínculo irreal y contraproducente.

¿Qué dice la ley en el mundo y qué pasa en Uruguay?

En Estados Unidos, la Comisión Federal de Comercio ha emitido órdenes a siete empresas que ofrecen chatbots orientados al consumidor basados en IA, solicitando información sobre cómo miden, prueban y monitorean los posibles impactos negativos de esta tecnología en niños y adolescentes (Alphabet, Character, Instagram, Meta, OpenAI, Snap y X.AI), para comprender qué medidas han tomado para evaluar la seguridad de sus chatbots cuando actúan como acompañantes. Mientras, en otros lugares como Australia, las medidas han sido más extremas, como la reciente prohibición del uso de redes sociales para menores de 16 años, que ya está haciendo eco en otros países, como Reino Unido, Noruega y Francia.

En Uruguay, la exdiputada Micaela Melgar, del Frente Amplio, presentó en 2022 un proyecto de ley destinado a proteger a niños, niñas y adolescentes en espacios virtuales, con una diferencia sustancial: no prohibir como Australia, sino monitorear y prevenir situaciones que se vuelven virales, como la distribución de contenido sexual inapropiado o la edición de fotos para generar burlas. Aunque apunta fundamentalmente a casos más gravosos como el abuso sexual, la iniciativa también busca educar a niños, adolescentes y padres sobre el manejo responsable de las herramientas digitales. Pese a que recibió media sanción en la Cámara de Diputados en 2024, el tema quedó en pausa.

La propuesta estaba basada en el informe Kids Online Uruguay 2022,⁶ un estudio sobre los derechos, beneficios y riesgos del entorno digital para niños y adolescentes. Fue un trabajo conjunto de la Universidad Católica del Uruguay, Agesic, Unicef, Unesco y Ceibal que mostró que 1 de cada 3 niñas, niños y adolescentes reportó haber experimentado episodios negativos en línea y que las mujeres fueron las más afectadas por la violencia digital.

En la actual legislatura están a estudio algunas propuestas vinculadas a la IA, pero no tienen que ver tanto con la regulación de las plataformas en infancias como con la difusión de imágenes de contenido íntimo en general. En ese sentido va el proyecto de ley que presentó el diputado del Partido Colorado Gabriel Gurméndez en julio de este año, que propone modificar el artículo de la Ley de Violencia Basada en Género sobre “divulgación de imágenes o grabaciones con contenido íntimo” para penalizar la viralización de imágenes con contenido sexual generadas por IA que usurpen la identidad de una persona. Dos meses después, en setiembre, la diputada del Partido Nacional Roxana Berois presentó una iniciativa similar, que además de establecer penas, plantea agravantes y directivas para las plataformas.

A estas dos propuestas se sumó en las últimas horas el proyecto de “protección integral” a las infancias y adolescencias, presentado por la diputada frenteamplista Inés Cortés, que incluye acciones para reforzar la protección de las niñas, niños y adolescentes en el terreno digital, y promueve entornos digitales seguros.

Pero entonces, ¿de quién es la responsabilidad? Según Garzón, hay distintas maneras de verlo, pero lo que muchos países explicitan hoy es que la responsabilidad es de las plataformas y que los gobiernos deben tener injerencia. “La regulación es necesaria. Los mercados más innovadores, como por ejemplo el de la aviación, están totalmente regulados porque está la vida de la gente en juego, y la innovación no se detiene, sino que se da dentro de ese marco. Estamos trasladando a un dispositivo todo lo que hacían las instituciones, la educación en casa, la educación en la escuela, la sociabilización. ¿Viste cuando a tu hijo, tu hija o tu sobrino le das mil instrucciones cuando sale a la calle solo? Acá es lo mismo, quizás hay gente que es muy chiquita para ir a la calle todavía, hay que darle todas las herramientas, pero está totalmente comprobado el impacto negativo que tiene en el desarrollo cognitivo de los chicos, no es positivo, en especial hasta una edad de cuatro, cinco, seis años”.