La inteligencia artificial (IA) llegó para quedarse. Eso es casi irrebatible, sobre todo cuando nos referimos a las IA generativas, como Chat GPT, OpenIA y demás, que interactúan con nosotros y nos ofrecen múltiples posibilidades. Ahora, para qué las usamos, en qué contextos y qué consecuencias tiene ese uso, en el que muchas veces les delegamos tareas para ahorrarnos trabajo cognitivo, no sólo es enteramente discutible, sino que requiere conocimiento.
Lo cierto es que los medios están llenos tanto de discursos propagandísticos de quienes abrazan a la IA como una maravilla tecnológica capaz de cumplir todo tipo de promesas (o de interesados en que creamos eso), como de detractores que temen el fin del trabajo, la humanidad y el mundo tal cual lo conocíamos. En el medio, la evidencia concreta de cómo puede afectarnos usar la IA escasea.
En este contexto, la reciente publicación de un artículo, titulado “Evidencia experimental de los efectos de los grandes modelos de lenguaje frente a la búsqueda web en la profundidad del aprendizaje”, merece celebrarse. Sin catastrofismos ni poner el grito en el cielo, el trabajo compara algo tan sencillo como qué pasa cuando aprendemos algo preguntándole a una IA generativa, como Chat GPT, o leyendo el resumen de IA que nos da Google cuando hacemos una búsqueda, en comparación con cuando buscamos activamente información a través de Google y, tras visitar varias páginas, hacemos una síntesis propia de lo que leímos.
¿Por qué podría interesar algo así? En primer lugar, porque es algo que se está extendiendo. Y para seguir, porque podríamos pensar que muchas personas, y entre ellas muchas y muchos estudiantes, ya no estarían entrando siquiera a Wikipedia o a páginas respetables para obtener información, sino confiando en lo que los resúmenes generados por IA les dicen sobre un tema.
Si bien en el artículo no participan investigadores de nuestro país –lleva la firma de la investigadora Shiri Melumad, de la Facultad de Wharton, y su colega Jin Ho Yun, de la Iniciativa Wharton de Neurociencia, ambos de la Universidad de Pennsylvania, Estados Unidos–, el tema que trata nos toca tan de cerca que amerita una excepción a nuestro abordaje habitual de las novedades en publicaciones científicas. Aun así, consultamos respecto del trabajo a Álvaro Cabana, investigador del Centro de Investigación Básica en Psicología (CibPsi) de la Facultad de Psicología de la Universidad de la República y miembro del Centro Interdisciplinario en Ciencia de Datos y Aprendizaje Automático (Cicada) para mantener la (esperamos sana) costumbre de darle sabor local a esta sección. Así que vayamos a ver un poco en qué consistió esta investigación.
Haciéndose una pregunta desde una teoría
“¿Podría la facilidad que ofrecen las síntesis de los grandes modelos de lenguaje tener costos en el aprendizaje en comparación con la búsqueda web tradicional?”, comienza preguntándose en el trabajo la dupla de autores. Los grandes modelos de lenguaje, que se abrevian como LLM por su sigla en inglés, son justamente los que están detrás de las inteligencias artificiales generativas ampliamente utilizadas en productos como Chat GPT, Gemini, DeepSeek o Perplexity.
Pues bien, acerca de su pregunta, la pareja de investigadores tenía una idea de lo que podría llegar a estar pasando. Esa idea se formula como una teoría que les permitirá luego hacer hipótesis. ¿Qué decía su teoría? Que “cuando las personas aprenden sobre un tema a partir de síntesis de grandes modelos de lenguaje, corren el riesgo de desarrollar un conocimiento más superficial que cuando aprenden mediante búsquedas web estándar, incluso cuando los datos centrales de los resultados son los mismos”.
¿Por qué piensan eso? Porque, como dicen, una “característica inherente a los grandes modelos de lenguaje” es la “presentación de resultados como resúmenes de vastas cantidades de información en lugar de enlaces de búsqueda individuales”. Según su forma de ver, ese despliegue de resultados automáticamente tiene consecuencias.
Hay una máxima de quienes hacen ejercicios de musculación que en inglés dice “no pain, no gain”, es decir, “sin dolor, sin ganancia”. Más allá de que eso no siempre es cierto –y de hecho sufrir dolor por hacer mal ejercicio no implica ninguna ganancia–, algo hay en que muchas veces los resultados van de la mano del esfuerzo aplicado a la tarea. Y las IA como Chat GPT justamente están allí, entre otras cosas, para evitarnos tal esfuerzo.
“Aunque la necesidad de navegar y resumir diferentes fuentes de información puede hacer que el aprendizaje mediante búsquedas web implique mayor esfuerzo, también puede ofrecer la ventaja, a menudo ignorada, de construir estructuras de conocimiento más profundas y únicas”, enfatizan en el trabajo. “Si bien los grandes modelos de lenguaje ofrecen claras ventajas en cuanto a eficiencia para los usuarios, planteamos que esta mayor facilidad puede tener un coste: la reducción de la profundidad del conocimiento y la originalidad del pensamiento obtenidos de la búsqueda en ciertos contextos”, plantean.
Lo que dicen no es algo descabellado, sino que hay estudios de diversos equipos, países y décadas que muestran que el estar implicado en el proceso de aprendizaje, incluso en ciertas dificultades que deben sortearse, redundan en mejores aprendizajes. Los resúmenes automáticos dados por la IA generativa, sostienen, “reducen la necesidad de descubrir y sintetizar información de fuentes originales”, pasos que a su entender son “esenciales para el aprendizaje profundo”.
Por eso dicen que “una tesis central” de su trabajo es que “si bien los grandes modelos de lenguaje proporcionan una vía más rápida para encontrar respuestas que la búsqueda web, al hacerlo inhiben un proceso fundamental para el aprendizaje: la exploración autoguiada de información diversa que requiere síntesis original”. Expresan también que “al realizar búsquedas web tradicionales en plataformas como Google, hacemos más que acumular datos: también desarrollamos estructuras de conocimiento mediante un proceso iterativo de formulación de consultas, recopilación e interpretación de información de diferentes sitios web y, posteriormente, integración de este conocimiento en un todo coherente”. Todo eso lleva a un “proceso de ‘construcción de sentido’ a través de la búsqueda web que puede ser altamente dinámico para los usuarios, caracterizado por el proceso recursivo de síntesis y revisión”.
Partiendo de allí, la dupla de investigadores se propuso poner todo esto a prueba. ¿Implicaría el dejar que la IA nos escupa resúmenes de diversos temas aprender menos de ellos en comparación con googlear información al respecto en diversos sitios? Agreguemos otro detallecito: incluso ahora el propio Google, que nació como un indexador de sitios web, nos propone un resumen generado por IA que evacua nuestras dudas y que coloca antes que los resultados de las páginas con información al respecto. Si se fijan bien, al final de ese resumen generado por IA, en letras pequeñas, dice una frase que suele pasarse por alto: “Las respuestas de la IA pueden contener errores”.
Shiri Melumad y Jin Ho Yun se tomaron en serio el asunto de poner a prueba sus ideas. Para ello realizaron cuatro experimentos distintos. Y de tres de ellos realizaron réplicas, es decir, que los realizaron dos veces con otras personas. En total, en los siete estudios participaron 10.462 sujetos adultos, con un promedio de edad de 42 años.
¿Quieren una respuesta rápida pero no generada por inteligencia artificial de lo que pasó? Los autores reportan que “los resultados de siete experimentos en línea y de laboratorio respaldan” sus predicciones. Pero veamos en concreto en qué consistió el primer experimento, ya que el resto vuelve sobre distintos aspectos de él, salvo uno que también detallaremos y que, según nos comenta Álvaro Cabana, “es como la cereza de la torta”.
Buscar información y redactar un consejo con y sin IA
El primero de los experimentos que realizaron es, según dicen, “una prueba inicial” de sus predicciones “en un entorno natural”.
Allí le pidieron a 1.136 personas de un panel, de las que terminaron analizando datos de 1.104, que investigaran información mediante búsquedas en Google o consultando a Chat GPT con el objetivo de asesorar a un amigo o amiga que quería comenzar a armar un huerto en su casa. Luego de buscar la información por cualquiera de las dos vías (los participantes se asignaron aleatoriamente a una u otra forma de obtener información), se les pidió que efectivamente escribieran ese consejo para armar un huerto (sin contar para la escritura con ayuda de Chat GPT).
Luego de haber escrito el consejo, se les pidió que puntuaran de 1 a 5, siendo 1 el equivalente a “totalmente en desacuerdo” y 5 “totalmente de acuerdo”, las siguientes tres opciones: “Aprendí cosas nuevas sobre el tema a partir de los resultados de Google/Chat GPT”; “Los resultados de Google/Chat GPT proporcionaron información completa sobre el tema”; “Siento que me apropio personalmente de lo que aprendí”.
Luego tuvieron que calificar con el mismo sistema de puntaje las frases “Dediqué mucho tiempo y esfuerzo a generar mi consejo” y “Siento responsabilidad personal sobre los consejos que di”.
Asimismo, se capturó el tiempo que estuvieron buscando las respuestas, la cantidad de sitios que visitaron o de comandos que introdujeron a Chat GPT, y el tiempo que dedicaron a redactar sus consejos.
Sus consejos fueron también analizados con herramientas de procesamiento de lenguaje natural para ver qué tan profundos eran, qué tan original era el lenguaje, y la cantidad de palabras y de datos contenidos en ellos.
¿Qué hallaron al analizar las 1.104 respuestas? La confirmación de lo que postulaban. “Los participantes que usaron Chat GPT dedicaron menos tiempo a la búsqueda que quienes usaron Google, lo que sugiere que aprender a partir de síntesis de modelos de lenguaje a gran escala requirió menos esfuerzo que aprender a partir de los resultados de búsqueda web estándar”, reportan. En el trabajo no dan más números que los promedios, así que eso es lo que podemos contarles: el promedio de tiempo que destinaron los que buscaron información sobre cómo armar un huerto en Google fue de unos 12 minutos, mientras que el de quienes usaron Chat GPT fue de poco más de 9.
También reportan que mientras quienes buscaron en Google hicieron en promedio 2,15 consultas, los que usaron Chat GPT introdujeron en promedio 2,06 prompts o comandos. “Esto implica que el menor tiempo dedicado a la búsqueda con Chat GPT (en comparación con Google) no se debió a una menor interacción con Chat GPT, sino a una menor interacción con los resultados”, señalan.
¿Cómo se sintieron unos y otros? En esto también hubo diferencias. Las respuestas dadas por quienes usaron Chat GPT para informarse muestran que dicen “haber aprendido menos información nueva, sentir menor apropiación del conocimiento adquirido y considerar que la información obtenida en su búsqueda fue menos completa”.
¿Qué pasó al redactar los consejos a sus hipotéticas amistades que querían armar un huerto en sus hogares? También encontraron diferencias: “Quienes aprendieron mediante Chat GPT dedicaron menos tiempo y esfuerzo a la elaboración de sus consejos, sintieron una menor apropiación del contenido y, en promedio, invirtieron menos tiempo en escribirlos”. Nuevamente, no tenemos los datos, sino apenas unos promedios de esto último: quienes googlearon sobre los huertos hogareños se tomaron en promedio poco más de 4,11 minutos para redactar sus recomendaciones, mientras que quienes apelaron a la IA destinaron 3,69 minutos. No parece haber mucha diferencia, es cierto, pero la percepción personal podría ser bastante relevante (aunque el trabajo no da esos datos en forma cuantitativa).
¿Y los consejos? ¿Se diferenciaban los contenidos de uno y otro grupo? Reportan que sí: los elaborados por quienes se informaron con Chat GPT “presentaban marcadores lingüísticos que sugerían un aprendizaje menos profundo”, ya que eran “más concisos, con menos palabras” (en promedio los del grupo Google tenían 95 palabras y los del Chat GPT 85) y menos referencias a hechos o entidades únicas” (en promedio, 0,7 en el caso del grupo Google y 0,4 en el grupo de Chat GPT). Señalan también que “el contenido de los consejos redactados por quienes aprendieron con Chat GPT era menos original”, mostrando sus consejos “una mayor similitud temática y una menor singularidad semántica”.
Por todo eso señalan que los resultados de este experimento apoyan “la hipótesis de que el proceso de aprendizaje con menos esfuerzo e involucramiento” a través de los resúmenes generados por IA, en comparación con la búsqueda de información en la web, “puede conducir a un conocimiento más superficial sobre un tema, lo que posteriormente se reflejó tanto en su experiencia al escribir sus consejos como en el contenido de dichos consejos”.
No contentos con eso, realizaron dos réplicas de este experimento, una con 2.402 participantes y otra con 1.976, en las que cambiaron algunas cosas (por ejemplo, en lugar de decirles que tenían que dar unos consejos de botánica, les pidieron que aprendieran “sobre un tema que confirmaron que era de gran relevancia personal para ellos”, en particular sobre “cómo llevar un estilo de vida más saludable”, y en el otro “qué hacer si uno es víctima de una estafa financiera”).
Álvaro Cabana.
Foto: Gianni Schiaffarino
Más experimentos
El segundo experimento implicó a 1.979 participantes y mantuvo “constante la información en los resultados de búsqueda”. En esta ocasión quienes participaron debieron buscar información sobre cómo iniciar un huerto, pero tanto la respuesta de Chat GPT como los resultados de buscar en Google no eran reales sino preparados por el equipo. En Chat GPT tenían una respuesta con siete consejos para armar un huerto y con una extensión de 291 palabras. A su vez, ese mismo resumen fue ingresado en Chat GPT para que generara seis versiones de artículos diferentes, al estilo de publicaciones como la revista Better Homes and Gardens o el periódico The New York Times. Los resultados fueron colocados como seis links distintos que arrojaba Google. De esta manera, la información tanto en Chat GPT como en los resultados de Google sería la misma.
Una vez más obtuvieron resultados similares. “Si bien la información de los resultados de búsqueda se mantuvo constante en todas las condiciones, los participantes del grupo Chat GPT consideraron que aprendieron menos que los del grupo Google”, señalan, y “también mostraron menos interés en elaborar sus consejos sobre cómo cultivar un huerto tras obtener información al respecto a través de Chat GPT”. Sus consejos, además “reflejaban un conocimiento menos profundo del tema”.
Para el tercer experimento decidieron mantener constante la plataforma. Participaron menos personas (350) y la diferencia fue que en lugar de Chat GPT un grupo vio el resumen con IA que ofrece Google (el “Google Overviews”), mientras que el otro vio los resultados de la búsqueda en el navegador. Una vez más, los resultados fueron en línea con los experimentos anteriores. Y entonces llegamos al cuarto.
¿Cómo caen los consejos generados a partir de IA o a partir de una búsqueda activa en Google?
En esta instancia participaron 1.501 personas a las que se les pidió que leyeran y puntuaran dos consejos escritos sobre cómo llevar una vida saludable del experimento 3, en el que la mitad de los participantes vio el resumen de la IA de Google, Google Ovierviews, y la otra navegó las páginas propuestas por Google. Cada persona del experimento 4 leyó y evaluó dos consejos, uno elegido aleatoriamente entre quienes buscaron información al navegar en Google y otro entre los que miraron sólo el Google Overviews (los participantes no sabían nada sobre cómo se habían informado quienes escribieron esos consejos).
Luego se les pidió que calificaran los consejos con la escala 1 a 5 (que va desde “totalmente en desacuerdo” a “totalmente de acuerdo”) para las siguientes opciones: “este consejo me resultó muy útil”; “este consejo es muy informativo sobre el tema”; “parece que mi amigo se esforzó mucho en formular este consejo”; “confío en este consejo”: “es muy probable que siga este consejo”; y, finalmente, “es muy probable que recomiende este consejo a otros”. Luego de calificar cada consejo por separado, se les mostraron ambos “y se les pidió que indicaran cuál les parecía más útil”: con un 1 si el primer consejo les fue más útil, con 2 si ambos les resultaron igualmente útiles, y con 3 si el segundo les fue más útil.
¿Qué pasó? Los investigadores reportan que “los resultados confirmaron que los receptores –que desconocían la plataforma de origen– consideraron que los consejos escritos por participantes que aprendieron de la IA Google Overviews (en comparación con los enlaces web) eran menos útiles y menos informativos, y creían que se había dedicado menos esfuerzo a redactarlos”. También los consideraron “menos fiables”, fueron “menos propensos a recomendarlos a otros” y tuvieron “menor disposición a adoptarlos ellos mismos”.
Conclusiones sacadas con esfuerzo
Shiri Melumad y Jin Ho Yun concluyen que todos sus resultados, tomados en conjunto, sugieren que “uno de los principales beneficios de las síntesis de modelos de lenguaje a gran escala –el evitar que los usuarios tengan que explorar los resultados y sintetizar la información por sí mismos– puede conllevar una menor profundización en el conocimiento de un tema en ciertos contextos”.
¿Quieren una forma genial de resumir una investigación enorme? Los autores la tienen: aprender con estas IA generativas en lugar de buscando en Google “podría considerarse, en ocasiones, análogo a que se muestre la solución a un problema matemático en lugar de intentar resolverlo uno mismo”, dicen en el trabajo.
Por ello reportan que consideran que sus hallazgos “transmiten un mensaje de precaución ante la creciente dependencia de los modelos de lenguaje a gran escala para la adquisición de conocimiento”, ya que “pueden transformar el aprendizaje de una actividad activa a una pasiva, lo cual, como se ha demostrado, produce resultados de aprendizaje inferiores en otros contextos”.
“Creemos que si bien los modelos de lenguaje a gran escala pueden ofrecer beneficios sustanciales como ayuda para la formación y la educación en muchos contextos, los usuarios deben ser conscientes de los riesgos –que a menudo pasan desapercibidos– de una dependencia excesiva”, remarcan. Y agregan: “Quizás sea mejor no dejar que Chat GPT, Google u otro gran modelo de lenguaje nos haga las búsquedas en Google”.
No abandonarnos al sedentarismo cognitivo
“Me encantó el diseño. Son cuatro experimentos y tienen tres réplicas más. Hay una secuencia muy ordenada entre primero usar los productos como están, después simulados, después explorar el efecto dentro de Google, Google versus Google resumen de IA, y todo les da consistente. Básicamente son los mismos resultados, algún detallecito que cambia, pero va en línea con las hipótesis que se plantearon”, comenta Álvaro Cabana desde las instalaciones del Centro de Investigación Básica en Psicología (CibPsi).
Pero claro, como Álvaro leyó activamente el trabajo, también puede formularle alguna que otra objeción: “es un trabajo sólido, más allá de que hay algo too good to be true, de ‘demasiado bueno para ser verdad’ en cuanto a que se cumple todo lo que pensaban de antemano. La única crítica que tengo es que no está reportado el tamaño del efecto en ninguno de los casos, sino sólo valores promedio”. “Según entiendo, los efectos son pequeños. Reportan que el aprendizaje no es tan profundo, pero es un poquito menos. Y eso es importante, porque en realidad tenés una gran variabilidad entre las personas, y la distancia entre las medias de los grupos me parece que es medio chica con respecto a esa variabilidad”, reflexiona.
Pero más allá de eso, le parece un artículo relevante. “Los resultados confirman un poco cómo pensamos que funciona la mente. Si te cuesta menos esfuerzo, el aprendizaje puede no ser tan profundo. Es una idea que en el aprendizaje tiene su tiempo”, comenta.
“Esto está relacionado con el famoso problema del sedentarismo cognitivo”, dice entonces. “Uno tiene que estar todo el tiempo pensando, pero a medida que el ambiente te va resolviendo tareas, aflojamos. Lo vemos con la navegación. Ya no precisás mapear mucho una ciudad. Ponés el GPS y te olvidás”, dice gráficamente.
“La macana es que en el adulto, que ya desarrolló buena parte de las estructuras cognitivas, ponele que tenga algún efecto no seguir entrenando algunas cosas. Pero el problema que más nos preocupa a todos es qué pasa cuando eso ocurre durante el desarrollo, es decir, si nunca desarrollás esas habilidades”, enmarca Álvaro.
“Nadie quiere prohibir las calculadoras. Pero hay una razón para que las maestras, en primero y segundo, no las dejen usar, ya que hacer cálculos mentales te entrena en un montón de cosas y te ayuda en el desarrollo. Con la escritura pasa lo mismo, necesitamos aprender a escribir”, dice. “En la universidad como docente lo veo todo el tiempo. Por supuesto que Chat GPT va a escribir mucho mejor o más rápido que vos muchas cosas. Pero si no hacés el esfuerzo por escribir, nunca vas a aprender a escribir y eso va a jugar en tu contra”.
Le digo que el concepto del sedentarismo cognitivo me fascina casi tanto como el artículo en sí. Juntos, el artículo y la idea invocada por Álvaro nos llaman a tener ojo: podemos hacer muchas tareas auxiliados por la IA, pero ese no involucrarse en las tareas cognitivas hace que tengamos una relación un poco más distante con lo que pasa. Y eso es más rico que el debate de si prohibir o no prohibir el uso de las IA, como si el tema fuera sólo una cuestión de control. Esto no habla de la calidad de los procesos, de qué nos está pasando cuando recurrimos a eso.
“Lo que más me preocupa del uso de estas herramientas es qué cosas van a dejar de hacerse o van a hacerse de otras formas que puedan llegar a limitar el desarrollo de los jóvenes. En gente que se está formando, cómo impacta la IA es un gran desafío. ¿En qué procesos del desarrollo puede impactar negativamente? No está claro”, remarca. “Y es cierto, hay quienes dicen que la IA es inevitable. Pero no, no es inevitable en todos los ámbitos. Por otro lado, tenés que fomentar un uso crítico de la herramienta”, apunta.
“Todo lo que se puede hacer de comunicación, de informar cómo funcionan estas cosas, de dejar claro que son productos que están a la venta, que están desarrollados por grandes compañías, que tienen sus agendas y sus intereses y que en definitiva son computadoras haciendo cosas, ayuda a desmitificar la IA. Tanto eso como promover un uso crítico es lo mejor que se puede hacer por la gurisada que está creciendo ahora, que ya tiene pantallas, ya tiene aplicaciones superadictivas, ya tiene redes sociales todo el tiempo, y ahora tiene IA todo el tiempo. Son todas cosas que aún no sabemos bien qué efectos causan, pero eso no significa que no las usemos en determinados contextos ni que no sean útiles o que no puedan beneficiarnos en la cotidiana. Como todo lo referente a la tecnología, depende de cómo se usa y de cómo aprendés a usarla”, señala Álvaro.
“Todas estas tecnologías prometen facilitar algunas tareas, pero hay que ver qué cosas te facilitan. Capaz que algunas son necesarias, pero otras no. Capaz que hacerte un resumen simple y ramplón de algo no es lo mejor. Y capaz que no es lo mejor que nos den todo en bandeja. En ese sentido, está bueno que se hagan artículos sólidos a nivel metodológico que empiecen a ilustrar estas cosas”, redondea Álvaro.
Entonces, no es para poner el grito en el cielo ni para salir a prohibir los resúmenes generados por IA. Lo que sí es claro es que nuestro mundo es más rico si sabemos que sólo con esos resúmenes nuestro mundo es un poquito más pobre. Si tenemos que darles un consejo a nuestras amistades, si queremos saber de algo que nos interesa, si queremos hacer una tarea no para cumplir sino porque entendemos que en el camino aprendemos cosas que nos serán útiles, si queremos redactar una nota para una comunidad respetable de suscriptoras y suscriptores, hacer un poco más de esfuerzo seguro se nota.
Artículo: Experimental evidence of the effects of large language models versus web search on depth of learning
Publicación: PNAS Nexus (octubre de 2025)
Autores: Shiri Melumad y Jin Ho Yun.