Cuando algo está “científicamente demostrado”. ¿Qué significa? Si queremos que la sociedad se beneficie del conocimiento y que la política pueda, al menos en parte, basarse en evidencia científica, es importante entender cómo se construye. Escuchamos y repetimos que la “verdad de la ciencia” (¿?) reside en artículos publicados en revistas académicas, coloquialmente llamados “papers”... pero eso es una exageración. La realidad es que el mundo de las publicaciones científicas es bastante caótico.
Aun así, la ciencia sigue siendo un instrumento eficaz que nos acerca a entender la realidad que habitamos y a transformarla. Que nos acerca, en definitiva, a la verdad; una palabra que ha caído en desuso por el abuso que hemos hecho de ella. A los efectos de este artículo, manejaré la definición del poeta Antonio Machado: “verdad es lo que es, y sigue siendo verdad, aunque se piense al revés”. Pues bien: la ciencia nos permite acercarnos a ese ideal de verdad objetiva (que existe, al menos, en las ciencias “duras”), descartando falacias o ponderando mejor algunas afirmaciones. Es, por tanto, nuestra principal herramienta contra la tiranía de los que se autoproclaman dueños de la verdad (científicos incluidos). Y por eso debemos cuidarla.
Pero cuidar la ciencia es defenderla, también, de la caricaturización positivista que a veces nos hacemos de ella. En lugar de una cadena donde cada nuevo eslabón significa un paso hacia adelante en el conocimiento humano, la ciencia es una especie de ring de boxeo donde distintas ideas (conteniendo piezas de evidencia) se golpean unas a otras. Algunas van cayendo al piso y otras permanecen de pie, para ser retadas nuevamente.
En esta batalla campal, las ideas que van quedando de pie en el ring no son necesariamente verdades, pero al menos podemos decir que son robustas. Y cuantas más batallas haya tenido esa idea, más fuerte es la evidencia que la respalda. Digamos que los intentos que ha habido por derribar la validez de esa idea o concepto no lograron convencer a un número suficiente de investigadores como para mantener viva la idea alternativa.
De aquí surge un tema clave: los jueces en esta pelea entre ideas en pugna son, en primer lugar, los propios científicos. Cuando antes decía que una idea permanece de pie y otra cae en la arena, era una metáfora para decir que el paper que sostenía la idea A logró convencer a más gente que el paper que sostenía la idea B, contraria. Hubo gente que se convenció del respaldo experimental o teórico a favor de B y siguió trabajando cierto tiempo asumiendo B como la opción más probable. Pero la vida se les fue haciendo cada vez más complicada, porque lo que debería pasar si B fuera cierto simplemente no pasaba. Diríamos entones que B era una idea tal vez hermosa, pero sin capacidad predictiva, y fue paulatinamente abandonada. Por el contrario, A se fue convirtiendo, con el paso del tiempo, en un hecho “científicamente demostrado”.
La frase clave del párrafo anterior es “con el paso del tiempo”. Para frustración de muchos, no hay forma inmediata de predecir si la información contenida en cierto paper es más verdadera que falsa, o más falsa que verdadera. Pero al cerebro humano le encantan las apuestas, porque su naturaleza es predictiva. Tendemos a tomar atajos. Si el paper en cuestión es de autores conocidos, de una universidad famosa del hemisferio norte, o si está publicado en una revista de ciencia prestigiosa, entonces apostamos a favor de la veracidad de dicho artículo científico. Y no es que esté mal apostar. Como decía, nuestro cerebro hace eso todo el tiempo, como cuando decidimos cada mañana si salir de casa con o sin paraguas. El problema es cuando no somos conscientes de que estamos haciendo una apuesta con base en criterios esotéricos, y nos convencemos de que todos estos (muy sesgados) “predictores” nos permiten dos cosas: a) determinar la “calidad” de un artículo científico sin dejar que medie el paso del tiempo y b) sin siquiera leerlo.
Cómo no evaluar a la investigación científica
La evaluación de la actividad académica es un aspecto odioso pero necesario. Los recursos son finitos y, si hay un llamado abierto para un cargo y diez concursantes, debemos elegir quién gana. Como nos gusta simular que la academia es una meritocracia (en la que no juega el pedigrí), dirimiremos esta cuestión con base en un análisis frío de los “méritos” que presentan los postulantes. Y si estamos hablando del acceso a una posición vinculada a la ciencia, entonces miraremos con énfasis los méritos científicos, que se resumen en una tablita de “indicadores de producción” que figura al pie de los currículums académicos.
El primero de estos indicadores es el número de artículos publicados en revistas científicas, y suele mirarse además el lugar que cada autor ocupa en la lista de autores de un determinado paper. Un segundo indicador es el nombre de las revistas en las que se publicó cada trabajo.
La pregunta es: ¿estos indicadores brindan información valiosa para la toma de decisiones importantes? Empecemos por el número de papers publicados. ¿Qué nos dice exactamente? Uno de mis directores de cine favoritos es Quentin Tarantino, quien siempre dijo que su meta era hacer diez buenas películas y después retirarse ¿Acaso juzgamos a los escritores por el número de libros que tienen publicados? Jorge Luis Borges publicó sólo seis libros de cuentos. En la ciencia, lo hubiéramos rechazado sin leer ninguno.
Una misma investigación puede ser publicada en un único artículo bastante completo, conteniendo gran cantidad de información, o en varias entregas de artículos más pequeños. No voy a decir que lo uno es mejor que lo otro, pero ciertamente lo otro no es mejor que lo uno. Además, hoy día publicar no es gratis. Como cuento aquí, cada vez nuestro país paga más dinero por los trabajos que publicamos los científicos, por lo que es discutible si debiese considerarse un mérito estar publicando tres trabajos por año en revistas que cobran 2.000 o 3.000 dólares por artículo aceptado. Y esto sin entrar en el octavo círculo del infierno, aquel conformado por las revistas científicas truchas, como cuento en este otro artículo.
¿Y qué hay de la calidad de las revistas? ¿Acaso no pueden ser usadas como un proxy de la “calidad” científica de los artículos publicados por cierto investigador/a? Después de todo, es (parcialmente) cierto que las revistas se van volviendo más selectivas con los trabajos que aceptan publicar a medida que se van volviendo más glamorosas (ya hablaremos de esto). Pero esto no quiere decir que el artículo final sea más verdadero; simplemente quiere decir que logró pasar una serie de filtros más exigentes, usualmente a fuerza de una cantidad abrumadora de experimentos difíciles de reproducir en otros laboratorios (y, por tanto, de veracidad no fácilmente comprobable). O a fuerza de otros mecanismos menos decorosos.
Si volvemos a la metáfora de los artículos científicos que combaten en el ring, y algunos caen y otros permanecen de pie, esto último puede estimarse mirando el número de veces que ese artículo fue citado en artículos científicos posteriores. Este indicador, llamado número de citaciones, dista mucho de ser perfecto, pero al menos está asociado a cada artículo individual. Un buen día una persona muy hábil para los negocios decidió calcular cuántas citas recibe, en promedio, cada artículo publicado por una revista, durante un período de dos años. Y comenzó a vender un “ranking” de revistas científicas basado en dicha métrica. Este producto, que se paga, resultó muy útil porque posibilita simplificar la evaluación científica: basta ver en qué puesto del ranking caen las revistas donde publicó cierto investigador o cierta investigadora. Y listo: premio o castigo.
Esto es pereza intelectual. Y lo es por varias razones en las que no puedo ahondar por temas de espacio. La principal de ellas es entender que estos rankings se arman en base al promedio de citaciones de cada revista, pero la distribución de las citaciones no es uniforme. Por el contrario, rememora a la distribución de la riqueza, donde unos pocos se llevan la casi totalidad de la torta. Tenía un profesor que nos explicaba este problema de una manera elocuente: “Yo en promedio me baño día por medio: todos los días en verano... y nunca en invierno”. En otras palabras: que una revista publique algunos artículos muy buenos (o muy populares), no quiere decir que el mío sea muy bueno también. Y viceversa.
Pereza intelectual es, en definitiva, la tentación de pensar que podemos evaluar la calidad de los artículos científicos sin siquiera saber de qué se tratan. El gran problema es que, además del tiempo que insumiría leerlos todos, es muy difícil siquiera entender lo que dicen los artículos publicados en disciplinas científicas ajenas a la mía. Entonces, ¿qué hacemos? ¿No evaluamos? ¿Decretamos que todo da lo mismo?
Evaluar el impacto de las publicaciones, no de las revistas
Mi propuesta es tan simple como radical: dejemos de ver los papers como un fin en sí mismo, una suerte de producto que debe ser producido para satisfacer la productividad del sistema científico (nota al pie: si hay un “producto” válido, son los estudiantes que se forman en el proceso). En cambio, veamos los artículos como lo que son: un conjunto de evidencias experimentales o teóricas que van a salir a pelear al caótico ring de las ideas científicas. Y las revistas académicas son el medio que usamos para intentar que nuestras ideas lleguen a pelear a los campos de batalla en los que tenga sentido que peleen. En ese sentido, las revistas son un instrumento de difusión que podemos usar a nuestro favor para hacernos escuchar en medio del ruido (se publican más de cinco millones de artículos científicos por año). Pero no son más que eso. Publicar en una revista prestigiosa debería ser visto como la posibilidad de lograr que mi mensaje sea leído por más personas, y no un “¡mamá: llegué!”.
Una vez que aceptamos esto, dejemos de considerar el número de artículos o las revistas en las que fueron publicados como ítems a evaluar. En cambio, evaluemos el impacto. Porque la ciencia debe tener algún tipo de impacto. Aunque hacer ciencia da placer, no hacemos ciencia con fondos públicos porque nos dé placer, sino porque la sociedad espera que la ayudemos a progresar... en alguna dimensión. Una dimensión muy importante es, sin duda, la de acrecentar el acervo de conocimiento que tenemos como humanidad, y distribuirlo. Entender cómo funciona un agujero negro es importante, aunque no tenga previsto ir a visitar ninguno. En estos casos, en los que pretendemos aportar a un conocimiento global, considero que la publicación de resultados en revistas científicas internacionales es un primer paso, muy necesario. Pero el impacto de esas investigaciones va a notarse recién con el paso del tiempo, a raíz del interés suscitado en la comunidad científica internacional. Y más tarde, en el surgimiento de nuevas líneas de investigación derivadas de estos hallazgos. O en avances tecnológicos o culturales.
En cambio, si hago investigación sobre la distribución geográfica de un patógeno que circula por nuestras latitudes, cabe preguntarse si tiene sentido medir el impacto con base en los resultados publicados en revistas científicas internacionales. ¿No tendría mucho más sentido evaluar si esa investigación cambió los métodos de vigilancia epidemiológica locales, la práctica médica o las normas de higiene? Si hago investigación en historia de Uruguay, ¿tiene sentido publicar mis resultados, en inglés, en una revista norteamericana?
Evaluar el impacto de la investigación científica es más complicado, más difícil de sistematizar, y exige necesariamente dejar pasar el tiempo. Desde luego, no sirve para evaluar investigadores jóvenes (tal vez deberíamos evaluarles mucho menos y dejarles crecer mucho más). Pero al menos pasa el mensaje adecuado: preocupémonos por una investigación que sea realmente transformadora. Y nos vamos a dar cuenta de que la ciencia “de calidad” es condición necesaria. Pero no suficiente.
Juan Pablo Tosar es profesor adjunto con dedicación total en la Facultad de Ciencias de la Universidad de la República (Udelar) e investigador del Institut Pasteur de Montevideo, del Sistema Nacional de Investigadores (ANII) y del Programa de Desarrollo de las Ciencias Básicas. Ciencia en primera persona es un espacio abierto para que científicos y científicas reflexionen sobre el mundo y sus particularidades. Los esperamos en [email protected].