“Uruguay produce en ciencia un 25% menos de lo que se podría esperar por su inversión”, tituló el diario El País, el sábado 6 de junio, una nota que daba cuenta de un trabajo llevado adelante por Néstor Gandelman, de la Universidad ORT Uruguay, y otros colegas y que no fue publicado en una revista científica arbitrada sino en el sitio web de la institución donde trabaja Gandelman. La nota periodística, así como el trabajo que le dio origen, fueron centro de comentarios y algunas críticas de investigadores y actores del sistema científico nacional.
Para hacer el tema más complejo aún, el trabajo de Gandelman no sólo tiene cifras fantásticas –el crecimiento de la producción científica medida en artículos publicados en revistas arbitradas es superior a 8% anual entre 1996 y 2019–, sino que además sostiene que Uruguay produce más artículos por millón de dólares invertido en investigación y desarrollo (I+D) que países como Estados Unidos, Alemania, Francia, Japón, Finlandia y Reino Unido, entre otros. Dicho de otra manera: pese a que el trabajo muestra que por dólar invertido en Uruguay se producen más artículos científicos que en países que son potencias científicas, también afirma que “en términos de costo-eficiencia Uruguay produce menos que lo que se podría esperar dado el nivel de gasto en investigación y desarrollo y la cantidad de investigadores que posee”. Descartado entonces que el matutino haya tergiversado o descontextualizado la información, ¿cómo es esto posible? ¿Hay una contradicción en el trabajo de Gandelman? ¿Qué tan fiables son los datos que presenta y las conclusiones a las que llega? Varios investigadores nos ayudan a evacuar algunas de estas interrogantes.
El trabajo polémico
El artículo publicado por Gandelman y sus colegas de la Universidad ORT Matilde Pereira y Flavia Roldán, en colaboración con Osiris Parecero, lleva por título “Ventajas comparativas reveladas en disciplinas científicas y tecnológicas en Uruguay”. En base a información bibliométrica, es decir, a datos sobre la publicación de artículos científicos en revistas arbitradas, los autores se proponen “caracterizar la evolución de la producción científica uruguaya y establecer las áreas en las cuales el país posee una ventaja comparativa revelada (VCR)”. ¿Qué es eso de la ventaja comparativa? En su trabajo definen que “se cuenta con una VCR en un área si esta área tiene una participación en la producción científica nacional mayor que la participación del área en la producción científica mundial”. Señalan que el concepto de VCR es “de extensa aplicación en la literatura de comercio internacional”, y podría discutirse largo y tendido si es oportuno o conducente medir la producción científica de un país de la misma manera que se mide la cantidad de carne que exporta. No entraremos en esos detalles, a pesar de que también son pasibles de una mirada crítica.
El asunto es que además de ver qué aéreas de la ciencia nacional tienen ventajas comparativas y cuáles no, dentro del apartado que trata los resultados le dedican unas cuantas líneas al concepto de “eficiencia”. El tema es relevante porque, según declaran sus autores, su deseo es que este trabajo, que no fue revisado por pares ni publicado en una revista arbitrada, “sea de utilidad en la discusión y concepción de un nuevo Plan Estratégico Nacional de Ciencia, Tecnología e Innovación”, algo que el gobierno se ha trazado como meta para el corto plazo.
Uruguay: donde el dinero invertido en ciencia rinde más que en las potencias
Al hablar de “la eficiencia de la producción científica”, Gandelman y sus colegas dicen que la evalúan “en relación a dos indicadores de insumos: gasto en investigación y desarrollo, I+D, y cantidad de investigadores” en base al “último año para el que hay información disponible”. Para el gasto en I+D y la cantidad de investigadores utilizan los datos de la Unesco. Y ahora prestemos atención.
En su trabajo señalan que “por cada millón de dólares invertido, Uruguay publica 4,1 artículos”, cifra que lo ubica “en la mitad de los 74 países considerados”. Los países fueron considerados si publicaban más de 1.500 artículos por año. Lo sorprendente es que al medir la relación dólar invertido en I+D / cantidad de artículos publicados, Uruguay, con su 4,1 papers por millón de dólares, está mejor ubicado que Alemania, Israel, Estados Unidos, China, Francia, Corea del Sur, Japón, Canadá, Dinamarca, Rusia, Noruega, Finlandia, Holanda, Suiza, Argentina, Suecia, India, Turquía, Bélgica, Brasil y otro montón de países. Pero más curiosa aún es la enumeración de los países que están mucho mejor que Uruguay: Macao lidera la tabla con casi 16 publicaciones por millón de dólares invertido, seguido de países como Chile, Croacia, Rumania, Nueva Zelanda, Perú, Estonia, Portugal, Grecia, Lituania, Jordania, Australia, Omán, España y, por muy poquito, Reino Unido. Esto puede apreciarse bien en el gráfico 1 que acompaña esta nota.
De esta manera, si la eficiencia se mide en relación a dólar invertido por resultado, no sólo Uruguay está bastante bien, sino que los países que están mejor no son los que uno, a priori, pensaría que son los modelos a seguir en políticas de ciencia y tecnología. De hecho, por cada millón de dólares invertido en ciencia Uruguay publica más del doble de trabajos científicos que Estados Unidos, China, Israel, Francia o Corea del Sur. Es como si el trabajo dijera fuerte y claro: si lo que usted quiere es producir artículos científicos, en Uruguay rinde el doble. Pero hay más.
Al analizar “la productividad promedio de los investigadores nacionales se obtienen 75 publicaciones cada 100 investigadores”. ¿Eso es bueno o malo? Parece que bueno, ya que el trabajo señala que “este estadístico deja a Uruguay en el tercio superior del concierto internacional considerado”. Es decir, en relación a la cantidad de investigadores, estamos en el 33% de los países que más publican (siempre de esos países con al menos 1.500 trabajos científicos por año, una medida arbitraria que no aparece justificada en la publicación y que es relevante porque Uruguay publica una cantidad de artículos anuales bastante cercana a esa).
Cuando uno ya estaba por salir a gritar por la ventana “Uruguay nomá”, el trabajo de Gandelman y colegas nos saca la alegría sin anestesia. Párrafo seguido al que mostraba que el dinero invertido en I+D en Uruguay nos colocaba en un lugar donde los dólares rinden, se nos invita a ver un “gráfico de dispersión entre las cantidades de documentos producidos y los dos indicadores de insumos (todo en logaritmos)”. Entonces afirman: “Las proyecciones lineales muestran a Uruguay por debajo de esta línea, lo que es indicador [de] que la producción científica uruguaya está por debajo de lo esperable, especialmente, para el nivel de inversión monetaria, pero también de la cantidad de investigadores”. ¿Cómo? ¿Qué pasó? ¿Qué parte no entendimos?
A continuación se explica que “la distancia vertical al valor proyectado da una estimación de cuánto debería de incrementarse la producción científica nacional para estar en los valores proyectados esperables para su nivel de gasto y su cantidad de investigadores. Esta brecha es de 25% en relación al nivel de gasto y de 7% en relación a la cantidad de investigadores”. Uno teme haberse dormido en una parte importante de la película. ¿De dónde salieron esos “valores proyectados esperables para su nivel de gasto” de la producción científica? Uno vuelve para atrás, va a los anexos, y la información no aparece. El gráfico que acompaña el trabajo y que aquí reproducimos no deja lugar a dudas: países que producen menos artículos científicos que Uruguay por cantidad de dólares invertidos en I+D ahora están del lado bueno de la línea de “valores proyectados esperables para su nivel de gasto”, como es el caso de Estados Unidos y China.
A partir de este gráfico Gandelman y colegas concluyen que “en términos de costo-eficiencia Uruguay produce menos de lo que se podría esperar dado el nivel de gasto en investigación y desarrollo y la cantidad de investigadores que posee”, y aventuran que ese desfasaje entre lo que pagamos y lo que producen nuestros científicos da un déficit de 25%. Lo interesante es que en el mismo gráfico hay otros países que parecen ser tan “ineficientes” como Uruguay en su inversión en ciencia, entre ellos Israel Japón y Corea del Sur, por citar apenas a tres países que son ejemplos de políticas de I+D.
Al terminar de leer el trabajo de Gandelman uno está más perplejo que satisfecho. Pese a eso, los autores señalan: “Consideramos que la evidencia que este trabajo aporta puede constituirse en un insumo de relevancia al momento de evaluar el desempeño sectorial científico, y al momento de diseñar y de reconsiderar estrategias de apoyo a la producción científica del país”. ¿Será que uno es tonto y entendió mal? Como uno siempre asume eso, recurre a una vieja estrategia: ver qué piensa gente que sabe y entiende más que uno.
No convence
“Del estudio en sí llama la atención que no se reporten intervalos de confianza para ese 25%. Más allá de si la medición tiene o no sentido, sin incertidumbres no es siquiera una medida. Podríamos estar discutiendo sobre ruido”, comentó el investigador Juan Pablo Tosar en la red Twitter. Tosar no sólo es un científico destacado de nuestra comunidad, sino que su trabajo ha sido apreciado recientemente por la prestigiosa publicación Nature.
Tosar también lanzó una pregunta: “¿Vale un dólar lo mismo acá y en otro lado?” y señala que los “reactivos químicos que en otros países te llegan a los tres días aquí demoran tres meses” en llegar “y cuestan 30%-50% más por intermediarios, transporte y despachos”. También señaló que Emiratos Árabes Unidos “sale muy mal parado y acaba de poner un satélite a orbitar Marte”. Finalmente, publicó lo siguiente: “¿Deben los preprint ser noticia previo a un proceso de discusión e intercambio académico, algún tipo de proceso de revisión por pares?”, en referencia a que el trabajo de Gandelman y colegas se publicó en la web de la ORT sin que haya habido un proceso de revisión por pares ni de arbitraje. Siguiendo con el tema, Tosar agregó: “2020 puso el tema arriba de la mesa. La prensa juzgará cuándo algo es noticia. Nosotros nos debemos discutir cuándo algo es ciencia”.
Juan Valle Lisboa, bioquímico, investigador en ciencias cognitivas e integrante del Centro Interdisicplinario en Cognición para la Enseñanza y el Aprendizaje (Cicea), manifestó su discrepancia con la medida de “eficiencia” utilizada en el trabajo: “El estudio se basa en países que publican más de 1.500 artículos. Hay un riesgo grande de sesgo de sobreviviente, o sea, de perder países que invierten cerca de lo que invierte Uruguay pero publican menos papers”. Lo que dice tiene mucho sentido: si hay países que invierten lo mismo que el nuestro pero no alcanzan a publicar 1.500 papers por año, ¿cambia la curva? ¿Uruguay quedaría del lado de la línea de “los eficientes”? También señaló que al haberse tomado los datos sólo de un año –2018 para Uruguay– eso “no permite tener idea de variación”.
Consultado sobre por qué pasamos de estar bien en un gráfico a quedar por debajo de lo esperado en el siguiente, Valle Lisboa afirmó que “la eficiencia sale de ajustar una recta en el gráfico log-log y ver la distancia a la recta, pero eso es un modelo fenomenológico sin teoría”, y se pregunta si “es el mejor modelo o el más razonable”. Consultado por la diaria, Valle Lisboa explicó: “Lo que está diciendo el gráfico de Gandelman es que todos los países que invierten poco en ciencia son más eficientes por paper publicado que los países que invierten mucho, lo cual es un poco raro a la hora de hablar de su eficiencia. Lo que estaría diciendo Gandelman es que entre los países que invierten menos en I+D, Uruguay produce menos papers que el valor esperado... pero ese valor esperado depende del modelo”. El investigador entonces se cuestionó: “¿Qué quiere decir “la eficiencia de Gandelman”? ¿Es algo deseable, o la variable a ajustar es la cantidad de papers? Porque los países a los que mejor les va son los menos eficientes en el sentido de paper por dólar invertido. De esta manera, la eficiencia planteada en el trabajo no quiere decir nada”.
Sigue sin convencer
“Es un enfoque muy simplista sobre lo que es la producción científica”, comentó Juan Mechelk, licenciado en Desarrollo e integrante de la Gerencia de Investigación del Instituto Nacional de Investigaciones Agropecuarias. “Mientras el trabajo equipara producción científica con publicación de papers, yo creo que la producción científica es la suma de la publicación de papers más el desarrollo de tecnologías, más la transferencia tecnológica, más la formación de capital humano, más la construcción institucional”, afirmó, aunque reconoció que esa misma crítica se le puede hacer al criterio de evaluación del Sistema Nacional de Investigadores. “Publicar es sin dudas un pilar importantísimo en el trabajo del científico porque da visibilidad y evalúa el trabajo que hacen, pero no es lo único que hace o debe hacer un investigador”, agregó.
“La inversión en ciencia y tecnología es muy riesgosa, con alta incertidumbre. Me da la sensación de que el articulo busca decir que hay que invertir en las áreas que más artículos producen; creo que es una visión más que discutible”, agregó Mechelk, quien además preguntó: “¿Alguien le va a decir a Israel, Corea del Sur o Japón que su ciencia no es eficiente?”.
“Si la intención del trabajo es generar en la opinión pública que la eficiencia de la ciencia en Uruguay es mala, los números presentados para la gente en general dicen todo lo contrario”, sostuvo el físico biomecánico e investigador de la Facultad de Ciencias de la Universidad de la República Ernesto Blanco, a quién consulté por esta contradicción entre los datos brutos por dólar invertido y papers en Uruguay y el hecho de que, mágicamente, en la gráfica logarítmica quedemos del lado de los ineficientes. “La explicación que te llevaría a decir que estamos invirtiendo mal en I+D es muy retorcida metodológicamente y es mucho más difícil de entender que los números crudos”, amplió.
Blanco planteó un ejemplo sencillo. “Si le digo a un capitalista que tiene una empresa que fabrica tazas que en Uruguay con un millón de dólares va a producir el doble de tazas que en Estados Unidos, no creo que empiece a hacer cálculos raros para ver que en Estados Unidos le va a ir mejor. Si lo leés así es muy claro”. En otras palabras: con menos dólares nuestras investigadoras e investigadores se las arreglan para publicar más que sus pares de países que son potencias científicas. “Si lo que importan son los papers, un millón de dólares rinde más en Uruguay que en Estados Unidos, Alemania, Francia o China”, concordó Blanco. ¿Cómo entonces, tras el cálculo con logaritmos, eso se revierte?
“La metodología que utilizaron la respeto mucho y es muy ilustrativa para ver muchas cosas”, dijo Blanco, que está acostumbrado a usarla en cálculos de biomecánica con los que se pretende, por ejemplo, ver si la fuerza relativa a su tamaño de un elefante es mayor o igual a la de un ratón. “Me da la sensación de que al ver que medido en inversión por paper Uruguay está mejor que Estados Unidos, entienden que eso no puede ser y entonces buscan definir un indicador que aclare esa rareza. No puede ser que un ratón sea más fuerte que un elefante. Yo sé que un elefante es más fuerte, pero un ratón puede cargar muchas veces más su propio peso que un elefante su propio peso. Entonces lo que hacen en este caso no es graficar la carga en relación a la masa de cada animal, sino graficarla en relación a la carga absoluta de cada animal. Un elefante carga más que un ratón”, explica.
Pero a diferencia de lo que sucede con la fuerza de los animales, en los que la fuerza depende del área del músculo, Blanco explicó que aquí “no hay una ley subyacente que explique cuántos papers debería producir un país en relación a la cantidad de inversión en I+D”. Luego agregó: “No explican en el trabajo por qué esperan que la producción científica se comporte como una ley exponencial, que es lo que hacen al ajustar los logaritmos como si fueran una recta”. Tranquilidad, no nos vamos a poner aquí a discutir sobre esta metodología –eso es justamente lo que hacen los científicos al arbitrar los trabajos de sus colegas y es lo que no sucedió con el trabajo de Gandelman–, sino que lo que importa es saber que “asumen que la cantidad de papers es igual al gasto en I+D de un país elevado a un exponente. ¡Pero no hay ningún motivo para pensar eso!”, sostuvo Blanco. “De la forman en que ajustan y asumen esa recta, el 25% de ineficiencia de la producción científica de Uruguay no quiere decir absolutamente nada”. La recta trazada no satisface al físico. “Aquí no hay un modelo teórico atrás que justifique trazar esa recta de ajuste”, cuestionó. “No hay ningún motivo para elegir el ajuste que hacen y no cualquier otro. Y en ese sentido, el 25% no quiere decir nada”.
¿Insumo?
Si bien en esta nota no abordamos el tema central del artículo de Gandelman y colaboradores, las ventajas comparativas reveladas de cada disciplina científica del país, me veo tentado de preguntarle a una de las grandes figuras de la física y la ciencia de nuestro país, el físico teórico Rodolfo Gambini, qué se siente haber hecho tantos aportes en un área que, según Gandelman y colaboradores, no tiene ninguna ventaja comparativa revelada. Gambini ríe. “Yo me siento muy tranquilo”, declara. Y tiene razón para ello.
En una nota que publicábamos a principio de este año, Gambini se destacaba entre la lista de científicos más citados en el mundo. Entre 1972 y 2020 publicó 167 artículos científicos, propuso la teoría de lazos que busca unificar la relatividad general con la mecánica cuántica, formuló la “interpretación de Montevideo” de la mecánica cuántica, y fue citado 2.373 veces entre 1996 y 2019. Pero Gambini además ayudó a construir el sistema científico que hoy tenemos. Gracias a sus esfuerzos, en conjunto con el matemático Mario Wschebor, en 1996 convencieron a legisladores de varios partidos y se creó el Fondo Nacional de Investigadores, que luego daría lugar al Sistema Nacional de Investigadores. Gambini fue el primer presidente de la Academia Nacional de Ciencias de Uruguay, lugar que le cedió a Rafael Radi. Por todo eso es importante preguntarle qué le parece que los autores propongan que este trabajo pretende ser “un insumo que contribuya a la discusión sobre la necesidad de su actualización o a la elaboración de nuevas políticas para el desarrollo científico del país”. Gambini medita y responde: “Este trabajo me parece que es un insumo también para aprovechar para criticar a la ciencia, ya que la ciencia adquirió una gran visibilidad con la pandemia y sus necesidades no van a ser satisfechas”.