Un libro sobre estadística que nos llegó hace un tiempo comenzaba diciendo: “Las personas hablan en español y mienten, aun así nadie dice ‘el idioma español miente’”.

Sin embargo, es muy común escuchar “las estadísticas mienten” y que nadie note la contradicción. Y en este sentido, los últimos domingos de octubre y noviembre nos dejaron varias cosas divertidas y otras no tanto; sin embargo, el gaffé de las encuestadoras fue, por lejos, la novedad de este ciclo electoral. Los comentarios y reacciones que le siguieron nos hicieron pensar en el prólogo del libro de estadística.

Un poco de palo de todos lados

La diferencia entre las encuestas realizadas semanas antes del sufragio, las distancias entre las proyecciones de escrutinio y el resultado final han sido temas de debate candentes, mucho más fanatizados que racionales y más teóricos que empíricos. Todos se suben al bote a pegarles a las encuestadoras: hasta el Frente Amplio ha manifestado que piensa en regular las encuestas en el próximo período, y algunas consultoras -como Factum- parecen estar de acuerdo.

Los ataques, que se pueden sintetizar en diversas variantes de la frase con la que titulamos esta nota, pueden tener diferentes objetivos: deslegitimar resultados negativos, evitar la influencia de encuestas en la opinión pública, entre otros.

Sin embargo, hay un factor que se encuentra detrás de todos estos tipos de ataques: la falta de alfabetización estadística de periodistas y políticos.

Encuestas versus difusión

Dejando de lado los argumentos políticos o conspiratorios, existen cuestionamientos un tanto más interesantes para debatir. Comencemos por la idea de que existe una necesidad de regular las encuestas como forma de evitar su influencia en la opinión pública. Para explicarlo sucintamente: regular las encuestadoras tiene una utilidad social similar a la de regular la receta de las masas de pizza usadas en el país.

¿Qué queremos decir con esta comparación? Las encuestadoras son empresas privadas que trabajan a demanda de un número -generalmente reducido- de clientes. La publicación de resultados -y similares- es otra cuestión muy distinta que, más que de las consultoras, es responsabilidad de los medios de comunicación (prensa, televisión, radio, internet) y lo que éstos deciden publicar de las encuestas en sí.

En otros términos, si el miedo existente refiere al efecto de las encuestas en la opinión pública, deberíamos regular a los medios; la divulgación de los resultados no es una obligación establecida por un determinado organismo (al menos hasta ahora).

Volviendo sobre la pizza, al menos su regulación afecta directamente a un número enorme de consumidores que pagan por ella, algo que parece bastante más importante.

La teoría del consejo de encuestadoras

Otros sostienen que no son los partidos políticos los que conspiran, sino una suerte de oligopolio de consultoras que buscan mantener su poder e influencia. Por más que como seres humanos tendamos a encontrar historias y anomalías donde sólo hay azar1, pensar en una conspiración es mucho menos razonable que asumir la existencia de errores o ineficiencia.

La principal fuente de ingresos de las encuestadoras no son las elecciones, sino todo lo que viene en el medio. Entre los cuatro años de uno y otro acto eleccionario, las empresas deben seguir generando ingresos, más que nada provenientes del sector privado. Sucede que la principal herramienta que tienen para atraer clientes en su principal mercado es el prestigio. No resulta racional que pongan a la venta su tesoro más preciado, quizá todo lo contrario: las elecciones sirven como “vidrieras” donde mostrar su mejor producto. Operar políticamente va en contra de sus intereses principales: los económicos.

Los sabios matemáticos

En tercer lugar están los argumentos que se basan exclusivamente en postulados de ciencias formales. Al menos dos profesionales que no provienen de las ciencias sociales han esgrimido argumentos matemáticos sobre la inviabilidad de los resultados de las encuestadoras en base a leyes estadísticas (ver los artículos “Números finos”, de Daniel Mordecki, y “Urna para todos”, del ingeniero Francisco Elices en Montevideo Portal).

Sucede que las encuestas no son instrumentos de ciencias formales en las que luego de aplicar fórmulas matemáticas, se produzca una réplica exacta de la realidad. Las encuestas son una forma de aproximarse, o quizá mejor, de tomar una foto de la realidad en X momento. Basta con nociones básicas de metodología, epistemología o salir al campo para entender el error en el que caen estos profesionales.

Por muchos motivos (que quizá sí convendría que las encuestadoras explicitaran), las encuestas no son una foto perfecta. Asimismo, numerosos otros factores psicosociales pueden causar distorsiones relativamente sistemáticas y corregibles mediante teoría y experiencia: votantes de X partido tienden a esconder sus opiniones, en determinados barrios es más sencillo hacer encuestas, etcétera. Las encuestadoras poseen modelos para intentar corregir los factores antes mencionados, basados en resultados y experiencia previa: éstos son, en realidad, unos de sus mayores activos. El problema es que cuando determinadas variables macro cambian, los modelos pierden su eficacia. De todas formas, sin estas correcciones es probable que en la gran mayoría de los casos los resultados se encuentren más alejados de la realidad que si no se los utilizara.

Alternativas a legislar: certificar calidad y asegurar replicabilidad

Si los errores de las encuestas son de índole técnica, ¿cómo sería que legislar sobre ellos solucionara esos problemas? ¿Es una cuestión de corregir las fórmulas que utilizan? ¿Trae la ley una muestra perfecta? ¿Dotará de ponderadores infalibles? ¿Qué hacemos con los otros intentos de “fotos” de la realidad que tienen bases empíricas aun menores o que son producto exclusivo de la retórica pero avalados por seudoexpertos?

La estrategia de regulación puede sonar muy razonable al inicio, pero creemos que sus consecuencias podrían ser aun más nefastas que mantener la situación con ciertas “correcciones”.

En otros términos, creemos necesario comenzar a discutir otro tipo de aspectos, como una certificación en calidad sobre la producción de encuestas (incluyendo las buenas prácticas en la difusión de resultados); pero no sólo para las consultoras, sino también en la academia, el gobierno y la sociedad civil. Proponemos algo similar a un sello ISO del proceso completo de generación y análisis de datos.

Mientras que en gran parte del mundo desarrollado las nociones de replicabilidad, ciencia abierta y datos abiertos forman parte de cualquier encuesta; en Uruguay este debate no se encuentra siquiera en la agenda de los colectivos de las ciencias sociales. Aun para quienes piensen que la legislación es un camino sensato a seguir, todavía queda un largo trecho previo de discusiones y debates sobre este tipo de conceptos antes de que sea razonable pensar en introducir este tema en el Parlamento.

Una versión previa de esta nota fue publicada en Razones y Personas

  1. Novella, S (2014): Anomaly Huntingan. ↩