En el libro La sabiduría de la multitud (The Wisdom of Crowds), James Surowieki presenta un análisis profundo e inteligente de los fenómenos de decisión colectiva, tanto de los que producen resultados positivos como de los que los producen de signo contrario. Toda la discusión pública sobre las encuestas y las encuestadoras parecería caer dentro de esta última categoría, como si nos encontráramos dentro de una gran pompa de jabón que se retroalimenta de sus propios sesgos y distorsiones, al estilo de las burbujas financieras.
Los valores, los resultados, las series históricas, las explicaciones, no resisten ni por un instante el análisis estadístico detallado. Pero la magia de la burbuja es así: un encuestador puede decir con tranquilidad que jamás se equivocó y el periodista que tiene al lado, contrariamente a lo que indican los códigos de ética y el sentido común, jamás verificará que esa afirmación no tiene fundamento alguno.
De ponderaciones y pulidos
Tal vez el tema más relevante, escondido delante de nuestros ojos, es el de la ponderación de los datos. El relato es el siguiente: la encuesta cruda tiene sesgo y eso se corrige con ponderaciones. Todas las encuestas se ponderan.
Bueno, ni muy muy, ni tan tan.
Ponderar es modificar en el resultado final la influencia o peso de grupos de individuos que tienen una característica particular. Supongamos que sabemos por el censo que Uruguay tiene X% de mayores de 60 años. Supongamos también que los mayores de 60 años se comportan electoralmente de forma distinta a los menores de 60 años. Y supongamos por último que hice una encuesta que refleja correctamente la intención de voto de los mayores de 60 y la de los menores de esa edad. Entonces, si mi encuesta tiene Y% de mayores de 60 años, la pondero multiplicando las respuestas de los mayores de 60 años por X/Y, a la vez que multiplico las respuestas de los menores de 60 por (100- X)/(100-Y).
Este tipo de ponderación, cuando está bien hecha, debe ser determinada en forma simultánea a la definición de la muestra, es decir antes de realizar el trabajo de campo. Y luego, cuando se cargan los datos, se realiza sola, “a ciegas”. Eso no es lo que sucede con las encuestas para las elecciones, o al menos no es lo único que sucede.
En Uruguay las encuestadoras cambian sus pronósticos con los resultados del trabajo de campo a la vista. Me niego rotundamente a llamar “ponderación” a ese proceso, por lo que voy a adoptar el término que utilizó Mariana Pomiés (Cifra) en Canal 12: “pulir”.
Con los resultados a la vista, el encuestador jefe y sus allegados cercanos van puliendo el resultado, multiplicando a los distintos grupos hasta que el valor les resulta razonable. Yo no lo vi, tampoco me lo contó ningún encuestador ni tengo una primicia de buena fuente: es una deducción lógica de la serie histórica de pronósticos, reforzada por la negativa cerrada y unánime a mostrar los datos en crudo.
Ponderar no debería hacer converger los resultados
Es importantísimo señalar que la famosa ponderación mejora los resultados cuando la presunción (el “supongamos que”) es acertada. Cuando es errada, la empeora, y cada ponderación se basa en un “supongamos que”.
Según dicen las encuestadoras en la prensa, los ponderadores se cuentan por decenas. Si los aplicaran “a ciegas”, como se debe, las encuestas darían sólo basura, porque es imposible que no tengan cuatro o cinco ponderadores “malos” y dos o tres “muy malos”. Es matemática pura. Cada error muestral, cada sesgo de las respuestas, es amplificado hasta que la distorsión borra todo lo que pueda haber de certeza. Es como ir grabando de casete en casete decenas de veces, aumentando y bajando el volumen: al final se escucha más ruido que otra cosa.
Pero además, según el discurso de las encuestadoras, la ponderación es una receta mágica aprendida durante décadas de experiencia certera. Y debe ser resguardada como el secreto del Santo Grial. Por lo tanto, cada encuestadora ponderaría a su manera, haciendo que los resultados diverjan, y no lo contrario, como sucede en la realidad.
No importa si el censo es el mismo, ni si la elección anterior es la misma. La partición de la encuesta cruda en decenas de microsegmentos por criterios múltiples y la ponderación masiva deben, necesariamente, arrojar valores divergentes.
Para que los pronósticos electorales de tres encuestadoras puedan diferir en apenas dos décimas de punto porcentual, como sucedió en el balotaje de 2009 para ambos candidatos, lo único que puede pasar es que para pulir los resultados el insumo principal sea el valor que publican las demás encuestadoras.
Desde la raíz
Quiero dejar por escrito que siento un profundo respeto y cierta admiración por Luis Eduardo González. Lo conocí cuando yo trabajaba en Oca y Cifra nos hacía los estudios de mercado. Creo que es terriblemente capaz, y me parece además que el mérito de haber llegado a los espacios centrales de la televisión con su dificultad para escuchar y hablar es un ejemplo que impulsa a seguir luchando por la inclusión.
Y creo que es honesto. Pienso que si le aplicaran el “suero de la verdad” juraría una y mil veces que su trabajo es absolutamente científico, que él no introduce sesgos arbitrarios, y que este año se equivocó por primera vez en una elección obligatoria. Esto le suma puntos, porque son muy valiosos los individuos que defienden sus convicciones, teniendo como única frontera la ética y la ley.
Sin embargo, está equivocado desde la raíz.
Comencemos por el final, que es lo más fácil. Nacionales 1999: el Partido Colorado ganó con 31,9% y Cifra había pronosticado 26%. Balotaje 1999, un mes después: Batlle tuvo 51,6% de los votos, Cifra había pronosticado 46%.
Ahora vayamos al nudo de la cuestión: en una encuesta, lo último que importa es la opinión del encuestador. Cuando González pide disculpas en Canal 12 explica que no supieron evaluar tal o cual cambio en la opinión de tales o cuales grupos. Y allí reside todo el problema.
La magia de una encuesta está en que es una herramienta que nos permite conocer una población con independencia absoluta de nuestra opinión sobre esa población. No da un resultado 100% certero, pero permite apuntar para el lado correcto independientemente de lo que piense, crea o estime el encuestador. Desde el momento en que asumimos que puede haber un error introducido porque no vimos tal o cual cambio de opinión, automáticamente sabemos que no estamos frente a una encuesta de verdad, sino ante una opinión que tiene como insumo una encuesta, que fue arbitrariamente modificada en un proceso de pulido de los datos.
La vacuna contra este mal es la transparencia, y es por eso que precisamos una Ley de Encuestas que la garantice.