Encuestas: cuando las cuentas no dan

Cada cinco años miles de ojos se posan frente a la pantalla del televisor a la espera de los resultados de la elección nacional. Los números que se publican ese día pueden acercarse –o no– a los pronósticos de intención de voto del electorado que las encuestadoras arrojaron una semana antes. En el acierto, pero sobre todo en el error, estas empresas pasan a un primer plano, así como el debate sobre la precisión de sus encuestas. Esto fue lo que sucedió luego de las elecciones de 2014. “Muchas veces se pierde de vista que los analistas no son gurúes y que las encuestas no son perfectas, son solamente un instrumento probabilístico”, resume la politóloga Lucía Selios, docente del Instituto de Ciencia Política de la Facultad de Ciencias Sociales.

Con las elecciones cerca, las encuestadoras repasan en esta nota lo que sucedió en los últimos comicios, aunque también advierten sobre los desafíos que trae el escenario electoral actual. Eduardo Bottinelli, director de Factum, una de las seis encuestadoras consolidadas en el país, advierte que el electorado está siendo cada vez más volátil, es decir, que existe un tramo de entre 12% y 8% que decide su voto en la recta final de las elecciones, y que las encuestas no pueden prever. A esto se le suma que hay votantes con determinados comportamientos que los “acercan a un sector, pero la encuesta no lo puede revelar porque la gente no quiere contestar”. Para él, este comportamiento explica por qué las encuestadoras subrepresentaron al Partido Colorado (PC) hasta 1999, y señala que lo mismo está sucediendo con el Frente Amplio (FA).

El “voto vergonzante” es otro de los factores que puede complicar la precisión de la proyección. Alain Mizrahi, director de Grupo Radar, explica este tipo de voto como el de la gente que no quiere decirle al encuestador qué va a votar por considerar esto “políticamente incorrecto”, y agrega: “Si en Estados Unidos durante toda la campaña electoral se dijo que el votante de Donald Trump es un red neck, que vive en un tráiler y lucha por la supremacía blanca, entonces difícilmente un votante le va a decir a un encuestador que va a votar a Trump”. Lo mismo, arriesga Mizrahi, puede suceder con un votante del FA que “estuvo despotricando contra el oficialismo cinco años y difícilmente quiera decir al encuestador lo que va a votar”. Para él el “voto vergonzante” tiene un peso cada vez mayor en la ciudadanía, lo que dificulta cada vez más la capacidad de medir la intención de voto del electorado.

Otro de los cambios que se observan es el debilitamiento de las lealtades partidarias. Así lo entiende Mizrahi, que pone sobre la mesa la idea de que la gente ya no vota más a un partido. “Cada vez tiene menos sentido hacer esa pregunta [en la encuesta], porque cuando le ponés nombre y apellido a las candidaturas, la intención de voto cambia significativamente”, sostiene, y agrega que el voto no sólo depende del candidato sino del menú de opciones para elegir: “No es lo mismo si ponés a Daniel Martínez con [Julio María] Sanguinetti y [Luis] Lacalle Pou que si ponés a Carolina Cosse con [Jorge] Larrañaga y [Ernesto] Talvi”.

Los cambios en el comportamiento del electorado, aunque no son muy grandes, pueden hacer la diferencia en una elección. Desde 1985 a 2004 las tendencias de comportamiento de los votantes se mantuvieron regulares, dice Selios, e incluso señala que cuando era estudiante en las primeras clases de Ciencia Política le explicaban que el análisis sobre los indecisos se resolvía de manera fácil: “En las elecciones se van a partir en dos; un tercio va para el FA y dos tercios para el subsistema tradicional”, cuenta. Hoy, dice, la realidad es otra: “Los indecisos de la elección de 2009 se dividían en mitad y mitad”. El cambio de la cultura política, agrega, se puede ver en los jóvenes y los nuevos votantes, que no son “tan frenteamplistas”, así como se puede observar que el oficialismo ha perdido peso en Montevideo pero ha crecido en el interior, específicamente en las partes urbanas. También el desencanto con la política incide en el desarraigo partidario, y eso les da la entrada a “nuevos sectores para que marquen una novedad”, explica Selios. La llegada de un outsider, como Edgardo Novick, dice, hubiera sido impensable en 1994 o 1999.

De los errores también se aprende

En las últimas elecciones ninguna de las seis consultoras estimó que el FA tendría mayoría parlamentaria. De hecho, casi todas coincidían en que el Partido Nacional (PN) y el PC lograrían más bancas que el oficialismo. Las encuestadoras que estuvieron más cerca del resultado final fueron Opción, Factum y Radar; más lejos se ubicaron Cifra, Equipos Mori e Interconsult. Los politólogos Gerardo Caetano y Selios, en el texto académico “Con el diario del lunes. Análisis de las elecciones nacionales de octubre de 2014 y los ‘errores’ de las encuestadoras”, publicado en el libro Permanencias, transiciones y rupturas, de 2016, señalan que el FA “votó 5,3 puntos porcentuales por encima de lo esperado en promedio por las encuestas” de Cifra, Factum y Equipos Mori, así como que los partidos más pequeños obtuvieron “dos veces más votantes que los previstos por las encuestas”. Así, si se suma la distancia entre lo proyectado y los resultados finales de la primera vuelta “se aprecia una distribución errada de 9,7 puntos porcentuales”, y, según señalan los autores, este número “sin duda es un guarismo realmente alto para los niveles de precisión que estas mismas empresas encuestadoras han podido ostentar a lo largo de los últimos 20 años en el país”.

Sin embargo, la palabra “error” es lo que más les rechina a quienes están al frente de las encuestadoras. Bottinelli señala que las encuestas son noticia cuando no se acercan al resultado final, pero que durante el resto del año no aparecen en la agenda noticiosa porque funcionan “bastante bien”. “Estamos muy mal acostumbrados, en el buen sentido, a la calidad de nuestras encuestas, que están muy bien vistas a nivel mundial”, sentenció, y argumentó que las proyecciones casi estuvieron en el margen de error; la omisión principal fue que el FA obtuvo la mayoría parlamentaria. Bottinelli agrega que las encuestas más o menos describieron el escenario electoral: “Muchas veces dicen que le embocaron a lo obvio, pero lo obvio no existe, es obvio porque existen resultados de elecciones anteriores. Sin las encuestas jamás se podría haber visto la caída del PC entre 1999 y 2004, porque nadie podría haber descifrado una caída tan estrepitosa. Lo que para todo el mundo es obvio es porque existen las encuestas”, sintetizó.

“Nadie dijo un disparate”, señala Mizrahi, “el problema fue que no se previó que el FA iba a tener mayoría parlamentaria. Nunca había sucedido en la historia que un partido consiguiera la mayoría parlamentaria en primera vuelta con 48%. A nosotros nos dio 46%, a los demás les dio 44%. ¿Es realmente tan relevante como para decir que las encuestas se equivocaron?”, replica. Para él, los errores en las elecciones internas blancas de 2014 se explican porque estaban muy peleadas. “Las decisiones a último momento te pueden definir una elección. El PN venía con Larrañaga bastante arriba durante toda la campaña, y en las últimas semanas eso se empezó a revertir a una velocidad muy grande. Las redes sociales tuvieron un rol súper preponderante”. Mizrahi agregó, además, que Luis Lacalle Pou hizo un “uso muy inteligente de las redes sociales”. “Una semana antes nos daba un empate, y fue lo que publicamos”, concluyó.

En 2004 Radar estimaba que el FA iba a acceder al gobierno con un porcentaje superior a 52%. Finalmente ganó en primera vuelta y obtuvo 50,5% de los votos. “Nos tiraron a matar. Nadie registró que dijimos que iba a ganar en primera vuelta con mayoría absoluta, todo el mundo se quedó con que dijimos que ganaba con 56%”, recuerda.

Intentar que las encuestas sean un instrumento perfecto es como pedirle a un meteorólogo que prediga exactamente lo que va a pasar con el clima. Selios usa esa metáfora para explicar que la encuesta parte de una “técnica de estimación”, y como tal, tiene un margen de error. Las fallas, señala, pueden estar relacionadas con las preguntas, la muestra o las técnicas utilizadas, sean encuestas cara a cara, telefónicas, por celular o mediante internet. Bottinelli explica que se fueron haciendo transiciones: de la encuesta cara a cara se pasó a las mixtas, y ahora se intenta complementar la telefonía fija con el celular. La idea, dice, es “paliar los errores de los métodos”.

En Opción Consultores, Rafael Porzecanski, director de Opinión Pública y Estudios Sociales, explica que los datos de intención de voto son producto de encuestas aleatorias a través de telefonía celular mediante “números rango” (esto significa que todos los números de celulares del país tienen probabilidad de ser seleccionados para participar en la encuesta), y ese método es al que le tienen “mayor confianza”. El Grupo Radar decidió desde las elecciones pasadas innovar con las encuestas de intención de voto en internet. Mizrahi relata que primero comenzaron a hacerlas a nivel experimental en el mercado –“no te olvides de que más de 90% de nuestra actividad es investigación de mercado”–, y luego de probar en las elecciones pasadas, vieron que “la encuesta online da mejores resultados”. No son al azar, señala, tienen una “determinada estrategia”, que Mizrahi prefiere no revelar porque la considera parte del know how de la empresa. Reclutan a las personas por medio de avisos contratados en redes sociales, específicamente en Facebook e Instagram –en Twitter dice que el público es muy politizado–, e invitan a contestar la encuesta. “Hoy en todo el mundo las encuestas de intención de voto se están haciendo online, y nadie discute más la pertinencia de la metodología. Acá hay algunos que siguen diciendo que esto no es científico. ¿Qué es científico? ¿Qué define qué es científico? La ciencia avanza en base a ensayo y error, ensayo y error”, agrega.

Desde la academia, por el momento, miran con cierto escepticismo este método. El politólogo Daniel Buquet, del Instituto de Ciencia Política, dice que el mecanismo es “dudoso” por dos motivos: en primer lugar por “el sesgo de la autoselección; se supone que para que la encuesta tenga validez estadística tenés que sortear a las personas que vas a entrevistar y tenés que entrevistar a esas personas que salieron sorteadas, no podés decir ‘¿quién quiere que le haga una encuesta?’ y que venga cualquiera. Eso genera un sesgo, que no sabés cuál es”. El segundo problema que visualiza es la “autoadministración del formulario de la encuesta”. Para él, esos son los problemas de un instrumento que, por otro lado, también considera que puede llegar a ser “súper potente”, porque “contratás encuestas muy rápido, por dos pesos”. Señaló, por ejemplo, sus dudas sobre la encuesta que publicó Radar en setiembre sobre la intención de voto de los frenteamplistas, en la que el intendente de Montevideo, Daniel Martínez, estaba “despegadísimo” (42%), le seguían el intendente de Canelones, Yamandú Orsi (16%), y el ex presidente José Mujica (14%), que aparecía “entreverado en un borbollón con pocos puntos”. Señaló que en otras encuestas Mujica empata o supera a Martínez. “Eso me parece súper raro y se lo adjudico a la metodología”, concluyó.

Pero más allá de los números que arrojen las encuestas, Buquet señala que tiene que “existir una parte académica que entienda por qué la gente vota como vota. Cuando decís que un gobierno va a perder las elecciones, ¿cómo lo justificas teóricamente?”, señaló, haciendo referencia a los errores de la elección pasada. Para el especialista en usabilidad Daniel Mordecki “el problema básico es que lo que publican las encuestadoras no es una encuesta sino el resultado de un trabajo que ellos hacen sobre una encuesta, en el cual toman distintos criterios de cosas que no pertenecen a la encuesta, y con eso manipulan los datos. Con esto no quiero darle un sesgo, es lo que hacen: modifican los datos en un proceso que técnicamente se llama ponderación”, señala. Selios, por su parte, apunta a que los problemas de las encuestas muchas veces no se dan por la “técnica en sí” sino por las herramientas que tienen los analistas para traducir esos datos. Es ahí, dice, donde se da la principal brecha entre lo que pronostican y lo que efectivamente sucede.

En loop

El debate sobre la regulación o no de las encuestas resurge casi siempre después de cada elección. Selios cuenta que tiene recuerdos de que esto sucede por lo menos desde las elecciones nacionales de 1994. Los resultados entre el PC, el PN y el FA eran casi iguales, todos quedaron cerca de 35%, por lo que el resultado final caía dentro del margen de error. “Una encuestadora dio ganador al FA y Canal 10 lo hizo público. Fue un escándalo. Hubo gente que salió a festejar”, relata. Tras cartón, al año siguiente el debate sobre la regulación de las encuestas se instaló con fuerza en la élite política.

En el oficialismo, si bien hubo una propuesta en 2008, recientemente el diputado José Carlos Mahía se puso al hombro la preocupación y recibió los insumos de una iniciativa esbozada por Mordecki. A raíz de los “errores” de las últimas elecciones, dijo Mahía, las encuestas se encuentran en el “entredicho”, y por lo tanto se cuestiona su capacidad de pronosticar, anunciar y afirmar el resultado final. Para él es un hecho que de la última elección nacional a la fecha “no tienen la misma fuerza” que antes. Para dar un marco de transparencia, el diputado propone acordar entre todos los partidos un anteproyecto en el que se mandate a las encuestadoras a dar cuenta de la ponderación de los resultados estadísticos, la ficha técnica, las preguntas que realizaron, y que la Corte Electoral se encargue de fiscalizar.

La Cámara de Empresas de Investigación Social y de Mercado del Uruguay presentó un anteproyecto en el Parlamento hace unos meses. El diputado colorado Adrián Peña dijo que le parece acertado exigirles que “cumplan un mínimo” de rigurosidad. La iniciativa apunta a difundir la ficha técnica, las preguntas y la metodología. “Eso nos parece bien, porque la política justamente toma muchas decisiones en base a lo que dicen las encuestas”, así como ellos saben que el capital fundamental es “la confianza”.

Las encuestadoras se muestran abiertas a transparentar algunas cuestiones, pero no todas. Bottinelli cuenta que la primera propuesta de regulación surgió a raíz de su padre, Óscar Bottinelli, hace 20 años. “Pero la regulación de las encuestas implica también algún tipo de acuerdo o exigencia con los medios de comunicación. Los medios deben tener algún tipo de responsabilidad al validar la información como correcta”, manifestó. Tanto Bottinelli como Mizrahi ponen el mismo ejemplo cuando se les pregunta por revelar la ponderación –la modificación para que la muestra represente el universo de electores–: “La Coca-Cola te dice que contiene determinados ingredientes, pero no te dice la fórmula”, señala Mizrahi.