Una de las formas más eficientes para mejorar la calidad de las políticas públicas es aprender de sus efectos. Por este buen motivo, la evaluación de políticas se ha tornado un aspecto importante tanto en la confección de los programas del Estado como en su estructura burocrática. Es común ver que cuando se presupuesta un nuevo programa o se reciben créditos internacionales para implementar determinadas acciones, se asignan recursos asociados para desarrollar evaluaciones de impacto. En tono con estos cambios, el Estado uruguayo ha venido mejorando y expandiendo sus equipos de profesionales dedicados a investigar sobre los efectos de la política pública, así como los recursos económicos para generar datos e información útil para esos fines.
Un desafío frecuente al que se enfrentan los evaluadores es el de que las intervenciones de política pública ocurren junto con muchos otros cambios que también afectan el resultado de interés. Por ejemplo, imaginemos que durante algunos años se implementan estímulos que reducen el costo de regularizar el acceso ilegal a la energía eléctrica en zonas socialmente vulnerables. Esta intervención podría ocurrir al mismo tiempo que ocurre un “shock” económico positivo. Tanto la política pública como los cambios en la economía pueden aumentar la voluntad de las personas de consumir energía en forma regular y segura. Aun cuando se analicen las diferencias en el consumo irregular de energía antes y después de la intervención pública, es difícil aislar y estimar si la política sirvió de algo y, en ese caso, de cuánto sirvió.
Otro desafío para los evaluadores es el modo en que los individuos se autoseleccionan en los programas públicos o, por ejemplo, el modo en que las propias políticas tratan a distintos individuos o grupos de individuos. Por ejemplo, la extensión horaria en la política educativa (introducción de centros de tiempo completo) podría realizarse con la esperanza de mejorar los resultados de aprendizaje. Pero puede ser difícil saber cuál es la contribución de la política al aprendizaje cuando los criterios de selección de los centros educativos para este plan son desconocidos. Los centros pueden tener características que los hagan muy particulares, como pertenecer a zonas rezagadas o tener una predisposición institucional favorable a los cambios que propone la política. Más aun, los centros elegidos por la política podrían atraer un determinado tipo de alumnos cuyos padres tienen mayor predisposición a fomentar el logro educativo en sus hijos. Aunque estos desafíos no imposibilitan realizar evaluaciones de calidad, ciertamente las hacen mucho más difíciles e intensivas en datos.
Existe un creciente interés, entre investigadores y expertos en evaluación, en fomentar el uso de diseños experimentales para estimar los efectos de las políticas. ¿Por qué? Lo que quisiéramos saber es “qué hubiera sucedido si la política no se hubiera implementado”. La intuición es que la diferencia entre aquella realización del mundo y la que efectivamente observamos, luego de que la política se implementa, es el efecto de la intervención. Aunque esto es imposible de observar (yo, al menos, la única vez que lo vi fue en la película Volver al futuro), sí se puede estimar. ¿Cómo? Con aleatorización.
La solución que ofrecen los diseños experimentales es asignar a los individuos (o grupos de individuos, instituciones, etcétera) aleatoriamente el “tratamiento” que genera la política pública. El mecanismo permite hacer comparaciones adecuadas para estimar el efecto causal de la intervención. Esto requiere afectar el diseño de la política, no montar un sistema de evaluación paralelo a esta. Para lograr los beneficios de la evaluación experimental es necesario modificar sustancialmente el modo en que se piensa y diseña la mayor parte de las innovaciones de política pública que se hacen en Uruguay. Normalmente la evaluación es organizada como un “componente” de los programas y no como un aspecto del diseño de la política de intervención. Naturalmente, se trata de un requisito más exigente, porque puede entrar en contradicción con criterios de justicia, con preferencias programáticas de quienes implementan el programa o con políticos que priorizan los beneficios de corto plazo entre sus “constituencies” frente a los beneficios generales de largo plazo que genera la evaluación científica de los programas. Dejemos de lado las preferencias por no evaluar.
En efecto, muchas veces los evaluadores de política pública se enfrentan a constreñimientos que no les permiten manipular a los ciudadanos como si se tratara de ratones a los que se puede asignar a la pastilla con droga o al placebo. Y muchas veces esto ocurre por buenos motivos, y ciertamente ello tampoco representa el fin de las posibilidades para la evaluación. Después de todo, los experimentos controlados no son la única forma de generar conocimiento útil sobre las políticas (pero me ahorro la lista de métodos no experimentales sobre los cuales también deberíamos avanzar en Uruguay; no son el punto de esta breve nota).
Sin embargo, existen numerosas circunstancias en las que los criterios de justicia, o las definiciones programáticas de quienes deciden sobre la implementación de las políticas, son perfectamente consistentes con algún tipo de asignación aleatoria que permite una evaluación de los resultados en forma sólida y creíble. Esto requiere imaginación y, sobre todo, compromisos virtuosos entre investigadores y decisores de política pública. Uruguay tiene un largo camino para andar en este sentido.
Por ejemplo, un preconcepto difícil de eliminar es que la aleatorización es un tecnicismo injusto (regresivo). Cuando los recursos de la política son insuficientes para la población objetivo, contemplar algún tipo de mecanismo de asignación aleatoria no necesariamente choca contra criterios de progresividad. Lo que asegura la progresividad de la política es precisamente su definición de la población objetivo. En algunas ocasiones, incluso la aleatorización puede ser vista como un criterio de justicia a los ojos de los potenciales beneficiarios.
Hay diversas áreas de política donde se requieren cambios marginales en forma constante, tales como en la educación, la salud, los programas de asistencia, los servicios básicos (agua, electricidad), el transporte, etcétera. La inversión en ensayos controlados para el test de esas innovaciones hace más eficiente la implementación de reformas futuras. Típicamente es el caso de los programas “piloto”. Desde el punto de vista del bien común, existen pocos motivos para no diseñar programas con componentes de asignación aleatoria que permitan analizar su impacto. Aunque ya existen algunas experiencias importantes en Uruguay, son aún muy escasas.
Todo esto no debería sonar como un debate tecnicista, sino como un tema relevante para la rendición de cuentas a los ciudadanos. En la era de big data no sólo importa el acceso a inmensas cantidades de datos desagregados sobre la gestión del gobierno, sino también a información creíble y precisa sobre sus logros.
Una versión previa de esta columna fue publicada en el blog Razones y personas.