Cuentas que poco se rinden(*)

Hace unos días, Mariano Palamidessi, entonces director ejecutivo del Instituto Nacional de Evaluación Educativa (Ineed), renunció a su cargo por estar en desacuerdo con las autoridades del instituto, luego de la divulgación de los resultados de la evaluación Aristas. En varios medios de comunicación, Palamidessi hizo declaraciones polémicas que pintan un panorama oscuro de la educación pública. Sus afirmaciones referidas a los bajos niveles de desempeño en lectura y matemática constatados, una vez más, por el Ineed resultan sin duda preocupantes. Sus revelaciones de intrigas políticas y burocráticas en la gestión cotidiana del instituto son directamente escalofriantes. Pero aquí quiero concentrarme en dos cuestiones de fondo planteadas por Palamidessi. Primero, que la educación pública en Uruguay reproduce e incluso aumenta la desigualdad. Segundo, que es necesario garantizar la autonomía técnica del Ineed para evitar interferencias políticas en la evaluación.

Sobre educación y desigualdad

Según Palamidessi, la escuela “no sólo reproduce sino que acrecienta la desigualdad social”. Para sustanciar esta afirmación, Palamidessi se apoyó en datos conocidos por todos. Para empezar, la evaluación Aristas muestra que 22% de los alumnos de tercer año en escuelas de contexto muy favorable no alcanza suficiencia en competencia lectora (niveles 1 y 2). En contextos muy desfavorables, el porcentaje sube a 72%. La brecha de aprendizaje por contexto sociocultural se observa también en sexto año. Para matemáticas es incluso mayor. ¹ Como bien señala Palamidessi, es muy preocupante que sólo uno de cada diez alumnos provenientes del 20% de los hogares uruguayos más pobres termine el bachillerato. Evidentemente, las competencias con las que estos alumnos llegan al bachillerato, si es que llegan, no alcanzan para superar un sistema originalmente diseñado para filtrar alumnos y preparar a la elite académica para su ingreso a la universidad. Un mandato social anacrónico que requiere revisión urgente.

Pero ¿confirman estos datos que la escuela “reproduce” o “acrecienta” la desigualdad de aprendizajes? La respuesta es: no, de ninguna manera. Que los estudiantes que menos aprenden no logren acreditar niveles avanzados de logro académico en la educación secundaria solamente confirma que un sistema organizado para filtrar a los que no aprenden efectivamente filtra a los que no aprenden. Y que exista desigualdad en la distribución socioeconómica de los aprendizajes no necesariamente implica que la escuela pública sea responsable de esa desigualdad. Las brechas de aprendizaje del Ineed son datos de la realidad incuestionables. Pero estos datos no demuestran la atribución causal de Palamidessi.

Estamos frente a dos tipos de enunciados muy diferentes. El primero es descriptivo: hay desigualdades de aprendizaje entre sectores socioeconómicos. El segundo es causal: la escuela reproduce o, incluso, exacerba la desigualdad. Lo primero no implica lo segundo. El primer enunciado ha sido confirmado por todas las evaluaciones de aprendizajes implementadas en Uruguay desde 1996. El segundo ha sido materia de debate desde hace por lo menos 50 años.

Quizá el caso más famoso sea el Informe Coleman, publicado por el gobierno de Estados Unidos en 1966. El Informe Coleman mostró con métodos bastante avanzados para la época que el grueso de la desigualdad de aprendizajes se explica por las características socioeconómicas y culturales de las familias y que, dada esta situación, las escuelas pueden hacer muy poco para revertir la desigualdad. Desde ese entonces, los especialistas en educación han desarrollado cientos de estudios y debatido en extenso sobre cómo, cuánto y cuándo las escuelas reducen, mantienen o aumentan la desigualdad en relación con otros factores familiares o de contexto. Para rebatir las tesis deterministas del Informe Coleman, economistas de cuño liberal desarrollaron la “función de producción educativa” y derivaron de ella modelos de “valor agregado” que cuantifican las ganancias marginales de aprendizaje asociadas a la calidad de escuelas y maestros. Desde la sociología y las ciencias de la educación, la corriente de “escuelas eficaces” también propuso sus propias metodologías para demostrar que aspectos organizacionales como el liderazgo del director, los incentivos a la profesionalización docente o el desarrollo de altas expectativas para los alumnos sí hacen la diferencia.

Una buena reseña del conocimiento acumulado en los últimos 50 años de investigación puede encontrarse en un artículo publicado por Douglas Downey y Dennis Condron en Sociology of Education, una de las revistas científicas más prestigiosas en este campo de estudios. ² En ese trabajo los autores dicen varias cosas muy importantes. En primer lugar, para Downey y Condron, los estudios empíricos sobre educación y desigualdad en general parten de la pregunta equivocada: ¿cuánto más aprendería un estudiante particular (por ejemplo, un estudiante pobre) si en vez de ir a la escuela A fuera a la escuela B? Para contestar esa pregunta, los investigadores intentan aislar la contribución específica de la escuela, asociando calidad a esta contribución diferencial. Pero contestar esta pregunta no nos dice mucho sobre la desigualdad de aprendizajes que se origina afuera de las escuelas. Mucho menos nos permite evaluar si esas brechas producidas afuera son más o menos importantes que las producidas adentro de la escuela. Para estos autores, la pregunta correcta debería ser contrafáctica: ¿cómo se vería la desigualdad de aprendizajes si las escuelas directamente no existieran? O sea, incluso si confirmáramos empíricamente que la escuela exacerba la desigualdad en el desarrollo de habilidades cognitivas, necesitaríamos saber si ese aumento es mayor que el aumento que generalmente ocurre fuera de la escuela.

Para Downey y Condron, la mejor manera de abordar esta segunda pregunta es con modelos estacionales que sigan a los estudiantes por varios años y comparen el cambio en las brechas de aprendizaje durante el año escolar con el cambio ocurrido durante el verano, cuando los niños no van a la escuela. Estos estudios muestran que las brechas socioeconómicas en el desarrollo de habilidades cognitivas crecen más rápido cuando los niños no están en la escuela, lo que lleva a los autores a concluir que en realidad las escuelas más bien compensan la desigualdad originada antes de la escolarización. Incluso cuando se logra aislar adecuadamente la contribución específica de los maestros y las escuelas al aprendizaje de los niños, las diferencias entre escuelas de contextos altos y bajos son modestas o directamente inexistentes.

Porque la controversia sobre el asunto continúa hoy en día, las intervenciones expertas en el espacio público deberían empezar al menos por reconocerlo. No hacerlo tiene implicancias éticas inocultables. De hecho, Downey y Condron acusan a los expertos en educación de promover livianamente la idea falsa de que las escuelas de los ricos generan mayores aprendizajes que las escuelas de los pobres. Para reducir las brechas de aprendizajes es imprescindible reformar otras instituciones sociales. Y no decirlo implica ser cínicamente cómplices de aquellos que tienen un interés político en erosionar la confianza de los ciudadanos en la educación pública. Sobre este punto los autores son terminantes: culpar a las escuelas para justificar reformas urgentes en educación sirve más bien para evadir el conflicto político sobre las verdaderas causas de la desigualdad (segregación urbana, precarización laboral, acceso a la salud, etcétera).

La “educacionalización” de los problemas sociales es un vicio recurrente entre expertos y políticos. Pero rechazarla no significa que esté todo bien con la escuela pública en Uruguay. Sí significa que tenemos que ser muy cautos antes de culpar injustamente a la escuela por resultados que se originan en otro lado, agitando el fantasma de una crisis en la educación. De hecho, al releer los datos de la prueba Aristas podríamos extraer una conclusión exactamente opuesta a la de Palamidessi. Por ejemplo, la brecha de competencias lectoras (niveles 1 y 2) entre contextos muy favorable y muy desfavorable se reduce casi 50 puntos (de 50% a 20% aproximadamente) entre tercero y sexto año. La brecha en matemática baja sólo 10 puntos (de 50% a 40%), pero igual baja.

¿Significa esto que, contrario a lo que dice Palamidessi, a medida que avanza el proceso de escolarización (de tercero a sexto) la escuela logra reducir las brechas de aprendizaje entre pobres y ricos? No, tampoco. Para saber si las escuelas de ricos y pobres compensan o exacerban la desigualdad (un enunciado causal), necesitamos datos mucho mejores, con diseños metodológicos y modelos estadísticos apropiados. Quizás la misión del Ineed debería ser producir esos datos y esos diseños. Pero para eso se requieren más recursos y, sobre todo, paciencia.

Sobre la autonomía técnica de la evaluación

Palamidessi exigió, además, mayor autonomía técnica del Ineed para evitar filtros políticos en la interpretación y presentación pública de los resultados de la evaluación. Como acabo de sugerir, hacer atribuciones causales sobre el origen escolar de las brechas de aprendizajes a partir de datos meramente descriptivos es de por sí un acto político. Pero tomemos por válida la crítica de Palamidessi al actual diseño institucional y aceptemos que el Ineed, en tanto instrumento de rendición de cuentas del sistema educativo hacia la ciudadanía, debe trabajar sin injerencias políticas. ¿Garantiza la autonomía técnica la neutralidad política de la evaluación?

Otra vez: no necesariamente. Miremos a Chile, uno de los casos emblemáticos de diseño institucional exitoso que, según expertos como Pedro Ravela (también ex director del Ineed), sí asegura alta autonomía técnica a los expertos de la evaluación. ³. Según lo establecido en la Ley de Aseguramiento de la Calidad aprobada por el Congreso chileno en 2011, el secretario ejecutivo de la Agencia de la Calidad debe ser nombrado por concurso de alta dirección pública y cuenta con autonomía técnica del Consejo de la Agencia. Este Consejo, a su vez, está conformado por cinco personas de reconocida trayectoria en el mundo de la educación, designadas cada seis años por el Ministerio de Educación (que en Chile no administra directamente las escuelas). Los consejeros duran seis años en funciones (dos años más que el mandato presidencial), pero además son renovados en tandas de dos y tres.

Este diseño sigue claramente el formato de bancos centrales autónomos: el objetivo es desacoplar la integración de las agencias reguladoras de los ciclos electorales y asegurar que sus decisiones sean plurales y basadas en juicios expertos. El supuesto es que la delegación de funciones a una agencia técnica y despolitizada asegurará que la evaluación se haga con objetividad, con neutralidad y, por lo tanto, con justicia.

La ley chilena también faculta al gobierno a intervenir y, en caso necesario, a cerrar las escuelas que no provean educación de calidad. Por eso la Agencia de la Calidad tiene además el mandato legal de ordenar a todas las escuelas del país en cuatro categorías de desempeño. Esta categorización obligatoria y pública de la calidad de las escuelas se basa fundamentalmente en pruebas estandarizadas y otros indicadores de calidad. Pero la ley también establece que, para responsabilizar a las escuelas de manera justa, la ordenación debe considerar el contexto sociocultural de las escuelas. Cómo lograrlo queda a discreción de los expertos.

Para mi tesis de doctorado investigué en el proceso de elaboración de esta metodología de ordenación de escuelas. Mi propósito era entender por qué los consejeros de la agencia discutieron tan fuertemente y al final votaron divididos la elección del modelo estadístico más apropiado para ajustar los resultados de las pruebas estandarizadas por el nivel socioeconómico. ⁴. Como sospechaba, esta división no fue para nada casual. El voto de los consejeros se explica políticamente. La mayoría, alineada con el gobierno de turno (centroderecha), respaldó la propuesta de la comisión de expertos designada por el Ministerio de Educación: estimar el índice de calidad con un modelo estadístico que a posteriori no alterara demasiado el ordenamiento original basado en los puntajes de las pruebas. La minoría, vinculada a la Concertación (centroizquierda), votó por un modelo estadístico que diera mucha más preponderancia al contexto de la escuela y, por lo tanto, corrigiera bastante más, reduciendo la brecha de calidad absoluta entre diferentes contextos.

Más allá de tecnicismos, lo más interesante son las justificaciones morales ofrecidas por los expertos para sostener que su modelo estadístico de preferencia era el más “justo”. Para algunos, lo más justo es no corregir demasiado por contexto para que los consumidores (las familias pobres) sepan que en su escuela los niños no aprenden lo suficiente en relación con otras escuelas, con independencia de si la escuela agrega o no valor. Para otros, lo más justo es separar claramente la contribución de las escuelas con independencia del contexto, para no culpabilizar a los proveedores (las escuelas públicas a las que van los pobres) por resultados que no necesariamente les corresponden.

Este enfrentamiento de juicios morales sobre las consecuencias distributivas asociadas a distintos modelos estadísticos debe ser entendido en el contexto del conflicto por la educación de mercado en Chile, un país donde las escuelas públicas compiten por alumnos con el sector privado subsidiado. Históricamente, la divulgación de rankings de escuelas no ajustados por contexto ha sido utilizada como evidencia de la baja calidad de las escuelas municipales, fomentando así la expansión del sector particular subvencionado vía vouchers. Así que no es para nada inocuo cómo se ajustan los rankings.

La historia sobre la rendición de cuentas y los rankings de colegios en Chile es mucho más larga y compleja. Quizá mi resumen simplifique demasiado las cosas. Pero la conclusión es bastante evidente: incluso en agencias de evaluación de alta competencia y autonomía técnica, las decisiones metodológicas sobre cómo medir la calidad están atravesadas por juicios morales y políticos. Hay que ser muy conscientes de que cualquier acto de medición y divulgación de información sobre la calidad de la educación es, con o sin intención, una intervención en el espacio público. Y en tanto intervención pública, la evaluación merece ser evaluada como lo que es: política.

(*) Para una versión similar pero en formato hilo de este mismo artículo, ver: ladiaria.com.uy/UTr