PISA

Por: Julio Rogero 

El uso de las evidencias científicas para hacer política pasa primero por ser extremadamente cuidadosos para determinar qué constituye una evidencia y cuáles, en última instancia, pueden dar paso a políticas concretas.

Que la política pública debe tener en cuenta la investigación académica es un mantra que resuena cada vez con más fuerza en el debate público, incluido el campo educativo. “Hagamos política educativa basada en la evidencia”, proclamamos al unísono. No estoy tan seguro, no obstante, de que todos los que suscriben esta declaración asuman sus implicaciones. La primera de ellas es que hay que ser extremadamente cuidadosos para determinar qué constituye una evidencia y cuáles, en última instancia, pueden dar paso a políticas concretas. En ese sentido, es habitual que las investigaciones ofrezcan resultados contradictorios y que sea necesario un buen número de ellas y mucha discusión hasta lograr un consenso amplio (rara vez unánime) entre la comunidad científica. El debate tiene aún mayor complejidad cuando se trata de conectar los resultados con medidas concretas. De ahí la importancia de ser transparentes y de mantener abierto el debate teórico y metodológico.

Mi argumento es que la Comunidad de Madrid carece, en muchas ocasiones, del rigor y prudencia necesarios en el análisis y presentación pública de datos e investigaciones educativas, de manera que, en lugar de conducir a mejorar la educación, sirven para legitimar sus políticas. Para sostener esta idea pondré algunos ejemplos que provienen, en su mayoría, del documento I Fase de la Evaluación del Programa Bilingüe, realizado por la Consejería de Educación, Juventud y Deporte de la Comunidad de Madrid, y que ha servido como fuente argumental del discurso público de los responsables de la política educativa de la región en los últimos tiempos. Iré contrastando esos ejemplos con premisas básicas en metodología de investigación social:

“Un resultado fiable requiere datos representativos”

El informe de la CAM extrae resultados de las evaluaciones internacionales PISA (alumnos de 15 años) y TIMSS (alumnos de 4º de primaria) que provienen de muestras de centros bilingües y no bilingües que no son representativas, por lo que sus resultados no son fiables. Si los resultados extraídos no son fiables, mucho menos lo son conclusiones como las que aparecen en el informe citado -“no parece que el hecho de enseñar Ciencias en inglés repercuta negativamente en los alumnos”-, que además contradicen estudios de rigor metodológico contrastado. Esta falta de representatividad no ha impedido asegurar a la Consejería en notas de prensa y en su propia web que los resultados de PISA y TIMSS “avalan el bilingüismo”.

“Un indicador debe tener validez, es decir, debe ser capaz de cuantificar adecuadamente aquello que pretende medir”

En el documento citado y, a partir de él, en diferentes pronunciamientos públicos, la Consejería asegura que Madrid está entre las regiones con mayor inclusión académica. Para ello, utiliza el índice de inclusión académica de PISA, que mide en qué medida estudiantes con resultados diferentes en esta prueba comparten centro. El aumento de este indicador entre 2012 y 2015 en Madrid, periodo de expansión del Programa Bilingüe, lleva a la Consejería a concluir “que no hay efecto de “segregación” en el bilingüismo”.

Conviene recordar que, en el ámbito educativo, una de las premisas para la inclusión es que las escuelas y aulas sean heterogéneas, es decir, que acojan la diversidad del alumnado sin exclusión alguna. El indicador elegido por la CAM, primero, no permite conocer el grado de segregación por centro según el origen social o las necesidades educativas (por discapacidad, etc.) del alumnado; y segundo, no detecta si los estudiantes de diferentes orígenes sociales y desempeños académicos están en aulas diferentes dentro de los propios centros. Una de las formas de extender el programa bilingüe en Madrid ha sido crear, dentro de los institutos, grupos diferentes de alumnos en función de su nivel de inglés. Los datos de varios municipios de la corona sur de la región muestran una segregación extrema del alumnado con necesidades educativas especiales según el tipo de enseñanza bilingüe o no bilingüe. Por tanto, la validez del indicador que utiliza la Comunidad de Madrid para captar el grado de inclusión educativa tiene, a mi juicio, una validez muy limitada.

“Una evidencia requiere cierto consenso entre la comunidad científica que solo puede ser fruto del debate”

En su evaluación, la Consejería comenta los resultados de cinco estudios académicos sobre diferentes aspectos del programa bilingüe (solo dos de ellos publicados y, por tanto, validados -provisionalmente- por la comunidad científica). Al menos tres de esos estudios observan efectos negativos del programa y reclaman mejor información para evaluarlo adecuadamente. Sin embargo, las “Conclusiones de todos los estudios” seleccionadas por la Consejería omiten las del más riguroso e incluyen solo resultados positivos, que se dan por válidos sin discusión. Dicho de otro modo, se selecciona la evidencia que interesa para validar una política escogida por motivos no explícitos, que pueden ir desde la confianza irracional (no científica) hasta la defensa de intereses particulares. No olvidemos que, antes de que se evaluara por primera vez, el Programa Bilingüe llevaba ya 11 años en funcionamiento y se había extendido al 45% de los colegios e institutos de la región.

Si se analizan las conclusiones que extrae la Consejería de los estudios citados, se comprueba que las dos primeras no aparecen como tal en ninguna de las investigaciones, sino que son interpretaciones que pueden calificarse de atrevidas: (1) “En la Educación Secundaria se recupera la ligera pérdida de conocimientos durante los primeros años de la Educación Primaria en las materias que se imparten en inglés (Ciencias)”; y (2) “A largo plazo, durante toda la etapa educativa obligatoria (Primaria y Secundaria), el Programa Bilingüe no reduce los conocimientos y las competencias en ninguna asignatura”. La tercera conclusión indica que (3) “el Programa Bilingüe mejora de forma destacada el aprendizaje de la lengua inglesa”; si bien no sabemos si lo hace de forma destacada, parece evidente que sí los mejora, al menos entre los alumnos que se mantienen en el programa, pues no se evalúa el aprendizaje de quienes lo abandonan. Por último, la cuarta conclusión nos lleva a rescatar uno de los eslóganes más repetidos en metodología de investigación:

“Correlación no implica causalidad”

La Consejería asegura que (4) “El Programa Bilingüe también mejora otros aspectos educativos como los hábitos de lectura”. La aseveración resulta sorprendente, pues es difícil aventurar una explicación sobre por qué se produce ese efecto. ¿Se prueba realmente que las diferencias son atribuibles al programa? El estudio del que se extrae esta conclusión (recordemos, sin representatividad contrastada y que no ha sido publicado) cae, a mi juicio, en un error frecuente en ciencias sociales: confundir relación estadística con relación causal. Convendría descartar, por ejemplo, que tales diferencias no se deben a que sean los alumnos con mejores hábitos de lectura quienes tienen más probabilidades de acceder y mantenerse en el Programa Bilingüe. En síntesis y como puede comprobarse, la Comunidad de Madrid no parece haberse guiado por la prudencia y el rigor metodológico para alcanzar estas conclusiones, sino por aquella máxima del periodismo “nunca dejes que la realidad te arruine un buen titular”.

“Cuando se interpreta un dato, hay que analizar sus limitaciones”

Cuando se critica la política educativa madrileña, la respuesta más frecuente desde la Consejería es que el sistema funciona bien porque los resultados en PISA y TIMSS superan el promedio nacional y, en ocasiones, también el de la OCDE. Cuando se recuerda que esos datos son limitados y se reclama otro tipo de información, la única respuesta es que los resultados educativos de Madrid “son buenos”. La Consejería, al soslayar que las fuentes de datos son marcos que condicionan cómo y sobre qué se habla, impone su discurso y su diagnóstico. Ofrece sus respuestas, pero no permite elegir las preguntas. Interpreta una parte de la realidad, pero oculta otra.

Cualquier indicador ofrece, por definición, una imagen deformada de un aspecto de la realidad. Su relato es, en el mejor de los casos, una abstracción de lo que se pretende observar. Esa capacidad de simplificar la complejidad del mundo nos cautiva y, muchas veces, hace que detengamos la reflexión, especialmente cuando los datos encajan con nuestra visión del mundo. El dato descontextualizado, sin transparencia metodológica, como verdad incuestionable o argumento cerrado representa una visión insuficiente del conocimiento. No solo la investigación ha de ser rigurosa, sino también la interpretación de sus resultados, que deben someterse a discusión. Esos resultados deben entenderse como señales e indicios para identificar los problemas y las posibles soluciones, y no como acicate para la autocomplacencia y el autobombo.

En conclusión, la Comunidad de Madrid, con demasiada frecuencia, utiliza las estadísticas como los borrachos usan las farolas: para apoyarse, en lugar de para alumbrarse. A quienes nos interesa y apasiona la educación comprobamos cómo, muchas veces, los datos se convierten en mentiras sutiles, camuflajes interesados de problemas acuciantes, envoltorios que legitiman injusticias, ocurrencias, desamparos y negligencias, en lugar de en información útil para lograr una mejora educativa y una ciudadanía más informada y reflexiva. No me atrevo a afirmar si este abuso de los datos es consciente o si, por el contrario, es fruto del autoengaño, pero ambas posibilidades son enormemente preocupantes. Hagamos política educativa basada en la evidencia, pero antes usemos la investigación educativa de manera responsable.

Fuente: http://eldiariodelaeducacion.com/blog/2017/05/04/la-perversion-de-la-investigacion-y-del-bilinguismo-en-madrid/