Boicots, escuelas fantasmas y errores informáticos: las “anomalías” que encontró PISA en otros países del mundo

Hace 15 días la Organización para la Cooperación y el Desarrollo Económico (OCDE) anunció que, ante un “comportamiento inverosímil”, no iba a publicar este próximo martes los datos de lectura en España en las pruebas de calidad educativa PISA. A las dos horas, visiblemente molesta, la ministra de Educación en funciones Isabel Celaá se defendió diciendo que el test se respondió con el Gobierno anterior y que las anomalías no eran algo exclusivo de España. “Ya le ha ocurrido a la OCDE en Estados Unidos, en Holanda… Y esto es lo que tenemos”, señaló. La lista de Celaá se quedaba muy corta, porque en un escrito la institución reconoce haber detectado “anomalías” en las pruebas de nueve países en las seis ediciones anteriores de la evaluación (2000-2015). En unos casos por problemas técnicos y en otros porque los datos reunidos no cumplían el exigente patrón de PISA. Un listado que el organismo no oculta y que, sin embargo, es desconocido. Aunque la OCDE no dice a los países cómo debe actuar tras la foto mostrada en PISA, es evidente que condiciona las políticas nacionales.

En 2000, el año del estreno de PISA, Holanda fue excluida de la encuesta porque la tasa de respuesta de los colegios fue “insuficiente para garantizar su inclusión en la base de datos”. Y ese año la muestra de Austria no representó adecuadamente a los alumnos de Formación Profesional, que alcanzan el 70% del alumnado. El fallo se corrigió en 2003 haciendo ajustes para poder hacer una comparación real de la progresión del país.

En el Reino Unido los colegios no se implicaron en las pruebas. En la primera edición se detectó que había una tasa baja de respuestas (un 3,7% por debajo del patrón), pero se certificó porque era una cifra despreciable. Pero en 2003 la OCDE no dio por buena la muestra y los resultados quedaron fuera de las comparaciones. En la siguiente ocasión, asegura el organismo internacional, los británicos fueron “más rigurosos” en el procedimiento.

En Luxemburgo decidieron cambiar las características del examen para que reflejase su verdadero sistema escolar. En 2000, una semana antes de la prueba, se entregó a los estudiantes un folleto explicativo de la mecánica del test en la lengua elegida para la prueba (francés o alemán) y la OCDE comprobó que la familiaridad del idioma fue “una barrera para una gran proporción de estudiantes”. Así que, desde entonces, se entregan guías en ambas lenguas y en los análisis no se tiene en cuenta las cifras de la primera edición.

Estados Unidos fue el protagonista de PISA 2006 por un fallo en la impresión del examen. Un cambio de paginación redirigió a los alumnos a una lectura de preguntas incorrectas y se estimó —comparando resultados con 2003— que el fallo pudo penalizar a los alumnos en seis puntos. Los resultados de comprensión lectora no se hicieron públicos, pero sí los de matemáticas y ciencias en los que la incidencia del error supuso un punto.

Los problemas en Austria no terminaron en 2000. Nueve años más tarde una disputa entre los sindicatos de educación y el ministro del ramo se saldó con una llamada a boicot el examen. Eso, sostiene la OCDE en su listado de irregularidades, creó “una atmósfera negativa que pudo afectar a la motivación de los estudiantes a la hora de responder a las preguntas”. Los resultados ahora no se usan para hacer cotejos. Un análisis posterior de la plataforma educativa holandesa CITO concluyó que solo un 2,2% de los alumnos sabotearon el test negándose a contestar, un porcentaje “despreciable” que no invalidaba los resultados.

En España “al menos” —calcula la OCDE— hay contestaciones dudosas en el 5% de los test de lectura (1.800 escolares), pero se descarta que haya una intención maliciosa. “No creemos que sea un fraude o boicot contra PISA o los tests en sí, más bien creemos que pueda ser algún error técnico desafortunado”, afirmó a EL PAÍS el día del escándalo la japonesa Miyako Ikeda, responsable del análisis de datos de PISA. Aunque horas antes, en una dura nota de prensa, la institución había negado cualquier error en su tecnología.

En PISA 2012 un “número desproporcionado” de niños de Albania coincidió en afirmar que sus padres trabajaban los mismos oficios (no se detalla cuales), algo inusual. Durante la limpieza de datos no se pudo arreglar el error y en los índices internacionales se omitió esa información de este país. No se trataba de un dato trivial, porque el contexto sociocultural en el que se cría el niño determina en gran medida su éxito académico.

Los datos de Argentina, en PISA 2015, fueron desechados en todo el país salvo en Buenos Aires. “La muestra no cubría la población objetivo, debido a la potencial omisión de escuelas del marco muestral”, argumentó la OCDE, y eso impedía comparar con los números anteriores. Lo que ocurrió es que el Gobierno de Cristina Fernández de Kirchner, en el poder cuando se celebró la prueba, quitó ciertas escuelas y sumó otras en relación con el listado presentado en 2012. El ministro de entonces, Alberto Sileoni, explicó que administrativamente se fusionaron escuelas primarias y secundarias en un nuevo sistema, pero su argumento no convenció a los promotores de la prueba. Abochornado, el ministro de Educación designado por Mauricio Macri, Esteban Bullrich, se disculpó en una rueda de prensa cuando se anunció la penalización: “Esto se parece a ese país que no tenía compromiso con las estadísticas y la verdad, y ese es el país que vinimos a cambiar”.

En 2015, última edición de PISA, no solo Argentina dio quebraderos de cabeza. Malasia seleccionó a unos colegios que representaban al 51% de sus escuelas del país cuando la OCDE obliga a que al menos sea una muestra característica del 85% de los centros. Así que los resultados del test no pueden cotejarse con los anteriores. Y se apartaron los datos de Kazajistán porque los técnicos fueron “indulgentes” en el tratamiento de los códigos de información.

El martes la OCDE presentará en rueda de prensa los resultados de PISA 2018 omitiendo los de lectura en España. Justamente la competencia analizada con más detalle en esta edición. «Es probable que tardemos varios meses en obtener una respuesta a las anomalías en España», ha adelantado el alemán Andreas Schleicher, jefe del informe PISA.