Costa Rica en la evaluación PISA; lecciones aprendidas.

Por: Andres Fernandez.

El Programa de Evaluación Internacional de Alumnos (PISA) ciertamente nos ha abierto los ojos al mundo de la calidad educativa comparada y, por la riqueza de su contenido, muchos análisis y diagnósticos pueden derivarse de la información que provee al país.

Por esto, resulta poco provechoso, e incluso de una visión miope, enfrascarse en discusiones sobre lo (poco que) revela el cambio en el promedio general de la puntuación de un país de un año con respecto a otro, y es incluso arriesgado comparar de forma directa estos promedios entre países (así lo declara PISA en sus extensos informes analíticos).

Si bien uno de los principales objetivos de la evaluación es que cada país pueda contar con información detallada y valiosa sobre la calidad y la equidad en su sistema educativo –desde la perspectiva OCDE– y monitorear por ende las mejoras o no en estas áreas, en el caso de países clasificados como de ingresos medios y bajos, los análisis deben ser realizados con un cuidado adicional (situación que también ha sido aclarada por PISA en sus informes).

Por lo anterior, más que preguntarnos por qué la estimación puntual de un promedio bajó, o el no aumentó de la evaluación anterior (2012) a la última publicada (2015), hay que preguntarnos cómo utilizar estos resultados para mejorar. Y Costa Rica, en definitiva, está aprovechando su participación en PISA:

Apertura al mundo: Costa Rica participó por primera vez en la evaluación PISA en el 2010, en el proyecto PISA 2009+ (ingresamos tarde, por eso aplicamos PISA 2009 hasta el 2010).

Desde ese momento ha participado en las evaluaciones del 2012 y 2015. Es decir, en apenas seis años hemos aplicado tres evaluaciones.

Antes de ingresar a PISA, participábamos en otra evaluación internacional, aunque menos global: la prueba Serce de la Unesco. Esta prueba es exclusiva para países latinoamericanos y del Caribe, y por lo tanto solo nos comparaban con esta parte del mundo, más similar a nosotros, y en la cual formamos parte de los tres mejores países evaluados.

PISA, por su parte, nos permitió abrir los ojos al mundo, y darnos cuenta de que, en términos generales, no estamos en ningún podio de calidad educativa, ya que hay decenas de países que nos aventajan.

La situación parece mala, al colocarnos en desventaja con respecto a otros, pero lo que más merece destacarse es la decisión del Ministerio de Educación Pública de participar en la prueba y abrir nuestras puertas al escrutinio mundial de la calidad de nuestro sistema educativo. Otros países, como Panamá, al obtener su primer resultado en PISA, y darse cuenta de una realidad desastrosa, decidió no volver a participar en la prueba. Este es el segundo aspecto que debe destacarse del caso costarricense: d ecidimos (como debe ser) continuar participando a pesar de los bajos resultados.

Calidad comparada: A comienzos de diciembre del 2016 el consorcio PISA dio a conocer los resultados de la aplicación del 2015. A pesar de publicar dos extensos informes de más de 400 páginas cada uno, los medios de prensa solo utilizan el cuadro resumen que contiene unranking mundial.

Este ranking se crea precisamente para lectores no especializados, que gustan de comparar sus países mediante indicadores resumen, pero no toman en cuenta las notas aclaratorias.

Primero, el ranking se basa en un promedio país, un estadístico que claramente oculta la realidad del sistema educativo, especialmente si la distribución del puntaje de los estudiantes no sigue lo que en estadística se conoce como una distribución normal.

Segundo, el ranking solo muestra la estimación puntual del promedio, pero este lleva emparejado un error estándar, que en términos sencillos significa que el puntaje real se encuentra en un intervalo de posibles valores. Por ejemplo, en lectura Costa Rica aparece con 427 puntos, cuando lo correcto es que el promedio es un valor entre 422 y 432 puntos. Esto tiene implicaciones usualmente pasadas por alto, ya que dentro de sus informes, PISA incluso publica con cuáles países no hay diferencias estadísticamente significativas, pero que en elranking no se aprecian. Por ejemplo, en lectura Costa Rica se ubica ca en el puesto 51, y a Rumania en el puesto 47; sin embargo, estadísticamente no hay diferencias entre estos dos países. Incluso Colombia y México aparecen en los puestos 54 y 55, pero tampoco muestran diferencias estadísticas con Costa Rica (no estamos por encima de estos países).

Tercero, la cobertura entre países es distinta. La evaluación PISA procura evaluar jóvenes de 15 años de edad, sin importar el grado escolar que cursen en la educación secundaria. La mayoría de países de la OCDE tienen a más del 90% de sus estudiantes de 15 años en las aulas, pero esto no sucede en Latinoamérica, donde las coberturas son inferiores al 80%. Costa Rica incluso es de los que muestra las más bajas coberturas, según PISA.

La cobertura también tiene implicaciones en los resultados. De acuerdo con PISA “es probable que el rendimiento en estos países fuera inferior si todos los estudiantes de 15 años fueran cubiertos por sus sistemas educativos, por lo que solo debieran ser comparados países con niveles similares de cobertura”.

De esta afirmación se concluyen dos aspectos: que no es correcto comparar el resultado general de Costa Rica con Finlandia, Alemania o Rumania (entre otros) y que era previsible la disminución observada en PISA 2015 con respecto a PISA 2012, ya que la cobertura pasó de 50% a 63%, y mientras el país continúe por la senda de atraer más estudiantes al sistema educativo, es esperable no ver mejoras en futuras evaluaciones de PISA, hasta que alcancemos un nivel de equilibrio en la cobertura de la educación secundaria.

Lecciones aprendidas: Pero más allá de si podemos o no compararnos, de si bajamos o no y debido a qué, lo importante es actuar con respecto a la realidad que nos muestra PISA.

En este sentido, se le debe reconocer al Ministerio de Educación Pública (la anterior y actual administración) las reformas a los programas de matemáticas, lecto-escritura y ciencias, que no solo actualizan estos planes ya desfasados, sino que los encauzan hacia la adquisición de competencias y habilidades que exige la sociedad actual y que son evaluados en PISA. Solo llevamos seis años en PISA, por lo que habrá que esperar al menos al 2018 para medir los efectos iniciales de algunas de estas reformas.

Por otra parte, PISA 2015 fue la primera evaluación que se realiza mediante computadora (no papel) y según el MEP, esto también puedo haber incidido en los resultados, ya que hay estudiantes que están poco familiarizados con el uso de computadoras. Si bien la Ministra reconoce que es imposible confirmar esta hipótesis, el MEP actuará de inmediato intentando que a partir del 2017 todos los docentes apliquen al menos una evaluación al año por computadora, buscando así disminuir la desventaja que tienen los estudiantes de colegios públicos con respecto a los privados, que se encuentran más acostumbrados a este tipo de evaluación por computadora.

Falta mucho por hacer, claro está (cuerpo docente más calificado, universidades comprometidas con la calidad, eficiencia en el uso de los recursos, educación dual, inglés como segunda lengua oficial, entre otros temas) pero algo se está haciendo. El beneficio para el país de la participación en las pruebas PISA será de largo plazo si aplicamos correctamente los diversos diagnósticos generados a partir de esta información.

Fuente: http://www.elfinancierocr.com/opinion/Pisa-Andres_Fernandez-educacion_0_1094290563.html

Imagen: http://eldia.com.do/wp-content/uploads/2016/12/14_Nacionales_08_01p01.jpg