Cómo “ler” los resultados PISA 2015

Por Jose Rangel

Presentación

¿Existe algo más allá de los resultados publicados de PISA? No pareciera. Desde el 2000, cuando las evaluaciones de la OCDE (Organización para la Cooperación y el Desarrollo Económico) irrumpieron en la escena educativa, México ha mostrado sus debilidades en este terreno (cabús de la Organización), sin haber logrado más que los lamentos de prensa correspondientes. Hacen nota un par de días y esperan 3 años a la siguiente evaluación.

O, por otro lado, se aplican con frecuencia diagnósticos y medidas que recuerdan a H.L. Mencken en el epígrafe.

Unas palabras introductorias sobre el programa PISA (Programme for International Student Assessment) para no partir de suponer que todos están obligados a saber de qué se habla.

La OCDE lo define sucintamente como un sondeo trienal de carácter internacional que busca evaluar los sistemas educativos de todo el mundo por medio de examinar las habilidades y el conocimiento de los estudiantes de 15 años^[1].

PISA evalúa en qué nivel los estudiantes, cercanos al final de la educación obligatoria (media superior), han adquirido los conocimientos y habilidades necesarias para abrirse camino exitosamente en las sociedades modernas.

Encada ocasión se evalúan los tres campos: Matemáticas, Lectura y Ciencias, y se pone especial énfasis en alguno de ellos. En esta ocasión, el mayor detalle correspondió a Ciencias. Sobre ello nos centraremos.

La prueba correspondiente a 2015, sujeto de la presente contribución, incluye resultados de una muestra de más de 500 mil estudiantes, quienes representan 28 millones de jóvenes de 15 años de 72 países. Los estudiantes fueron evaluados en ciencias, matemáticas, lectura, solución colectiva de problemas y conocimientos financieros.

En síntesis, el resultado para México es: tiene un nivel muy bajo, la dispersión de sus resultados es baja (muchos malos, algunos medianamente buenos), y la tendencia en el tiempo, sin cambios (el sistema educativo sin mejoras).

 

• México. Resultados PISA 2015

País	Matemáticas	Lectura	Ciencias
México	408	423	416
OCDE	490	493	493

Fuente: http://www.keepeek.com/Digital-Asset-Management/oecd/education/pisa-2015-results-volume-i_9789264266490-en#page45.

Conclusiones o introducción

México obtiene resultados por debajo de lo esperado dado tanto su PIB per cápita como su gasto educativo. (Figs I.2.7 y I.2.8) ^[2]. Los resultados de México son similares a Costa Rica y a Colombia (ambos con un menor ingreso, pero mayor gasto). Por debajo están Brasil (mismo ingreso, pero mucho mayor gasto) y Rep. Dominicana (poco inferior en ambos). (Fig I.2.13).

Del total de estudiantes que presentaron la prueba, 47.8% se ubicó por debajo del nivel 2. En el nivel 5 se ubicó 0.1% de alumnos y ninguno en el nivel 6. No hay un solo estudiante de excelencia en ciencias en México, y cerca de 48% no están en condiciones de razonar científicamente. El promedio de alumnos que se ubican en los niveles 2 y superiores en la OCDE es de 79%. En muchos países asiáticos el monto supera 90% (Viet Nam, Macao, Singapur, Hong Kong, Japón).

Se considera al nivel 2 como el mínimo de conocimiento científico para poder desempeñarse como un ciudadano pensante, con capacidad crítica y capaces de incorporarse a la actividad productiva en condiciones de vincularse efectivamente en asuntos vinculados con ciencia y tecnología. (Fig. I.2.15).

A pesar de que México tiene mala evaluación promedio en ciencias (416), casi 41% de los estudiantes sondeados espera hacer una carrera vinculada con las ciencias, muy por encima del promedio de la OCDE (24.5%), y su gusto por estudiar ciencias también está por encima del promedio OCDE. Esto es, los resultados no son producto del desinterés de los alumnos. Quieren, se interesan, se esfuerzan, pero reciben mala educación. (Cuadro I.1.2).

En 2007, durante el gobierno de Felipe Calderón se presentó como un objetivo de relevancia elevar el rendimiento de los estudiantes de forma considerable para alcanzar en 2012 un resultado en el programa PISA de 435 puntos en el promedio combinado entre lectura y matemáticas. El punto de partida eran 392 puntos obtenidos en 2003. En 2009, se vislumbraba la posibilidad de llegar a la cota establecida. En 2012, la meta no se alcanzó. El promedio combinado fue de 418 puntos. A partir de entonces se dejaron a un lado las metas fijas. Y, desde ese momento el rendimiento ha decaído[3].

Ser el último sitio de la OCDE no es noticia. La posición ha sido históricamente mala y no hay resultado alguno que se corresponda con ningún esfuerzo especial en contrario. Lo mejor que se hizo fue dejar de hablar del tema explícitamente. Se abandonó cualquier programa especial, extraordinario, emergente que permitiera revertir el bajo nivel y las tendencias pobres de mejoría. Los números lo delatan.

Lo más que se ha logrado son respuestas fáciles y lamentos de prensa por un par de días y esperar otros tres años a la siguiente evaluación. Esta ocasión no ha sido la excepción.

Tres respuestas importantes caen en lo que señala Mencken en el epígrafe. La primera señala simplemente que la educación tiene que dejar de ser memorística y volverse significativa[4]. Otra respuesta, del jefe del PRI, reparte culpas[5]. Finalmente, el secretario Nuño nos da el avión, dice que la cosa es tranquila y que ya está en marcha una reforma que se va a encargar del asunto y veremos resultados en unos 10 años[6].

Las respuestas monocausales hacen mucho daño, sobre todo en un país donde la salamería impera en la vecindad de los funcionarios públicos.

No hay funcionario público que no esté consciente de que los fenómenos como el que está en cuestión están impregnados de una dosis importante de complejidad. No son monocausales, ni se resuelven, cuando se puede, ajustando algunas variables como si fueran tornillos. Así que hacer declaraciones fáciles es, cuando menos, una imprudencia.

Cuál es la autocrítica que puede hacerse el sistema educativo mismo de la falta de capacidad para lograr la mínima mejoría en el desempeño de sus educandos. Se pusieron objetivos y fallaron. Dejaron entonces de hacerlo. Ahora juegan ping-pong o las traes: fue culpa de Calderón. O sea, el conocido argumento de que la solución soy yo.

La Reforma Educativa no estuvo diseñada con PISA en mente. Decir que ahora será la solución es, si no una tomadura de pelo, sí una ingenuidad, o una manera poco elegante de zafarse de la responsabilidad.

Es de la mayor importancia que se asuma abiertamente esa responsabilidad de encontrar caminos que permitan aproximarse a conocer por qué México muestra una capacidad tan renuente a mejorar, más, aún, aceleradamente. Qué impide que los resultados sean mejores.

Cuáles son los determinantes de una calificación en esta evaluación de desempeño. Qué se debe modificar primero, segundo, tercero. Dónde está la clave de un mejor desempeño:

• Qué papel juega, entre otros, la instauración del bachillerato obligatorio.
• Por qué sigue habiendo tan baja cobertura en media superior. ¿Son las razones del abandono las mismas que producen el bajo rendimiento manifiesto en los resultados de PISA? Los estudiantes que presentaron la prueba no han abandonado, pero, qué tanto la carencia de atractivo, la relevancia, tanto para los jóvenes como para los mercados de trabajo pueden estar en la raíz del problema del desempeño estancado en bajos niveles, como lo está en el caso de abandono[7]. Cómo se correlaciona la población de ninis, cuyo desinterés por el estudio a costa de su futuro puede estar vinculado, en la etapa anterior al abandono, a un bajo desempeño escolar manifiesto en los resultados de PISA.
• Qué papel juegan las instalaciones, la calidad de los docentes.
• Qué papel juega la región, la pobreza, la alimentación, el trabajo colateral.
• Qué papel juega la distancia a la escuela.
• Qué papel juega la educación de los padres.
• Qué papel juega el gasto en educación.
• Qué papel juegan las expectativas de vida.
• Qué correlación hay con el interés por estudiar.
• Qué correlación hay con la idea de que el mejor camino para la superación de las condiciones presentes es por medio de la escuela.

 

Se pueden lograr cambios muy importantes en el corto plazo. Así lo han hecho Chile, Colombia, Portugal, Noruega. Otros países han caído vertiginosamente en el corto plazo también: Eslovaquia, Holanda, Hungría. (Figure I.2.8d).

 

Un paseo por Pisa

No solo está México mal, sino de malas. La posición global en los resultados del programa ha empeorado. Además, las cifras de PISA en relación con México son engañosas. Consideran que se tiene una tendencia positiva entre 2006 y 2015. Sin embargo, México solo experimentó una mejora entre la primera y la segunda pruebas (2006 y 2009). Desde 2009 no hay cambios en el resultado promedio. (Table I.2.4a). Otros países latinoamericanos tienen avances notables: Perú, Argentina, Colombia. Avances modestos: Chile, Brasil, Uruguay. Aunque también hay retrocesos: Costa Rica. Interesante notar que, para el conjunto de países de la OCDE, la tendencia sea a bajar la calificación a lo largo de todo el período. La caída se acentuó en el último. La educación en ciencias en el mundo empeora. Solo mejoran los que parten de niveles bajos de calificación, e. g., México.

México tiene mala calificación promedio y dentro de lo malo, muy mal desempeño. México es consistentemente malo en su desempeño de ciencias en PISA. La calificación mediana es baja (414), al igual que su dispersión. Por ello se tienen calificaciones muy malas en el percentil menor, pero no buenas en el mayor. Las mejores calificaciones de México son las calificaciones medianas de no pocos países. Mientras que hay pocos países con peores resultados en las calificaciones bajas.

De manera práctica, puede decirse que la mitad de la población (46% hombres y 49% mujeres) están por debajo del nivel mínimo aceptable, nivel 2. Y no hay nadie en el nivel 6, de excelencia. Entre 2006 y 2015 mejoraron los peores, pero empeoraron los mejores. (Tables I.2.6a y I.2.6b).

Es notable y preocupante el nivel global de calificación de México, pero me parece más preocupante que no haya alumnos en los niveles de excelencia. Países con menores calificaciones tienen siempre alumnos de excelencia. México está en el primer sitio de países con cero alumnos en el nivel de excelencia de ciencias, lectura y matemáticas, 99.4% de alumnos están fuera de los tres niveles de excelencia. (Table I.2.9a). México ocupa el deshonroso quinto sitio antes del último, en el mundo, en alumnos con desempeño de excelencia en alguna de las disciplinas evaluadas.

Es más frecuente ser malo en todo que bueno en todo. Los alumnos que son excelentes en una materia, con frecuencia lo son en las otras dos. (42%). La inversa aplica con más rigor. El 71% de quienes son de bajo logro en una materia lo son también en las otras dos.

Pisa valora el nivel de ingreso por habitante para ajustar los resultados. Existe una correlación positiva, a mayor ingreso por habitante, mejor resultado. Sin culpar al poco gasto educativo, si México estuviese a la altura de lo que corresponde según su ingreso, la calificación debiera llegar a 452 puntos (frente a 416 obtenidos). Esto es, con lo que se tiene se puede hacer más.

Además, el status socioeconómico explica poco del mal desempeño en ciencias de los jóvenes mexicanos:

• Los estudiantes mexicanos obtienen malos resultados, cualquiera sea su condición socioeconómica y escuela a la que asistan. Claramente, los resultados manifiestan ineficiencias del sistema en su conjunto. Ocurre lo mismo en el caso de género. Son tan malos hombres como mujeres. (Cuadro I.1.3)
• Más de 53% de la población de los estudiantes que presentaron la prueba 2015 se encontraban en el decil inferior de la escala de status socio-económico, solo superados por Turquía. Los estudiantes más pobres tuvieron un desempeño similar al del promedio de la OCDE en su conjunto. Incluso en países como Bélgica, los estudiantes más pobres tuvieron peor desempeño que México. Sin embargo, a medida que se avanza en la escala de nivel socio-económico los resultados obtenidos se distancian de la media. El más lejano se encuentra en el decil más alto. (Table I.6.4a).
• México muestra la menor variación entre el conjunto de países en el resultado de la prueba al incrementar el nivel socio-económico. (Table I.6.17).
• De la misma manera, muestra el menor porcentaje de estudiantes llamados resilientes, esto es, aquellos de bajo nivel socio-económico y altas calificaciones. (Table I.6.17).
• A lo largo de los años en que se ha presentado la prueba ha disminuido el rendimiento de estudiantes de mejor nivel socioeconómico, sin que se haya deteriorado el de estudiantes de bajos recursos. Sin embargo, tampoco ha crecido el número de estudiantes de bajos recursos con buen desempeño. Hay una fuerte tendencia hacia la mediocridad generalizada. (I.6.17).

El estudio muestra una importante vinculación entre las creencias científicas y los resultados en la prueba. El trabajo idiosincrático, cultural que requiere ser hecho para trabajar en esta dirección es mayúsculo. Cómo hacer para que en la población en general predomine la explicación científica sobre el pensamiento mágico, cuando hay infinidad de elementos que operan en contra.

Evidentemente, modificaciones en el carácter cultural de la población requieren generaciones para cambiar y, en este caso, están asociadas con mayor educación generacional. ¿Será que tengan que transcurrir generaciones enteras para un cambio de mentalidad y alcanzar sociedades más racionales? A pesar de ello, México es de los países que mayor proporción de estudiantes reportaron estar interesados en seguir una carrera vinculada con la ciencia o la tecnología (más de 40%), comparado con el promedio de la OCDE, inferior a 25%. Además, entre 2006 y 2015, la proporción incrementó cerca de 10 puntos porcentuales. Es una extraordinaria condición de país que las autoridades están dejando perder, junto con el bono demográfico. (Fig.I.3.4).

A pesar de los malos resultados obtenidos, la actitud y disposición de los estudiantes mexicanos es de lo mejor en el mundo. Si no tienen buenos resultados, no es por falta de interés y deseos de aprender ciencias y matemáticas. Es claramente una falla del sistema. México es el país en el cual el mayor número de estudiantes respondió que disfrutan estudiar tópicos científicos (86%). Superior al promedio de la OCDE (63%).

El problema educativo se muerde la cola. México obtiene en el seno de la OCDE la menor calificación en ciencias. México tiene el menor ingreso per cápita del grupo, incluyendo Chile. Colombia y Costa Rica tienen menor ingreso y mejor calificación. El problema no es lineal. México, adicionalmente, presenta el menor gasto educativo acumulado en educandos entre 6 y 15 años de edad. A esto se suma que entre los estudiantes evaluados una gran mayoría se ubica en un bajo estrato socioeconómico y cultural (59%). Adicionalmente el país cuenta con la menor proporción de adultos entre 35 y 44 años con formación de educación terciaria. (Table I.2.11).

Por supuesto todo está interrelacionado. ¿Por dónde se comienza a desenredar la madeja?

Epílogo

Cobertura, calidad y excelencia son tres etapas clave en la problemática macro de la educación. Cada vez con mayor fuerza e importancia los tres momentos están calificados por la pertinencia.

La solución de cada etapa es creciente en complejidad, por ello no puede ser etapas sucesivas. Avanzan de manera simultánea, pero tienen distintos tiempos de solución. El orden de solución es el mostrado: cobertura, calidad, excelencia, y el aderezo, pertinencia.

México no ha logrado aún alcanzar a resolver la etapa uno: el problema de cobertura en el nivel medio superior, al que corresponden los jóvenes evaluados.

En los niveles medio y medio superior, México tiene una cobertura pobre de 62%, la más baja de la OCDE. En 2003, cuando inicia PISA, ocupaba el penúltimo sitio, 13 puntos por debajo del nivel actual. Solo superado por Turquía, con una cobertura de 36% de los jóvenes de 15 años. 12 años después Turquía duplicó su cobertura y se ubicó 7 puntos por encima de México.

Todos los países con excepción de México y Turquía han asegurado una cobertura superior a 80%. Sin embargo, Turquía mantiene un ritmo de crecimiento que le asegurará alcanzar o estar muy cerca de esta cota en la próxima edición, en tanto México ha estancado su cobertura desde 2009, y se ubica muy lejos de la mínima considerada satisfactoria por el conjunto de países de la Organización.

Es muy difícil que, si no se muestra capacidad para asegurar una cobertura satisfactoria, se cuente con elementos para garantizar que los estudios que se imparten tengan calidad internacional.

[1] http://www.oecd.org/pisa/aboutpisa/

[2] Todas las referencias a cuadros y gráficos se refieren a PISA 2015 Results (Volume I)

Excellence and Equity in Education, DOI:10.1787/9789264266490-en.

[3] http://www.compareyourcountry.org/pisa/country/MEX.

[4] Boletín UNAM-DGCS-839, Ciudad Universitaria. 14:45 hs. 6 de diciembre de 2016.

[5] http://www.milenio.com/politica/pisa-prueba_educativa-enrique_ochoa-felipe_calderon-educacion_mexico-milenio_0_862114124.html.

[6] http://www.milenio.com/politica/aurelio_nuno-prueba_pisa-educacion-cnte-carlos_puig-emergencia_0_862114210.html.

[7] (http://www.oecd.org/mexico/mexico-policy-priorities-to-upgrade-skills-and-knowledge-of-mexicans.pdf, pág.7).

Fuente:http://www.educacionfutura.org/como-ler-los-resultados-pisa-2015/

Imagen: ww.educacionfutura.org/wp-content/uploads/2016/12/PRUEBA-ENLACE.jpg