Así se elaboran los rankings mundiales de universidades

Por: Shirabe Masashi

El Gobierno de Abe Shinzō se ha fijado, como una de las metas cuantificables que guiarán su política universitaria, situar al menos 10 universidades japonesas entre las 100 que comandan los rankings mundiales. Pero, ¿es esa una meta correcta? Un investigador que conoce a fondo los criterios utilizados en los rankings nos previene contra una excesiva fe en estas mediciones.

Los rankings penetran en las políticas de ciencia y tecnología

El periódico Nihon Keizai Shimbun publicó en su edición matinal del 2 de noviembre de 2015 un artículo impactante, que informaba de que el Gobierno de Japón había decidido introducir en la quinta etapa del Plan Básico de Ciencia y Tecnología, plan rector de la política del país en esos campos durante los próximos cinco años, metas cuantificables para medir los resultados, y que una de las mediciones concretas que se realizarían sería la posición que ocupan las universidades japonesas en los rankings mundiales.

En la propuesta presentada el 10 de diciembre, juntamente con el informe sobre el Plan Básico, por el Comité de Estudios Especializados para el Plan Básico (órgano del Consejo de Política Científica, Tecnológica e Innovación), la expresión que aparece no es “rankings mundiales de universidades” sino “comparaciones internacionales entre universidades”, pero si con esto se pretende significar lo primero, nos vemos obligados a decir que esta decisión no va a atajar el problema.

La idea de introducir en las políticas oficiales de nuestro país esos rankings como metas cuantificables cuajó por primera vez en la Estrategia de Revitalización de Japón, y ahí es donde encontramos el origen del error que se está cometiendo ahora.

A la citada estrategia vino a sumarse el objetivo ideado y hecho público en junio de 2013 por el Consejo de Competitividad Industrial de colocar, a lo largo de los próximos 10 años, 10 universidades japonesas entre las 100 que encabezan los rankings mundiales. Este es el curso que ha seguido la idea de introducir dichos rankings entre las metas de planes, programas, políticas y medidas oficiales.

Rankings que favorecen a las universidades más grandes

Actualmente, los tres rankings más ampliamente difundidos son el Ranking Académico Mundial (ARWU) que comenzó a publicar la Universidad de Shanghai Jiao Tong en 2003, los World University Rankings (Rankings THE) de la revista Times Higher Education, desde 2004, y los QS World University Rankings la compañía QS, desde 2010^(*1).

Sin embargo, personalmente, creo que el primero de ellos el ARWU no debe ser tenido en cuenta. Tengo varias razones, pero creo que lo que más estropea este ranking es el hecho de que el 90 % de los factores que conforman la puntuación están definidos de forma que, supuesta la igualdad en el resto de los factores, resultan proporcionales al tamaño de la universidad.

El ranking está hecho de una forma tan extraña que si, por ejemplo, fundiéramos las siete instituciones japonesas que antiguamente formaban la Universidad Imperial (Teikoku Daigaku), obtendríamos quizás la universidad número 1 del mundo. Los otros rankings citados, el THE y el QS, si bien en menor medida que el ARWU, cojean del mismo pie, pues el principal elemento que se tiene en cuenta en las puntuaciones, la reputación, depende^(*2) igualmente del tamaño de la universidad.

Los rankings THE y QS se elaboran siguiendo un método similar y sus resultados tienden a parecerse mutuamente, aunque tampoco son totalmente iguales, como se ha visto este año en el hecho de que, mientras que el THE incluía solo dos universidades japonesas entre las 100 mejores del mundo, el QS daba el pase a cinco. También se dan en estos rankings algunos fenómenos difíciles de explicar, como que la institución en la que trabajo, el Instituto Tecnológico de Tokio, haya logrado encaramarse este año hasta el puesto 56 en el QS, mientras que en el THE ha sufrido una fuerte caída hasta quedar relegada al bloque 201-250.

Por muy similares que puedan ser los métodos de cálculo, se trata de rankings elaborados desde perspectivas diferentes y, por tanto, es lógico que los resultados no sean los mismos. Es, precisamente, esa variación que puede ocurrir en función del punto de vista adoptado lo que caracteriza a estos rankings y a cualquier otra forma de valoración. Pero, aun conviniendo lo anterior, sigue habiendo en ellos algo que no convence del todo.

La errónea idea de que el desconocimiento perjudica a los centros japoneses en los rankings

La Tabla 1 muestra los indicadores que son objeto de valoración y el peso relativo o porcentaje que se concede a cada indicador en el cómputo general en los rankings THE y QS. Como se ve, en un ranking hay más indicadores que en el otro, pero ambos coinciden en otorgar el mayor peso relativo a la encuesta en la que se pregunta por la reputación de las universidades. Los siguientes indicadores que más influyen sobre la valoración final son los que incluyen la frecuencia de cita^(*3), es decir, el número de veces que son citados los trabajos académicos (tesis, etcétera) producidos por esas universidades. A partir de lo anterior se suele señalar que podría ocurrir que el bajo nivel de conocimiento de las universidades japonesas estuviera condicionando muy negativamente su valoración.

Tabla 1 Criterios utilizados en los rankings y sus pesos relativos

THE

Categoría	Indicador	Peso relativo
Docencia	Encuesta sobre reputación	15 %
	Razón docentes/alumnos	4,5 %
	Razón doctorados/graduados	2,25 %
	Razón doctorados/personal docente	6 %
	Ingresos institucionales	2,25 %
Investigación	Encuesta de reputación	18 %
	Ingresos por investigaciones	6 %
	Razón trabajos presentados/investigador	6 %
Número de citas	Citas por trabajo	30 %
Internacionalidad	Razón alumnos extranjeros/nacionales	2,5 %
	Razón docentes extranjeros/nacionales	2,5 %
	Proporción de trabajos en colaboración internacional	2,5 %
Ingresos recibidos de las empresas	Razón ingresos industriales/personal docente	2,5 %

QS

Indicador	Peso relativo
Reputación académica	40 %
Reputación entre las empresas	10 %
Razón alumnos/docentes	20 %
Razón citas/docente	20 %
Proporción de alumnos extranjeros	5 %
Proporción de docentes extranjeros	5 %

THE, paralelamente, hace público cada primavera una serie de rankings que tienen en cuenta solo la reputación. Sus resultados nos revelan que, al menos en lo que se refiere a la Universidad de Tokio y a la de Kioto, es falsa la idea de que se están viendo perjudicadas. El siguiente gráfico muestra, en el eje de abscisas (horizontal) los resultados obtenidos en la encuesta de reputación y en el de ordenadas (vertical) la puntuación total obtenida por las 50 universidades que ocupan las primeras posiciones en el ranking THE de 2014. La curva muestra la regresión logarítmica. Las universidades que aparecen situadas en la parte interior de la curva son aquellas cuya reputación fue valorada, proporcionalmente, por encima de la puntuación total que obtuvieron. Las que están en el caso contrario (peor reputación en proporción a la puntuación total) quedan en la parte exterior de la curva. Se ve claramente que las dos universidades citadas, marcadas en color amarillo, lejos de resultar perjudicadas por la encuesta de reputación, se han beneficiado de ella.

Cambio de criterios produce fuerte bajada de las universidades japonesas

Los resultados de los rankings elaborados por THE y QS para 2015 trajeron grandes variaciones para las universidades japonesas, especialmente el primero de ellos. En el THE, la Universidad de Tokio bajó del puesto 23 al 43, la de Kioto del 59 al 88 y el Instituto Tecnológico de Tokio cayó del puesto 141 a la banda comprendida entre el puesto 201 y el 250. La Universidad de Osaka, que estaba en el 157, cayó a la banda 251-300 y la Universidad de Tohoku (165) a la 201-250. La debacle afectó, pues, a todas las universidad japonesas. En el ranking QS, si exceptuamos el Instituto Tecnológico de Tokio y la Universidad de Waseda, que ascendieron, el resto perdió muchas posiciones. Esta variación refleja un cambio en el método de calcular el número de veces que fueron citados los trabajos académicos producidos por cada universidad, que es el segundo indicador más valorado, después de la reputación.

Hasta ahora, en el ranking QS no se tenían en cuenta las grandes diferencias en el número de citas recibidas existentes entre un campo de investigación y otro. 2015 fue el primer año en que se tuvo en cuenta este hecho, procediéndose a hacer una rectificación (compensación numérica). A consecuencia del cambio, descendió el influjo relativo de campos como las ciencias de la vida o la medicina, ascendiendo el de otros campos como la ingeniería. Todo ello quedó reflejado en los resultados finales.

Por su parte, el ranking THE, en el apartado del número de citas, venía haciendo una rectificación numérica por país^(*4) que tenía en cuenta el influjo de su lengua, cultura, etcétera. En esa misma edición de 2015 se moderó, hasta reducirla a la mitad, la magnitud de la rectificación que se venía haciendo. Fruto de este cambio, las puntuaciones en el apartado de “citas recibidas” de las universidades japonesas, que se sitúan por debajo de la media mundial, experimentaron, sin excepción, un fuerte bajón. En el ranking THE se introdujeron otros muchos cambios además del que afecta al número de citas recibidas y resulta difícil hacerse una idea precisa de cómo afectan al resultado cada uno de esos cambios.

Se comprenderá, en vista de todos estos hechos que vengo exponiendo, que estos rankingsmundiales que varían de tal forma en virtud de los planteamientos de quienes los elaboran no deberían causarnos una impresión demasiado honda ni para bien ni para mal, no deberían influir nuestras actuaciones, y menos aún deberían llevarnos a convertir la posición que nuestras universidades ocupan en ellos en objetivos cuantificables de nuestras políticas. Dicho lo cual, quisiera llamar la atención sobre la penosa situación en la que se encuentra la universidad japonesa, una realidad subyacente en todos estos rankings.

Las universidades asiáticas van a dar alcance a las japonesas

Impulsado por la lectura de cierto artículo periodístico, quien suscribe estas líneas recogió, el pasado otoño, una serie de datos de la base de datos bibliográficos Scopus. Los resultados los muestro en la Tabla 2 , que expone⁽⁵⁾ el número de trabajos académicos que fueron citados más de 1.000 veces por universidades⁽6).

Tabla 2　Número de trabajos citados más de 1.000 veces

	Publicados entre 2000 y 2014	Publicados entre 2008 y 2014
Universidad de Tokio	74	19
Universidad de Kioto	47	9
Universidad de Pekín (China)	14	8
Universidad Nacional de Singapur	31	16

Vemos que durante el largo periodo que va desde el año 2000 hasta prácticamente el momento presente (2014) la posición ocupada en el contexto de Asia por las dos universidades japonesa es muy destacada. Sin embargo, la medición para el periodo 2008-2014 nos indica que las principales universidades asiáticas, que últimamente están recibiendo un fuerte apoyo estatal, podrían estar próximas a dar alcance a las japonesas. Otros muchos datos apuntan a esa misma posibilidad. Sería deseable que las universidades japonesas obtuviesen un apoyo oficial similar.

Los rankings mundiales de universidad presentan numerosos problemas en sí mismos, pero muchos indicativos y otros datos relacionados que se ocultan tras ellos podrían estar señalándonos hechos que merece la pena analizar seriamente.

Fotografía del titular
El Auditorio Yasuda de la Universidad de Tokio (izquierda) y el Pabellón Memorial de la Torre del Reloj, de la Universidad de Kioto (derecha).

(*1) ^ Hasta 2009, la compañía QS colaboraba en la elaboración del Ranking THE, pero la colaboración terminó ese año y desde 2010 elabora sus propios rankings.

(*2) ^ De hecho, si el Instituto de Tecnología de California, número 1 en el ranking THE en 2015 y 2016 no obtuvo un buen puesto en el ranking específico de reputación fue, probablemente, por su pequeño tamaño.

(*3) ^ La forma de entender la estandarización del número de citas difiere entre THE y QS y esta es la causa de las grandes diferencias en los puestos que ocupan las universidades japonesas en uno y otro ranking.

(*4) ^ No se ha explicado suficientemente en qué consiste esta rectificación por país, lo cual supone un problema.

(*5) ^ El método que se sigue habitualmente no considera las citas en número absolutos sino en porcentajes, pero los trabajos citadas más de 1.000 veces merecen una consideración especial. Además, en tanto sea alto ese número, cabe pensar que la investigación realizada en ese trabajo es líder en su campo. No obstante, debido a la gran cantidad de factores que intervienen, la medición no deja de ser un indicativo aproximado.

(*6) ^ Debe tenerse en cuenta que, al haberse hecho las búsquedas por observación ocular de los nombres de las universidades, cualquier error o deficiencia en la anotación ha podido afectar al cómputo.

*Articulo tomado de: http://www.nippon.com/es/in-depth/a05102/#auth_profile_0