Calidad de la Educación

Los primeros sistemas de evaluación que reconocemos como tales los establecieron las sociedades científicas inglesas a principios del siglo XIX. Pero esos revisores jamás pretendieron atribuirse el papel de guardines supremos de la ciencia. Este problema se planteó alrededor del año 1900. Fue entonces cuando algunos empezaron a preguntarse si los sistemas de evaluación eran inherentemente defectuosos. En este sentido, la evaluación por pares ha estado siempre en crisis.

Hoy, cuando el debate acerca del futuro de la revisión por pares está más tirante que nunca, es fundamental entender que se trata de una institución relativamente reciente. Además, sus afanes y propósitos han evolucionado continuamente, de modo que las tensiones actuales no hacen sino acarrear todas estas proyecciones. El sistema de evaluación se ha convertido en un batiburrillo de prácticas, funciones y valores. Pero hay algo que destaca por encima de todo lo demás: los momentos cruciales de la historia de la evaluación por pares se han dado precisamente cuando estaba renegociándose el estatus público de la ciencia.

Los publicistas científicos

En 1831, William Whewell, profesor y filósofo de la ciencia de Cambridge, propuso un plan a la Royal Society de Londres. Sugirió que esta institución encargara informes de todos los artículos recibidos para ser publicados en la revista bianual Philosophical Transactions. Redactados por equipos de reputados especialistas, esos informes, sostenía Whewell, “a menudo podrían ser más interesantes que los propios textos originales”, y por ende una gran fuente de publicidad para la ciencia.(1) Amén de esto, los autores estarían agradecidos por ver que sus trabajos habrían sido cuidadosamente leídos por al menos dos o tres personas. En ese mismo periodo, la sociedad estaba preparando una nueva revista que llevaría el nombre de Proceedings of the Royal Society, pensada como una publicación mensual muy barata que incluiría los resúmenes de los artículos recibidos. Tenía suficientes páginas disponibles y parecía el lugar idóneo para incluir esos nuevos informes.

En esa época, los editores de las revistas científicas tomaban las decisiones científicas guiándose por el crédito personal, a veces con la ayuda de colaboradores de confianza. En las publicaciones que pertenecían a una academia o sociedad científica –como Philosophical Transactions– el destino de un manuscrito lo determinaría el voto de algún comité de personas eminentes. (La tentación de confundir ese tipo de prácticas con los sistemas modernos de evaluación ha llevado al fastidioso mito de que pueden rastrearse los orígenes del actual sistema de revisión científica hasta el mismísimo siglo XVII).

La preocupación de Whewell no tenía que ver con impedir la publicación de trabajos de mala calidad; él no proponía establecer un nuevo mecanismo para informar acerca de las decisiones de publicación. En realidad él era uno más de los que propugnaban fórmulas para aumentar la visibilidad pública de la ciencia y dar una identidad unificada a la empresa científica en Inglaterra. (Años más tarde, se acuñó el término “científico” con este mismo fin). Este movimiento empezó en 1830 y hoy los recordamos sobre todo por el texto de Charles Babbage, Reflections on the Decline of Science in England, una extensa diatriba acerca de la penuria en la que estaban sumidos la financiación estatal y el reconocimiento público de la ciencia. Pero su legado más significativo es el sistema de revisión.

Whewell no hacía sino emular la costumbre ya centenaria de la Academia Francesa de las Ciencias de París de redactar informes que evaluaban las invenciones y los descubrimientos al servicio del rey. Allí, los investigadores elegidos para formar parte de la academia percibían una retribución estatal para premiar su eminencia científica, y parecía que los políticos valoraban sus opiniones. De hecho, ser un experto (una palabra todavía poco común en inglés) era casi por definición ser un redactor de informes. Whewell creyó que esos académiciens franceses debían estar haciendo algo bien.

La propuesta de convertir la Royal Society en un cuerpo de jueces peritos al estilo de la academia francesa fue recibida con entusiasmo. Pero la transferencia de la práctica redactora de informes al otro lado del Canal fue algo más complicado de lo que Whewell esperaba.

¿Novedades o puntos de vista?

Whewell convino en redactar el primer informe. Su colaborador fue un antiguo estudiante de Cambridge, John William Lubbock, un astrónomo matemático que a su vez era el tesorero de la Royal Society. Seleccionaron un manuscrito enviado por George Airy, otro prometedor astrónomo. El artículo, “On an Inequality of Long Period in the Motions of the Earth and Venus”, utilizaba métodos matemáticos complejos para calcular cómo las órbitas de estos planetas están influidas por su fuerza gravitacional mutua.

Whewell y Lubbock se fueron turnando para leer el manuscrito (las tecnologías de reproducción en esa época dejaban mucho que desear). Cada uno de ellos enseguida tuvo claro qué pensaba sobre el trabajo de Airy. Y sus opiniones resultaron ser completamente opuestas.

Discutieron sobre el artículo durante meses. Redactaron borradores de informes que no podrían haber divergido más en sus apreciaciones. Lubbock se centraba en la inelegancia formal de las ecuaciones de Airy. Pero las principales disputas giraron alrededor de en qué debía consistir un informe de un revisor. Whewell pretendía a la vez fomentar la difusión del hallazgo y contextualizar su importancia en el conjunto de la actividad científica (piénsese en lo que hacen hoy Nature en la sección “News & Views” [“Novedades y puntos de vista”] y Science en la de “Perspectives” [“Perspectivas”]). “No creo que el cometido de los informantes sea el de criticar aspectos concretos de un artículo sino mostrar qué lugar ocupa en la ciencia”, le decía a Lubbock. Si sólo se destacaban las debilidades, advertía, eso no haría más que desalentar a los autores. Las prioridades de Lubbock eran otras: “No puedo imaginarme cómo podemos pasar por alto errores graves», escribió.

Viendo que estaban en un impasse, Lubbock se dirigió al autor del texto para entregarle sus sugerencias de mejora. Airy estaba comprensiblemente irritado por el hecho de que hubieran sometido su manuscrito a este extraño nuevo procedimiento. “Todo está en mi artículo”, le escribió a Whewell, “y desearía que le otorgaran el crédito que merezco”. No tenía intención alguna de modificar su texto. Lubbock amenazó con abandonar, pero al final suavizó algunas de sus críticas y soslayó otras, reconociendo que se trataba del “primer informe que había realizado jamás el Consejo” y haciendo hincapié en el contexto en el que se desarrollaba ese cometido. Agradeció a Whewell “su vigoroso empeño” y puso su firma en el informe.(2)

Sorteado el desastre, la versión de Whewell del informe se leyó en público en la sociedad el 29 de marzo de 1832 y se publicó en los Proceedings, mientras que el artículo completo apareció en Transactions. Las críticas de Lubbock jamás vieron la luz.

Poco antes, la Astronomical Society de Londres (hoy la Royal Astronomical Society) y la Geological Society de Londres habían empezado a experimentar con la redacción de informes similares. Fue un geólogo, George Greenough, quien introdujo el término “árbitro” (“referee”) en 1817, importando al campo de la ciencia un término del que tuvo conocimiento en su época de estudiante de derecho.(3) Pero fue el sistema de informes de la Royal Society el que hizo tomar nota al mundo científico británico. La práctica fue extendiéndose gradualmente a otras sociedades, incluida la Royal Society de Edimburgo y la Linnean Society de Londres. Pero no fue hasta el siglo XX que las revistas no afiliadas a sociedad alguna lentamente fueron adoptando la misma metodología.

Jueces anónimos

La disputa entre Whewell y Lubbock representaba la existencia de dos visiones distintas sobre en qué puede consistir ser un árbitro. Whewell era el generalizador competente, capaz de echar una ojeada al paisaje del conocimiento. No le preocupaban los detalles, y probablemente menos aún desde una perspectiva crítica. En palabras del presidente de la Royal Society, este tipo de evaluadores “por su carácter y reputación se elevaban por encima de sus sentimientos personales de rivalidad o envidia mezquina”.(4) Lubbock era un especialista más joven, un igual de Airy. Esto le había llevado a revisar los argumentos de Airy con un exceso de celo; además, el sistema le había puesto en situación de poder evaluar a un competidor directo.

Al comienzo, salió victoriosa la idea de Whewell. Pero el sistema empezó a transformarse desde el mismo momento en que nació. Al cabo de un par de años los informes fueron envueltos en un manto de secretismo. El último número de los Proceedings que incluyó series de informes fue de mediados del año 1833, y nunca más se publicaron informes negativos. Una carta escrita por Whewell en 1836 muestra cómo él mismo había cambiado de opinión: describe al árbitro como el defensor de la reputación de la sociedad, afanándose anónimamente para excluir las publicaciones que no eran pertinentes. Ni los archivos de la Royal Society –ni los documentos personales de los implicados– arrojan luz sobre cómo ocurrió esto, pero no es algo que deba sorprendernos. En Inglaterra, a diferencia de la tradición francesa, había muy pocos precedentes de juicios realizados por autoridades públicas que desde una posición prominente determinaran qué constituía buena o mala ciencia. Firmar con el propio nombre para criticar explícitamente a un colega habría sido considerado poco caballeroso.

Lo común era la figura del crítico anónimo que se erigía como la voz del público, encarnada en las reseñas anónimas ubicuas en publicaciones periódicas inglesas durante ese periodo, desde la Quarterly Review hasta el modesto Mechanich’s Magazine (una práctica que perdura hoy en The Economist). Mediante el anonimato, como afirmó un editor no identificado en 1833, “el individuo se funde en el tribunal que él representa, para hablar no en su nombre sino ex cathedra (con plena autoridad)”.(5)

Sólo tuvo que transcurrir una década para que el árbitro (referee) se convirtiera en una personalidad científica institucionalizada, y no meramente en alguien que acreditara rasgos de nobleza. Una pieza informativa aparecida en una revista londinense en 1845 trazaba un retrato en el que los evaluadores eran unos jueces intrigantes “henchidos de envidia, odio, malicia y sin un ápice de caridad”. El artículo daba a entender que, escondidos en alguna cámara secreta, este poder judicial de la ciencia sacaba provecho del espeso manto del anonimato para que prosperaran sus intereses personales –quizá mediantes actos de piratería indetectables– a expensas de los indefensos autores.(6)

No fue hasta principios del siglo XX que empezó a cuajar la idea de que los editores y revisores, integrados en un vasto sistema de evaluación, debían ser los garantes de la integridad del conjunto de la literatura científica. Al socaire de las llamadas a limitar “que se arrojaran aguas sucias a la corriente pura de la ciencia” (como sugirió el fisiólogo Michael Foster en 1894),(7) las sociedades científicas inglesas debatieron cómo incorporar a sus procedimientos de publicación un sistema integrado de evaluación que arbitrara sobre la totalidad de sus publicaciones. (El proyecto se abandonó, en parte porque habría significado tener que convencer a los editores de las revistas independientes, como el Philosophical Magazine, para que aceptaran ir a la quiebra).

No obstante, la figura del evaluador fue concibiéndose gradualmente como una especie de guardián universal encargado de preservar el buen nombre de la ciencia. A medida que esta idea fue ganando terreno, muchos empezaron a expresar su preocupación por que el sistema pudiera ser intrínsecamente defectuoso, que pudiera acabar resultando un obstáculo para la creatividad científica y que, por eso mismo, mereciera ser eliminado. Estas preocupaciones culminaron en lo que a buen seguro fue la primera investigación formal sobre el funcionamiento del sistema de revisión mediante evaluadores, llevada a cabo en 1903 por la Geological Society de Londres. La investigación reveló que había división de opiniones sobre el asunto, recabando un buen número de declaraciones mordaces acerca de las injusticias e ineficiencias de los sistemas que estaban en boga. El “evaluador” o árbitro estaba en una situación de tal descrédito que se prohibió el uso del término para toda actividad propia de la citada sociedad.

Pero los sistemas de revisión mediante evaluadores sobrevivieron y fueron haciéndose hueco también en los procedimientos de las revistas independientes. Fuera del mundo científico anglófono, esos sistemas de evaluación seguían siendo raros. Por ejemplo, en 1932, Albert Einstein quedó muy sorprendido cuando una revista estadounidense le envió un artículo para que lo revisara. La idea de que cualquier revista que aspire a la legitimidad científica debe aplicar un sistema formal de revisión mediante evaluadores comenzó a afianzarse en las décadas posteriores a la Segunda Guerra Mundial.

Apoteosis y caída

En la década de 1960, este sistema de arbitraje simbolizó el juicio objetivo y el consenso en la ciencia. El evaluador era, en palabras del físico y escritor científico John Ziman, “el eje central sobre el que pivotaba toda la ciencia”.(8)Del mismo modo que había ocurrido en la década de 1830 en Inglaterra, en el transfondo de estos cambios estaba el problema de la relación de la ciencia con el gran público. De nuevo, la comunidad científica se afanaba por consolidar la percepción social de que su papel era único y valioso. La propia expresión «comunidad científica» data de esta época. Los investigadores querían a la vez preservar su autonomía y seguir contando con el apoyo de la próvida financiación estatal instituida desde la Segunda Guerra Mundial. Los fondos destinados a investigación básica en Estados Unidos, por ejemplo, se multiplicaron por 25 en menos de una década.(9)

La expresión “revisión por pares” (peer review) se tomó prestada de la jerga procedimental que utilizaban las agencias estatales para decidir la distribución de la financiación para la investigación científica y médica. Cuando los “sistemas de árbitro” se convirtieron en “sistemas de revisión por pares”, el proceso evaluador pasó a jugar el papel de gran símbolo público de la idea de que estos poderosos y caros investigadores del mundo natural disponían de procedimientos eficazmente autorreguladores y propiciadores de consensos, aun cuando algunos observadores se preguntaban en voz baja si los evaluadores científicos merecían tener tanto predicamento.

Los intentos actuales de reconceptualizar la revisión por pares debaten con razón acerca de los sesgos psicológicos, el problema de la objetividad y cómo medir lo que es fiable y de lo que es importante, pero suelen prestar poca atención a la diversidad de enfoques superpuestos que históricamente tuvo esta institución. La revisión por pares no se desarrolló simplemente por la necesidad de los científicos de promover la confianza mutua en sus investigaciones. También constituyó una respuesta a las demandas públicas de rendición de cuentas. Cualquier intento responsable de trazar la senda futura por la que debe transitar este asunto debe empezar por comprender cabalmente que en el pasado se aplicaron otras prácticas de juicio científico. Las funciones pensadas para esta institución están hoy en proceso de cambio, pero en realidad nunca estuvieron tan firmemente establecidas como muchos creen.

Notas:

(1) W. Whewell a P. M. Roget, 22 de marzo de 1831; Royal Society of London Library [DM/1].

(2) J. W. Lubbock to W. Whewell, 27 de enero de 1832; Trinity College Library, Cambridge [a/216/61].

(3) George Greenough Papers; University College London [Add. 7918/1621].

(4) Proc. R. Soc. Lond. 3, 140–155 (1832).

(5) New Monthly Magazine 39, 2–6 (1833).

(6) Wade’s London Rev. 1, 351–369 (1845).

(7) Nature 49, 563–564 (1894).

(8) Ziman, J. Public Knowledge: An Essay Concerning the Social Dimension of Science (Cambridge Univ. Press, 1968).

(9) Kaiser, D. Nature 505, 153–155 (2014).