¿Qué es la replicabilidad y por qué está en crisis?

Los manuscritos científicos prefabricados que provienen de paper mills (fábricas de manuscritos) han generado una situación desfavorable en la academia. Ha debilitado la calidad de los artículos así como puesto en riesgo su credibilidad. De la misma forma, ha orillado a científicos a prácticas perjudiciales como dividir artículos en entregas más pequeñas e incompletas para mantener un ritmo de publicación determinado. Pero existe una consecuencia que está afectando la base de la producción científica: la crisis de la replicabilidad.

El término, también conocido como reproducibilidad o replicación, se refiere a la capacidad de repetir un experimento en diferentes situaciones, con diferentes sujetos e investigadores. Esto con el fin de comprobar la seguridad de los hallazgos del primer experimento y comprobar su viabilidad.

La razón por la que los artículos académicos prefabricados amenazan la replicabilidad de estudios, trabajos de investigación y experimentos es porque no se realizan dentro de una estructura operacional para producir conocimiento, sino de una para crear productos para académicos que están tratando de llenar una cuota de publicación. Los datos provenientes de un paper mill pueden ser producto de plagio, estar incompletos, alterados, manipulados o sesgados con la intención de respaldar la tesis de quien ordena el trabajo.

Ciencia sin comprobación

¿Podemos hablar de conocimientos válidos cuando la comprobación como paso del método científico está inhabilitada? La pregunta ha inquietado a académicos desde hace por al menos una década ante la alarmante realidad de una ciencia sin vías de fiabilidad. La producción científica ha tenido problemas con la comprobación desde antes de que los manuscritos prefabricados tuvieran su periodo de auge.

Alvaro de Menard, investigador académico de ciencias sociales y participante del proyecto de mercados de la replicación a cargo de la Agencia de Proyectos de Investigación y Defensa Avanzada (DARPA por sus siglas en inglés), ofrece una perspectiva precisa pero desalentadora con respecto al estado de la replicación en las ciencias.sociales. Los procesos que llevan a resultados poco fiables son rutinarios, están bien entendidos dentro de la comunidad académica, son predecibles y fáciles de evitar, sostiene de Menard, y a pesar de esto el rigor de la investigación científica no ha mejorado.

La conversación sobre estos aspectos de la producción científica se han discutido ampliamente, pero no ha generado aún una estructura para la producción y divulgación más rigurosa, que facilite el ejercicio de la comprobación. La ciencia falible sigue publicándose en diarios científicos.

El papel de la revisión por pares

La comunidad académica tiene mucha confianza en la última instancia de validación antes de publicar un artículo. La revisión por pares ha sido el bastión para defender la calidad técnica de los trabajos de investigación y el sistema ético sobre el cual basan la credibilidad del conocimiento producido. Sin embargo, no ha sido del todo efectiva para separar a los contenidos replicables, de los que no lo son.

Sería fácil pensar que los monitores académicos tendrían la capacidad de realizar esta labor sin problema, pero un estudio de la Universidad del Noroeste, en Evanston Illinois, comprueba lo contrario. La investigación realizada por los profesores Yang Yang, Wu Youyou y Brian Uzzi encontró que no existe correlación entre la replicabilidad de un estudio, su publicación y cuántas veces sería citado. De acuerdo con los autores, los artículos falibles circulan tanto como los comprobables.

No basta con solo rigor

La mayoría de las conversaciones acerca de la crisis de replicabilidad giran en torno a protocolos. Se considera principalmente qué medidas tomar para controlar la proliferación de artículos apresurados, prefabricados o con un proceso de revisión de pares que no detectó su falibilidad.

Ante esta priorización, un aspecto clave para garantizar la replicabilidad queda desatendido: la comunicación. Las probabilidades de repetir determinado experimento disminuye exponencialmente cuando se está trabajando con descripciones vagas o instrucciones difíciles de comprender, el problema se vuelve más grave cuando se trata de reproducir un experimento escrito en otro idioma.

Con esta problemática en mente, la prensa Nacional de las Academias, en Estados Unidos, publicó una serie de recomendaciones para facilitar la lectura de manuscritos de investigación y experimentos. El organismo recomienda a los investigadores incluir una descripción clara de cómo alcanzaron sus resultados. Los reportes deberán incluir detalles sobre el tipo adecuado de investigación, que deberán cubrir:

• Descripción completa y concisa de todos los métodos, instrumentos, materiales, procedimientos, mediciones y demás variantes utilizadas para el estudio.

• Un desglose claro del análisis de datos y decisiones para la exclusión de determinados datos y la exclusión de otros.

• Para resultados que dependan de una inferencia estadística. Una explicación de las decisiones analíticas correspondientes, cuándo fueron tomadas esas decisiones y si el estudio a realizar era con fines exploratorios o de confirmación.

• Una discusión sobre las restricciones generales, tales como qué aspectos metodológicos los autores consideran que podrían ser cambiados sin alterar el resultado, el cual debe permanecer constante.

• Un reporte de la precisión de las estadísticas empleadas.

• Una discusión acerca de la incertidumbre de las mediciones, resultados e inferencias.

A pesar del complicado panorama, algunos académicos pronostican un periodo de mejora consecuente al problema de la baja reproducibilidad, pero para esto es necesario hacer el trabajo y cubrir las áreas de oportunidad que esta problemática plantea. ¿Eres académico? ¿Te has topado con estudios que no son replicables? ¿Cuáles son tus impresiones? ¿Qué sugerirías para mitigar esta situación dentro de la academia? Cuéntanos en los comentarios.

Fuente e imagen: observatorio.tec