Ciencia bajo sospecha

No conviene creer todo lo que se lee, aunque venga acompañado de frases como «según un estudio de» (habitualmente seguida del nombre de  una universidad) y «publicado en» (también usualmente seguida del nombre de una prestigiosa publicación científica o académica). Es una máxima que lleva varios años cobrando fuerza -sobre todo tras la retirada por diversas razones, y con más o menos escándalo, de artículos que en su día pasaron filtros de publicación supuestamente estrictos-, y esta semana ha ganado aún más peso.

El jueves aparecieron en la revista Science las conclusiones de un proyecto desarrollado desde el 2011 en el que 270 expertos de la psicología (muchos de ellos voluntarios) han reproducido 100 estudios en ese campo -rigurosamente y con la colaboración de los autores originales-. Solo en 36 de los casos han logrado reproducir los resultados, que habían aparecido en el 2008 en las tres principales publicaciones especializadas. El porcentaje de éxito baja al 25% cuando se han intentado repetir los resultados de experimentos en psicología social. Incluso cuando se lograron reproducir los resultados, estos eran un 50% más débiles que en el experimento original.

Un proceso

Marcia McNutt, la directora de Science, alertaba esta semana de que «el estudio no debe tomarse como la última palabra en el tema de la reproducibilidad, sino como un principio». También Brian Nosek, el profesor de la Universidad de Virginia que puso en marcha el proyecto precisamente para descubrir si el problema de la publicación de ciencia dudosa era extendido en su campo, ha recordado que «la ciencia es un proceso de reducción de incertidumbre y ningún estudio es casi nunca un resultado definitivo en sí mismo».

En la comunidad de psicólogos incluso se busca la óptica positiva y Alan Kraut, director de la Asociación de Ciencia Psicológica y responsable de una de las publicaciones donde aparecieron los estudios originales, le ha dicho a The New York Times que «este tipo de correcciones tienen que pasar en todos los campos científicos» y se ha mostrado «orgulloso de que sea la psicología la que toma la delantera».

Sus palabras no han logrado evitar las críticas de quienes cuestionan la psicología como ciencia, y aunque el estudio  no ha encontrado evidencias de fraude ni de datos falsos y ahonda solo en el tema de la dificultad de reproducir resultados, ha reactivado también la atención a otros problemas crecientes en el campo de las publicaciones científicas, médicas y académicas.

Artículos retirados

En los últimos meses ha habido un goteo constante de retiradas de decenas de artículos de publicaciones científicas tras descubrirse problemas con los datos, la revisión de los textos (proceso que en algunos casos se ha convertido en un oscuro negocio) e incluso fraude. Y no son casos aislados, sino tendencia con antecedentes, como el caso de The Lancet, que en el 2010 retiró el estudio en que Andrew Wakefield vinculó vacunas y autismo, o el de Nature, que en el 2014 hizo lo mismo con dos artículos de un equipo de investigadores japoneses liderados por Haruko Obokata que usó datos e imágenes falsos para presentar un método de creación de células madre.

Según datos de Retraction Watch, un blog que analiza estas retiradas, desde el 2010 años han subido entre el 20% y el 25%, alcanzado una media de 500 o 600 artículos al año. Anualmente se publican cerca de 1,5 millones de estudios.

Los propios científicos e investigadores llevan tiempo alertando de que hay elementos que alimentan los problemas, como la hipercompetitividad o la necesidad de obtener resultados llamativos para ser publicado y facilitar promoción o subvenciones... Como decía ayer en The Guardian Marcus Munafo, profesor en Bristol, «lo que hace falta para ser un académico de éxito no necesariamente coincide con lo que hace falta para ser un buen científico».