Cuando la ciencia se equivoca

Hay una idea simple detrás de la Ciencia: “Confía, pero verifica”. Los resultados deberían siempre ser desafiados por experimentos. Esa idea simple pero poderosa generó un vasto cuerpo de conocimiento. Desde su nacimiento en el siglo XVII, la Ciencia moderna ha cambiado al mundo drásticamente, y en su gran mayoría para mejor.

Pero el éxito puede generar complacencia. Los científicos modernos están confiando mucho y no verifican lo suficiente, en detrimento de toda la Ciencia y de la humanidad.

Demasiados de los descubrimientos que se dan a conocer son el resultado de experimentos de poca calidad o análisis pobres. Una regla general entre los capitales emprendedores (venture capitalists) es que la mitad de las investigaciones publicadas no se pueden replicar. Incluso esta estimación puede ser optimista. El año pasado, investigadores de una compañía de biotecnología, Amgen, concluyeron que podían reproducir sólo seis de los 53 estudios más importantes de las investigaciones sobre el cáncer. Antes, un grupo de análisis de Bayer, una compañía de medicamentos, logró replicar sólo un cuarto de 67 papers importantes. Un científico de la computación se inquieta porque tres cuartos de los papers en su campo no tienen respaldo. Entre el año 2000 y 2010, alrededor de 80 mil pacientes fueron parte de pruebas clínicas basadas en investigaciones que después fueron descartadas por errores.

Incluso cuando las investigaciones fallidas no ponen en riesgo la vida de personas -y la mayoría no llegan a hacerlo- se desperdicia dinero y el esfuerzo de algunas de las mejores mentes. Los costos de oportunidad del progreso que se impide son difíciles de cuantificar, pero probablemente son enormes. Y podrían estar aumentando.

Una razón es la competitividad de la Ciencia. En los años ‘50, cuando la academia moderna tomó forma después de sus éxitos en la Segunda Guerra Mundial, la Ciencia todavía era la ocupación de unos pocos. La cantidad de científicos en el mundo llegaba apenas a unos cientos de miles. A medida que fueron creciendo -alrededor de 6 a 7 millones de investigadores según los últimos relevamientos-, los científicos han perdido el gusto por el automonitoreo y el control de calidad. La obligación de “publicar o morir” ha llegado a reinar sobre la vida académica. La competencia por los trabajos es feroz. Un profesor a tiempo completo en los Estados Unidos ganó en promedio US$135 mil en 2012 -más que los jueces-. Cada año, seis nuevos graduados de Phd pelean por un puesto académico. Actualmente la verificación de experimentos ajenos no genera grandes avances en la carrera de un investigador. Y sin verificación, hay resultados dudosos que siguen confundiendo.

La competencia también fomenta la exageración y la selección de los resultados. Para salvaguardar su exclusividad, las revistas líderes imponen altas tasas de rechazo: más del 90% de los manuscritos entregados. Los resultados más inesperados tienen las mayores chances de llegar a ser publicados. No es sorprendente que uno de cada tres investigadores conozca a algún colega que arregló un paper, haciendo cosas como excluir datos inconvenientes de los resultados. Y mientras más equipos alrededor del mundo trabajan sobre un problema, hay más posibilidades de que al menos uno caiga en la confusión honesta entre la señal de un descubrimiento genuino y la anomalía de un ruido estadístico. Las falsas correlaciones muchas veces quedan registradas en las revistas especializadas que buscan papers deslumbrantes. Si hablan sobre tomar vino, volverse senil o dejar que los niños jueguen a los videojuegos, pueden llegar también a las tapas de los diarios.

En cambio, los casos en los que no se logra demostrar una hipótesis, muy rara vez son presentados para publicar y menos aún aceptados. Los “resultados negativos” ahora representan sólo el 14% de los papers publicados, mientras que en 1990 eran el 30 por ciento. Sin embargo, saber qué es falso es tan importante como saber qué es verdadero. La falta de publicación de los fracasos hace que los investigadores gasten dinero y esfuerzos explorando callejones sin salida que ya fueron investigados por otros científicos que no publicaron sus investigaciones.

El sagrado proceso del referato (evaluación anónima de expertos de una investigación) tampoco es tan bueno como parece. Una importante revista médica envió a varios especialistas una investigación, avisándoles que era una prueba. La mayoría de los investigadores no identificó los errores que la revista había puesto a propósito.
Todo esto parecen ser fundamentos débiles para una actividad dedicada a descubrir la verdad del mundo. ¿Qué se puede hacer para mejorarla? Una prioridad tendría que ser que todas las disciplinas sigan los ejemplos de aquellas que han endurecido sus estándares. Un inicio sería entender las estadísticas, especialmente en el número de campos cada vez mayor que revisan cantidades enormes de estadísticas buscando patrones. Los genetistas lo hicieron y volvieron un cúmulo de estadísticas engañosas en un pequeño número de datos realmente significativos.

Idealmente los protocolos de investigación deberían estar registrados en forma previa y ser monitoreados digitalmente. Esto disminuiría la tentación de tocar el diseño del experimento para que los resultados parezcan más sólidos de lo que son (se supone que esto ya ocurre en las pruebas clínicas de drogas, pero el cumplimiento es débil). Donde sea posible, los datos de las pruebas también deberían ser abiertos para que otros investigadores puedan revisarlos y probarlos.

Las revistas más avanzadas ya son menos reticentes a publicar papers rutinarios. Algunas agencias de gobierno que financian investigaciones, incluyendo los Institutos Nacionales de la Salud de los Estados Unidos, que da US$ 30 mil millones para investigaciones cada año, están trabajando en cómo fomentar la replicabilidad para lograr solidez. Y un número cada vez más grande de científicos, especialmente los jóvenes, entienden las estadísticas. Pero esta tendencia tiene que ir mucho más allá. Las revistas especializadas tendrían que dedicar un espacio especial a trabajos “no interesantes”, y quienes entregan becas deberían destinar parte de sus fondos a financiarlo. Los sistemas de referato deberían ser endurecidos, o quizás terminar con ellos y reemplazarlos por evaluaciones post-publicación con comentarios incluidos en los apéndices. Ese sistema ha funcionado bien en los últimos años en ciencias como la Física y la Matemática. Por último, quienes diseñan las políticas deberían asegurar que las instituciones que reciben fondos públicos también respeten las reglas.

Todavía hay un enorme respeto por la Ciencia. Pero su estatus privilegiado está fundado en su capacidad de tener la razón la mayoría del tiempo y de corregirse cuando se equivoca. No faltan misterios genuinos para mantener a generaciones de científicos ocupados. Las falsas pistas que dejan las investigaciones poco rigurosas son una barrera imperdonable al conocimiento.

Fuente: The Economist – How science goes wrong – 19/10/2013
Traducción de Chequeado.com.

Chequeado.com reproduce textos aparecidos en otros medios cuando estos contribuyen a la verificación del discurso público.