Cuando la ciencia se equivoca - Chequeado Skip to content
Esta nota tiene más de un año

Cuando la ciencia se equivoca

Hay una idea simple detrás de la Ciencia: “Confía, pero verifica”. Los resultados deberían siempre ser desafiados por experimentos. Esa idea simple pero poderosa generó un vasto cuerpo de conocimiento. Desde su nacimiento en el siglo XVII, la Ciencia moderna ha cambiado al mundo drásticamente, y en su gran mayoría para mejor.

Pero el éxito puede generar complacencia. Los científicos modernos están confiando mucho y no verifican lo suficiente, en detrimento de toda la Ciencia y de la humanidad.

Demasiados de los descubrimientos que se dan a conocer son el resultado de experimentos de poca calidad o análisis pobres. Una regla general entre los capitales emprendedores (venture capitalists) es que la mitad de las investigaciones publicadas no se pueden replicar. Incluso esta estimación puede ser optimista. El año pasado, investigadores de una compañía de biotecnología, Amgen, concluyeron que podían reproducir sólo seis de los 53 estudios más importantes de las investigaciones sobre el cáncer. Antes, un grupo de análisis de Bayer, una compañía de medicamentos, logró replicar sólo un cuarto de 67 papers importantes. Un científico de la computación se inquieta porque tres cuartos de los papers en su campo no tienen respaldo. Entre el año 2000 y 2010, alrededor de 80 mil pacientes fueron parte de pruebas clínicas basadas en investigaciones que después fueron descartadas por errores.

Incluso cuando las investigaciones fallidas no ponen en riesgo la vida de personas -y la mayoría no llegan a hacerlo- se desperdicia dinero y el esfuerzo de algunas de las mejores mentes. Los costos de oportunidad del progreso que se impide son difíciles de cuantificar, pero probablemente son enormes. Y podrían estar aumentando.

Una razón es la competitividad de la Ciencia. En los años ‘50, cuando la academia moderna tomó forma después de sus éxitos en la Segunda Guerra Mundial, la Ciencia todavía era la ocupación de unos pocos. La cantidad de científicos en el mundo llegaba apenas a unos cientos de miles. A medida que fueron creciendo -alrededor de 6 a 7 millones de investigadores según los últimos relevamientos-, los científicos han perdido el gusto por el automonitoreo y el control de calidad. La obligación de “publicar o morir” ha llegado a reinar sobre la vida académica. La competencia por los trabajos es feroz. Un profesor a tiempo completo en los Estados Unidos ganó en promedio US$135 mil en 2012 -más que los jueces-. Cada año, seis nuevos graduados de Phd pelean por un puesto académico. Actualmente la verificación de experimentos ajenos no genera grandes avances en la carrera de un investigador. Y sin verificación, hay resultados dudosos que siguen confundiendo.

La competencia también fomenta la exageración y la selección de los resultados. Para salvaguardar su exclusividad, las revistas líderes imponen altas tasas de rechazo: más del 90% de los manuscritos entregados. Los resultados más inesperados tienen las mayores chances de llegar a ser publicados. No es sorprendente que uno de cada tres investigadores conozca a algún colega que arregló un paper, haciendo cosas como excluir datos inconvenientes de los resultados. Y mientras más equipos alrededor del mundo trabajan sobre un problema, hay más posibilidades de que al menos uno caiga en la confusión honesta entre la señal de un descubrimiento genuino y la anomalía de un ruido estadístico. Las falsas correlaciones muchas veces quedan registradas en las revistas especializadas que buscan papers deslumbrantes. Si hablan sobre tomar vino, volverse senil o dejar que los niños jueguen a los videojuegos, pueden llegar también a las tapas de los diarios.

En cambio, los casos en los que no se logra demostrar una hipótesis, muy rara vez son presentados para publicar y menos aún aceptados. Los “resultados negativos” ahora representan sólo el 14% de los papers publicados, mientras que en 1990 eran el 30 por ciento. Sin embargo, saber qué es falso es tan importante como saber qué es verdadero. La falta de publicación de los fracasos hace que los investigadores gasten dinero y esfuerzos explorando callejones sin salida que ya fueron investigados por otros científicos que no publicaron sus investigaciones.

El sagrado proceso del referato (evaluación anónima de expertos de una investigación) tampoco es tan bueno como parece. Una importante revista médica envió a varios especialistas una investigación, avisándoles que era una prueba. La mayoría de los investigadores no identificó los errores que la revista había puesto a propósito.
Todo esto parecen ser fundamentos débiles para una actividad dedicada a descubrir la verdad del mundo. ¿Qué se puede hacer para mejorarla? Una prioridad tendría que ser que todas las disciplinas sigan los ejemplos de aquellas que han endurecido sus estándares. Un inicio sería entender las estadísticas, especialmente en el número de campos cada vez mayor que revisan cantidades enormes de estadísticas buscando patrones. Los genetistas lo hicieron y volvieron un cúmulo de estadísticas engañosas en un pequeño número de datos realmente significativos.

Idealmente los protocolos de investigación deberían estar registrados en forma previa y ser monitoreados digitalmente. Esto disminuiría la tentación de tocar el diseño del experimento para que los resultados parezcan más sólidos de lo que son (se supone que esto ya ocurre en las pruebas clínicas de drogas, pero el cumplimiento es débil). Donde sea posible, los datos de las pruebas también deberían ser abiertos para que otros investigadores puedan revisarlos y probarlos.

Las revistas más avanzadas ya son menos reticentes a publicar papers rutinarios. Algunas agencias de gobierno que financian investigaciones, incluyendo los Institutos Nacionales de la Salud de los Estados Unidos, que da US$ 30 mil millones para investigaciones cada año, están trabajando en cómo fomentar la replicabilidad para lograr solidez. Y un número cada vez más grande de científicos, especialmente los jóvenes, entienden las estadísticas. Pero esta tendencia tiene que ir mucho más allá. Las revistas especializadas tendrían que dedicar un espacio especial a trabajos “no interesantes”, y quienes entregan becas deberían destinar parte de sus fondos a financiarlo. Los sistemas de referato deberían ser endurecidos, o quizás terminar con ellos y reemplazarlos por evaluaciones post-publicación con comentarios incluidos en los apéndices. Ese sistema ha funcionado bien en los últimos años en ciencias como la Física y la Matemática. Por último, quienes diseñan las políticas deberían asegurar que las instituciones que reciben fondos públicos también respeten las reglas.

Todavía hay un enorme respeto por la Ciencia. Pero su estatus privilegiado está fundado en su capacidad de tener la razón la mayoría del tiempo y de corregirse cuando se equivoca. No faltan misterios genuinos para mantener a generaciones de científicos ocupados. Las falsas pistas que dejan las investigaciones poco rigurosas son una barrera imperdonable al conocimiento.

Fuente: The Economist – How science goes wrong – 19/10/2013
Traducción de Chequeado.com.

Chequeado.com reproduce textos aparecidos en otros medios cuando estos contribuyen a la verificación del discurso público.

Temas

Comentarios

  • Tomás Francisco12 de noviembre de 2013 a las 8:16 pmHola amigos de chequeado, muy bueno el artículo, lo que sí les recomiendo, y perdon por la corrección, pero el título está mal traducido, sería "Cómo la ciencia se equivoca", ya que el original en inglés es "How (como) Science Goes Wrong". Muchas gracias por los chequeos y saludos!!!
  • Mariano T.13 de noviembre de 2013 a las 1:26 amMuy buen artículo. Y ni pensemos lo que son los artículos, o incluso el diseño experimental, de experimentos de activistas tipo Seralini
  • Federico C.15 de noviembre de 2013 a las 1:41 pmPermítanme discrepar. Yo creo que la ciencia llegó a un nivel de eficiencia en las investigaciones y procesos realmente impensado hace 20 años. Sino cómo se entendería la aparición constante de productos en el mercado que aprovechan las bondades de la biotína, ceramidas, extracto de te verde y destellos de luz en shampooes y acondicionadores para pelo, o las partículas refrescantes, extractos de almendra, aceite de coco y hasta “Toque de Vino para piel aterciopelada” en jabones de tocador. Estamos viviendo la gloria de la ciencia en beneficio de la humanidad y al alcance de cualquier bolsillo.
  • franco197815 de noviembre de 2013 a las 7:37 pmtengo mis dudas
  • Estanislao16 de noviembre de 2013 a las 3:22 pmComo investigador en ciencia (matemática y física) puedo decir que la frase: "Los sistemas de referato deberían (...) reemplazarlos por evaluaciones post-publicación con comentarios incluidos en los apéndices. Ese sistema ha funcionado bien en los últimos años en ciencias como la Física y la Matemática." es como menos exagerada, cuando no una equivocación completa. Las revistas más prestigiosas de matemática, como Annals of Mathematics, Duke Mathematical Journal, Inventiones Mathematicae o Journal of the AMS por decir algo, NO utilizan el supuestamente innovador sistema aludido, sino que continúan usando el sistema de referato tradicional. De hecho no conozco ninguna revista en Física o matemática que utilize el nuevo sistema de evaluación mencionado. Podrían dar ejemplos? Por otro lado, concuerdo en que el sistema de referato es imperfecto, pero hay que tener en cuenta que al referee (i.e. quien hace el referato) NO se le paga por su trabajo (al menos en las disciplinas que mencioné).
  • Quien?19 de noviembre de 2013 a las 6:10 pmLa verdad es que más allá de la heterodoxa traducción que aquí se publica, el original publicado por The Economist es un artículo bastante pobre: si bien apunta correctamente algunos problemas (la no publicación de negativos, la presión por el número de publicaciones ) tiene errores terribles como confundir niveles de certeza con frecuencia estadística.

    Acuerdo que el sistema de referato es imperfecto, pero que el propuesto por el artículo es mejor es una hipótesis indemostrada sin demasiado sustento a priori. En algunas disciplinas es fácil mejorar el sistema (acompañar papers con código que funcione podría funcionar en computer science), pero en otras, salvo que tengas un acelerador de partículas, se complica un poco.
  • alberto197520 de noviembre de 2013 a las 9:22 pmEl problema principal es el propio sistema. Véase, sin ir más lejos, nuestro querido CONICET. A fin de mantener nuestras becas de investigación, estamos obligados a tener una importante producción de publicación, los cual, indefectiblemente, lleva a muchos de los problemas comentados. Hace rato que se le da demasiado peso a la cantidad.
    Con respecto a publicar lo que no resultó como lo esperado, eso es algo que lo vengo diciendo desde que comencé mis estudios (soy Biólogo de la UBA). Lamentablemente, por el momento, eso no va a suceder porque lo que el propio sistema exige, es otra cosa.
    Respecto a errores en las publicaciones o imposibilidad de replicación, eso ya lo vimos en diferentes materias en nuestra carrera hace más de 10 años. Espero que las cosas cambien alguna vez

Valoramos mucho la opinión de nuestra comunidad de lectores y siempre estamos a favor del debate y del intercambio. Por eso es importante para nosotros generar un espacio de respeto y cuidado, por lo que por favor tené en cuenta que no publicaremos comentarios con insultos, agresiones o mensajes de odio, desinformaciones que pudieran resultar peligrosas para otros, información personal, o promoción o venta de productos.

Muchas gracias

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *