Replicabilidad: ¿estamos condenados?

La replicabilidad es una de las características básicas a la hora de consolidar avances científicos. Cuando se publica un estudio, hay una serie de normas que garantizan que cualquiera podría repetir la investigación en las condiciones presentadas y obtener el mismo resultado; de esta manera su puede redundar en la solidez del estudio o detectar errores de cualquier tipo (incluso, en el peor de los casos, desenmascarar farsantes).

El año pasado la psicología sufrió un durísimo golpe en toda la replicabilidad. La sobradamente conocida revista Science publicaba los resultados del Reproducibility Project, empresa que consistió en tratar de replicar 100 estudios psicológicos. Sólo se reprodujeron satisfactoriamente 39, lo que nos recuerda que la psicología aún está en crisis (si es que alguna vez dejó de estarlo). No tardaron en surgir acusaciones cruzadas y respuestas que criticaban el estudio de replicabilidad.

¿Y qué hacemos con esto? Lo cierto es que el que escribe no forma parte de ningún grupo de investigación, así que desconozco el impacto que pudo tener esta noticia en el ámbito de la experimentación. Creo que este incidente es una muestra gigantesca del peligroso sistema en el que se ve envuelta la publicación científica. El famoso sesgo de publicación podría estar erosionando los robustos cimientos sobre los que la ciencia se va construyendo a sí misma; pero esto es un tema aparte sobre el que no discutiremos hoy.

Vale, estamos en crisis. Y no sólo nuestra disciplina, por lo visto es algo generalizado. En lo que a psicología se refiere, mi opinión es que hemos dejado que conceptos y teorías peregrinas se revistan de la potencia de la ciencia. Hemos permitido casos como éste, en el que algo llamado “depleción del ego” por lo visto controla el nivel de autocontrol humano. Hemos permitido que “filosofías milenarias orientales” se cuelen en publicaciones científicas. El psicoanálisis aún tiene cabida en las universidades, y no sólo como curiosidad histórica. Paradójicamente, nos hemos alejado tanto de la experimentación seria que sólo la experimentación nos puede salvar del lío en el que estamos. Esta entrada, lejos de ser una crítica hacia la investigación, trata de poner énfasis en la crucial importancia que tiene en el avance de la sociedad humana, y en la responsabilidad que tenemos todos los ciudadanos de facilitárselo. Desde el partido al que votas hasta los libros que compras, pasando por el psicólogo clínico al que vas, es responsabilidad de todos dejar de dar dinero a charlatanes y farsantes. Hay que evitar barbaridades como ésta.

Volviendo al tema principal; sí, parece haber un problema importante de replicabilidad. ¿Eso invalida todo lo que se ha hecho hasta ahora? Ni de lejos. Debería servirnos, eso sí, para leer con más detenimiento los papers que llegan a nuestra pantalla y ser aún más escépticos si cabe cuando algo en el diseño del experimento no termina de cuadrar. Hay que aumentar la cautela y no dejarse llevar por apellidos famosos o nombres rimbombantes, y parecernos más al investigador que puso en jaque toda esa teoría de la depleción del ego. También puede servir para que quienes aceptan publicaciones en revistas den valor a los estudios que replican otros, y no sólo a los que proponen resultados nuevos.

¿Estamos condenados? En absoluto. Del Reproducibility Project se pueden sacar interesantes lecturas positivas y debe servir para alentar al buen investigador, no para echarnos las manos a la cabeza y saquear el centro compercial más cercano.