La magnitud del problema se ha puesto de manifiesto hace poco en un proyecto llamado “Reproducibility of Psychological Science”. Han conseguido que 250 investigadores intenten reproducir 100 trabajos experimentales del campo de la psicología. Estudios de aquellos de cómo varía la capacidad de atención después de comer, si el color de la habitación afecta tu capacidad para recordar cosas o si encuentras más guapas las chicas en función de los niveles de corticosterona que tengas en sangre. Se trataba de hacer el mismo experimento y ver si se obtenía el mismo resultado. Incluso en muchos casos se hizo en colaboración con los mismo equipo que hizo el trabajo inicial.
Y el resultado ha sido que 61 de los 100 trabajos no se han podido reproducir.
Esto se puede interpretar de muchas maneras. Cuando menos, hay 39 trabajos que ya son algo más fiables, pero que pasa con el resto? Tan mal trabajan los psicólogos? Tengo que decir que sospecho que si el mismo estudio se hiciera en otros campos, los resultados quizás serían un poco mejores, pero no mucho más. En todo caso, muchas veces el trabajo no reproducía el resultado inicial, pero por problemas estadísticos. Para decidir si determinada cosa mejora la memoria hay que tirar de estadística. Y la estadística es puñetera. Algún investigador decía que los resultados habían sido similares en los dos casos, pero en el primer trabajo la estadística decía que la mejora era significativa y en el segundo caso decía que no. De forma que no todo es blanco o negro.
Sea como fuere, no se trata de buscar excusas sino de reconocer que hay un problema y que hay que encontrar soluciones. Cuando me decidí por estudiar el grado en psicología online, había ya leído bastante documentación al respecto y afrontaba mi carrera con algunas reservas, aunque convencido de lo que quería hacer. Pero he de decir, que por desgracia el sistema de publicaciones es demasiado perverso. A los equipos científicos se les somete a mucha presión para publicar trabajos novedosos, pero no para reproducir los trabajos de otros. La consecuencia es que todo el mundo intenta hacer cosas nuevas y muy de prisa, de forma que quizás no se hacen todos los grupos experimentales que haría falta, o se repite pocas veces el experimento o se hace con pocos pacientes, con pocas ratas o con pocos cultivos celulares.
Hay quién ve en todo esto una debilidad de la ciencia. Nos creemos o no nos creemos los estudios que publican los científicos? Pero en realidad es algo bueno para ir mirando atrás y verificando si lo hacemos bien o no. Comprobar, verificar, repetir, buscar errores, rectificar,… Constantemente vamos corrigiendo teorías y conocimientos y para hacerlo hay que ir poniendo a prueba todo lo que creemos, siempre. Esta es una de las principales diferencias con las pseudociencias, que nunca ponen en entredicho sus afirmaciones y creencias y que nunca rectifican.
Cuando menos, en el campo de la psicología experimental ahora ya estamos más seguros que hay 39 trabajos fiables y 24 más aproximadamente correctos. También sabemos que al resto había algún error y no los tenemos que dar por buenos.