L’acumulació d’evidències sobre errors experimentals i d'anàlisi comesos en ciències naturals, socials i/o aplicades, constatats a partir de l'examen de reproduïbilitat dels resultats publicats en revistes científiques de prestigi comença a ser preocupant per a la comunitat científica. El fenomen demostra la manca de rigor en els processos de revisió peer-review, la manca de recursos en els sistemes d’avaluació qualitativa de les comissions d'experts així com certa propensió a l’error i a la laxitud en l’activitat investigadora quan aquesta està associada a la pressió per publicar i a la necessitat de reconeixement dels mèrits en el sistema científico-acadèmic. Diverses iniciatives s’estan desenvolupant per tal de neutralitzar l'allau de publicacions de resultats científics irreproduïbles. Es tracta de dissenyar sistemes d'avaluació oberta i de correcció de resultats amb l'objectiu d'assegurar la qualitat i la consistència del progrés del coneixement científic.
Una de les condicions del mètode científic és la reproduïbilitat dels resultats de l’experimentació. Si el fenomen observat no és espontani, teòricament sota les mateixes condicions i circumstàncies qualsevol altre investigador hauria d'obtenir els mateixos resultats. La comunicació o publicació dels resultats obtinguts en la investigació científica ha de facilitar el detall d’aquestes condicions, els paràmetres, les mesures i els indicadors emprats, els instruments específics, les tècniques i les metodologies d’anàlisi, etcètera, que han permès a l'investigador arribar a les conclusions que diu haver arribat.
El problema comença quan, tot i coneguts aquests detalls, ningú s'entreté a comprovar, replicar i/o testejar l'experiment i l'anàlisi de les dades efectuat i l'article acaba publicat en una revista científica teòricament de qualitat i prestigi. Si l'article mor en la revista o és llegit, comentat i/o citat sense major compromís o implicacions, com és l'habitual, no hi ha major problema. El desastre arriba quan aquests resultats publicats cauen en mans d'un científic professionalment rigorós o d'una empresa que vol fer negoci amb l'aplicació efectiva d'aquest coneixement.
What a load of rubbish
El fenomen ja és conegut de fa temps i no és el primer cop que es tracta amb preocupació des de diferents institucions governamentals, acadèmiques i empresarials.
El prestigiós setmanari Economist publicava el 6 de febrer del 2016 un interessant article “Let's just try that again” seguint la línia d'un article anterior publicat el 19 d'octubre de 2013 “How science goes wrong”, que es feia ressò de la creixent dimensió del problema i ho exemplificava en un examen de replicabilitat efectuat sobre els resultats de 98 articles de psicologia (publicats el 2015) encarregat a 90 equips d'investigadors coordinats per Brian Nosek de la Universitat de Virgínia, que va aconseguir replicar de forma satisfactòria els resultats de només el 39% dels estudis investigats. El percentatge és dramàticament baix i no és només exclusiu de ciències aplicades com la medicina.
La revista Nature publicava el 3 de febrer del 2016 un article similar “Reproducibility: a tragedy of errors”, que feia un sumari dels problemes associats a la manca de rigor en les publicacions científiques. Aquests problemes eren bàsicament que les revistes no són partidàries de rebre notificacions o de prendre accions apropiades un cop detectats errors, o carregar sobre els autors la responsabilitat d'aquests errors, o no existeixen mecanismes per demanar les dades en brut, etc.
Causes
Les causes del fenomen de l'alt percentatge d'irreproduïbilitat dels resultats de l'experimentació publicats poden identificar-se i classificar-se per la seva naturalesa activa o passiva.
Causes actives poden ser la competitivitat en ciència i la pressió per publicar, les exigències per la construcció d'un currículum i d'una carrera, certa propensió a l’error i a la laxitud en l’activitat investigadora quan aquesta està associada a la necessitat de reconeixement dels mèrits en el sistema científico-acadèmic o el maquillatge o eliminació de les dades que desvirtuen els resultats desitjats.
Causes de naturalesa passiva poden ser la tediosa feina de replicar i testejar experiments d'altres, a manca de rigor en els processo de revisió peer-review, la manca de recursos en els sistemes d’avaluació qualitativa de les comissions d'experts, els egos professionals o l'orientació dels ajuts econòmics per a la innovació en lloc d'estar orientats a la revisió i control de resultats.
La intensitat en el creixent aflorament de casos de resultats irreproduïbles ha acabat essent objecte de paròdies i satíra com les que fa el Journal of Irreproductible Results, una publicació que crida als científics per defugir la hipocresia, l'arrogància, els circumloquis i l'ostentació de la professió, una de les causes del fenomen.
Iniciatives
Assegurar la qualitat i la consistència del progrés del coneixement científic està en joc. Entre les iniciatives que s’estan desenvolupant per tal de neutralitzar l'allau de publicacions de resultats científics irreproduïbles i amb l'objectiu de dissenyar i afavorir sistemes d'avaluació oberta i de correcció de resultats, en destaquen dos.
The Preclinical Reproducibility and Robustness Channel es defineix com un repositori/plataforma de publicació oberta i transparent dels exàmens de reproduïbilitat, de confirmació i no confirmació en la investigació biomèdica. El canal vol proporcionar replicacions acumulades en laboratoris comercials o proporcionades per científics acadèmics, Està obert,per això. a tots els científics de l'acadèmia i la indústria amb l'objectiu de proporcionar un espai centralitzat perquè els investigadors comencen un diàleg obert, cosa que permetrà millorar la reproduïbilitat dels estudis.
L'institut METRICS Meta-Research Innovation Centre a Stanford, California, és un iniciativa singular que té per objecte la ciència forense de la ciència. El seu objectiu se centra en la transformació de les pràctiques d'investigació per a millorar la qualitat dels estudis científics en biomedicina i altres disciplines. Es tracta de testejar de forma sistemàtica la replicació dels resultats de la recerca d'alta qualitat, produir solucions que augmentin l'eficàcia i el valor de la investigació científica, ajudar a magnificar l'impacte dels acadèmics, legisladors i altres persones que treballen en qüestions d'investigació, millorar el discurs públic i avançar en el desenvolupament de polítiques i pràctiques, maximitzar l'ús de les millors pràctiques d'investigació, transformar les pràctiques d'investigació per a enfortir la base científica per a la presa de decisions informades.
Citació recomanada
CAVALLER, Víctor. Resultats irreproduïbles: la tragicomèdia dels errors. COMeIN [en línia], febrer 2016, núm. 52. ISSN: 1696-3296. DOI: https://doi.org/10.7238/c.n52.1613
