DORA, l'exploradora de la qualitat científica

L'índex de referència més utilitzat, el factor d'impacte d'una revista (Journal Impact Factor, JIF), està monopolitzat per Thomson Reuters, una companyia privada que des del 1975 publica el rànquing anual de revistes científiques. El JIF mesura el nombre de vegades que un article d'una revista ha estat citat com a mitjana en un any determinat. L'objectiu primigeni del JIF era identificar les revistes amb major influència, però amb el pas dels anys s'ha convertit en la mesura que permet valorar la qualitat científica, no únicament d'una revista, sinó també dels articles i dels propis investigadors. 

 

Gran part, per no dir la totalitat, de les polítiques universitàries i de les seves diferents agències de qualitat utilitzen feixugament aquest índex per establir la qualitat dels investigadors i dels grups de recerca, per mesurar la seva productivitat o per concedir les diferents acreditacions, augments de categoria o finançament. 

 

Una gran quantitat de científics, departaments i institucions internacionals porten alguns anys denunciant públicament la feblesa, les incongruències i el despropòsit que suposen aquest tipus de polítiques per avaluar la qualitat de la recerca i dels investigadors. Una de les plataformes que treballen des del 2012 per denunciar i explorar eines vàlides que permetin conèixer i avaluar amb transparència i màxima exactitud la qualitat científica es coneix amb el nom de DORA (San Francisco Declaration on Research Assessment).

 

Actualment, DORA compta amb el suport més de 12.300 investigadors i 527 organitzacions de tots els continents, dels quals únicament el 6% pertanyen a les disciplines de les humanitats i afins, mentre que el 94% formen part de disciplines de les ciències naturals. Sembla clar que els màxims usuaris del JIP són els més preocupats per la seva disfunció, mentre que les ciències socials i les humanitats han maldat per replicar recentment en els seus processos de qualitat una mètrica que comença a fer aigües i que demostra la seva ineptitud. 

 

L’objectiu principal de DORA és reformular la definició d'allò que anomenem qualitat investigadora més enllà de l'índex d'impacte. Segons els seus signants, un article publicat en una revista d'impacte no ha de ser assumit automàticament com a important o de qualitat. Únicament el 20% dels articles publicats en revistes d'impacte rep el 80% de les cites: “En altres paraules, el JIF no és representatiu de l'impacte d'un article individual” (Bladek, 2014). 

 

Per als signants de DORA, els resultats de recerca inclouen els articles científics, però no únicament. En les ciències socials i les humanitats, els monogràfics, els articles divulgatius o els informes -per citar-ne alguns- han de tenir un pes específic en l'avaluació de la qualitat. 

 

Des d'aquest punt de vista, proposen eliminar l'ús de les mètriques en aspectes relacionats amb el finançament o la promoció de projectes o investigadors i apunten la necessitat d'avaluar la recerca en funció dels seus mèrits, més que no pas en funció de la revista on s'ha publicat.

 

Els resultats de la recerca científica, i no únicament els articles publicats en revistes indexades, necessiten eines d'avaluació precises i prudents que contemplin la diversitat i la complexitat. En aquesta línia volem avançar els autors d'aquest article, com a professors dels Estudis de Ciències de la Informació i de la Comunicació de la UOC i membres del consell de redacció de la revista Anàlisi. 

 

No obstant això, és necessari que investigadors i institucions prenguem consciència i deixem de ballar l'aigua als ulls a les mètriques i als organismes oficials en veu alta, mentre en veu baixa ens armem de crítiques i raons que no som capaços de defensar i ni tan sols de difondre.