Del 28 de setembre al 2 d’octubre s’ha celebrat la primera Peer Review Week dedicada al sistema de revisió que apliquen des de publicacions científiques fins a congressos internacionals que sotmeten a avaluació els treballs que els són presentats. La iniciativa (promoguda per les organitzacions ORCID, ScienceOpen, Sense About Science i Wiley) perseguia subratllar la importància d’aquest mecanisme per valorar la validesa d’estudis realitzats per acadèmics i investigadors. Les diverses activitats organitzades aquesta setmana han contribuït no sols a difondre i explicar aquest mecanisme d’avaluació científica, sinó també a reflexionar sobre quins factors haurien d’optimitzar-se per garantir i millorar la qualitat de les aportacions científiques.
La peer review, revisió per parells o per experts, és emprada per la comunitat científica per determinar la consistència de la metodologia aplicada, la validesa dels resultats assolits, la importància d’un estudi i l’impacte d’una investigació. Normalment, l’avaluació és el resultat de sotmetre a revisió d’un nombre variable d’experts del mateix àmbit un treball per tal que jutgi si aquest resulta valuós i contribueix a fer avançar la ciència. En la pràctica, existeixen diferents models o formes d’aplicar aquest sistema de peer review. Per exemple, segons el coneixement que es tingui dels subjectes que participen en el procés, es pot parlar d’una avaluació cega (simple o completa), que consisteix en ocultar des del nom dels avaluadors fins a la identitat dels autors i que implica mantenir l’anonimat en un model oposat al de revisió oberta. En funció del moment en què es realitza la peer review, es pot aplicar un model d’avaluació prèvia o posterior, per exemple, a la publicació de l’article o investigació. També es troben avenços i models híbrids o mixts que combinen en distintes fases diferents versions del peer review. En qualsevol cas, el resultat del procés pot ser des de l’acceptació del treball sotmès a revisió o el rebuig d’aquelles investigacions que es consideri que no tenen la qualitat científica desitjada, fins a la proposta de modificacions de major o menor envergadura per millorar un estudi que pot ser considerat vàlid i de potencial interès i impacte.
El procés de revisió per parells o experts està àmpliament estès i cada any milers de contribucions científiques resulten validades per aquest sistema. Així mateix, molts professionals es veuen involucrats i participen del model. Per posar un exemple, en la revista Anàlisi. Quaderns de Comunicació i Cultura (coeditada per la Universitat Oberta de Catalunya i la Universitat Autònoma de Barcelona), en el període 2013-2014 més de seixanta revisors participaren en els processos de peer review. El resultat de la seva avaluació va portar no solament a rebutjar alguns dels papers rebuts, sinó també a proposar millores i acceptar altres treballs, i això finalment es va materialitzar en els quatre números editats durant aquest període amb un total de vint-i-sis articles publicats.
La Peer Review Week 2015 ha facilitat a la societat apropar-se a aquest mode de procedir i aprofundir en algunes de les claus del funcionament de la comunitat científica actual. Això ha sigut gràcies a activitats programades per les organitzacions promotores a les què s’han sumat altres accions empreses per diversos col·lectius i personal acadèmic.
La campanya de difusió organitzada a través de Twitter, per mitjà de l’etiqueta #PeerRevWk15, ha permès compartir algunes de les actuacions desenvolupades. Gràcies a aquesta etiqueta es poden seguir, entre d’altres, actuacions de companyies editores que han aprofitat per explicar el seu model de revisió i, fins i tot, difondre guies per a la publicació a autors i revisors. També ha permès rescatar i recuperar estudis centrats en el propi procés d’avaluació científica (com l’enquesta desenvolupada per Sense About Science, Peer Review Survey 2009, que ajuda a conèixer la visió dels avaluadors sobre el procés de revisió), guies i recomanacions per a elaborar un bon informe de revisió, així com codis ètics i de conducta perquè siguin respectats pels avaluadors (entre ells, el proposat pel Committee on Publication Ethics, el COPE Ethical Guidelines for Peer Reviewers).
El caràcter multidisciplinari dels participants en la conversa generada ha afavorit reflexionar d’una manera més global sobre el procés i plantejar els avantatges i limitacions reals del model. Així, entre els problemes es poden al·ludir aquells derivats de la pròpia demora que es pot produir des de la generació dels resultats fins que es valida la contribució; els biaixos introduïts per interessos particulars dels diferents actors del procés; la falta de consistència de la valoració i autoritat dels avaluadors; l’absència de transparència en alguna de las etapes del procés o en les pròpies decisions adoptades; l’accés, disponibilitat i compromís dels reviewers, especialment quan aquests no reben cap retribució per la tasca realitzada; etc. Reconèixer els inconvenients del sistema resulta bàsic per plantejar un debat que permeti treballar per la millora del propi procés de revisió i en noves propostes de perfeccionament del model.
Els autors d’aquest article, professors dels Estudis de Ciències de la Informació i de la Comunicació de la UOC i membres del consell de redacció de la revista Anàlisi, ens sumem a la reflexió que permeti explotar les bondats de la revisió dels estudis, l’obertura de la discussió de les contribucions i la minimització dels biaixos que poden derivar-se del procés d’avaluació. Aquest compromís és coherent amb l’interès que ja vam expressar en el nostre anterior article, “DORA, l’exploradora de la qualitat científica”, això és, la voluntat d’estendre i aplicar eines d’avaluació a resultats d’estudis i investigacions, més enllà de les publicacions indexades, i de cercar noves mètriques que permetin valorar i garantir la qualitat científica.
Per a saber-ne més:
Llocs web dels promotors de la #PeerRevWk15: ORCID, ScienceOpen, Sense About Science y Wiley.
Citació recomanada
MARTÍNEZ MARTÍNEZ, Silvia; ARANDA, Dani; SÁNCHEZ-NAVARRO, Jordi; SIVERA, Sílvia. #PeerRevWk15 i la reflexió sobre els processos d’avaluació de la qualitat científica. COMeIN [en línia], octubre 2015, núm. 48. ISSN: 1696-3296. DOI: https://doi.org/10.7238/c.n48.1565
