Del 28 de septiembre al 2 de octubre, se ha celebrado la primera Peer Review Week dedicada al sistema de revisión que aplican desde publicaciones científicas hasta congresos internacionales que someten a evaluación los trabajos que les son presentados. La iniciativa (promovida por las organizaciones ORCID, ScienceOpen, Sense About Science y Wiley) perseguía subrayar la importancia de este mecanismo para valorar la validez de estudios realizados por académicos e investigadores. Las distintas actividades organizadas esta semana han contribuido no solo a difundir y explicar este mecanismo de evaluación científica, sino también a reflexionar sobre qué factores deben optimizarse para garantizar y mejorar la calidad de las aportaciones científicas.
Del 28 de septiembre al 2 de octubre, se ha celebrado la primera Peer Review Week dedicada al sistema de revisión que aplican desde publicaciones científicas hasta congresos internacionales que someten a evaluación los trabajos que les son presentados. La iniciativa (promovida por las organizaciones ORCID, ScienceOpen, Sense About Science y Wiley) perseguía subrayar la importancia de este mecanismo para valorar la validez de estudios realizados por académicos e investigadores. Las distintas actividades organizadas esta semana han contribuido no solo a difundir y explicar este mecanismo de evaluación científica, sino también a reflexionar sobre qué factores deben optimizarse para garantizar y mejorar la calidad de las aportaciones científicas.
La peer review, revisión por pares o por expertos, es empleada por la comunidad científica para determinar la consistencia de la metodología aplicada, la validez de los resultados alcanzados, la importancia de un estudio y el impacto de una investigación. Normalmente, la evaluación es el resultado de someter a revisión de un número variable de expertos del mismo ámbito un trabajo para que juzgue si este resulta valioso y contribuye a hacer avanzar la ciencia. En la práctica, existen diferentes modelos o formas de aplicar este sistema de peer review. Por ejemplo, según el conocimiento de los sujetos que participan en el proceso, se puede hablar de una evaluación ciega (simple o completa), que consiste en ocultar desde el nombre de los evaluadores hasta la identidad de los autores y que implica mantener el anonimato en un modelo opuesto al de revisión abierta. En función del momento en el que se realiza la peer review, se puede aplicar un modelo de evaluación previa o posterior, por ejemplo, a la publicación del artículo o investigación. También se encuentran avances y modelos híbridos o mixtos que combinan, en distintas fases, diferentes versiones del peer review. En cualquier caso, el resultado del proceso puede ser desde la aceptación del trabajo sometido a revisión o el rechazo de aquellas investigaciones que se considere que no tienen la calidad científica deseada, hasta la propuesta de modificaciones de mayor o menor envergadura para mejorar un estudio que puede ser considerado válido y de potencial interés e impacto.
El proceso de revisión por pares o expertos está ampliamente extendido y cada año son miles de contribuciones científicas las que resultan validadas por este sistema. Asimismo, son muchos los profesionales que se ven involucrados y participan del modelo. Por poner un ejemplo, en la revista Anàlisi. Quaderns de Comunicació i Cultura (coeditada por la Universitat Oberta de Catalunya y la Universitat Autònoma de Barcelona), en el periodo 2013-2014 más de sesenta revisores participaron en los procesos de peer review. El resultado de su evaluación llevó no solo a rechazar algunos de los papers recibidos, sino también a proponer mejoras y aceptar otros trabajos, lo que finalmente se materializó en los cuatro números editados durante ese periodo con un total de veintiséis artículos publicados.
La Peer Review Week 2015 ha facilitado a la sociedad acercarse a este modo de proceder y profundizar en algunas de las claves del funcionamiento de la comunidad científica actual. Ello ha sido gracias a actividades programadas por las organizaciones promotoras a las que se han sumado otras acciones emprendidas por distintos colectivos y personal académico.
La campaña de difusión organizada a través de Twitter, por medio del hashtag #PeerRevWk15, ha permitido compartir algunas de las actuaciones desarrolladas. Gracias a esta etiqueta se pueden seguir, entre otras, actuaciones de compañías editoras que han aprovechado para explicar su modelo de revisión e incluso difundir guías para la publicación a autores y revisores. También ha permitido rescatar y recuperar estudios centrados en el propio proceso de evaluación científica (como la amplia encuesta desarrollada por Sense About Science, Peer Review Survey 2009, que ayuda a conocer la visión de los evaluadores sobre el proceso de revisión), guías y recomendaciones para elaborar un buen informe de revisión, así como códigos éticos y de conducta para que sean respetados por los evaluadores (entre ellos, el propuesto por el Committee on Publication Ethics, el COPE Ethical Guidelines for Peer Reviewers).
El carácter multidisciplinar de los participantes en la conversación generada ha favorecido reflexionar de manera global sobre el proceso y plantear las ventajas y limitaciones reales del modelo. Así, entre los problemas se pueden aludir aquellos derivados de la propia demora que puede producirse desde la generación de los resultados hasta que se valida la contribución; los sesgos introducidos por intereses particulares de los diferentes actores del proceso; la falta de consistencia de la valoración y autoridad de los evaluadores; la ausencia de transparencia en alguna de las etapas del proceso o en las propias decisiones adoptadas; el acceso, disponibilidad y compromiso de los reviewers, especialmente cuando estos no reciben ninguna retribución por la tarea realizada; etc. Reconocer los inconvenientes del sistema resulta básico para plantear un debate que permita trabajar para la mejora del propio proceso de revisión y en nuevas propuestas de perfeccionamiento del modelo.
Los autores de este artículo, profesores de los Estudios de Ciencias de la Información y de la Comunicación de la UOC y miembros del consejo de redacción de la revista Anàlisi, nos sumamos a la reflexión que permita explotar las bondades de la revisión de los estudios, la apertura de la discusión de las contribuciones y la minimización de los sesgos que puedan derivarse del proceso de evaluación. Este compromiso es coherente con el interés que ya expresamos en nuestro anterior artículo, “DORA, la exploradora de la calidad científica”, esto es, la voluntad de aplicar herramientas y mecanismos de evaluación a resultados de estudios e investigaciones, más allá de las publicaciones indexadas, y de buscar nuevas métricas que permitan valorar y garantizar la calidad científica.
Para saber más:
Sitios web de los promotores de la #PeerRevWk15: ORCID, ScienceOpen, Sense About Science y Wiley.
Cita recomendada
MARTÍNEZ MARTÍNEZ, Silvia; ARANDA, Dani; SÁNCHEZ-NAVARRO, Jordi; SIVERA, Sílvia. #PeerRevWk15 y la reflexión sobre los procesos de evaluación de la calidad científica. COMeIN [en línea], octubre 2015, núm. 48. ISSN: 1696-3296. DOI: https://doi.org/10.7238/c.n48.1565
