Es un hecho probado que las instituciones académicas, los institutos de investigación y las diferentes agencias de calidad científica confían y se entregan cada vez más a las métricas y a los diferentes índices de impacto para valorar los resultados científicos de sus investigadores y de la calidad de sus revistas.
El índice de referencia más utilizado, el factor de impacto de una revista (Journal Impact Factor, JIF), está monopolizado por Thomson Reuters, una compañía privada que desde 1975 publica el ranking anual de revistas científicas. El JIF mide el número de veces que un artículo de una revista ha sido citado como media en un año determinado. El objetivo primigenio del JIF era identificar las revistas con mayor influencia, pero con el paso de los años se ha convertido en la medida que permite valorar la calidad científica, no únicamente de una revista sino también de los artículos y los propios investigadores.
Gran parte, por no decir la totalidad, de las políticas universitarias y de sus diferentes agencias de calidad utilizan torpemente este índice para establecer la calidad de los investigadores y grupos de investigación, para medir su productividad o para conceder las diferentes acreditaciones, aumentos de categoría o financiación.
Una gran cantidad de científicos, departamentos e instituciones internacionales llevan algunos años denunciando públicamente la debilidad, las incongruencias y el despropósito que suponen este tipo de políticas para evaluar la calidad de la investigación y de los propios investigadores. Una de las plataformas que trabajan desde el 2012 para denunciar y explorar herramientas válidas que permitan conocer y evaluar con transparencia y máxima exactitud la calidad científica se conoce con el nombre de DORA (San Francisco Declaration on Research Assessment).
Actualmente, DORA cuenta con el apoyo más de 12.300 investigadores y 527 organizaciones de todos los continentes, de los cuales únicamente el 6% pertenecen a las disciplinas de las humanidades y afines, mientras que el 94% forman parte de disciplinas de las ciencias naturales. Parece claro que los máximos usuarios del JIP son los más preocupados por su disfunción, mientras que las ciencias sociales y las humanidades se han afanado en replicar recientemente en sus procesos de calidad una métrica que empieza a hacer aguas y que demuestra su ineptitud.
El principal objetivo de DORA es reformular la definición de eso que llamamos calidad investigadora más allá del índice de impacto. Según sus firmantes, un artículo publicado en una revista de impacto no debe automáticamente asumirse como importante o de calidad. Únicamente el 20% de los artículos publicados en revistas de impacto recibe el 80% de las citas: “En otras palabras, el JIF no es representativo del impacto de un artículo individual” (Bladek, 2014).
Para los firmantes de DORA, los resultados de investigación incluyen los artículos científicos, pero no únicamente. En las ciencias sociales y las humanidades, los monográficos, los artículos divulgativos o los informes -por citar algunos- deben tener un peso específico en la evaluación de la calidad.
Desde este punto de vista, proponen eliminar el uso de las métricas en aspectos relacionados con la financiación o la promoción de proyectos o investigadores y apuntan la necesidad de evaluar la investigación en función de sus méritos, más que en función de la revista donde se ha publicado.
Los resultados de la investigación científica, y no únicamente los artículos publicados en revistas indexadas, necesitan herramientas de evaluación, precisas y prudentes, que contemplen la diversidad y la complejidad. En esta línea queremos avanzar los autores de este artículo, como profesores de los Estudios de Ciencias de la Información y de la Comunicación de la UOC y miembros del consejo de redacción de la revista Anàlisi.
Sin embargo, es necesario que investigadores e instituciones tomemos conciencia y dejemos de bailar el agua a las métricas y a los organismos oficiales en voz alta, mientras en voz baja nos armamos de críticas y razones que no somos capaces de defender y ni tan solo difundir.
Cita recomendada
ARANDA, Dani; SIVERA, Sílvia; MARTÍNEZ MARTÍNEZ, Silvia; SÁNCHEZ-NAVARRO, Jordi. DORA, la exploradora de la calidad científica. COMeIN [en línea], mayo 2015, núm. 44. ISSN: 1696-3296. DOI: https://doi.org/10.7238/c.n44.1534
