Ranking renqueante

Renquear significa cojear a causa de alguna disfunción en el pie o la cadera. Eso es precisamente lo que les ocurre a algunos de los numerosos rankings que pretenden identificar la excelencia dentro de un determinado sistema universitario pero que, a fuerza de simplificar la realidad que analizan, acaban perdiendo el equilibrio... y la perspectiva. El U-Ranking constituye el penúltimo ejemplo de estos rankings renqueantes.

El pasado mes de marzo se presentó la cuarta edición del U-Ranking, una iniciativa impulsada por la Fundación BBVA y por el Instituto Valenciano de Investigaciones Económicas (Ivie) para sintetizar en un índice los logros en docencia, en investigación y en innovación y desarrollo tecnológico de las universidades españolas. El departamento de comunicación de la Fundación BBVA lanzó el 31 de marzo una nota de prensa presentando los resultados de esta nueva edición del ranking, que fueron ampliamente divulgados tanto por los medios de comunicación tradicionales como a través de los social media. Como suele ocurrir en estos casos, las universidades que aparecen mejor posicionadas en el ranking apoyaron su difusión generando sus propias notas de prensa, mientras que las peor situadas contribuyeron igualmente a multiplicar el impacto de la noticia con sus quejas y autojustificaciones.

En general, los rankings tienen un poderoso atractivo mediático puesto que contribuyen a que una realidad compleja sea fácilmente abordable en el marco de las restrictivas rutinas productivas del periodismo y pueda ser explicada de forma muy inteligible al reducirla, en esencia, a una narración de héroes y villanos o, si se prefiere, de ganadores y perdedores. Además, permiten que cada medio destaque aquel dato que mejor encaja con su orientación editorial y/o territorial: "La Pompeu de Barcelona es la mejor y la San Jorge de Zaragoza, la peor" (El Mundo); "Tres universidades catalanas lideran el ranking de mejores campus españoles" (El Periódico de Catalunya); "La Universidad San Jorge, la peor de España según un estudio" (El Periódico de Aragón); "Las mejores universidades rinden tres veces más que las peores" (La Razón); "Cataluña y Valencia lideran el ranking de mejores universidades" (ABC); "El podio lo ocupa la Universidad Pompeu Fabra" (El País); "Visto desde una perspectiva regional, el sistema universitario extremeño solo mejora al de La Rioja" (Hoy); "La Universidad de Navarra, número uno en docencia en España según U-Ranking 2016" (Europa Press); "Las 34 universidades españolas que más investigan son públicas" (Expansión); "Las universidades canarias suspenden en rendimiento docente e investigador" (La Provincia); "La Universidad de Vigo está por encima de la media nacional en rendimiento investigador" (El Faro de Vigo); "La UIB tiene el quinto sistema investigador más potente del país" (Diario de Mallorca); "El sistema universitario catalán, el más potente de España" (La Vanguardia); "Las universidades vascas por debajo de la media española" (El Correo); "Las universidades catalanas dominan un sistema estancado" (Cinco Días); "Un estudio sitúa a la universidad gallega octava en el ranking nacional" (La Voz de Galicia)...

Un proceso electoral o una competición deportiva generan rankings de forma natural. El desempeño de un sistema universitario no los genera de por sí, pero pueden crearse artificiosamente. Sin embargo, la artificiosidad con que se generan los rankings universitarios conlleva de forma consustancial cierta discrecionalidad y, en el peor de los casos, incluso no poca arbitrariedad. Considerar unos indicadores específicos y obviar otros determina los resultados. Incluso cuando los indicadores considerados pueden parecer pertinentes y adecuados, darles mayor o menor peso puede decantar la balanza en sentidos opuestos. No sorprende, pues, que de forma muy habitual los rankings de universidades sean fuertemente criticados y sus resultados abiertamente cuestionados. Tampoco sorprende que una universidad pueda obtener posicionamientos muy dispares en uno y otro ranking.

Con todo, lo cierto es que estos rankings acaban teniendo un peso cada vez mayor en la construcción de la reputación de las universidades. Tanto es así que, ahora hace justamente una década, el estadounidense Institute for Higher Education Policy y el International Ranking Expert Group (IREG) impulsado por el Centro Europeo para la Enseñanza Superior de la UNESCO (UNESCO-CEPES) elaboraron conjuntamente una serie de recomendaciones destinadas a potenciar las buenas prácticas en la elaboración y la difusión de los rankings centrados en instituciones de educación superior. Son los llamados Berlin Principles on Ranking of Higher Education Institutions, que toman el nombre la ciudad donde se celebró el segundo congreso del IREG entre el 18 y el 20 de mayo de 2006.

El primero de estos principios ya es en sí mismo, valga la redundancia, toda una declaración de principios puesto que establece que la finalidad de tales rankings es aportar un enfoque complementario para valorar a las universidades pero que "no deberían ser el principal método de evaluación de lo que la educación superior es y hace". Desgraciadamente, no es fácil encontrar rankings académicos que respeten escrupulosamente los dieciséis Principios de Berlín. Aunque el U-Ranking se jacta de atender a dichos principios, existen diversas evidencias de que en realidad no lo hace.

El tercer principio, por ejemplo, establece que las universidades que están siendo analizadas deberían ser consultadas a menudo por los impulsores del ranking que las clasifica. En cambio, una queja recurrente de las universidades peor tratadas por el U-Ranking es que éste se ha llevado a cabo a sus espaldas. Pero no es solo un tema de quejas: hay muestras muy claras de la poca fluidez comunicativa entre los artífices de este ranking y las universidades que son objeto del mismo.

Lo ilustraré con un caso que me toca de cerca porque afecta a mi universidad, la Universitat Oberta de Catalunya (UOC). Según el panel de indicadores difundido por los autores del U-Ranking, la información relativa al presupuesto de la UOC era un información "no disponible". Lo cierto, no obstante, es que dicha información no solo está a total disposición de los investigadores que elaboran el U-Ranking sino que, de hecho, es accesible para cualquier persona interesada dado que se divulga a través del portal de transparencia de la UOC. No parece muy razonable que la escasa pericia mostrada por los artífices del ranking a la hora de hallar un determinado dato y/o la negligencia evidenciada al no solicitarlo directamente a la universidad afectada acabe penalizando a dicha universidad, ¿verdad? Pues ocurre.

El cuarto principio de Berlín alerta sobre la necesidad de clarificar el alcance de las fuentes de información empleadas y de los mensajes generados por cada una de esas fuentes. Pero el U-Ranking, que tiene en cuenta únicamente a 61 de las 84 universidades integrantes del sistema universitario español, enmascara esta limitación afirmando que esas 61 universidades "representan más del 95% del sistema universitario, si se considera su alumnado o su producción investigadora", cuando lo cierto es que en términos absolutos apenas suponen el 73% de las universidades españolas. Es obvio que no es lo mismo ocupar la última posición respecto a la totalidad de las universidades del sistema que respecto a las 61 mejores (o más transparentes).

De hecho, para las universidades con peores índices de calidad, la mejor opción puede ser volar por debajo del radar, dado que su reputación no se verá tan dañada por el hecho de no aparecer en el U-Ranking como lo sería si apareciesen en sus posiciones más bajas. Lógicamente, así no se contribuye a propiciar la muy deseable transparencia del sistema universitario, sino más bien a lo contrario.

El décimo principio de Berlín hace referencia a la necesidad de garantizar la objetividad e imparcialidad en la recogida y el empleo de los datos. En el caso del U-Ranking y según sus propias proclamas, “la responsabilidad sobre los indicadores presentados y las conclusiones derivadas de los mismos corresponde solo al equipo del Ivie”. El problema es que, desde 2013, el Ivie es un centro de investigación adscrito a la Universitat de València, que es una de las universidades evaluadas por el ranking (posicionada, por cierto, en el puesto número 4, igual que la Universidad Miguel Hernández de Elche).

De hecho, en la página web del Instituto Valenciano de Investigaciones Económicas se explicita que, “para el desarrollo de sus investigaciones, el Ivie trabaja en estrecha colaboración con las universidades valencianas” y se mencionan en este sentido, además de la Universitat de València, la Universidad de Alicante y la Universitat Jaume I (ambas empatadas en la 5 posición del ranking). La Universitat Politècnica de València, a su vez, ocupa una segunda posición en el U-Ranking. No hay motivo para dudar de que las cinco universidades públicas valencianas merezcan estar –todas ellas– en el top 5 del ranking, pero lo cierto es que el hecho de que el Ivie sea al mismo tiempo juez y parte no contribuye a la percepción de imparcialidad requerida.

Por otra parte, el decimocuarto principio de los Berlin Principles recomienda contar con órganos consultivos y supervisores, preferentemente con participación internacional. Sin embargo, todos los asesores del U-Ranking se adscriben únicamente a catorce universidades españolas. Al menos siete de ellos, además, pertenecen a universidades valencianas, claramente sobrerrepresentadas pues.

Y así podríamos seguir, largamente, evidenciando otros incumplimientos de lo principios de Berlín. Lo visto hasta ahora, no obstante, basta para poder concluir que, de hecho, el U-Ranking incumple el metaprincipio de los Berlin Principles (integrado también en el décimo principio): "Prestar la atención debida a los estándares éticos y a las recomendaciones de buenas prácticas articulados en estos principios".