Rànquing ranquejant

Ranquejar vol dir caminar ranc, és a dir, amb una pota esguerrada. Això és justament el que els passa a alguns dels nombrosos rànquings que pretenen identificar l'excel·lència dins d'un determinat sistema universitari però que, a força de simplificar la realitat que analitzen, acaben perdent l'equilibri... i la perspectiva. L'U-Ranking en constitueix el penúltim exemple.

El passat mes de març es va presentar la quarta edició de l'U-Ranking, una iniciativa impulsada per la Fundación BBVA i per l'Instituto Valenciano de Investigaciones Económicas (Ivie) per sintetitzar en un índex els assoliments en docència, en recerca i en innovació i desenvolupament tecnològic de les universitats espanyoles. El departament de comunicació de la Fundación BBVA va llançar el 31 de març una nota de premsa presentant els resultats d'aquesta nova edició del rànquing, que van ser àmpliament divulgats tant pels mitjans de comunicació tradicionals com a través dels social media. Tal com sol ocórrer en aquests casos, les universitats que apareixen millor posicionades en el rànquing van potenciar-ne la difusió generant les seves pròpies notes de premsa, mentre que les pitjor situades van contribuir igualment a multiplicar l'impacte de la notícia amb les seves queixes i autojustificacions.

En general, els rànquings tenen un poderós atractiu mediàtic atès que afavoreixen que una realitat complexa sigui fàcilment abordable en el marc de les restrictives rutines productives del periodisme i pugui ser explicada de forma força intel·ligible en reduir-la, en essència, a una narració d'herois i vilans o, si es prefereix, de guanyadors i perdedors. A més, permeten que cada mitjà destaqui aquella dada que millor encaixa amb la seva orientació editorial i/o territorial: "La Pompeu de Barcelona es la mejor y la San Jorge de Zaragoza, la peor" (El Mundo); "La Universidad San Jorge, la peor de España según un estudio" (El Periódico de Aragón); "Las mejores universidades rinden tres veces más que las peores" (La Razón); "Cataluña y Valencia lideran el ranking de mejores universidades" (ABC); "El podio lo ocupa la Universidad Pompeu Fabra" (El País); "Visto desde una perspectiva regional, el sistema universitario extremeño solo mejora al de La Rioja" (Hoy); "Tres universitats catalanes lideren el rànquing de l'educació superior espanyola" (Ara); "La Universidad de Navarra, número uno en docencia en España según U-Ranking 2016" (Europa Press); "Las 34 universidades españolas que más investigan son públicas" (Expansión); "Las universidades canarias suspenden en rendimiento docente e investigador" (La Provincia); "La Universidad de Vigo está por encima de la media nacional en rendimiento investigador" (El Faro de Vigo); "La UIB tiene el quinto sistema investigador más potente del país" (Diario de Mallorca); "El sistema universitari català, el més potent d'Espanya" (La Vanguardia); "Las universidades vascas por debajo de la media española" (El Correo); "Las universidades catalanas dominan un sistema estancado" (Cinco Días); "Catalunya té el millor sistema universitari de l’Estat" (El Punt Avui); "Un estudio sitúa a la universidad gallega octava en el ranking nacional" (La Voz de Galicia)...

Un procés electoral o una competició esportiva generen rànquings de forma natural. Els assoliments d'un sistema universitari no els genera per si mateix, però poden crear-se artificiosament. No obstant això, l'artificiositat amb què es generen els rànquings universitaris comporta de forma consubstancial certa discrecionalitat i, en el pitjor dels casos, fins i tot no poca arbitrarietat. Considerar uns indicadors específics i obviar-ne d'altres determina els resultats. Fins i tot quan els indicadors considerats poden semblar pertinents i adequats, donar-los major o menor pes pot decantar la balança en sentits oposats. No sorprèn, doncs, que de forma molt habitual els rànquings d'universitats siguin fortament criticats i els seus resultats obertament qüestionats. Tampoc no sorprèn que una universitat pugui obtenir posicionaments molt dispars en un i un altre rànquing.

Tot i això, la veritat és que aquests rànquings acaben tenint un pes cada vegada més gran en la construcció de la reputació de les universitats. Tant és així que, ara fa justament una dècada, l'estatunidenc Institute for Higher Education Policy i l'International Ranking Expert Group (IREG) impulsat pel Centre Europeu per a l'Ensenyament Superior de la UNESCO (UNESCO-CEPES) van elaborar conjuntament una sèrie de recomanacions destinades a potenciar les bones pràctiques en l'elaboració i la difusió dels rànquings centrats en institucions d'educació superior. Són els anomenats Berlin Principles on Ranking of Higher Education Institutions, que prenen el nom la ciutat on es va celebrar el segon congrés de l'IREG entre el 18 i el 20 de maig de 2006.

El primer d'aquests principis ja és en si mateix, valgui la redundància, tota una declaració de principis atès que estableix que la finalitat dels rànquings acadèmics és aportar un enfocament complementari per valorar les universitats però que "no haurien de ser el principal mètode d'avaluació del que l'educació superior és i fa". Desgraciadament, no és fàcil trobar rànquings universitaris que respectin escrupolosament els setze Principis de Berlín. Encara que l'U-Ranking es vana d'atendre'ls, tenim diverses evidències que en realitat no ho fa.

El tercer principi, per exemple, estableix que les universitats que estan sent analitzades haurien de ser consultades sovint pels impulsors del rànquing que les classifica. En canvi, una queixa recurrent de les universitats pitjor tractades per l'U-Ranking és que aquest s'ha dut a terme d'esquenes a elles. Però no és solament un tema de queixes: hi ha mostres molt clares de la poca fluïdesa comunicativa entre els artífexs d'aquest rànquing i les universitats que en són objecte.

Ho il·lustraré amb un cas que em toca de prop perquè afecta a la meva universitat, la Universitat Oberta de Catalunya (UOC). Segons el panell d'indicadors difós pels autors de l'U-Ranking, la informació relativa al pressupost de la UOC era un informació "no disponible". La veritat, però, és que aquesta informació no solament és a total disposició dels investigadors que elaboren l'U-Ranking sinó que, de fet, és accessible per a qualsevol persona interessada atès que es divulga a través del portal de transparència de la UOC. No sembla gaire raonable que l'escassa perícia mostrada pels artífexs del rànquing a l'hora de trobar una determinada dada i/o la negligència evidenciada en no sol·licitar-la directament a la universitat afectada acabi penalitzant aquesta universitat, oi? Doncs succeeix.

El quart principi de Berlín alerta sobre la necessitat d'aclarir l'abast de les fonts d'informació emprades i dels missatges generats per cadascuna d'aquestes fonts. Però l'U-Ranking, que té en compte únicament 61 de les 84 universitats integrants del sistema universitari espanyol, emmascara aquesta limitació afirmant que aquestes 61 universitats "representen més del 95% del sistema universitari, si es considera el seu alumnat o la seva producció investigadora", quan la realitat és que en termes absoluts no suposen ni el 73% de les universitats espanyoles. És obvi que no és el mateix ocupar l'última posició respecte a la totalitat de les universitats del sistema que respecte a les 61 millors (o més transparents).

De fet, per a les universitats amb pitjors índexs de qualitat, la millor opció pot ser volar per sota del radar, atès que la seva reputació no es veurà tan malmesa pel fet de no aparèixer en l'U-Ranking com ho seria si apareguessin en les seves posicions més baixes. Lògicament, així no es contribueix a propiciar la molt desitjable transparència del sistema universitari, ans al contrari.

El desè principi de Berlín fa referència a la necessitat de garantir l'objectivitat i imparcialitat en la recollida i l'ús de les dades. En el cas de l'U-Ranking i segons les seves pròpies proclames, "la responsabilitat sobre els indicadors presentats i les conclusions derivades dels mateixos correspon solament a l'equip de l'Ivie". El problema és que, des de 2013, l'Ivie és un centre de recerca adscrit a la Universitat de València, que és una de les universitats avaluades pel rànquing (posicionada, per cert, en el lloc número 4, igual que la Universidad Miguel Hernández d'Elx).

De fet, a la pàgina web de l'Instituto Valenciano de Investigaciones Económicas s'explicita que, "per al desenvolupament de les seves recerques, l'Ivie treballa en estreta col·laboració amb les universitats valencianes" i s'esmenten en aquest sentit, a més de la Universitat de València, la Universitat d'Alacant i la Universitat Jaume I (ambdues empatades en la 5a posició del rànquing). La Universitat Politècnica de València, al seu torn, ocupa una segona posició en l'U-Ranking. No hi ha motiu per dubtar que les cinc universitats públiques valencianes mereixin estar ‒totes elles‒ en el top 5 del rànquing, però la veritat és que el fet que l'Ivie sigui al mateix temps jutge i part no contribueix a la percepció d'imparcialitat requerida.

D'altra banda, el catorzè principi dels Berlin Principles recomana comptar amb òrgans consultius i supervisors, preferentment amb participació internacional. No obstant això, tots els assessors de l'U-Ranking s'adscriuen únicament a catorze universitats espanyoles. Almenys set d'ells, a més, pertanyen a universitats valencianes, clarament sobrerepresentadas doncs.

I així podríem continuar, llargament, evidenciant altres incompliments del principis de Berlín. Amb el que hem vist fins ara, però, n'hi ha prou per poder concloure que, de fet, l'U-Ranking incompleix el metaprincipi dels Berlin Principles (integrat també en el desè principi): "Prestar l'atenció deguda als estàndards ètics i a les recomanacions de bones pràctiques articulats en aquests principis".