Sunteți pe pagina 1din 55

KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.

htm

Menú principal de Geo Crítica Índice de Ar@cne

Ar@cne
REVISTA ELECTRÓNICA DE RECURSOS EN INTERNET
SOBRE GEOGRAFÍA Y CIENCIAS SOCIALES
Universidad de Barcelona
Nº 129, 1 de enero de 2010
ISSN 1578-0007
Depósito Legal: B. 21.743-98

RANKINGS MUNDIALES DE UNIVERSIDADES:


OBJETIVOS Y CALIDAD

Karsten Krüger
Fundación Bosch i Gimpere
Universidad de Barcelona
<kkruger@fbg.ub.es>

Alba Molas
Alba e.V.
<albamolas@yahoo.de>

Rankings mundiales de universidades: objetivos y calidad (Resumen).


En todos los ámbitos educativos e investigadores, se ha puesto de moda elaborar rankings (o clasificaciones
ordenadas) evaluando y comparando la calidad de las instituciones o de los sistemas. También en el ámbito
universitario han proliferado en la última década rankings tanto a escala mundial como a escala nacional debido:
a) a la globalización de la competición entre universidades dentro del contexto de la sociedad del conocimiento
globalizado; b) a la creciente demanda de información comparable por parte de los ‘clientes’ (por ejemplo, los
estudiantes y sus familias); c) la creciente demanda por parte de los gobiernos y de la sociedad a una mayor
responsabilidad de la universidades frente a la sociedad, lo cual se traduce en mayores exigencias de calidad de los
servicios prestados a la sociedad.
Este artículo presenta los resultados de una búsqueda de rankings en Internet y de su trasfondo metodológico. El
objetivo es: a) presentar diferentes rankings, b) analizar sus objetivos y metodología, y c) efectuar un crítica
constructiva. Éste es el primero de dos artículos dedicado solamente a rankings internacionales, mientras que el
segundo se centrará en las clasificaciones de las universidades españolas. El núcleo del artículo es la presentación
de diez rankings internacionales en forma de fichas para facilitar al lector una información resumida; además, se
divide en 4 capítulos: objetivo, metodología, presentación y comentarios. En el apartado final, comparamos los
diferentes rankings y discutimos su validez haciendo referencia también a artículos disponibles en línea y de
acceso libre referente al tema.
El artículo resalta la importancia de los rankings como instrumentos de la política educativa y científica global
aportando, sin embargo, una visión crítica a los rankings, reconociendo, al mismo tiempo, que pueden tener una
función importante para mejorar las actuaciones de las universidades siempre y cuando anuncian bien: los
objetivos de los rankings, el tipo de universidad a que se refieren, el ámbito concreto de la evaluación, la
metodología utilizada y que permitan realmente introducir mejoras en las universidades al nivel de las facultades y
departamentos.
Palabras clave: Rankings, evaluación, universidad mundial, política universitaria.

1 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Rànquing mundials d’universitats: objectius i qualitat (Resum).


En tots els àmbits educatius i d’investigació s’ha posat de moda elaborar ránquings, és a dir, classificacions
ordenades, avaluant i comparant la qualitat de les institucions o bé dels sistemes. També en l’àmbit universitari  els
ránquings han proliferat   en l’última dècada, tant a escala mundial, com a escala nacional degut : a) a la
globalització de la competició entre universitats dins del context de la societat del coneixement globalitzat; b) a la
creixent demanda d’informació comparable per part dels ‘clients’ (per exemple, els estudiants i les seves familias);
c) la creixent demanda per part dels governs i de la societat d’una major responsabilitat de les universitat enfront
de la societat, la qual cosa es tradueix en majors exigencies de qualitat dels serveis prestats a la societat.
Aquest article presenta els resultats d’una cerca de ránquings a l’Internet i del seu rerefons metodològic. L’objectiu
és: a) presentar diferents ránquings, b) analitzar els seus objectius i metodologia, i c) efectuar una crítica
constructiva. Aquest és el primer de dos articles, dedicat solament a ránquings internacionals, mentre que el segon
es centrarà en les classificacions de les universitats espanyoles. El nucli de l’article és la presentació de deu
ránquings internacionals en forma de fitxes per a facilitar al lector una informació resumida i dividida en 4
capítols: objectiu, metodologia, presentació i comentaris. En l’apartat final, comparem els diferents ránquings i
discutim la seva validesa, fent referencia també a articles sobre el tema, disponibles en línia i de lliure accés.
L’article  ressalta la importància dels ránquings com a instruments de la política educativa i científica global, però
aportant una visió crítica als ránquings, reconeixent, al mateix temps, que poden tenir una funció important en la
millora de les actuacions de les universitats, sempre i quan anunciïn bé: els objectius dels ránquings el tipus
d’universitats a que es refereixen, l’àmbit concret de l’avaluació, la metodologia emprada i que permetin
realmente introduïr millores en les universitats , a nivell de les facultats i dels departaments.
Paraules claus: Ránquings, avaluació, universitat mundial, política universitària.

World rankings of universities: aims and quality (Abstract).


In all areas of education and research has coming up the trend to elaborate rankings evaluating and comparing the
quality of institutions and systems. Also in the area of universities has growing, in the last decade, the number of
world and national ranking due to: a) the globalization of the competition between universities within the context
of a globalised knowledge economy; b) the increasing demand for comparable information from the ‘clients” (for
instance: students and their families); c) the increasing demand from part of the governments and the society of a
mayor responsibility of the university in front of the society, which conduced to mayor quality demand of the
universities’ services to society.
This article presents the results of the Internet search for rankings and their methodological backgrounds. The
objectives are a) to present different rankings; b) to analyse their objectives and methodology and c) to provide a
constructive but critical view on them. This is the first of two articles about university rankings. This one focused
only on international rankings, whereas the second will be about the rankings of Spanish universities. In the core
of this article stands the presentation of 10 international rankings in the format of fiches in order to facilitate
summarized information to the lector. The fiches are divided in 4 parts: objective, methodology, presentation and
comments. In the final chapter, we will compare the different rankings and discuss their validity taking into
account articles on this issue freely available in Internet.
The article underpins the relevance of rankings as instruments of global education and science policies bring in a
critical vision admitting, however, that rankings could fulfil a important function in the improvement of the
universities’ performance when they announced well: the objective of the ranking, the type of universities to
which they refer, the concrete area of the evaluation, the used methodologies and when they permit really to face
improvements in the universities at the level of faculties and departments.
Key words: Rankings, evaluation, world university, university policy.

Globale hochschulrankings: zielsetzung und qualität (Zusammenfassung).


In allen Bildungs und Wissenschaftsbereichen ist eine Trend zur Erstellung von Rankings zu beobachten, mit
denen die Qualität von Institutionen und Systemen vergleichend bewertet werden sollen. Auch im
Universitätsbereich hat sich in den letzten Jahren die Anzahl der weltweiten und nationalen Rankings erhöht. Dies
ist geschuldet: a) dem weltweiten Wettbewerb unter den Universitäten im Rahmen der globalisierten
Wissenswirtschaft; b) der wachsenden Nachfragen nach vergleichbaren Informationen seitens der ‘Kunden’ (zum

2 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Beispiel Studenten und ihren Familien); c) der stärker werdenden Forderung seitens der Regierungen und
Gesellschaft nach einer höheren Verantwortlichkeit der Universitäten gegenüber der Gesellschaft, die zu höheren
Ansprüchen an die Qualität der universitären Dienstleistungen führt.
In diesem Artikel werden die Ergebnisse einer Internetsuche über Rankings und den ihnen zu Grund liegenden
Methodologien vorgestellt. Ziel ist es, a) verschiedenen Rankings zu beschreiben; b) die Objektive und
Methodologien zu analysieren; und c) einen kritisch- konstruktiven Blick auf sie zu werfen. Es ist der erste von
zwei Artikeln. Während dieser sich ausschließlich mit internationalen Rankings beschäftigt, hat der Zweite
spanischen Klassifikationen zum Gegenstand. Im Zentrum dieses Artikels steht die Beschreibung von zehn
internationalen Rankings in Form von Fiches. Absicht ist es den Lesern, Informationen in zusammengefasster
Form, in vier Abschnitte unterteilt, vorzulegen: Ziele, Methoden, Darstellung und Kommentare. Im
abschließenden Kapitel werden dann die Rankings verglichen und auf ihre Stichhaltigkeit hin untersucht. Dabei
werden auch Artikel zu diesem Themen herangezogen, die frei im Internet zugänglich sind.
Der Artikel stellt die Bedeutung der Rankings als Instrument der globalen Bildungs- und Wissenschaftspolitik
heraus, unterwirft sie aber einer kritischen Betrachtung. Gleichwohl wird anerkannt, dass sie eine wichtige
Funktion bei der Verbesserung der universitären Performance haben können, wenn sie deutlich machen: welches
ihre Zielsetzungen sind, welchen Universitätstypus sie bewerten, welchen konkreten Funktionsbereich sie
bewerten, welche Methoden sie anwenden, und sie wirklich einen Beitrag zur Verbesserung der universitären
Leistungsbilanz auf der Ebene der Fakultäten und Abteilungen erstellen.
Schlagwort: Rankings, evaluation, weltuniversität, hochschulpolitik.

Introducción
En todos los ámbitos educativos e investigativos, se ha puesto de moda elaborar rankings (o clasificaciones
ordenadas) evaluando y comparando la calidad de las instituciones o de los sistemas. Un ejemplo muy conocido
son los diferentes estudios PISA para la educación secundaria. A pesar de que su enfoque central no ha sido la
elaboración de una clasificación, su efecto mediático ha sido la discusión del lugar que ocupa un país o una
región. Otros ejemplos en el ámbito universitario son el Academic Ranking of World Universities (conocido como
Shanghai Index o AWRU) o el World University Ranking del Times Higher Education Supplement (THES-
Ranking). Y la Unión Europea ha puesto en marcha recientemente un proyecto ambicioso para elaborar una
propuesta europea de ranking y estudiar su fiabilidad. También se ha creado un observatorio internacional de
ranking académico y de excelencia (International Observatory on Academic Rankings and Excellence -IREG-:
www.ireg-observatory.org)[1].
Éstas y otras clasificaciones ordenadas comparan universidades o facultades a través de indicadores numéricos
basado en citas, impacto y ganadores de premios, usando indicadores ponderados para construir un indicador
sintético que luego permite ordenar las instituciones según el mejor rendimiento detectado. La creciente
importancia de las clasificaciones y su proliferación se debe, según Ellen Hazelkorn (2008), a) a la globalización
de la competición entre universidades dentro del contexto de la sociedad del conocimiento globalizado; b) a la
creciente demanda de información comparable por parte de los ‘clientes’ (por ejemplo, los estudiantes y sus
familias); c) la creciente demanda por parte de los gobiernos y de la sociedad a una mayor responsabilidad de la
universidades frente a la sociedad, lo cual se traduce en mayores exigencias de calidad de los servicios prestados a
la sociedad. A esto se puede añadir que la simplicidad de los rankings favorece su impacto mediático.
Supuestamente, el uso de un número limitado de indicadores permite a las universidades obtener información
sobre su posición en relación con otras universidades, lo que les convierte en un tipo de herramienta de
navegación tanto para las universidades como para los políticos y agentes responsables de los sistemas de
educación superior nacionales y regionales[2]; para los actores sociales con influencia en el proceso de decisión y
para sus ‘clientes’[3]. Lindblat (2008) llama la atención sobre el hecho de que los mecanismos de distribución de
los recursos entre las universidades dentro del sistema sueco de educación superior se basan en indicadores de
rendimiento similar a los utilizados por los rankings. En este sentido, los rankings y los mecanismos de valoración
de los sistemas de educación superior no solamente describen la posición de las universidades particulares en estos
sistemas, sino que tienen un impacto sobre las mismas actuaciones de las universidades[4]. Hazelkorn llega a una
conclusión similar, constatando que los rankings provocan un amplio abanico de cambios en la educación superior

3 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

y sus sistemas[5].
En este contexto de creciente interés por las clasificaciones ordenadas de las universidades, este artículo presenta
los resultados de una búsqueda de ellos en Internet y de su trasfondo metodológico. El objetivo es: a) presentar
diferentes rankings, b) analizar sus objetivos y metodología, y c) efectuar una crítica constructiva.
Se trata del resultado de un programa de varios estudios sobre las universidades y la enseñanza superior, en el que
se están elaborando varios artículos basados en los resultados de proyectos internacionales[6]. Uno ya está
publicado por el instituto de investigación navreme[7], y éste es el primero de dos artículos sobre rankings de
universidades. Este artículo está dedicado solamente a rankings internacionales, mientras que el segundo, se
centrará en las clasificaciones de las universidades españolas.
El artículo empieza con una breve descripción del contexto político, resaltando la importancia de los rankings
como instrumentos de la política educativa y científica global. Los ‘Berlin Principles on Ranking of Higher
Education Institutions’ (2006) exponen claramente que ellos aportan un enfoque de mercado al proceso de
evaluación de las instituciones educativas, pero, como veremos a continuación, no se trata solamente del enfoque
de mercado –aplicar principios de competitividad no es necesariamente malo– sino que muchos de ellos
promueven un cierto tipo de universidades que se ha impuesto en el discurso político como modelo a seguir.
Se enmarca también la tendencia creciente hacia las clasificaciones en la política educativa y científica basada en
el control del contexto de las instituciones a través de evaluaciones externas regulares y benchmarks. Estas
políticas dejan aparentemente más margen de decisión a las instituciones para cumplir su misión social, pero a
través de los benchmarks y procedimientos de evaluación se limita de nuevo este margen de decisión. En otras
palabras, se trata de un juego de tendencias contradictorias: mayor margen de autoorganización pero dentro de un
margen de maniobra más acotado políticamente.
En el segundo apartado se presentan 10 rankings internacionales en forma de fichas. El objetivo es facilitar al
lector una información resumida y dividida en 4 capítulos: objetivo, metodología, presentación y comentarios. De
esta forma, el lector tendrá una impresión de las características, ventajas y problemas de las diferentes
clasificaciones.
A partir de estos ficheros, en el apartado final, comparamos los diferentes rankings y discutimos su validez
haciendo referencia también a artículos disponibles en línea y de acceso libre referente al tema.

Rankings como instrumentos de política educativa y científica


La creciente relevancia de los rankings se debe, en parte, a su efecto mediático, pero también está enmarcada en la
política de establecer indicadores y benchmarks para comparar la evolución de estrategias políticas, sistemas e
instituciones. Un benchmark es un punto de referencia para hacer comparaciones y se interpreta, generalmente,
como un buen estándar para medir el rendimiento de productos, procesos, programas, organizaciones,
instituciones o sistemas[8]. Benchmarking es, según la American Society for Quality, un proceso a través del cual
una organización puede comparar su rendimiento con la mejor organización de su clase, determinar como esta
organización ha conseguido su nivel de rendimiento y utilizar esta información para mejorar el propio[9]. Por lo
tanto, establecer puntos de referencia o hacer benchmarking implica: a) que se ve la relación entre diferentes
organizaciones, instituciones o sistemas como una competición para saber quién es el mejor; b) que se pueden
establecer parámetros para saber quién es el mejor; c) que, a través de la comparación con el mejor, se puede
aprender y mejorar el propio rendimiento; y d) que existe, en principio, una mejor forma de actuar para conseguir
los objetivos establecidos.
Aplicar el benchmarking en la administración y gestión pública implica la creación de una cuasi-competición que
se orienta al modelo del mercado económico[10] y que se basa en la comparación tanto de factores de entradas y
salidas como de salidas de diferentes instituciones o de la misma institución en diferentes períodos temporales. En
este sentido, es un procedimiento muy específico de evaluación comparativa. Y los rankings[11] son, en cierta
forma, un tipo específico del benchmarking clasificando los objetos evaluados con base en indicadores
(numéricos) determinados. Por otro lado, una clasificación ordenada podría ser también un paso previo en el
proceso de benchmarking, determinando cuales son los mejores productos, programas, organizaciones,
instituciones o sistemas. Por lo tanto, el objetivo político del benchmarking y del ranking en el ámbito de la
administración pública, incluyendo la educación, es introducir una cuasi-competencia entre las instituciones

4 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

públicas induciendo de esta forma un proceso (continuo) de mejoras.


La elaboración de estas clasificaciones se enmarca en la creciente tendencia a realizar evaluaciones, sobre todo, en
el ámbito de la educación. Por un lado, cualquier sistema educativo se basa en las evaluaciones de los alumnos
para seleccionar las personas, tanto internamente como para otros sistemas educativos (por ejemplo el paso del
bachillerato a la universidad) u otros sistemas (p.ej. del mercado laboral). Por otra parte, hay una marcada
tendencia en todos los países europeos a crear sistemas de evaluación externa de los sistemas educativos y de sus
instituciones así como de los sistemas de investigación y de sus instituciones.
En principio, parece que hay acuerdo en que las evaluaciones del sistema educativo y de investigación podrían
aportar algo positivo a los sistemas y organizaciones evaluadas, para que se mejore la calidad de la educación o de
la investigación. Sin embargo, más allá de estas declaraciones generales respecto al valor de las evaluaciones,
queda poco claro, en muchos casos, cuáles son los objetivos concretos de las evaluaciones y, por ende, de los
rankings y cuales son los principios en que se basan estas evaluaciones.
R. Münch (2009) vincula la evaluación de PISA[12] y el proceso de Bolonia con la emergencia de una élite
transnacional de expertos educativos que impone una visión educativa muy específica. Los dos procesos – tanto
PISA como Bolonia - están enmarcados en la difusión de una visión guía de educación, impulsada por un grupo de
expertos e instituciones que forman redes transnacionales. Dentro del discurso general sobre la creciente
importancia de la educación y la formación, estas redes abogan por el concepto de capital humano como
paradigma para las estrategias nacionales en dichos ámbitos. De esta forma, el modelo de la expansión de la
educación general se ha convertido globalmente en el modelo estándar. Nadie duda que la expansión de la
educación general debe ser un objetivo general de todas las políticas educativas[13]; pero lo que no queda tan
claro es si la expansión general de la educación universitaria debe ser también un objetivo general, sobre todo si
ella va en detrimento de una formación profesional diferenciada. Según Münch (2009), hasta ahora, no se ha
aportado ninguna prueba de que este modelo sea mejor, comparado con otros modelos más diferenciados como el
alemán, en términos de crecimiento económico, amplia inclusión social o una mayor participación de los
ciudadanos en los proceso democráticos[14]. En este sentido, el análisis de los efectos deseados y no-deseados de
la expansión de la educación superior debe basarse en un enfoque más integral estudiando paralelamente el
desarrollo de la formación profesional.
Bajo este paradigma se están divulgando conceptos educativos muy determinantes, que están más cerca de los
modelos anglosajones basados en competencias básicas generales. Analizando los resultados de PISA 2000,
Münch (2009) argumenta que la orientación a estas competencias generales es ajena al currículo escolar alemán en
los ámbitos de las matemáticas, de la lectura y de las ciencias naturales. Por ejemplo, en matemáticas los alumnos
alemanes obtienen buenos resultados en las preguntas que se refieren a áreas especificas de las matemáticas como
la geometría euclidiana, pero no tan buenos en cuanto a las preguntas básicas de las matemáticas. Las pruebas
PISA, no obstante, están influidas por la “realistic mathematics education”, dominante especialmente en los
EE.UU. y el Reino Unido, que ponen en el centro de sus pruebas las competencias cognitivas generales
argumentado, que se trata de ejercicios más exigentes comparados con los ejercicios ‘más técnicos’ de algunas
áreas específicas de las matemáticas.
En principio, se trata de un proceso de profecías que se auto-cumplen: el diseño de las pruebas induce a que los
sistemas educativos diferentes al paradigma-guía del diseño obtengan peores resultados. Münch (2009) muestra
que este mecanismo funciona también en el ámbito de lectura y de las ciencias naturales. Lo problemático de este
enfoque es que, dado que el estudio PISA se realiza en nombre de la OECD y de sus países miembros, los
resultados negativos ejercen una presión sobre los sistemas educativos nacionales para adaptarse a los estándares
que están detrás del estudio. Solamente en este caso, los resultados mejoran[15].
Sin embargo, aquí no nos interesan las críticas internas a la evaluación de los sistemas educativos del proyecto
PISA. Lo importante de este caso es que la evaluación está ligada a un cierto programa de política educativa y
tiene la función de promover dicho programa. Ese hecho en sí mismo no es reprochable, todas las evaluaciones
deben tener una base de que partir, pero hay que anunciarlo para que otros pueden apreciar el verdadero alcance de
los resultados evaluativos[16].
Las evaluaciones se pueden diferenciar, en términos generales, en tres grandes bloques según el tipo del sujeto que
se evalúa:
1) La evaluación de proyectos o programas es un procedimiento orientado a valorar el éxito o los resultados de un
proyecto o un programa. En términos generales, los proyectos son actuaciones que se desarrollan durante un

5 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

tiempo limitado, mientras que los programas son a mediano y largo plazo. El proceso de evaluación desempeña
un papel importante en la toma de decisiones respecto a la prolongación del proyecto o programa y aborda -por
lo menos en el caso del programa -la pertinencia de aplicar estrategias o instrumentos similares a otros ámbitos
de actuación.
2) La evaluación de organizaciones se orienta, sobre todo, a la mejora de los procedimientos aplicados en las
organizaciones y, por lo tanto, a la calidad de la organización. La cuestión no es la prolongación de la
existencia de la organización, sino su reestructuración a mediano y largo plazo con el objetivo de mejorar su
calidad.
3) La evaluación de productos está enfocada a la mejora de una producto material o inmaterial. Generalmente se
trata de una evaluación para ver la utilidad del mismo para un consumidor. El objetivo es mejorar la aceptación
del producto entre un público determinado.
Parece difícil clasificar la evaluación de las universidades en este esquema. Las universidades podrían entenderse
como un programa educativo de muy larga duración respondiendo a necesidades educativas y formativas, pero
también científicas y tecnológicas, de la sociedad. Sin embargo, las necesidades educativas y formativas de la
sociedad cambian a lo largo del tiempo, lo que debe reflejarse en el programa “universidad”. Además, tanto la
sociedad como las universidades son entidades sociales muy complejas que no pueden reducirse a una necesidad y
un aspecto del programa.
La evaluación de las universidades como organizaciones presenta una problemática parecida a la de la evaluación
del programa. La mejora de los procedimientos de la organización depende de cual sea la meta de la misma, la
que, en el caso de las universidades, depende a su vez de las necesidades educativas, científicas y tecnológicas de
la sociedad. Satisfacer estas necesidades complejas y muchas veces contradictorias es una tarea igualmente
compleja y complicada, además, en consecuencia, también lo es la evaluación de la universidad como
organización.
La evaluación de las universidades considerándolas como producto o servicio parece más simple que los dos tipos
de evaluación anterior. Sin embargo, este tipo de evaluación implica definir la relación entre universidad y
sociedad en términos de mercado como proveedora de servicios, es decir universidad y cliente de servicios, a
saber, la sociedad, la economía o los ciudadanos. Pero, como en los dos tipos de evaluaciones anteriores, el asunto
se complica por el hecho de que la universidad no está orientada solo a un tipo de servicios sino a una variedad de
ellos. Y tampoco queda claro quién es realmente el cliente de estos servicios, dado que la sociedad en general está
compuesta por una variedad de sistemas sociales como la economía, la cultura, la religión etc.
La solución que adoptan las diferentes evaluaciones que se revisan a continuación consiste en reducir el campo de
evaluación. Tomando de nuevo el ejemplo de PISA, se trata de una evaluación de servicios enfocada a la creación
de capital humano para la sociedad en términos de competencias matemáticas, competencias lectoras y
competencias de ciencias naturales. Se aplica esta evaluación a todos los sistemas educativos, independientemente
de si están orientados realmente a este tipo de servicio. Como veremos más adelante, también las dos evaluaciones
internacionales de universidades más conocidas el AWRU y el THES-QS son más bien evaluaciones de
producto/servicio. En el primer caso del producto científico y, en el segundo, de un conjunto de productos
científicos y educativos.
No queremos entrar aquí en una discusión detallada sobre los distintos conceptos y enfoques evaluativos, sino
centrarnos ahora en la evaluación de producto, que es la que rige la mayoría de las evaluaciones de universidades
disponibles en Internet. Hablando de productos, los rankings toman discursivamente la decisión por un enfoque de
mercado[17]. La evaluación de producto, según B. Worthen, J. Sanders y J. Fitzpatrick (1997) se denomina
también evaluación orientada al consumidor y tiene como objetivo general aportar información útil para la toma
de decisiones sobre la adquisición o el uso de un determinado producto. Este tipo de evaluación no se restringe
sólo a los productos materiales, sino que incluye también la evaluación de servicios y de instituciones que ofrecen
servicios específicos, como por ejemplo las escuelas y universidades o los servicios públicos de empleo. En este
sentido, la educación superior es concebida como un mercado en que los clientes comprueban productos y se
deciden por un uno a base de información imperfecta. Las evaluaciones aportan información adicional para que el
cliente puede tomar una decisión.
Se trata, en términos generales, de una evaluación descriptiva, es decir, en forma de un resumen concluyente en un
determinado punto temporal, que se rige por el paradigma del control. Sin embargo, en el caso de los servicios o el
desarrollo de productos la evaluación puede enfocarse también desde el paradigma del desarrollo, adoptando un

6 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

enfoque formativo, de asesoramiento y de apoyo. Con este enfoque los criterios y resultados de la evaluación se
convierten en el punto de referencia para el desarrollo futuro de la oferta de bienes y servicios.
Lo que diferencia el ranking de otro tipo de evaluación es que se comparan diferentes productos/ servicios y
programas entre si y se establece un orden de calidad entre ellos[18]. La máxima y muy común expresión de esta
metodología es adjudicar valores numéricos a los diferentes indicadores de calidad y calcular posteriormente un
indicador sintético que permite establecer un orden descendente desde el primero hasta el último. Intrínsecamente
se parte de la suposición de que los diferentes productos, servicios u organizaciones están en competición entre si
para saber quién es el mejor. La metodología del ranking aporta un enfoque de mercado al proceso de evaluación
de las instituciones educativas. Partiendo de este punto, el IREG (International Observatory on Academic
Rankings and Excellence) establece los siguientes principios para las clasificaciones jerarquizadas de instituciones
de la educación superior[19]:
1. Propósito y objetivos del ranking

- Ser uno de los varios métodos de asesoramiento de las inversiones, de los resultados y de los procesos de
la educación superior.

- Ser transparente, definiendo claramente los objetivos y los grupos a que se dirige el ranking.

- Reconocer la diversidad de las instituciones y tener en cuenta sus diferentes misiones y objetivos.

- Facilitar transparencia respecto a la relevancia de las fuentes de información y de la información que


genera cada fuente.

- Especificar el contexto lingüístico, cultural, económico e histórico de los sistemas educativos sometidos al
proceso de ranking.

2. Diseño y ponderación de los indicadores

- Ser transparente respecto a las metodologías usadas para crear el ranking.

- Seleccionar indicadores de acuerdo con su relevancia y validez.

- Orientar la evaluación preferentemente a los resultados (output) en lugar de a las inversiones (input)
siempre que sea posible.

- Resaltar el peso asignado a cada indicador (en el caso de la ponderación) y cambiarlo lo menos posible.

3. Recopilación y procesamiento de datos

- Prestar una atención adecuada a los estándares éticos y las recomendaciones de buenas prácticas
expresadas en los principios formulados por el IREG.

- Usar siempre datos auditados y verificados si es posible.

- Incluir datos que son recogidos según los procedimientos adecuados de la recogida científica de datos.

- Aplicar medidas para garantizar la calidad en el mismo proceso del ranking

- Aplicar medidas organizativas, p.ej. creación de consejos de asesores para asegurar la credibilidad del
ranking.

4. Presentación de los resultados

- Facilitar al cliente una explicación clara de todos los factores usados para la elaboración del ranking y
ofrecerles la elección de como el ranking se visualizará.

- Recopilar la información de tal manera que se eliminen o reduzcan los errores en los datos originales y

7 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

asegurar que el ranking será organizado y publicado de tal forma que los errores y las faltas podrían ser
corregidos.

Por lo tanto, para evaluar a continuación los diferentes rankings de las universidades se debe preguntar siempre
por sus objetivos y por el valor añadido que facilitan (o no) para una toma de decisión orientada a mejorar la
actuación de la universidad o del sistema, o para tomar una decisión sobre dónde estudiar o a qué institución se
contrata para un proyecto de investigación.

Diez rankings internacionales


La presentación de los diferentes rankings parte del supuesto de que no se elaboran por mero capricho, sino por
objetivos muy concretos, que se insertan en su diseño. Por este motivo, presentamos, a continuación, las fichas de
los rankings más relevantes en el ámbito de la educación superior, incluyendo los siguientes apartados:

a) Objetivo, que corresponde al punto (1) de los principios de Berlín

b) Metodología, que corresponde a los puntos (2) y (3)

c) Presentación, que corresponde al punto (4)

d) Comentario

Para la elaboración de los ficheros, hemos recurrido a la información ofrecida por las mismas instituciones, que
han elaborado las clasificaciones ordenadas, en sus páginas Web o en publicaciones en línea. En general,
exponemos directamente esta información con ciertos recortes, pero sin señalar expresamente que se trata de citas.
En el caso de los rankings internacionales, los autores de este artículo han traducido gran parte de la información
expuesta en las páginas Web respectivas. Por eso, en relación a los ficheros no se reclama la autoría de lo
expuesto.
Aquí se presentan solo los rankings que son accesibles vía Internet y cuando en los documentos electrónicos de
referencia consta claramente la autoría y se explica la metodología usada. La experiencia con dos clasificaciones
elaboradas por entidades españolas[20] nos aconseja esta prudencia, dado que circulan en Internet versiones no
autorizadas o artículos basados en datos no autorizados.

FICHA 1: Academic Ranking of World Universities


<www.arwu.org>
<http://ed.sjtu.edu.cn/ranking.htm>

Objetivo
El Academic Ranking of World Universities[21] (ARWU) ha sido elaborado por el Instituto de Educación Superior
de la Universidad Shanghai Jiao Tong con el objetivo de medir la posición de las universidades chinas de
investigación en el mundo[22]. Se publicó por primera vez en 2003. Con los años, se ha convertido en una de las
clasificaciones de referencia para medir la posición de las universidades analizadas respecto a la comunidad
universitaria global, pero también para medir la posición de los sistemas de investigación nacional.

Metodología
El ARWU no evalúa todas las universidades, sino solamente aquellas que han pasado un filtro de selección. La
lista de universidades evaluadas incluye cualquier institución que tenga un ganador de un premio Nobel, un

8 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

ganador de una medalla Fields o un investigador muy citado. Adicionalmente se incluyen también las mayores
universidades de cada país que tienen un número significante de artículos indexado en Science Citation Index-
Expanded (SCIE) y Social Science Citation Index (SSCI), que forman parte de la Web of Science, propiedad de la
empresa Thomson Reuter. En total más de 2.000 instituciones están actualmente analizadas. De estas, 1.200
universidades entran en la clasificación, pero solamente se publica el ranking de las primeras 500 universidades
Las instituciones están listadas en cinco amplios campos de conocimiento incluyendo ciencias naturales y
matemáticas (SCI); ingeniería/ tecnología y ciencias de computación (ENG), ciencias de la vida y de agricultura
(LIFE), medicina clínica y farmacia (MED) y ciencias sociales (SOC). Artes y humanidades no están clasificadas
debido a los problemas técnicos de establecer indicadores internacionalmente comparables con datos fiables.
Psicología/psiquiatría no están listados debido a su carácter multidisciplinario.
Las instituciones están ordenadas por el rendimiento académico e investigador en cada uno de los campos de
conocimiento. Los indicadores incluyen alumnos y personal usando los mismos criterios utilizados para la
selección de universidades. Dos nuevos indicadores ha sido introducidos; uno es el porcentaje de artículos
publicados en las revistas situadas entre los mejores 20% de cada campo, y el otro los gastos en investigación de
ingeniería.
Para elaborar la clasificación, se usa la metodología de puntuación para cada uno de los indicadores y para la
totalidad de los indicadores. Para cada indicador, a la institución con el máximo valor obtenido se le asignan 100
puntos, y los puntos de las otras instituciones se calculan como porcentaje de este valor máximo. La distribución
de los datos de cada indicador será analizada si aparece un efecto de distorsión y las técnicas estadísticas estándar
se utilizan para ajustar el indicador en caso de que sea necesario. Los puntos de cada indicador se ponderan para
llegar a la puntuación general final de cada institución. A la institución mejor valorada se le asignan un total de
100 puntos y para las demás instituciones su puntuación se calcula como porcentaje de este valor total máximo.
Los puntos se clasifican luego según orden descendente.
En el ranking del año 2008 se establecen indicadores en cuatro dimensiones (módulos):

1. Módulo Calidad de la Educación: Alumni indica el número total de los alumnos de una institución que han
ganado un premio Nobel en física, química, medicina y economía o una medalla Fields en matemática. Se
define como alumnos aquellos que han obtenidos un Bachelor, Master o doctorado en la institución. Diferentes
ponderaciones son asignadas de acuerdo con el período en que obtuvieron el grado: La ponderación es 100%
para los alumnos que han obtenido el grado entre 1991 y 2000; 80% para los alumnos que hayan obtenido su
grado entre 1981 y 1990; 60% para los alumnos que hayan obtenido su grado entre 1971 y 1980; 40% para los
alumnos que hayan obtenido su grado entre 1961 y 1979 y finalmente 20% para los alumnos que han obtenido
su grado entre 1951 y 1960. Si una persona ha obtenido mas de un grado en una institución, está institución es
considerada solamente una vez. Los premios Nobel en psicología y medicina son incluidos tanto en el ranking
de LIFE como MED. Peso: 10%.

2. Módulo Calidad de la facultad: a) Premio (Award) indica el número total del personal de una institución que
ha ganado premios Nobel en física, química, medicina y economía o medallas Fields en matemática. Personal
es definido como las personas que trabajaban en la institución cuando ganaron el premio. Diferentes
ponderaciones son asignadas de acuerdo con el período de obtención del premio. La ponderación es 100% por
haberlo ganado entre 2001 y 2007; 80% por haberlo ganado entre 1991 y 2000, 60% por haberlo ganado entre
1981 y 1990, 40% por haberlo ganado entre 1971 y 1980 y finalmente 20% por haberlo ganado entre 1961 a
1970. Si un ganador está afiliado a más de una institución, a cada una de ellas se asigna un valor relativo al
número de las instituciones. Si un premio Nobel ha sido asignado a más de un persona, las ponderaciones serán
asignadas a los ganadores según su proporción del premio. Los premios Nobel en psicología y medicina son
incluidos tanto en el ranking de LIFE como MED. Peso 20%.

b) HiCi indica el número de los investigadores muy citados en 21 categorías temáticas establecidas, utilizando
información facilitado por isihighlycited.com. Estos investigadores muy citados son asignados a 5 campos de
conocimiento. Si un investigador está incluido en más de una categoría de conocimiento, su peso en cada una
de estas categorías será relativo al número de las categorías en que aparezca. Especialmente se revisa a los
investigadores incluidos en el Social Science General Category uno por uno, para que sean reclasificados en
tres grupos según su afiliación en colegios o departamentos. Las personas que trabajan para unidades
vinculadas a sanidad, como escuelas de médicos o de enfermeras, son agrupados en el ranking MED. Las

9 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

personas afiliadas a departamentos de psicología o psiquiatría no son incluidas en el ranking. Otros individuos
en esta categoría son incluidos en el SOC-ranking. Peso: 20%.

3. Módulo Resultado de Investigación: a) N&S - ciencias naturales & ciencias indica el número de artículos
publicados en ciencias naturales y ciencias entre 2003 y 2007. Para distinguir diferentes formas de autorías se
pondera según el número de autores y su clasificación como autor principal, segundo autor etc. Solamente se
toma en consideración publicaciones de tipo artículos. La fuente de referencia es ISI-knowledge. Peso: 20%.

b) PUB indica el número total de artículos indexados en el Science Citation Index-Expanded y Social Science
Citation Index del 2007. Solamente se toman en consideración publicaciones de tipo artículos. Cada articulo
publicado por una institución es clasificado en uno de los seis campos de conocimiento de acuerdo con la
revista en que está publicado (Classification of Journal Categories), incluyendo los cinco campos de
conocimiento mencionados anteriormente y ciencias inter- y multidisciplinarias. Si un artículo es publicado en
una revista de varios campos (es decir que es clasificado en mas de una categoría de ISI), se divide entre estos
grupos. Peso: 20%.

4. Módulo Rendimiento per Capita: PCP El indicador sintético ponderado de los indicadores anteriormente
mencionados dividido por el número equivalente al personal académico a tiempo completo de la universidad en
cuestión (por ejemplo: Australia, Bélgica, China, Corea de Sur, EE.UU., Italia, Japón, Nueva Zelanda, los
Países Bajos, Reino Unido, Rep. Checa, Suecia, Suiza). En el caso de que no se obtenga el dato del personal
académico se utiliza la puntuación ponderada de los 5 indicadores mencionados anteriormente. Peso: 10%.

Presentación
En formato de tabla de instituciones ordenadas por las mejores puntuaciones obtenidas. Los resultados se
presentan también por regiones (Norte y Latino-America; Europa; y Asía del Pacifico.

La tabla de las 100 mejores universidades mundiales del AWRU (2009)

10 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Nota: por razones de espacio se presenta aquí el recorte de las primeras veinte universidades

11 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

En la Web del ARWU, se presentan también datos por áreas de conocimiento: ciencias naturales y matemáticas,
ingeniería y tecnología, ciencias de la vida y agricultura, medicina clínica y farmacia, y ciencias sociales. Aquí,
mostramos solamente una parte de las clasificaciones en el área de las ciencias sociales.

La tabla de las 100 mejores universidades mundiales en ciencias sociales del AWRU (2009)

Nota: por razones de espacio se presenta aquí el recorte de las primeras veinte universidades

Se presentan también estadísticas respecto a la presencia de las regiones en la clasificación ARWU, y también la
posición de las universidades según el área de conocimiento.

Estadística del ARWU (2009) de la distribución regional de las mejores universidades mundiales

Nota: por razones de espacio se presenta aquí el recorte de los primeros 5 países

12 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

La tabla del ARWU (2009) de la posición de las mejores universidades mundiales


según área de conocimiento

Nota: por razones de espacio se presenta aquí el recorte de los primeros 10 países

Comentario
Los propios autores del ranking mencionan algunos problemas del mismo:
a) La calidad de las universidades no se puede medir utilizando simplemente números.
b) Ningún ranking es objetivo
c) Medir universidades en todo el mundo es, en principio, imposible dada la gran diferencia entre las
universidades y los sistemas de educación superior o de investigación.
d) Existen problemas metodológicos respecto a los indicadores sobre enseñanza y servicios, la ponderación del
rendimiento por cabeza, la tipología de las universidades, el sesgo idiomático de las publicaciones, la selección
de los premios y la experiencia de los ganadores de los premios.
e) Existen problemas técnicos respecto a la definición de las instituciones, de la atribución de publicaciones y
premios, y la historia de las instituciones.
Por otro lado, una revisión de los indicadores muestra lo siguiente:
- El ARWU-Index está centrado en las ciencias naturales y matemáticas (y economía). Los indicadores de
premios están casi exclusivamente centrados en este tipo de ciencias. No se ha buscado indicadores similares
para otras ciencias. Los indicadores de premios dicen algo sobre el prestigio internacional de una institución,
pero no necesariamente sobre la calidad (actual) de la investigación comparada con otras instituciones. En el
caso de premios Nobel se trata muchas veces del reconocimiento posterior de logros científicos conseguido en
el pasado. P.ej. los premios Nobel de física del año 2009 han sido concedidos a tres científicos de los EE.UU
William Sterling Boyle, Charles Kuen Kao y George Elwood Smith, por sus descubrimientos hechos en los
años 1960, y están ya jubilados. Y no necesariamente se premia una innovación relevante: por ejemplo Einstein
nunca consiguió un premio Nobel por su teoría de relatividad. El ejemplo de Einstein muestra también lo
dudoso de los premios para evaluar la calidad de la educación. Einstein desarrolló su teoría de la relatividad
fuera de los circuitos institucionales de las ciencias naturales. Además, la concesión de un premio es en gran
parte un proceso político en elque el mérito científico no es necesariamente el factor más importante (véase
Marginson & van der Wende 2007)
- También el indicador HiCi parece ciertamente sesgado. Por ejemplo, revisando la base de datos de
ISIHighlyCited con respecto a las ciencias sociales se observa que en la lista aparecen casi exclusivamente
autores de habla inglesa. En un artículo reciente Docampo [2008] argumenta que el sesgo anglosajón no es tan
pronunciado como los críticos indican y pone como ejemplo la posición destacable de los países escandinavos
y de los Países Bajos y el avance de España en este índex. Sin embargo, este hecho se puede interpretar: a)
como una adaptación paulatina y general de los sistemas de la ciencias al idioma dominante o a la lengua
franca, el inglés, y b) que esta adaptación se produce más lentamente en países de idiomas de mayor uso y de
sistemas de ciencias históricamente consolidados como Francia y Alemania. En este sentido, se puede predecir,
que el ARWU-Index será más equilibrado respecto a los sistemas de ciencias nacionales cuando todos los

13 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

países se hayan adaptado plenamente a la lengua franca en las ciencias[23]. No obstante, se puede predecir que,
de cierta forma, este sesgo se mantendrá en el ámbito de las ciencias sociales y humanas dado su arraigo en el
contexto socio-lingüístico.
- También los indicadores de artículos citados demuestran cierta tendencia a que prevalezca cierto tipo de
ciencias dado que en las ciencias sociales se valora mucho aún la publicación de libros como medio de
diseminación principal. A primera vista, revisar las citas de todos los libros publicados en un área en el curso
de un año es un trabajo casi imposible de realizar.
- El índex valora exclusivamente el prestigio científico de una institución y no tiene ningún valor para una
evaluación comparativa en el ámbito de la educación.
- El índex valora solamente el prestigio intrínseco del sistema científico pero no su valor para la sociedad. De
esta forma se limita a medir la calidad científica tradicional.
- Finalmente está el problema de la puntuación general de las instituciones. Queda abierta la cuestión de si
realmente se pueden juntar premios y citas en un único índex. Una de las críticas importantes, no solamente al
ARWU-ranking sino también a otros, es que el sistema de ponderación no esta suficientemente explicado y
razonado.
Los propios autores mencionan algunos de estos puntos críticos, pero no evalúan la instrumentalización política de
este ranking. Con su decisión de centrar su clasificación en el ámbito de la investigación y con la definición de sus
indicadores, esta clasificación favorece las universidades que son suficientemente grandes y diversificadas en sus
campos de investigación para acumular la masa suficiente para entrar en la lista. El ranking está enfocado (y
favorece) a las universidades fuertemente orientadas a la investigación en ciencias naturales y matemáticas en la
tradición estadounidense y británica. El resultado muestra que las universidades de habla inglesa (Australia,
EE.UU., Irlanda, Nueva Zelandia y Reino Unido) representan el 95% del Top20, 57% del Top100, 56,7 del
Top200 y aún el 46,2% del Top500.
Los propios autores reconocen el problema de que la clasificación tiene un sesgo a favor de las universidades de
habla inglesa, pero no pueden evitar que su ranking sea utilizado en el discurso público como argumento para
resaltar la supuesta ventaja del sistema anglosajón de educación superior y de investigación respecto a los demás
sistemas[24]. El uso político queda en evidencia si se utiliza otro esquema de interpretación refiriéndose a las
entidades políticas UE-27 y EE.UU. Los EE.UU. tienen más universidades entre las 100 mejores (51 por 32), las
200 mejores (90 por 71) y en menor medida entre las 300 mejores (119 por 117), pero entre las 400 mejores (139
por 159) y las 500 mejores (170 por 195) las universidades de la UE están mejor situadas. El hecho de que la
relación haya evolucionada a favor de las universidades de la UE, se puede interpretar como una mejora de la
calidad científica de las universidades de la UE, que incluye, desde luego, las universidades británicas e
irlandesas, pero también se debe a una afinamiento de la metodología.
La elaboración de este tipo de clasificación es válida bajo criterios científicos asumiendo las limitaciones del
campo de evaluación, tanto respecto al tipo de universidades como a la misión de la universidad y a la
metodología usada. El problema reside en el hecho de que este ranking promueve un cierto modelo de
universidad, que aparentemente se ha convertido en el modelo dominante en el ámbito político.

FICHA 2: World University Ranking


<http://www.timeshighereducation.co.uk/WorldUniversityRankings2009.html>.
<http://www.topuniversities.com/worlduniversityrankings>.

Objetivo
El World University Ranking del Times Higher Education Supplement (THES-Ranking) evalúa alrededor de 600
universidades en el mundo y publica una clasificación de las 400 mejores. Se han establecido seis indicadores que
en su conjunto forman el ranking de las universidades mundiales. A parte se elaboran clasificaciones ordenadas en
cinco áreas de conocimiento claves: Arte & Humanidades, Ingeniería & IT, Ciencias de la Vida & Biomedicina,
Ciencias Naturales, Ciencias Sociales.
El concepto del THES-Ranking es el reconocimiento de las universidades como organizaciones multifacéticas

14 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

para la comparación global de su éxito en la carrera para convertirse o ser una universidad de la primera clase
mundial. Se exige cada vez más a las universidades competir para tener las mejores facultades, formar los mejores
estudiantes, obtener los contratos de investigación más lucrativos y obtener más fondos gubernamentales. En este
contexto, el término “World Class University” es cada vez más importante para los gobiernos, los empleadores, los
inversores, los estudiantes y las propias universidades. Pero sin mediciones es difícil identificar la universidad que
cualifica o investiga mejor.
El ranking se establece con base en cuatro criterios: calidad de investigación, calidad de enseñanza, empleo de los
graduados e imagen internacional. El THES-Ranking se realiza utilizando seis indicadores: calidad académica,
calidad de enseñanza, empleabilidad, prestigio académico y prestigio internacional.

Metodología
En el centro de la metodología hay dos encuestas en línea:

Perspectiva Académica
Se trata de la parte más importante del THES-Ranking teniendo un peso de 40% en su conjunto. Es una encuesta
global en línea entre académicos, preguntando por la identificación de aquellas universidades que ellos consideran
excelentes en su campo de conocimiento. Los encuestados no pueden incluir su propia universidad en sus
respuestas. En la encuesta de 2008 se pidió a los encuestados distinguir en su respuestas entre las universidades de
su propio país y de otros. La encuesta es distribuida entre los que ha participado en encuestas previas y los
suscriptores de las bases de datos de “World Scientific” y de “International Book Information Services”, lo cual
significa más de 600.000 direcciones electrónicas.
La clasificación de 2008 se basa en un total de 6.354 respuestas. Se tienen en cuenta las respuestas de los últimos
tres años. En el caso de varias respuestas del mismo académico en el curso de estos tres años, solamente la última
respuesta será tomada en cuenta. Las respuestas son ponderadas por área geográfica en cada de las áreas de
conocimiento establecidas para asegurar una representación igual de las tres super-regiones establecidas:
Américas; Europa & Medio Oriente & África conjuntamente y Asia del Pacifico. Las cinco áreas de
conocimiento son combinadas con base en que cada uno tenga el mismo peso en el resultado conjunto.

Perspectiva de empleadores
Este tipo de encuesta se ha introducido en el año 2005 en la evaluación para cubrir la dimensión del empleo de
graduados. Se considera más apropiada la encuesta que los datos estadísticos sobre empleo de graduados y sus
salarios, dado que éstos están influidos por factores locales. Se trata de una encuesta entre empleadores que
contratan graduados pidiéndoles que identifiquen las universidades que consideran que preparan mejor a éstos
para su puesto de trabajo. El procedimiento, incluyendo la ponderación, es el mismo tanto para los empleadores
como para los académicos.
Los empleadores son contactados a través de la base de datos de QS (Quacquarelli Symonds – empresa que realizó
el THES-Ranking 2008); las redes de socios con que QS está cooperando, y se invita a instituciones participantes
a facilitar contactos. En 2008 se contaba con 2.339 respuestas de parte de los empleadores. El resultado de esta
encuesta significa un 10% en el conjunto de la evaluación.
Las encuestas se complementan con análisis de datos estadísticos en tres apartados: calidad de enseñanza,
prestigio académico e internacionalización.

Calidad de enseñanza
Se considera que el único indicador reconocido internacionalmente para medir la calidad de la enseñanza es la tasa
de estudiantes por universidad. No se trata de un indicador suficiente para medir la calidad, pero es el único que es
medible globalmente y es un indicador del compromiso de las instituciones (o del sistema) con la enseñanza. Para
el cálculo de este indicador se usan dos tipos de datos:
a) El equivalente al estudiante a tiempo completo sumando los datos de las cifras de estudiantes separados por
estudiantes en fase de graduados y en fase de postgraduados. Cuando estos datos no están disponibles por
separado, se usa la cifra total de estudiantes.

15 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

b) El equivalente al miembro de la universidad a tiempo completo usando el número total de los miembros de
universidad sin distinguir entre personal educativo y personal investigador por motivos de disponibilidad de
datos.
Para obtener estos datos, se usan los datos facilitados por la propia institución y se los contrasta con datos del
gobierno, de agencias de enseñanza superior, de fuentes del Internet y de terceros.

Prestigio científico
Para medir el prestigio científico se combinan datos sobre la productividad y la calidad científica, tomando como
referencia la institución. Como indicador se toma la cita, que es usada frecuentemente para medir la calidad
científica. La fuente para obtener estos datos es Scopus, considerada una de las bases de datos más amplia de
resúmenes y citas del mundo. El período de tiempo considerado es de los últimos cinco años. El número total de
citas es contrastado por el número de los miembros de la facultad en términos del equivalente a tiempo completo.
Este indicador tiene un peso del 20% en el conjunto total de la evaluación.

Internacionalización
En el mundo globalizado, las universidades de más éxito deben atraer los estudiantes y personal académico. La
simple evaluación de la proporción de los estudiantes internacionales y de los miembros internacionales de
facultad sirve como indicadores de la atracción internacional. Cada uno de estos indicadores significa 5% del
conjunto de la evaluación.
Los indicadores son combinados usando métodos estadísticos estándares para conseguir los resultados generales
del ranking y ponderando cada uno de los indicadores según su peso en el resultado general, como se ha
mencionado en la descripción de los indicadores: perspectiva Académica: 40%, perspectiva empleador 10%, tasa
estudiantes-facultad 20%, prestigio científico de la facultad (citas) 20% e internacionalización 5%.
Una vez recogidos los datos y aplicada la ponderación, se procede un cálculo de la puntuación estándar de cada
columna de datos para que sean compatibles entre ellos y permitan combinar de forma fiable y aplicar una
ponderación justa en el calculo de la puntuación general.

Presentación
Los resultados del año actual se presentan en formato de tablas en tres apartados: a) los resultados generales
ordenando las mejores 200 universidades por orden descendente según el resultado global, presentando en la
misma tabla los resultados por cada indicador.

La tabla de las 200 mejores universidades del THES-Ranking (2009)

16 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

b) Los resultados por área de conocimiento. El ejemplo siguiente de las ciencias sociales muestra que esta tabla
solamente recoge la puntuación general en el campo y el índex de citas.

La tabla de las 50 mejores universidades en ciencias sociales del THES-Ranking (2009)

Nota: por razones de espacio se presenta aquí el recorte de las cinco primeras universidades

17 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

c) Los resultados por indicador.


Los informes de los años anteriores se pueden bajar en formato pdf. Éstos presentan información más detallada.
En la Web de Times Higher Education, el acceso a esta información sobre el ranking más actual no se ofrece, y en
el caso de la Web de Top Universities está restringido. A continuación exponemos las tablas de los dos indicadores
más importantes de este ranking: las mejores universidades según los académicos y según empleadores del
ranking 2007.

Tabla de las 10 mejores universidades


según académicos y según empleadores (2007 y 2006)

Nota: por razones de espacio se presenta aquí el recorte de las cinco primeras universidades

Comentario
Comparado con el ARWU, el THES-Ranking parece más equilibrado respecto a la recogida de datos, basándose
en encuestas en línea entre académicos y empleados y datos estadísticos sobre el número de estudiantes, miembros
de facultad, citas etc. Igualmente, establece una variedad de ámbitos de evaluación tales como investigación,
enseñanza, empleabilidad y prestigio. Se trata de una evaluación multidimensional del producto universidad y se
presentan los resultados desagregados y agregados.
El núcleo de la clasificación es la encuesta entre académicos sobre la excelencia académica de otras universidades.
Las encuestas sobre el prestigio académico tienen el riesgo de favorecer a las universidades más conocidas. La
encuesta no cumple estándares de transparencia ni respecto a la publicación del cuestionario ni respecto a la
procedencia geográfica de las respuestas, lo que es importante para valorar adecuadamente los resultados de la
misma.
El éxito de la encuesta, en cuanto a respuestas, parece también limitado. EL THES-Ranking presume de una larga
lista de direcciones electrónicas (más de 600.000 direcciones), pero las respuestas no significan ni un 1% de esta
cantidad de direcciones. El THES-Ranking tampoco publica de qué áreas geográficas proceden las respuestas.
El riesgo de una encuesta entre los académicos sobre la excelencia académica de otras universidades es la
suposición de que los académicos conocen realmente la calidad de investigación en su disciplina. Dado a la
creciente especialización de la ciencia en sub-disciplinas se puede tener dudas sobre este supuesto.
El índex de citas tampoco parece que cubra adecuadamente todo el espectro de las ciencias globales. Como ya se
ha dicho en la critica del ARWU, la base de datos de artículos, en este caso de Scopus, tiene un cierto sesgo
idiomático a favor del actual idioma franco en las ciencias: el inglés.
Como en el ARWU, el índex de citas hace referencia solamente a artículos y no incluye libros, lo que refuerza un
determinado estilo de publicación científica es decir, una tendencia a publicar artículos en lugar de libros. Este
indicador valora exclusivamente el prestigio científico de una institución y solamente tienen un valor limitado
para una evaluación comparativa en el ámbito de la educación.
También es discutible el indicador de internacionalización. Un alto porcentaje de miembros internacionales de una
facultad no es necesariamente un indicador positivo sino un indicador de un sistema universitario poco
desarrollado que no puede proveer el personal académico necesario para las exigencias del propio sistema

18 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

económico-científico.
Medir la calidad de la enseñanza a través del indicador de la tasa entre estudiantes y personal académico no parece
suficiente. Es decir, la calidad no es medible usando solamente un único indicador cuantitativo. Los propios
autores del ranking reconocen esta limitación, pero defienden el indicador por ser el único internacionalmente
reconocido.
Este ranking ha recibido críticas por la creación de ‘anomalías’ en los puestos que ocupan algunas universidades
en las diferentes clasificaciones anuales. Marginson (2006) menciona el ejemplo de la University of Malaya, que
en 2004 ha obtenido el puesto 89 en el ranking para bajar en el año siguiente al puesto 169. Pero también
menciona otros ejemplos como la universidad Fudan (China) que en los ranking 2004, 2005 y 2006 ocupó los
puestos 195, 72 y 116 respectivamente, o la universidad de Osaka (Japon – 69 – 105 – 70), la universidad de
Munich (Alemania – 99 –55 –98) o la Ecole Polytechnique (Francia 27 – 10 – 37). En otras palabras, los
resultados parecen bastante volátiles, lo que plantea algunas dudas sobre la metodología.

FICHA 3: New Global University Ranking


<www.globaluniversitiesranking.org>.

Objetivo
El New Global University Ranking (RatER-Ranking) elaborado por el instituto ruso Rating of Educational
Resources (RatER) tiene el mismo objetivo que el ARWU-Ranking en su origen: medir la posición de las
universidades nacionales (en este caso Rusia, en el caso de ARWU China) entre las universidades lideres
mundiales y su progreso en la competición global entre universidades. En el trasfondo, está el objetivo de elaborar
una clasificación alternativa al AWRU y THES-Ranking, donde las universidades de habla inglesa parecen tener
ventajas competitivas. Se usa la metodología de “rating” porque permite reducir las actividades complejas de las
universidades a una serie de indicadores numéricos ordinarios y comparables. Esta clasificación[25] no toma en
cuenta sólo las actividades investigadoras de las universidades sino también las educadoras, considerando que la
tarea principal de las universidades rusas es actualmente la provisión de una educación de calidad que cumpla con
los estándares educativos establecidos por el Estado y responda a los requerimientos del mercado laboral. Como
clientes potenciales del ranking se definen los siguientes: Nuevos estudiantes, las administraciones de universidad,
los departamentos de recursos humanos de grandes empresas, grandes filántropos y representantes de las
administraciones públicas nacionales e internacionales.

Metodología
El RatER-Ranking toma como referencia cuatro rankings globales: ARWU, el THES-Ranking, Webometrics y el
Ranking de la National Taiwan University. Se tomó la decisión de que las universidades evaluadas en estas
clasificaciones deben ser también sujeto de este nuevo ranking. Sin embargo, esta evaluación clasificadora no se
limita a estas universidades, a quienes se dirigieron sus organizadores enviándoles el cuestionario por escrito, sino
también a otras universidades, que quisieron participar en el estudio, abriéndoles la oportunidad de participar a
través de un cuestionario electrónico. En otras palabras, se obtienen los datos-base de la evaluación clasificadora
a través de un encuesta por escrito o en línea, fijando un tiempo limite de entrega de los cuestionarios.
Se definen siete dimensiones a evaluar. En cada una de ellas se elaboran una serie de indicadores:

1. Módulo rendimiento académico de la universidad: a) número de programas de estudios en el año académico de


referencia en los tres niveles de estudios; b) número del personal académico a tiempo completo en el año
académico de referencia; c) número de estudiantes matriculados en la universidad en el año académico de
referencia por nivel de estudios; d) ganadores de competiciones académicas internacionales de estudiantes
desde 2001.

2. Módulo rendimiento investigador de la universidad: a) número de descubrimientos certificados e inventos


patentados obtenidos por la universidad o su personal académico; b) número de profesores (doctores)
honoríficos, que son premios Nobel, ganadores de una medalla Field o de otro premio científico mundial desde

19 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

2001; c) número de premios mundiales recibidos por parte del personal académico de la universidad.

3. Módulo del prestigio científico de la universidad: a) número total de publicaciones (artículos, libros de texto y
manuales, monográficos etc.) en el año académico de referencia; b) porcentaje del personal académico que ha
recibido su titulación en el último año académico; c) número total de profesores de la universidad que han sido
miembros en academias de ciencia nacionales o internacionales en el último año académico; d) promedio de
citas y referencias de la publicación del personal académico por parte de autores extranjeros en el último año
académico.

4. Módulo disponibilidad de recursos: a) presupuesto total de la universidad incluyendo todo tipo de ingresos del
último año fiscal; b) coste total de la infraestructura educativa e investigadora del último año fiscal; c)
rendimiento del centro de computación de la universidad.

5. Módulo actividad socialmente relevante de graduados de la universidad: a) número total de graduados de la


universidad que han conseguido el reconocimiento público.

6. Módulo internacionalización de la universidad: a) número de comunidades académicas internacionales en que


la universidad participa; b) número total de universidades extranjeras con las que se tienen acuerdos bilaterales
en el último año académico; c) número total del personal académico que son profesores (doctores) honoríficos
de universidades extranjeras; número total de estudiantes extranjeros que han estudiado en la universidad el
último año académico; d) número total de estudiantes matriculados en la universidad que han ido a estudiar en
una universidad extranjera en el último año académico (educación inclusiva) y número total del personal
académico de la universidad que ha ido a dar clases o investigar en una universidad extranjera en el último año
académico

7. Módulo clasificación de la universidad según opinión de expertos: a) a través de una encuesta los expertos
determinan el puesto de las universidades extranjeras en un ranking.

Los datos obtenidos en estos apartados son evaluados por un grupo de expertos que determinan cada uno por sí
mismo, el peso de cada indicador dentro del módulo y el peso de cada bloque en el conjunto. Usando el valor final
de cada indicador dentro de cada bloque, y de los bloques en el conjunto se determinó el promedio de todas las
evaluaciones individuales. En el caso de que las ponderaciones de cada experto, se separaran en más de un 15%,
se convocó una reunión de expertos para consensuar la ponderación. Con base en las ponderaciones, se sumó el
valor de los indicadores en cada bloque, ordenándolos de forma descendente, luego se le otorgó a la universidad
del máximo valor 100 puntos y recalculando los puntos de las demás universidades en relación a este valor
máximo. Con base al valor de cada bloque, se suman los valores obtenidos en cada uno ordenando las
universidades de nuevo por orden descendente, poniendo luego a la universidad del máximo valor 100 puntos y
recalculando los puntos de las demás universidades en relación a este valor máximo. Este procedimiento permite
establecer clasificaciones por bloque y para el conjunto de los módulos.

Presentación
Los resultados de esta clasificación se presentan en forma de tabla, en la que las universidades están ordenadas por
el valor obtenido en la evaluación global. En la misma tabla, se presentan también los resultados de la evaluación
ponderada de cada bloque.

Tabla de las 100 mejores universidades globales del New Global University Ranking

20 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

Además, se presentan los resultados agregados por países determinando la cantidad de universidades de cada país
en las listas de los mejores 100, 200, 300, 400 y 500.

Tabla del New Global University Ranking de la clasificación de los países por número de universidades entre los 500 mejores
universidades

Nota: por razones de espacio se presenta aquí el recorte de los 10 primeros países

También se presenta el ranking de las universidades del ámbito territorial de Rusia y de las republicas de la
Comunidad de Estados Independientes (CEI – la organización supranacional que han constituido 15 estados de la
antigua URSS después de su desaparición).

Tabla del New Global University Ranking de la clasificación global de las universidades de Rusia, del CEI y de los países bálticos

Nota: por razones de espacio se presenta aquí el recorte de las cinco primeras universidades

Comentario
Se trata de un ranking multifactorial que pretende constituirse en alternativa a las clasificaciones de ARWU y

21 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

THES ampliando el abanico de indicadores Los resultados de esta evaluación son muy diferentes a estas dos
clasificaciones ordenadas, mejorando la posición de las universidades rusas y empeorando la posición de las
universidades estadounidenses.
En los diferentes módulos se definen algunos indicadores de forma poco precisa, como p.ej. en el módulo 1 el de
ganadores de competiciones académicas internacionales de estudiantes desde 2001; o en el módulo 2 el de número
de premios mundiales recibidos por parte del personal académico de la universidad. También en el módulo 3 del
prestigio científico, se definen los indicadores sin mencionar cuales son las fuentes de información. Caben dudas
sobre si todas las administraciones universitarias dispongan realmente de datos sobre todas las publicaciones de su
personal académico. Tampoco se especifica cómo se determina cual es la fuente para establecer el promedio de
citas y referencias de la publicación del personal académico por parte de autores extranjeros en el último año
académico.
Como en el THES-Ranking, hay algunas dudas sobre la transparencia y el valor de la encuesta entre expertos que
votan por el prestigio de las universidades extranjeras. No se define claramente quién es considerado experto, ni se
expone información sobre la población encuestada y el retorno de las respuestas.
Se explica cómo se establece el esquema de la ponderación, pero no el peso de cada indicador. Tampoco se
representa el valor que ha obtenido una universidad en cada uno de los módulos sino su posición en el ranking
singular.

FICHA 4: Institutional Ranking World Report


<http://www.scimagoir.com/>.

Observación
El SCImago Institutional Ranking World Report (SIR) es accesible a través de la página Web de la entidad autora
SCImago. El enlace se ha establecido al elaborar este artículo. En esta Web pueden bajarse las sucesivas versiones
de la clasificación institucional bibliométrica que se actualiza cuando se incorporan nuevos datos. Las versiones
están numeradas por año y número de edición anual. El documento usado aquí tiene el indicador 2009/002.
A través de una noticia en una revista electrónica, se puede acceder, además, a otros dos documentos sobre este
ranking. Los datos presentados en estas dos publicaciones no coinciden con los datos de la versión oficial, debido
a que no se basan en las publicaciones autorizadas, sino en información no-autorizada.

Objetivo
EL SIR es elaborado por SCImago [www.scimago.es], un grupo de investigación compuesto por investigadores de
universidades españolas y portuguesas y del Instituto de Políticas y Bienes Públicos (IPP) del CSIC español. El
SIR es una clasificación del rendimiento investigador de más de 2000 instituciones de investigación con base en el
análisis de publicaciones y citas en revistas científicas incluidas en la base de datos Scopus de Elsevier. En la lista
se incluyen instituciones de 84 países de los cinco continentes. Las instituciones se clasifican en cinco grupos:
gubernamental, educación superior, salud, corporativo y otros.

Metodología
Se trata de una metodología bibliométrica que utiliza exclusivamente la base de datos Scopus. Previamente se
definen 5 indicadores del rendimiento investigador:

a) Output medido por el número de documentos publicados en las revistas científicas incluidas en la base de
datos. Este indicador está influido, entre otros factores, por el tamaño de la institución y el perfil investigador

b) Citas por documento muestra el impacto científico de las publicaciones de una institución. El valor de este
indicador expresa el promedio de citas de los documentos publicados por una institución en el período de
referencia. Este valor está influido por el perfil investigador de la institución.

22 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

c) Colaboración internacional muestra el grado de colaboración con otras instituciones extranjeras para la
publicación de documentos. Se calcula el valor del indicador por las publicaciones de la institución en que
investigadores de instituciones extranjeras comparten la autoria.

d) SJR-index normalizado muestra el valor promedio de una revista en la que la institución ha publicado un
documento. El SRJ índex es el producto de otro proyecto de evaluación de revistas realizados por SCImago
utilizando la base de datos de Scopus. Un valor por encima de 1 indica que la institución ha publicado la mayor
parte de sus documentos en revistas cuya relevancia en el campo científico está encima del promedio. Un valor
por debajo de 1 indica que la institución ha publicado la mayor parte de sus documentos en revistas cuya
relevancia en el campo científico está por debajo del promedio.

e) Puntuación de citas normalizado por campo muestra la tasa entre el promedio del impacto científico de una
institución y el promedio del impacto mundial de las publicaciones en el mismo período de tiempo y en la
misma área de conocimiento. Se usa la metodología propuesta por el Karolinska Institutet (Suecia) denominada
“item oriented field normalized citation score average”, que se calcula normalizando la tasa de cada
publicación individual frente a la tasa promedio de citas de los artículos en la misma área de conocimiento. Los
valores están presentados en forma de porcentaje, teniendo como referencia el valor 1 que expresa que las
publicaciones del instituto están citadas por igual que el promedio de los artículos en la misma área de
conocimiento. Un valor de 0,8 significa que su tasa está 20% por debajo del promedio mundial y 1.3 significa
que su tasa está 30% por encima del promedio mundial en la misma área del conocimiento.

Presentación
El ranking incluye más de 2000 instituciones ordenadas de forma descendente según el valor obtenido en el
ámbito del “output”.

Tabla de la clasificación de las universidades y centros de investigación


del Institutional Ranking World Report

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

Comentario
Dado que no somos expertos en ciencias de documentación, aquí no entramos en la valoración de la selección de
los indicadores. Sin embargo, se puede insistir en la crítica ya formulada en los comentarios a otros rankings: que
una clasificación por instituciones aporta poca información añadida para mejorar las actuaciones de las mismas o
de las facultades o departamentos. Para que un ranking bibliométrico tuviera incidencia en la actuación de las
instituciones debería enfocarse en las facultades, departamentos o los centros especializados de las universidades o
de las instituciones de investigación.
Ésta, como otras clasificaciones bibliométricas, enfoca el sistema científico tradicional, edonde el prestigio
científico se mide a través de las publicaciones. La interconexión del sistema científico con otros sistemas sociales
como la economía, la política y la sociedad queda intencionadamente excluido de este tipo de rankings.

23 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Dentro del contexto del sistema de publicaciones científicas parece razonable la decisión de los promotores de este
ranking de incluir otras instituciones en el mismo además de las instituciones de educación superior. De este modo
se cubren las diferentes partes de los sistemas de investigación científica y su aportación a la producción científica
en formato de artículos.

FICHA 5: Performance Ranking of Scientific Papers of World Universities


<http://ranking.heeact.edu.tw/en-us/2009%20by%20Fields/Domain/SOC/TOP/100>

Objetivo
El Performance Ranking of Scientific Papers of World Universities (Performance Ranking) del Higher Education
Evaluation & Accreditation Council of Taiwan se centra en la evaluación de los documentos científicos de 500
universidades mundiales, midiendo el rendimiento investigador de estas universidades. Utilizando los documentos
(artículos etc.) científicos, se pretende crear indicadores más objetivos comparados con los que estén basados en la
obtención de premios o en encuestas sobre el prestigio o la reputación científica de las universidades, que en
principio favorecen a las que tienen más tradición e historia. Se trata, por lo tanto, de una clasificación
bibliométrica del rendimiento investigador de las universidades.

Metodología
Para evaluar el rendimiento científico en publicaciones se usan datos cuantitativos procedentes de Thomson
Reuters como el Essential Science Indicators (ESI), la WEB of Science, que incluye el Index de Citaciones de
Ciencias (Science Citation Index SCI), el Index de Citaciones de Ciencias Sociales (Social Science Citation Index
- SSCI), y el Journal Citation Report. Las herramientas más importantes son el SCI y el SSCI, suponiendo que la
forma dominante que adquieren los resultados científicos son publicaciones en revistas académicas. Este ranking
excluye del procedimiento el indicador de citas en Artes y Humanidades (Arts & Humanities Citation Index
A&HCI) porque en estas áreas los investigadores publican gran parte de su trabajo en su propio idioma mientras
que el A&HCI incluye sobre todo publicaciones en inglés.
Se evalúa el rendimiento investigador de 700 universidades previamente seleccionadas. Para esta selección. se usa
la información dada por el ESI, que contiene 3.000 institutos de investigación. La exclusión de instituciones
no-universitarias y la comparación con listas de universidades de otros proyectos de ranking han reducido el
número de universidades incluidas en el proceso de evaluación. Pero en el ranking publicado se incluyen
solamente los primeros 500.
En la clasificación del año 2008, se calcularon ocho indicadores en tres módulos:

1. Módulo productividad investigadora: a) número de artículos publicados en los últimos 11 años (1997-2007),
con un peso de 10%; b) número de artículos en el último año de referencia (2007), con un peso de 10%.

2. Módulo impacto investigador: a) número de citas en los últimos 11 años (1997-2007), con un peso de 10%; b)
número de citas en los últimos 2 años (2006-2007), con un peso de 10%; c) promedio de citas en los últimos 11
años (1997-2007), con un peso de 10%.

3. Módulo excelencia investigadora: H-index de los últimos dos años de referencia (2006-2007), con un peso de
20%; b) número de publicaciones altamente citadas, con un peso de 15%; c) número de publicaciones en
revistas de elevado impacto científico en el último año de referencia (2007), con un peso de 15%.

Se ha calculado el valor de cada indicador para cada universidad incluida en la lista. Para cada indicador, se asigna
a la institución con el máximo valor 100 puntos, calculando luego los puntos de las demás instituciones en
relación porcentual a este valor máximo. Finalmente se calcula el valor del indicador sintético ponderando cada
uno de los indicadores individuales, sumando los resultados de la ponderación y dividiendo el resultado final por
100. Luego se ordenan las universidades por orden descendente según el resultado obtenido por el indicador
sintético. Para mostrar la posible influencia del tamaño de las universidades, el ranking calcula otro indicador
sintético (Ref. World Rank) incluyendo en su cálculo el tamaño de las universidades (el número de empleados de

24 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

la universidad en equivalente a tiempo completo). Estos datos se obtienen o del QS Ltd. (Quacquarelli Symonds –
empresa que realiza el THES-Ranking), o de las páginas Web de las universidades, o de los registros oficiales de
las administraciones publicas responsables de la educación superior en los diferentes países.

Presentación
Los resultados se presentan en una pagina Web que incluye, además, información sobre su origen y metodología,
los resultados de los ranking anteriores.
Los resultados se presentan en forma de tabla dando las puntuación de las universidades para cada uno de los
indicadores. Hay la opción de ver el ranking por universidad, por continente o por país.

Tabla de las 100 mejores universidades del Performance Ranking

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

Se ofrece también la opción de ver los resultados por áreas de conocimiento, de nuevo por universidades, por
continente y por país. Para este objetivo se han establecido seis áreas de conocimiento, incluyendo las siguientes
disciplinas:

a) Agricultura y ciencias de medio ambiente [AGE]: ciencia de agricultura, medio ambiente/ecología y ciencias
de animales y plantas

b) Medicina clínica [MED]: medicina clínica, psiquiatría

c) Ingeniería, computación y tecnología [ENG]: ciencia de computación, ingeniería, ciencias de materiales

d) Ciencias de la vida [LIFE]: biología & bioquímica, inmunología, microbiología, biología molecular &
genética, ciencias neuronales & del comportamiento, farmacología & toxicología.

25 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

e) Ciencias naturales [SCI]: química, ciencias de la tierra, matemáticas, físicas, ciencias espaciales, psicología.

f) Ciencias sociales: economía y comercio, ciencias sociales en general.

Las 100 mejores universidades en ciencias sociales según el Performance Ranking

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

Comentario
Por el mismo motivo que en los comentarios al ranking anterior, nos abstenemos aquí de entrar en la valoración de
la selección de los indicadores. Y, como ya hemos comentado en la ficha anterior, se puede insistir en la crítica de
que una clasificación de universidades aporta poca información añadida para mejorar las actuaciones de las
mismas, menos aún de las facultades. Para que un ranking bibliométrico tuviera incidencia en la actuación de las
instituciones debería enfocar las facultades. Para resolver este problema, esta clasificación introduce la vertiente
del área de conocimiento, que permite una evaluación más detallada de las actuaciones de las universidades.
Éste, como otros rankings bibliométricos, pone el foco en el sistema científico tradicional, donde el prestigio
científico se mide a través de las publicaciones. La interconexión del sistema científico con otros sistemas sociales
como la economía, la política y la sociedad queda intencionadamente excluido de este tipo de rankings.
Este ranking se limita al ámbito de las universidades, excluyendo centros de investigación que en algunos sistemas
nacionales de ciencias tienen un papel importante, como es el caso de España, Francia o muchos países
post-comunistas.

FICHA 6: Leiden-Ranking
<http://www.cwts.nl/ranking/LeidenRankingWebsite.html>

Objetivo

26 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

El University’s Centre for Science and Technology Studies de Leiden (CWTS) ha elaborado un ranking basado
exclusivamente en indicadores bibliométricos. Ya en 2007, el CWTS había publicado uno referente a las 100
universidades europeas con el mayor numero de publicaciones[26]. Esta clasificación jerarquizada quiere
comparar instituciones de investigación a través de mediaciones del impacto bibliométrico que considera también
las diferencias entre áreas de conocimiento.

Metodología
En el Leiden-Ranking entran solamente las instituciones científicas que han producido, en el período 1990-2004,
más de 700 publicaciones por año catalogadas en el ‘Web of science’. Eso significa que el objeto de análisis han
sido alrededor de 1.000 universidades que tienen el mayor numero de publicaciones.
Esta clasificación ordenada se basa en los siguientes cuatro indicadores:

- Mayor número de publicaciones de la universidad en revistas internacionales en un período de tiempo


estipulado (P)

- Promedio de número de citas por publicación (CPP) en el período de tiempo estipulado. Se basa en (C) que es
el numero de citas que se ha hecho de una publicación (P) en el mismo período de tiempo sin tener en cuenta
las citas de publicaciones propias. Se trata de un indicador que no tiene en cuenta las características de los
campos del conocimiento y por eso perjudica a las universidades especializadas, como las universidades
técnicas dado que en las ingenierías y en las ciencias aplicadas el número de citas por publicación suele ser
mucho más bajo que, por ejemplo, en medicina.

- Número total de publicaciones multiplicado por el impacto relativo en el campo correspondiente


(P*CPP/FCSm), que también se denomina ‘brute force’.

- Número de citas por publicación dividido por el impacto promedio en el campo correspondiente (CPP/FCSm).
Este indicador se llama también indicador Crown y es utilizado para la estandarización, evitando así que una
universidad no generalista, como las escuelas de ingeniería y las universidades técnicas, esté penalizada por el
cálculo de cita por publicación.

EL FCSm es el impacto promedio global en un campo determinado. EL CPP/FCSm se utiliza para comparar el
impacto internacional actual de una universidad, instituto, departamento, grupo o investigador con el promedio
global.
Para Europa el período estipulado de análisis es el de 2000 a 2007, mientras a escala mundial se toma como
referencia el período de 2003 a 2007.

Presentación
Los resultados se presentan en una página Web donde se puede acceder a la información por cada indicador
definido, es decir, se presenta una clasificación ordenada para cada indicador ofreciendo al mismo momento
también los datos de los otros indicadores excepto el ‘brute force’. Solamente en el ranking del ‘brute force’ se
presentan todos los indicadores. Se presentan listas de las mejores 100 y 250 universidades, tanto a nivel europeo
como a escala mundial.

Tabla de la clasificación por P – número de publicaciones – las 250 mejores universidades europeas del Leiden-ranking

27 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

Tabla de la clasificación por (CPP/FCSm) Crown indicador - las 250 mejores universidades europeas del Leiden-ranking

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

28 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Tabla de la clasificación por P*(CPP/FCSm) brut force - las 250 mejores universidades europeas del Leiden-ranking

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

Tabla de la clasificación por CPP indicador simple de cita por publicación – las 250 mejores universidades europeas del Leiden-
ranking

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

Tabla de la clasificación por P*(CPP/FCSm) ‘brute force’– las 250 mejores universidades europeas del Leiden-ranking

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

29 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Comentario
La calidad investigadora de las universidades iberoamericanas se evalúa exclusivamente a través de indicadores
bibliométricos, tomando como referencia el Thomson Web of Science. Como hemos señalado antes, nosotros no
somos expertos en bibliometría, por eso no entramos aquí en la valoración de los indicadores. Solamente hay que
mencionar que éstos no recogen el factor del tamaño de la institución académica de ahí que tienda a favorecer a
las organizaciones grandes.
Utilizando como fuente de información el Thomson Web of Science no se mide, en principio, la calidad
investigadora de las instituciones sino su integración en un sistema de publicaciones científicas internacionales en
forma de artículos.
Este ranking se limita al ámbito de las universidades excluyendo centros de investigación que en algunos sistemas
nacionales de ciencias juegan un papel importante, como es el caso de España, Francia o muchos países de Europa
central y del Este.

FICHA 7: Ranking iberoamericano de universidades por calidad investigadora


<http://www.scimago.es/projects.php>
<http://investigacion.universia.net/isi/isi.html>

Objetivo
El Ranking iberoamericano de universidades por calidad investigadora (RI3) es parte del proyecto I+D “Atlas de
la Ciencia” elaborado por el grupo SCImago. Los indicadores científicos se presentan divididos en dos regiones
geográficas: países iberoamericanos y países latinoamericanos[27]. Se trata de un proyecto en fase de desarrollo
que, actualmente, tiene disponible los siguientes países más productivos de ambas áreas regionales: Argentina,
Brasil, Chile, Colombia, Cuba, España, México, Perú, Portugal y Venezuela.
Es una clasificación bibliométrica basada exclusivamente en el análisis de la producción científica en forma de
publicaciones, utilizando la base de datos del Thomson Scientific-ISI. No se tienen en cuenta otras tareas de las
universidades para evaluar la calidad de la institución.

Metodología
En la evaluación clasificatoria entran solamente las instituciones científicas que han producido en el período
1990-2004 más de 100 documentos publicados en revistas incluidas en la base de datos utilizada. El ranking se
basa en los siguientes indicadores bibliométricos.
- Producción Total: Este indicador muestra la evolución de la producción total del agregado regional / área
temática / institución seleccionada, por años del período 1990-2005. El sistema permite ordenar el conjunto de
instituciones a partir del total de documentos acumulados en el período, o para cada uno de los años del mismo.
El orden (ascendente o descendente) del ranking se cambia con un simple clic de ratón en el año (o en el
período) que se desea revisar. Con este indicador, se consigue destacar el conjunto de instituciones de la región
que producen más cantidad de documentos científicos recogidos en revistas indexadas en la base de datos
Thomson-ISI, además de la nacionalidad de las mismas.
- Producción Citable o Producción Primaria. Al igual que el indicador anterior, se muestra la evolución de la
producción institucional del agregado regional/área temática seleccionada, pero solo de aquéllos documentos
que los productores de Thomson-ISI consideran susceptibles de recibir citas: los artículos científicos. La
Producción Citable, además de la evolución de la organización a lo largo de los años que conforman el período,
muestra la capacidad que tiene para hacerse visible internacionalmente a través de la publicación de papers.
Con este indicador, se consigue destacar el conjunto de instituciones de la región que producen más cantidad de
documentos científicos citables, recogidos en revistas indexadas en las bases de datos Thomson-ISI además de
la nacionalidad de las mismas.

30 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

- Producción Ponderada o Potencial Investigador. Se muestra la evolución de la Producción Ponderada del


agregado regional / área temática / institucional seleccionada, pero solo de los artículos científicos. Para el
cálculo del Potencial Investigador es necesario transformar el Factor de Impacto (FI) calculado por
Thomson-ISI. Para ello, se ha procedido a la normalización del FI partiendo de la distribución de impactos que
alcanzan las revistas en un año por Categorías Temáticas (CT, Subject Categories) de Thomson-ISI. Este
proceso de normalización de los impactos permite calcular un valor comparable entre las distintas Categorías
Temáticas, siendo el valor 1 la media del impacto de la Categoría Temática. Cada documento citable “ha
heredado” el valor del Impacto Medio Ponderado (FIMP) de la revista en la que está publicado en ese año. Este
proceso permite, entre otras cosas, valorar el Potencial Investigador de una institución, calculado como la suma
del FIMP de cada uno de los documentos que constituyen la producción primaria o citable de la organización
en ese año. De manera que, además de la evolución de la producción, es posible percibir la visibilidad
observada que alcanza la institución en cada año del período. Si la suma de los FIMP de los documentos de una
institución es inferior a la suma de los documentos citables, significa que la visibilidad de sus trabajos es menor
a la media de la Categoría Temática mundial.
- Factor de Impacto Medio Ponderado. Al igual que el Potencial Investigador, es necesario transformar el Factor
de Impacto (FI) calculado por Thomson-ISI. Para ello, se ha procedido a la normalización del FI partiendo de
la distribución de impactos que alcanzan las revistas en un año por Categorías Temáticas (CT, Subject
Categories de Thomson-ISI). Este proceso de normalización de los impactos permite calcular un valor
comparable entre las distintas Categorías Temáticas, siendo el valor 1 la media del impacto de la Categoría
Temática. Cada documento citable “ha heredado” el valor del Impacto Medio Ponderado (FIMP) de la revista
en la que está publicado en ese año. Para el cálculo del FIMP de la institución, se ha tenido en cuenta el
promedio del FIMP de los documentos citables de dicha organización, ya sea en cada uno de los años del
período, o bien para el período en su conjunto.
- Colaboración Internacional. Este indicador bibliométrico hace referencia al porcentaje sobre la producción
total del año (o del período) de documentos firmados con instituciones de otros países. Es decir, teniendo en
cuenta las direcciones de afiliación que aparecen en cada uno de los documentos, como lugar de trabajo de los
investigadores que lo firman, se han considerado aquéllos firmados por más de una institución pero que
cumplan los siguientes requisitos: por lo menos una ha de ser de la institución (país) a estudiar y por lo menos
otra de un país diferente.

Presentación
Los resultados se presentan en una página Web interactiva, en la que se puede obtener la información respecto a la
producción científica de las instituciones de los países analizados por región (Latinoamerica – Iberoamerica) o
país, por área científica o en general y por indicadores. Los resultados están desglosados por año cubriendo el
período de 1990 a 2005.

Tabla de la clasificación por Producción Total del RI3

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

31 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Tabla de la clasificación por de Producción citable del RI3

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

Tabla de la clasificación por de Producción ponderada del RI3

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

Tabla de la clasificación por Factor de Impacto Medio Ponderado del RI3

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

32 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Tabla de la clasificación por Colaboración Internacional del RI3

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

Obteniendo la lista de las instituciones, se podría acceder a través de un clic sobre el nombre de la institución en
cuestión a los gráficos de la evolución de la producción científica según los indicadores.

Comentario
La calidad investigadora de las universidades iberoamericanas se evalúa exclusivamente a través de indicadores
bibliométricos tomando como referencia el Thomson ISI. No se entra aquí en la valoración de los indicadores.
Solamente hay que mencionar que éstos no recogen el factor del tamaño de la institución académica por lo que
tiende a favorecer a las grandes organizaciones.
Utilizando como fuente de información el Thomson ISI no se mide, en principio, la calidad investigadora de las
instituciones sino su integración en un sistema de publicaciones científicas internacionales. Para medir la calidad
investigadora de las universidades iberoamericanas se tendría que construir primero una base de datos de idiomas
iberoamericanos para las diferentes disciplinas científicas.

Tabla de la clasificación de las mejores instituciones en las ciencias sociales según factor e impacto medio ponderado del RI3

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades

La presentación de los resultados, por lo menos en el ámbito de las ciencias sociales, produce resultados
desconcertantes para una persona no especialista en ciencias de documentación y bibliometría. Por ejemplo, que
en la región iberoamericana es la Universidad Complutense que produce más documentos (410 en total; que la
Universidad de Barcelona es la más citada (324); que el CSIC es la institución con la producción ponderada más
alta (401.037) y que la Universidad Católica de Valparaiso de Chile, es la más internacionalizada, ello es a primera
vista factible. Pero que el Observatorio el Roque de los Muchachos, un observatorio astronómico ubicado en Las
Palmas, sea líder de las instituciones sociales respecto al factor e impacto medio ponderado con 2,44, seguido por

33 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

el Instituto Astrofísico Espacial y Física Fundamental (LAB) de Madrid desconcierta. También están en la lista de
los institutos con publicaciones en ciencias sociales el Instituto Multidisciplinario de Biologia Celular (La Plata –
Argentina), el Instituto Tecnológico y Nuclear (Sacavém – Portugal), la Comissao Nacional de Energia Nuclear
(Rio de Janeiro – Brasil), el Centro de Investigaciones Biológicas del Noroeste (La Paz –Mexico) y otros que no
pertenecen exactamente al ámbito de las ciencias sociales.

FICHA 8: CHE Hochschul-Ranking


<http://ranking.zeit.de/che10/CHE>

Observación
El CHE-Hochschulranking (CHE-Ranking de Instituciones de Educación Superior) no es propiamente un ranking
internacional en el sentido de evaluar universidades de todo el mundo, sino que se trata de un ranking de
universidades de habla alemana o de universidades con un alto porcentaje de estudiantes alemanes como, por
ejemplo, algunas pero no todas las universidades neerlandesas.

Objetivo
El Centrum für Hochschulentwicklung (CHE – Centro para el Desarrollo de la Enseñanza superior/traducción
propia ) elabora este ranking desde 1998. Se publica en la Web de un medio de prensa (desde 2005 en la DIE
ZEIT, periódico semanal). El primer objetivo es dar información tanto a los estudiantes que entran por primera vez
como a los que quieren cambiar de universidad, sobre las posibilidades y las condiciones de estudios en las
diferentes universidades alemanas (y actualmente también de Austria, los Países Bajos, Suiza y Austria). Mediante
la presentación evaluativa y comparativa de la oferta de estudios y de sus condiciones se pretende, además,
contribuir a la transparencia de la oferta así como al rendimiento de las universidades en el ámbito de la
enseñanza, reforzando de esta manera el desarrollo de perfiles propios de las universidades y de sus facultades. El
CHE-Ranking se basa en cuatro principios conceptuales:
- los rankings deben tener como referencia las facultades y no las universidades. Una agregación de datos al
nivel de la universidad no facilitaría a los estudiantes ninguna información valiosa para decidir estudiar dónde
y qué
- La situación de una facultad podría ser diversa en las diferentes dimensiones importantes de las instituciones
de la enseñanza superior: enseñanza, investigación, tutorías, equipamiento etc. Por ese motivo, la evaluación
debe ser multidimensional
- Un ranking debe incluir diversos puntos de vista para obtener una imagen diferenciada de la facultad. Por eso
se incluye, aparte de los datos objetivos, las opiniones de los profesores y de los estudiantes.
- Un ranking no debe presentarse de forma detallista y matemática cuando no se pueden obtener datos
numéricos en todas las vertientes de la evaluación. Por lo tanto, no se debe adjudicar valores numéricos a
indicadores de calidad. Por este motivo el CHE-ranking usa tres grupos para expresar el ranking: el grupo de
elite, el grupo intermedio y el grupo de cola.

Metodología
La evaluación clasificatoria se basa en datos objetivos sobre la situación de la enseñanza universitaria y en datos
subjetivos procedentes de evaluaciones, por parte de profesores y de estudiantes. Los datos objetivos se obtienen
de diferentes fuentes ya sea a través de encuestas a las facultades y la administración central de las instituciones de
la educación superior (el CHE incluye no sólo universidades, sino también politécnicas) o bien de instituciones
estatales responsables de los exámenes e instituciones de deporte universitario; también del análisis bibliométrico,
del registro de patentes y de análisis estadísticos especiales de la oficina estatal de estadística. Los datos subjetivos
se obtienen a través de encuestas entre el profesorado, por un lado, y entre los estudiantes, por el otro.
Cada verano, se realiza una encuesta en línea entre las facultades para obtener datos estadísticos relevantes. El
CHE revisa los datos y reenvía los resultados a los rectorados y a las facultades para nueva revisión, abriendo la

34 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

posibilidad de correcciones y añadidos.


Paralelamente, se efectúa una encuesta por escrito a la administración central de las instituciones de la enseñanza
superior para obtener datos generales (p.ej. horarios de la biblioteca central, asesoramiento estudiantil, tasas de
estudios etc.)
En relación a los años 2006 y 2009, el CHE constató que alrededor del 93% y del 95% respectivamente de las
facultades de las instituciones de la enseñanza superior habían contestado, con un nivel ligeramente más bajo en el
área de ciencias sociales y económicas, particularmente, en historia y ciencias de la comunicación/ periodismo.
Además se realizó una encuesta entre los profesores de los instituciones de la enseñanza superior sobre la
reputación de las facultades respecto a la enseñanza y la investigación. No se incluyen en esta encuesta los
docentes sin estatus de profesores, ni los profesores invitados y tampoco los profesores eméritos u honoríficos. En
los citados años, 2006 y 2009, la encuesta se envió a aproximadamente 31.000 profesores obteniendo respuesta de
un 42,3% y 47,2% respectivamente.
También se realiza – vía administración de las instituciones de la enseñanza superior – una encuesta electrónica
entre los estudiantes asegurando que un estudiante sólo puede participar una vez. De un total superior a 325.000
estudiantes en 2006 y a 644.000 en el 2009, han participado un 22,9% y 21,2% respectivamente. Se preguntó por
la oferta de estudios, su organización, su orientación práctica, el asesoramiento y tutorías, equipamiento y la
situación de estudios en general de la facultad. Se incluyeron también preguntas sobre la vivienda, alquiler y
transporte.
Para asegurar que los indicadores reflejan adecuadamente lo específico de las facultades, se ha creado para cada
disciplina un consejo de asesores formado por representantes de las facultades y asociaciones científicas/
profesionales.
El CHE-Ranking se ha expandido a las siguientes 35 disciplinas presentado por áreas de conocimiento:
Matemática, informática, ciencias naturales y medicina: Bioquímica, biología, geociencias, geografía, farmacia,
física , informática, informática económica, matemáticas, medicina dental, medicina humana, química y química
de alimentos,
Derecho, ciencias sociales y económicas: Derecho/derecho económico, ciencias políticas, economía empresarial,
economía, ingeniería económica, servicios sociales (Pflege), sociología/ciencias sociales y trabajo social
Filología y ciencias culturales: Filología inglesa/ norteamericana, pedagogía, filología alemana, historia, ciencias
de la comunicación/periodismo y psicología.
Ciencias de ingeniería: Arquitectura, ingeniería de la construcción, tecnología electrónica e informática,
arquitectura de interiores, construcción de maquinaria, tecnología física, tecnología de procesos y tecnología de
mediciones.
En algunas disciplinas como filología inglesa y alemana, historia, biología, matemáticas y geografía se realiza un
análisis espacial para los estudiantes de carreras para la educación escolar (Lehramtsstudiengänge). Se trata de una
rama de estudios específicos orientados a la educación primaria y secundaria.
Los indicadores se establecen para nueve módulos:
1. Módulo estudiantes: a) datos objetivos: número total de estudiantes, cuota de mujeres, nuevos estudiantes (1º y
2º Semestre), condiciones de acceso a los estudios, cuota de aspirantes y de admitidos.
2. Módulo resultado de estudios: a) datos objetivos: promedio de notas obtenidos, número de semestres
(actualmente no incluido), número de graduados, semestres de estudios según reglamento de estudios,
graduados en el tiempo previsto por el reglamento, certificados de estudios (diplomas, suplemento europeo,
etc.).
3. Módulo internacionalización: a) datos objetivos: cursos en un idioma extranjero; conocimiento de un idioma
extranjero como requisito de acceso, estancias obligatorias en el extranjero; prácticas obligatorias en el
extranjero; cuota de estudiantes extranjeros, cuota de profesores extranjeros, cuota de profesores en el
extranjero, países de preferencia de intercambio de estudiantes (entrada – salida), b) datos subjetivos (por parte
de los estudiantes): soporte a estancias en el extranjero
4. Módulo investigación: a) datos objetivos: financiación externa/profesores; registro de inventos por cada diez
profesores, redes de investigación; grupo de investigación de postgrados (Graduiertenkollegs), publicaciones

35 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

científicas de los profesores/personal científico, publicaciones internacionales de los profesores/personal


científico, cuota de citación (en ambos casos se utilizan bases de datos de publicaciones especializadas en las
disciplinas tanto de habla alemana como inglesa), doctorados/profesores; habilitaciones/profesores; b) datos
subjetivos (de parte de los profesores): reputación investigadora los profesores debían indicar cinco facultades
alemanas lideres en su campo científico. Actualmente se ha expandido esta encuesta a otros países (Austria y
Suiza) aplicando un método de ponderación.
5. Módulo estudios y enseñanza: a) datos objetivos: estudiantes/profesor-científico, cuota de la enseñanza dada
por docentes temporales. Créditos totales, estructura de los currícula, distribución del currículo entre
disciplinas. ; b) datos subjetivos (por parte de los estudiantes): tutoría de parte de los profesores, grado de
implicación en investigaciones, aprendizaje electrónico, excursiones, oferta de estudios, contactos entre
estudiantes, formación metodológica; evaluación de la organización del currículo, etc.
6. Módulo equipamiento: a) datos objetivos: datos específicos para medicina dental, psicología y medicina
humana; horario de la biblioteca, ordenadores para trabajar en la biblioteca, disponibilidad de literatura
específica para la disciplina, disponibilidad de laboratorios de idiomas; b) datos subjetivos (de parte de
estudiantes): equipamiento de los puestos de trabajo, equipamiento audiovisual, biblioteca, infraestructura de
información y comunicación, salas, equipamiento de laboratorios, de prácticas y de tratamiento. b) datos
subjetivos (por parte de graduados): calidad de tutoría, estructura y organización del currículo, amplitud de la
oferta de estudios.
7. Módulo relevancia profesional y laboral: a) datos objetivos: elementos prácticos, bolsa de estancias prácticas,
consejo de representantes externos; duración de la estancias de prácticas ((permanencia en)la empresa de
prácticas), centro de planificación profesional (colaborando con empresas), promoción de la empleabilidad; b)
datos subjetivos (por parte de estudiantes o graduados): relevancia profesional y laboral, prácticas, preparación
para la vida laboral, transferencia de conocimientos profesionales básicos, de competencias de transferencia, de
competencia para resolver problemas, de competencia para trabajar independientemente y para aprender, de
competencia de trabajar en equipo
8. Módulo evaluación general: a) datos subjetivos (por parte de los estudiantes): deben hacer una evaluación
general de la situación de los estudios de su facultad actual b) datos subjetivos (por parte de los profesores): se
pide a los profesores que mencionen tres facultades alemanas a las que enviarían a sus propios hijos.
9. Módulo ciudad y universidad: a) datos de la ciudad: número de habitantes, porcentaje de
estudiantes/habitantes, transporte más usado, formas de vivienda, alquiler privado, plazas en las residencias
estudiantiles, alquiler en residencias estudiantiles. b) Datos de la universidad: número de estudiantes,
facultades principales, tasa de estudios – cuota de matriculación, horario de las oficinas de asesoramiento
estudiantil, horario de la biblioteca, oferta de deporte universitario, estudiantes que practican deporte en la
universidad, año de la fundación del instituciones de la enseñanza superior.

Presentación
Los resultados de la evaluación se presentan de forma compacta e interactiva en un medio de la prensa. Se hace la
presentación por disciplinas, diferenciando por módulos y por grupos: las universidades de los primeros 25% de
los valores del rango serán agrupadas en el grupo de cabeza, las universidades de los siguientes 50% en el grupo
intermedio y el resto en el grupo de cola. Cuando los valores son muy próximos uno del otro, entonces la
agrupación se orienta a los saltos en la valoración. En el caso de que las universidades muestren valores muy
similares, se las agrupa en el mejor grupo. En la presentación se incluye también la dimensión temporal indicando
un mejora, empeoramiento y el mantenimiento del nivel.

CHE-Ranking Compact sociología/ ciencia sociales

36 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades.
Traducción de términos:
Spitzengruppe: grupo de cabecera
Mittelgruppe: grupo intermedio
Schlussgruppe: Grupo de cola
Nicht gerankt: no evaluado
Aufsteiger: ascendido
Absteiger: descendido
Forschungsreputation: reputación investigadora
Forschungsgelder: financiación de la investigación
Methodenausbildung: Formación metodológica
Bibliotheksausstattung: Equipamiento de bibliotecas
Betreuung: acompañamiento, asesoramiento
Studiensituacion insgesamt: situación de estudios en general

El ranking es accesible actualmente a través de la Web del periódico “Die Zeit” ofreciendo: a) una visión de la
situación de la disciplina por universidad desagregada en seis dimensiones: reputación de la investigación,
financiación de investigación, formación metodológica, equipamiento de la biblioteca, tutorías y situación de
estudios total. b) una visión de la universidad en las mismas seis dimensiones pero ahora ordenado
alfabéticamente, luego más detallada según datos objetivos, datos subjetivos por parte de los estudiantes y la
reputación investigadora (datos subjetivos por parte de los profesores), c) información detallada de la situación de
las facultades por universidad, etc. Esto permite, además, individualizar la clasificación según las preferencias del
buscador.

Comentario
El CHE-ranking está considerado actualmente como uno de los mejores para la evaluación clasificatoria de las
universidades, debido a sus características específicas a) de no elaborar un ranking general de universidades, sino
de facultades; b) definir bien el campo de evaluación (la educación) y los clientes (estudiantes); c) utilizar una
mezcla de metodología (datos objetivos y datos subjetivos obtenidos a través de encuestas entre docentes y
estudiantes); d) no presentar los resultados con valores numéricos, ni agregados; y e) por su transparencia respecto
a la metodología y los datos de las encuestas.
El punto crítico de esta clasificación ordenada es su metodología estrella: la encuesta entre estudiantes. El uso de
esta metodología parte de varios supuestos:

37 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

- las universidades son una institución que proporciona un servicio determinado (la educación) y que tiene un
cliente determinado (el estudiante);

- las valoraciones de los estudiantes respecto a las universidades son un indicador valido para evaluar la calidad
de la educación superior.

- Las encuestas entre estudiantes son metodologías de evaluación tan validas como otros tipos de evaluaciones
profesionales

Es decir, se considera que los estudiantes como clientes de la universidad son expertos, que pueden evaluar la
calidad de la enseñanza de primera mano como observadores cotidianos del sistema y pueden emitir juicios y
valoraciones fundadas y fiables.
Una metodología de este tipo se centra en la evaluación de la educación desde la perspectiva muy especifica de
cliente. Pero el estudiante no es un cliente de un servicio cualquiera, sino de un servicio muy específico que
implica una interacción intensa y compleja con el proveedor del servicio, que es el docente. Por lo tanto, la
posición del cliente-estudiante frente al proveedor del servicio no es comparable a la posición de un cliente de un
servicio de limpieza o de informática, para poner dos ejemplos. El grado de interacción es mucho mayor, pero lo
que es más importante, las expectativas del cliente-estudiante son mucho mas complejas.
Uno de los puntos más críticos de una evaluación basada en encuestas entre estudiantes es el módulo “relevancia
profesional y laboral”, que, en principio, es solamente medible a posteriori. A nivel de universidades o de agencias
de calidad, ya hay proyectos de encuestas entre antiguos alumnos, respecto al valor de la educación superior
recibida para su carrera profesional, pero el CHE-ranking parece que se limita más al colectivo de los estudiantes.
Eso resta valor informativo a este módulo indicador.
No obstante, dentro de estos limites y comparado con las demás clasificaciones ordenadas, se considera este
ranking como uno de los mejores, lo que podría permitir el desarrollo de una propuesta para una evaluación
clasificatoria al nivel europeo (Marginson & Van der Wende). Y en un informe del Education Policy Institute
(2006) de Canadá lo han considerado como un ejemplo de mejores prácticas de evaluación clasificatoria de
educación superior[28].

FICHA 9: Ranking Web de Universidades del Mundo


<http://www.webometrics.info>

Objetivo
El Ranking Web de Universidades, elaborado por el Laboratorio de Cybermetría del CSIC español, esta basado en
indicadores Web, reflejando las actividades ejercidas por profesores e investigadores en la Web. La clasificación
no se centra en los resultados de investigación, sino que usa otros indicadores para reflejar la calidad global de las
instituciones académicas y de investigación del mundo entero. El objetivo de este ranking es el de promover las
publicaciones en la Web por parte de las universidades y su personal académico, evaluando su compromiso con la
distribución electrónica, y el de luchar contra un problema muy preocupante en el entorno académico, que es el de
la aparición de una brecha digital.

Metodología
La unidad de análisis es el dominio institucional, por lo que sólo aquellas universidades y centros de investigación
con un dominio Web independiente son tomados en consideración. Si una institución tiene más de un dominio
principal, se utilizan dos o más entradas para las diferentes direcciones.
El primer indicador Web, el Factor de Impacto Web (WIF de las siglas en inglés), combina el número de enlaces
externos entrantes con el número de páginas Web de un dominio, siguiendo una relación 1:1 entre visibilidad y
tamaño. Esta relación se usa para hacer el Ranking, añadiendo dos indicadores nuevos al componente del tamaño:
El número de documentos, medido por el número de ficheros ricos que contiene un dominio Web y el número de
publicaciones comprendidas en la base de datos del Google Académico.

38 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

A partir de los resultados cuantitativos obtenidos de los principales motores de búsqueda, se han diseñado cuatro
indicadores como se detalla a continuación:
-­‐ Tamaño (S): Número de páginas recuperadas desde los 4 motores de búsqueda: Google, Yahoo, Live Search y
Exalead. La inclusión del número total de páginas se basa en el reconocimiento de la existencia de un nuevo
mercado global para la información de tipo académico. (20% de peso en el resultado global)
-­‐ Visibilidad (V): El número total de enlaces externos únicos recibidos (inlinks) por un sitio que se pueden
obtener de forma consistente desde Yahoo Search, Live Search y Exalead. El número de enlaces entrantes
externos recibidos por un dominio es una medida que representa la visibilidad y el impacto del material
publicado (50% de peso en el resultado global).
-­‐ Ficheros ricos (R): Los siguientes formatos de archivo fueron seleccionados tras considerar su relevancia en
las actividades académicas y de publicación, y teniendo en cuenta su volumen de uso: Adobe Acrobat (.pdf),
Adobe PostScript (.ps), Microsoft Word (.doc) y Microsoft Powerpoint (.ppt). Estos datos fueron extraídos a
través de Google, Yahoo Search, Live Search y Exalead. El éxito de las iniciativas de auto-archivado y otros
repositorios puede estar representada por los datos del Google académico y los ficheros ricos (15% de peso en
el resultado global).
-­‐ Académico (Sc): El Google académico proporciona el número de artículos y citas para cada dominio
académico. Los resultados obtenidos de la base de datos del Google Académico comprenden artículos,
informes y otro tipo de documentos académicos (15% de peso en el resultado global).
Los cuatro valores ordinales fueron combinados de acuerdo a los porcentajes mencionados que permiten mantener
la relación 1:1 entre visibilidad y tamaño.

Presentación
Los resultados de la evaluación clasificatoria de 6000 universidades están presentados en formato de tabla. De
entrada, aparece una tabla en la que las universidades están ordenadas según su posición en el ranking general. En
esta tabla, se puede consultar también la posición de las universidades en los rankings de cada indicador.

Tabla de la Clasificación de las 6.000 mejores universidades del Web-ranking

Nota: por razones de espacio se presenta aquí el recorte de las cinco primeras universidades.

Haciendo clic sobre la palabra ‘universidad’ se cambia a una tabla con los resultados detallados de cada indicador,
ahora, por orden alfabético de las universidades.

Tabla de la evaluación de las 6.000 mejores universidades por orden alfabético del Web-ranking

39 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Nota: por razones de espacio se presenta aquí el recorte de las cinco primeras universidades de la lista.

Aparte se publican las clasificaciones por área geográfica limitándose a las 100 primeras universidades. En este
caso, se da a conocer solamente el puesto en el ranking general y las universidades están ordenadas por su
posición.

40 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Tabla de la clasificación de las 100 mejores universidades europeas del Web-ranking

Nota: por razones de espacio se presenta aquí el recorte de las cinco primeras universidades.

Comentario
Se trata de un clasificación innovadora que propone una alternativa a las clasificaciones bibliométricas conocidas
y académicas o educativas, basada en la metodología de las citas en el nuevo medio de comunicación Internet.
Lo autores delimitan claramente su objetivo y no pretenden hacer una clasificación general de las universidades.
Es el ranking internacional de referencia (véase www.IREG.org) para medir la presencia mediática en Internet,
Los indicadores dan una impresión de la visibilidad de las universidades en Internet, que no se debe confundir con
su relevancia académica. La visibilidad en Internet es importante cuando se concibe el ámbito académico como un
mercado, donde la visibilidad es un factor clave de competividad entre universidades.
Se trata de una clasificación jerarquizada de universidades que no incluye información desagregada de facultades
o personal académico, por lo tanto, el valor del ranking no se encuentra en el ámbito de la investigación ni de la
educación sino en la presencia mediática de la universidad.
Como en los demás clasificaciones presentadas, el sistema de ponderación no quedan bien justificado. La
ponderación de los diferentes indicadores parece arbitraria.

FICHA 10: International Professional Ranking of Higher Education Institutions

Ranking Professional Internacional de Instituciones de la Educación Superior (del École des Mines de Paris)
<http://www.mines-paristech.fr/Actualites/PR>
<http://www.mines-paristech.fr/Fr/Actualites/PR/EMP-ranking.pdf>

Objetivo
Este ranking pretende elaborar un indicador único para la calidad educativa de las universidades, equivalente al
indicador de los premios científicos usado en el ARWU (premio Nobel, medallas Field etc.). Este equivalente se
refiere a dónde han obtenido sus titulaciones académicas los más altos ejecutivos de las empresas, incluidas en el
Fortune Global 500.

Metodología
Usando la lista de las 500 empresas más importantes de Fortune Global 500, se analiza en que institución de la
educación superior han obtenido sus titulaciones los más altos ejecutivos (GEO’s). En el ranking 2009, usado aquí
como referencia, se ha redefinido la metodología:
A cada uno de los máximos ejecutivos de un empresa se le asigna 1 punto. En el caso de que una empresa tenga

41 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

dos máximos ejecutivos, a cada uno se le asigna medio punto. Este punto se distribuyó entre las instituciones de
educación superior en la que el director ejecutivo (CEO -chief executive officer) ha obtenido sus titulaciones. En
el caso de que el director ejecutivo haya obtenido sus títulos en un única universidad (X), entonces esta
universidad obtiene un punto. En el caso de que haya obtenido un titulo en la universidad (X) y otro en la
universidad (Y), cada una obtiene medio punto. En el caso que haya obtenido títulos en tres universidades, cada
una obtiene un tercio de punto. En el caso de que una empresa tenga más de un director ejecutivo, estos puntos
serán divididos por el número de directores ejecutivos de la empresa.
En los casos en que no se puede obtener datos sobre las titulaciones de un director ejecutivo, no se incluye ningún
punto en la evaluación. Para el Ranking 2009, este ha sido el caso de 3 empresas americanas, 16 europeas y 12 de
Asia del Pacífico, lo que desfavorece las instituciones de enseñanza superior del continente europeo y asiático.

Presentación
La publicación del International Professional Ranking ofrece en la introducción una explicación y justificación de
la metodología. Además efectúa un breve análisis de los datos por países, presentando de que países proceden los
quince mejores universidades; de que país proceden las instituciones que han formado 4 o más directores
ejecutivos (los 25 mejores universidades); y de que país proceden las instituciones que han formado 4 o más
directores ejecutivos (las 62 mejores universidades). También hace una comparación de la distribución ideal entre
países (origen de la empresa equivalente a puntos del país) y los puntos realmente obtenidos por las universidades
de un país.
En una primera lista se presentan los directores ejecutivos de las 500 empresas (nombre de las empresas, país de la
empresa; nombre del presidente, y los puntos asignados), el número de titulaciones y donde han obtenido los
títulos.

42 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Tabla de las carreras académicas de los directores ejecutivos de los 500 mejores empresas del 2009 del International Professional
Ranking

Nota: por razones de espacio se presenta aquí el recorte de los directores ejecutivos de las cinco primeras empresas de la lista FORBES
500.

En una segunda lista se presentan los puntos obtenidos por las 377 instituciones líderes de la enseñanza superior
ordenadas de forma descendiente

Tabla de las 377 instituciones lideres de la enseñanza superior del 2009 del International Professional Ranking

Nota: por razones de espacio se presenta aquí el recorte de las primeras 20 instituciones.

Comentario
Se trata de una clasificación basada en un único indicador que pretende medir la calidad de la educación de las
mejores universidades. Se concentra en la elaboración de un indicador alternativo del ARWU en el módulo de
calidad de la facultad (Award ver Ficha 1). Se justifica la elección de un único indicador: a) para establecer un
procedimiento similar al ARWU, considerando que la posición de un director ejecutivo de una de las 500
empresas más importantes del mundo es algo similar a ganar un premio Nobel o una medalla Field; b) por ser un
indicador verificable y reproducible por cualquier otro investigador; c) por ser reproducible año tras año, d) este
indicador pone énfasis en la dimensión de la formación de recursos humanos, para un segmento muy elitista del

43 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

mercado laboral complementando así el indicador de ARWU, para medir la calidad de las universidades líderes en
el mundo.
La ventaja de este indicador reside en su simplicidad y su complementariedad con el ARWU. Sin embargo, la
información que presenta es demasiado reducida. Para valorar bien este indicador se debería introducir la vertiente
del campo de estudios y el sector en el que actúan las empresas. No deben presentar en su análisis solamente una
distribución de las empresas por país, sino también por sector económico; no solamente una distribución de las
universidades presentes en el ranking por países, sino también por área de conocimiento.
Suponiendo que la mayoría de los directores ejecutivos tengan estudios económicos y/o técnicos, este indicador
mide, si es mucho, la calidad de las IES en estos campos y no establece un ranking de universidades lideres en el
mundo en el área de la educación en general.
Dado que las carreras en las empresas no dependen exclusivamente de la calidad de la educación superior
recibida, sino más bien de las dotes políticas de los directores ejecutivos, el valor de este indicador para establecer
un ranking de las universidades líderes en el ámbito de la educación es muy relativo.

Validez y alcance de los rankings


El hilo conductor de la presentación de los diferentes rankings ha sido la pregunta ¿con qué objetivo se han
elaborado? y ¿qué valor añadido aportan a los procesos de decisión de los responsables políticos y de los
estudiantes? Esta revisión de las diferentes clasificaciones parte de la idea de que deben servir no solamente para
situar un sistema universitario, una universidad o una facultad en una especie de liga mundial, europea o nacional,
sino que deben tener el objetivo de facilitar la toma de decisiones para mejorar el funcionamiento de la institución
o del sistema de ciencia y/o educación superior.
En la introducción, se ha insistido en que los rankings y el benchmarking son métodos para reforzar la
competividad en el ámbito de la administración pública y especialmente en los sistemas públicos de educación,
creando cuasi-mercados. Se parte de la idea de que también los sistemas de educación superior estatales están cada
vez más caracterizados por la competencia y por la creación de perfiles propios de cada universidad, lo cual
implica que están cada vez más sometidos a leyes de mercado. A pesar de que las universidades no están
orientadas a beneficios económicos, deben actuar cada vez más como empresas, adaptando, por ejemplo, su oferta
de estudios a los cambios de la demanda y percibiendo a los estudiantes más bien como clientes.
Desde luego, las universidades están orientadas a beneficios, pero no (sólo) a beneficios económicos, sino más a
beneficios científicos y educativos. En este sentido, el problema del enfoque de los rankings no es que suponga
una competición entre instituciones y sistemas, sino que perciben esta competición bajo el prisma economista.
Pero ésta en los otros sistemas sociales como la política, cultura, educación etc. sigue reglas diferentes. En otras
palabras, se debe hacer el esfuerzo de redefinir tanto el concepto de competición como empresa para el ámbito de
las universidades.
La calidad se percibe como el factor más relevante para introducir el principio de mercado en el sistema de la
educación superior[29]. También el documento “Los principios de Berlín” propuestos por el IREG deja clara esta
orientación a la filosofía de mercado, pero insiste asimismo en el hecho de que los rankings no deben ser el único
método de evaluación de los sistemas de educación superior. Evaluaciones, benchmarking y rankings miden la
calidad de servicios, programas, proyectos, productos, organizaciones o instituciones con la intención de inducir
procesos de mejora. Y, por lo menos, el benchmarking y los ranking introducen la comparación entre diferentes
instituciones y sistemas, reforzando la competición entre ellos.
Las evaluaciones de los sistemas educativos se basan necesariamente en la reducción de la complejidad de estos
sistemas a través de la definición del sujeto de la evaluación, de la metodología y del ámbito institucional en que
se pretende introducir mejoras. Benchmarking y rankings reducen esta complejidad, además, con su orientación a
la competitividad de mercado. Sin embargo, no queda claro cuál es el mercado, cuáles son los clientes, cuál es la
demanda y, por ende, qué es la calidad. Los sistemas de educación superior y las universidades suelen ser sistemas
muy complejos con funciones sociales diversas. Centrándonos primero en la educación superior en el estricto
sentido de la palabra, aparecen preguntas como éstas:

a) ¿Las universidades tienen una función educadora y/o formativa?

44 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

b) ¿Qué sistemas sociales son los clientes de las universidades: la economía (mercado laboral) o la sociedad en
general?

c) ¿La demanda por educación superior viene de los estudiantes, de las empresas o de la sociedad?

d) En cuanto al cliente empresa, ¿de qué tipo de empresas se está hablando: empresas grandes, medianas o
pequeñas, con orientación nacional o internacional, innovadoras o no, orientadas a beneficios o sin animo de
lucro, empresas privadas o públicas etc?

e) En cuanto al cliente estudiante; ¿de qué tipo de estudiante se está hablando: un estudiante joven a tiempo
completo o a tiempo parcial recientemente salido de la escuela, un estudiante con experiencia profesional en
régimen de aprendizaje permanente, un estudiante con experiencia profesional en régimen de formación
ocupacional etc.

Y en cuanto a la investigación, tampoco queda muy claro cuál es su mercado. Esta cuestión procede de la
diferencia entre ciencia, que se ha constituido en la sociedad moderna como sistema propio, y tecnología que está
sometida a otros imperativos como, por ejemplo, de la economía y de la política. De ahí viene la pregunta de si
una universidad está orientada a la investigación científica y/o tecnológica. En cuanto al ámbito científico, a
primera vista parece obvio que las universidades se orientan a la comunidad científica internacional en general.
No obstante, en algunas áreas, la ciencias están más orientadas a ámbitos geográficos concretos (por ejemplo en
las ciencias lingüísticas) o a ámbitos temáticos mas concretos y más delimitados. No existe una sociedad científica
internacional como tal, sino sociedades científicas internacionales organizadas por disciplinas y subdisciplinas.
Respecto a la vertiente de la investigación tecnológica, cuál es el paradigma actual de las políticas europeas en el
ámbito científico (modo 2 de la producción del conocimiento y el enfoque de triple helix[30]), la cuestión crucial
es la transferencia del nuevo conocimiento científico en innovaciones y/o mejoras tecnológicas. En este caso, no
se puede medir la excelencia de una universidad a través de las publicaciones en revistas científicas, sino avanzar
en el desarrollo de indicadores más adecuados. De todas formas, en este contexto surge la cuestión de si las
actividades tecnológicas de las universidades están orientadas a un mercado regional, nacional o internacional y si
los clientes potenciales son empresas grandes, medianas o pequeñas.
Por lo tanto, los términos mercado, competencia y demanda acotan la orientación política de la evaluación, pero
dejan igual de difuso el campo de la evaluación. Aparte de esta orientación general al principio mercantil, los
ranking deben, por lo tanto, dejar claro cual es el sujeto de la evaluación y cual es el grupo de clientes a que se
dirige.
En la presentación de las diferentes clasificaciones, se ve que estas varían según el sujeto y el grupo de clientes a
que se dirigen. Por ejemplo, el ARWU tenía inicialmente el objetivo de medir cómo estaba situado el sistema
universitario chino en el sistema mundial de las ciencias. Eso justifica: a) la limitación del ranking al ámbito de la
investigación y b) evaluar las universidades y no las facultades. Las limitaciones metodológicas de los indicadores
se deben en gran parte a los problemas para conseguir datos homogéneos para todas las universidades. Por estas
limitaciones, el ranking padece una cierta sobrevaloración de las ciencias naturales, que se expresan en la elección
de revistas de referencia y del tipo de publicaciones. También tiene un sesgo reconocido hacia las publicaciones en
inglés, lo que explica en parte el predominio de las universidades de habla inglesa en el ranking. El problema del
ARWU reside en el hecho de que ofrece solamente una valoración muy general de las universidades, que no
parece facilitar una toma de decisión respecto a la configuración del sistema universitario ni a las universidades en
particular, pero que se utiliza para justificar ciertas políticas en el ámbito de la investigación y de la educación
superior, por ejemplo, la estrategia de crear universidades de excelencia. Pero no queremos entrar aquí en una
discusión detallada de los diferentes rankings, sino hacer un crítica más general.
La diferencia entre una evaluación y un ranking es que se comparan diferentes productos, servicios y programas
entre si, y se establece un orden de calidad entre ellos. La máxima y muy común expresión de esta metodología es
adjudicar valores numéricos a los diferentes indicadores de calidad y calcular posteriormente un indicador
sintético que permita establecer un orden descendente desde el primero hasta el último. A parte, este tipo de
ranking, no aportan valor añadido a los actores (sociales) para tomar decisiones respecto a la mejora de las
instituciones o los sistemas, ni para tomar decisiones sobre donde estudiar o contratar un proyecto de
investigación, si no va acompañado de una información más detallada sobre los puntos fuertes o débiles del
sistema o de la universidad. Siguiendo el paradigma deportivo, para el entrenador de un equipo de fútbol no es

45 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

suficiente saber en que posición de la tabla está su equipo, sino que debe tener información más detallada de como
juega su equipo, si falla en la defensa, en el medio campo o en el ataque, si hay muchos lesionados etc.
Desde luego existen otros tipos de ranking en que no se crea un único indicador sintético, sino que se establece
una clasificación ordenada por dimensiones, es decir, áreas de actuación de las universidades como docencia,
investigación, empleabilidad etc. Y la mayoría de las clasificaciones ordenadas, que elaboran un indicador
sintético presentan también los números obtenidos de las universidades en las diferentes dimensiones analizadas.
El CHE-ranking renuncia a establecer un orden descendente entre las instituciones o sistemas evaluados,
aplicando esquemas más amplios como mejores, intermedios y últimos.
Aparte, hay poca transparencia respecto a los sistemas de ponderación, lo cual no hace referencia, en general, a la
exposición del peso de cada dimensión sino a cómo se ha establecido esta ponderación y por qué motivos. Para
resolver este problema, el ranking RaTER aplicar una metodología diferente dejando la ponderación en manos de
expertos. Sin embargo, el procedimiento y, por ende, el sistema de ponderación queda más opaco aún. Desde
luego, la ponderación es solamente un problema en cuanto al objetivo de conseguir un indicador sintético único.
Cuando se renuncia a esta medida muy mediática, no existe este problema en tal magnitud.
Los rankings presentados se pueden clasificar según que misiones de las universidades evalúan. Tradicionalmente
se asigna a las universidades modernas dos misiones fundamentales: la de educación y de investigación. En la
discusión actual del rol de las universidades se añade una tercera misión haciendo referencia a servicios a la
sociedad, transferencia de conocimiento y tecnología, transferencia de cultura (científica). Algunos elementos de
la tercera misión como, por ejemplo, la transmisión de cultura (científica) ya están incluidos en el ideal
humboldtiano de la universidad[31], otros han surgido (de nuevo) en la discusión de la transición hacia la sociedad
del conocimiento y en la discusión sobre los nuevos modelos de producción de conocimiento (científico) en forma
de triple helix o de Mode 2 que sostienen que se ha implantado una nueva forma de interrelación entre
universidades, empresas y sociedad en el proceso de innovación. A pesar de que existen en algunos rankings
tímidos intentos de traspasar el limite de modo tradicional de la producción científica, se ve que ninguno de los
rankings presentados está evaluando la tercera misión.
De los rankings presentados anteriormente hay siete que se declaran rankings globales y cuyos sujetos de análisis
son las así denominadas universidades mundiales, restringiendo de esta forma el número de universidades
sometidas al análisis. Marginson & Van der Wende (2007) constatan que este tipo de rankings ha fomentado el
concepto de universidades mundiales y la percepción de la competición entre ellos. Para poder comparar
universidades, las evaluaciones clasificatorias tenían que reducir el campo de análisis a un cierto tipo de
universidad: la ‘comprehensive research-intensive university’.
Las clasificaciones mundiales, que hemos presentado aquí usan el concepto “World University”. Este término
tienen dificil traducción al castellano. Por ejemplo en la Web del Web-Ranking (Webometrics
http://www.webometrics.info), se habla en la versión inglesa de "Webometrics Ranking of World's Universities",
mientras en la versión española se habla de "Ranking Mundial de Universidades". Pero no es lo mismo hablar de
un ranking mundial o de un ranking de "universidades mundiales"[32]. Lo primero parece un tipo específico de
rankings, mientras en el segundo se hace un ranking de un tipo específico de universidades.
Marginson (2009: 4-5) llama la atención a que los rankings globales usan de esta forma implícitamente una
distinción discriminatoria entre dos tipos ideales de universidades:

1) El primer tipo ideal: la universidad de investigación intensiva, que pone énfasis en la investigación y los
estudios de graduados, resaltando la excelencia y el prestigio. Está fuertemente orientada a la economía y la
sociedad del conocimiento. Compite por estudiantes y fondos de investigación, tanto a escala nacional como
internacional. Implícitamente, se considera que este tipo representa “el ideal” de universidades y todas las
universidades deben tener el objetivo de entrar en esta categoría alcanzando unos de los primeros puestos. Y
los programas políticos de la Unión Europea y de los estados miembros apuestan por reforzar este tipo de
universidades, por ejemplo, a través de las iniciativas de excelencia.

2) El segundo tipo ideal: la universidad de educación superior vocacional masificada, que se centra sobre todo en
la formación para la economía empresarial, la informática y para las profesiones de alta demanda en los
servicios públicos, como educación y sanidad. La inmediata relevancia de la formación y educación superior
para los mercados laborales es de alta importancia. Tiene como objetivo aumentar el número de estudiantes y
de mejorar su posición en el mercado de la educación superior. Pero implícitamente se considera este tipo

46 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

como una universidad menor, lo cual coincide con la tendencia de los académicos y del sistema académico de
dar más importancia a la investigación que a la enseñanza[33].

Centrándose en la investigación, los rankings globales dan preferencia al primer tipo ideal y influyen
normativamente en muchas políticas nacionales reforzando, por ejemplo, la apuesta de algunos estados por las
universidades de investigación de excelencia, como Alemania, China, Corea, Francia, Japón y Rusia. Marginson
(2009: 13) resalta que este tipo de clasificaciones es por su propia naturaleza injusto. Eso no es debido a la
metodología usada sino a su uso y la racionalidad de su existencia. Los rankings reflejan, confirman, consolidan y
reproducen el prestigio y el poder[34].
La revisión de las diferentes clasificaciones ha mostrado que se centran, sobre todo, en la misión científica en el
sentido tradicional[35]. Hay una cierta proliferación de rankings bibliométricos por ejemplo los del SRI, el de la
Performance y el de Leiden. Excepto el International Professional Ranking, se puede añadir también las otras
clasificaciones presentadas, que se basan, en parte, en el análisis bibliométrico. Estas clasificaciones suelen
referirse sólo a una parte de producción científica: el formato de artículos. Solamente el RaTER incluye en sus
indicadores la publicación de monográficos, manuales etc. Se supone que esta limitación a un ámbito específico
de la producción científica se debe, principalmente, a la fácil disponibilidad de datos a escala mundial, que ya
tienen cierta estructura y reduce por lo tanto el coste de búsqueda y clasificación de los mismos.
De las ocho clasificaciones presentadas, que incluyen un análisis bibliométrico, dos utilizan Scopus de Elsevier,
cinco usan bases de datos de la Web of Science de Thomson Reuters y uno no precisa qué tipo de base de datos
utiliza. Se trata de bases de datos gestionadas por empresas comerciales. La exclusividad de su uso en los
rankings, es decir o se utiliza Web of Science o Scopus, indica intereses comerciales por parte de estas empresas,
en estos tipos de análisis. Casals y otros (2008), llaman la atención a la creciente interrelación entre ciencia y
repercusión mediática tomando como punto de partida la adquisición de la Web of Science por parte del grupo
empresarial Thomson Reuters. “La búsqueda de la repercusión mediática se ha convertido en un elemento de gran
importancia para la difusión de conocimiento sin que, en ocasiones, tenga mucha importancia la calidad de lo que
se difunde.” Ninguno de los rankings revisados presenta un argumento por el que han seleccionado una de las dos
bases de datos, ni por la exclusividad de su uso o por no usar métodos de análisis bibliométricos de publicaciones
electrónicas.
Hay que resaltar, que sólo una de las clasificaciones de la producción científica - el de la Performance -, hace el
esfuerzo de presentar datos desagregados por campos de conocimiento. Además llama la atención que los
diferentes rankings utilizan solamente una de las bases de datos comerciales más importantes (Web of Science o
Scopus), lo cual podría influir en los resultados. Y por último, solo una de las clasificaciones presentadas (RaTER)
incluye indicadores referentes a la transmisión del conocimiento al mundo económico utilizando por ejemplo
como proxy el número de patentes. En una evaluación de los rankings por encargo de la universidad de
Gotemborg, Cavalli & Lindblad (2006), se constataron algunos de los puntos críticos de las clasificaciones de la
calidad científica, que se han mencionado ya en las fichas:

-­‐ Los rankings se hacen con base en una descripción reducida de la vida académica y de sus resultados.

-­‐ Se observa un sesgo lingüístico en los rankings.

-­‐ Se observa un sesgo hacia ciertos campos científicos como matemáticas, ciencias naturales, medicina, y
tecnología.

-­‐ Los rankings recogen solamente un tipo muy específico de la difusión del conocimiento: los artículos.

-­‐ Las universidades generalistas cuyas facultades cubren un amplio abanico de áreas de conocimiento y las
universidades que ponen énfasis en la misión educativa y formativa están en desventaja frente a las
universidades más especializadas en medicina, tecnología o ciencias naturales[36].

Lindblat (2008) considera que la evaluación de la calidad académica en los rankings globales está, en el mejor de
los casos, diseñada de forma imprecisa y, en el peor de los casos, errónea. Sin embargo, en el caso de los rankings
meramente bibliográficos, estos dejan claro desde el principio que solamente evalúan esta parte específica de la
calidad académica, mediante una única base de datos comerciales.
Hay tres clasificaciones internacionales -el ARWU, el THES y el RaTER-, que pretenden cubrir adecuadamente

47 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

los dos campos esenciales de las universidades: investigación y educación. La parte de la investigación ya se ha
discutido en el párrafo anterior. Por lo tanto, nos centramos a continuación en como estos rankings cubren el
ámbito de la educación. El ARWU propone cubrir la dimensión de la educación a través de los indicadores de
premios recibidos por personal de la universidad. El THES-ranking cubre esta dimensión a través de una encuesta
entre empleadores y la ratio entre el equivalente al estudiante a tiempo completo y el equivalente del personal
académico de la universidad a tiempo completo. Y el RaTER mide el rendimiento académico a través del número
de programas de estudios, número de personal académico a tiempo completo, número de estudiantes matriculados
y estudiantes ganadores de premios académicos internacionales. En todos los casos, se trata de proxies para medir
la calidad de la educación superior. Ya hemos mencionado el problema de recurrir a los premios como indicador
de la calidad educativa, pero hay que resaltar que la propuesta de ARWU se centra exclusivamente en el ámbito
del sistema de ciencia, sin tener en cuenta que la educación superior no tiene la función de formar mano de obra
sólo para el sistema científico, sino para más segmentos del mercado laboral, especialmente, la administración
pública. La propuesta del ‘International Professional Ranking’ se puede interpretar como un complemento al
indicador de ARWU, pero tienen los mismos problemas conceptuales. La propuesta de THES-ranking de una
encuesta entre empleadores de mano de obra graduado, aplica una metodología similar a la del CHE-ranking, que
esta haciendo encuestas entre estudiantes. Sin embargo, el uso de la metodología en el THES-ranking parece poco
transparente y de poco éxito, por lo cual surgen dudas de su validez. Por otro lado, un indicador con base en datos
del número de estudiantes y personal académico –usado tanto por THES como por el RaTER-ranking– parece
abierto a una revisión por parte de otros investigadores. Sostenemos que, en principio, este tipo de datos deben ser
desagregados por facultad porque las condiciones de estudios son muy diferentes de una facultad a otra debido a
su organización como también lo es la demanda de parte de los estudiantes. De todas formas, este indicador
numérico tampoco es suficiente para conocer la calidad de la educación, porque ésta se muestra en el mercado
laboral y en las trayectorias profesionales.
Para el ámbito de la segunda misión de las universidades, en muchos países existen clasificaciones ordenadas
nacionales, en su mayoría, elaboradas regularmente por encargo de un medio de publicación y que tienen por
objetivo valorar la calidad de la educación superior y servir como guía para los estudiantes. Hacer referencia a
todas estas clasificaciones nacionales hubiera rebasado las competencias lingüísticas de los autores y también los
limites de este artículo. Sin embargo, hemos incluido el CHE-ranking porque está considerado, en diferentes
publicaciones sobre rankings, como enfoque innovador y ejemplar. En su ficha se ha comentado ya el problema de
su metodología de considerar al estudiante como experto capaz de valorar la calidad del servicio, como cliente de
un servicio determinado. Aquí queremos hacer hincapié en otro aspecto problemático: la dimensión temporal para
valorar la calidad de un servicio educativo. La calidad de la educación se muestra más en la próxima fase
educativa (paso de la educación primaria a la educación secundaria obligatoria, de la educación secundaria
obligatoria al bachillerato o a la formación profesional y luego a la educación superior), o una vez terminada una
trayectoria educativa, es decir, en la transición al mercado laboral y en la trayectoria profesional posterior. Como
indicador complementario se ofrece el ‘International Professional Ranking’ analizando los orígenes universitarios
de dirigentes de empresas multinacionales. Sin embargo, este indicador conlleva también algunos problemas, dado
que su ámbito analítico es demasiado restringido y debería ser ampliado a dirigentes de centros de investigación,
de administración pública etc. Pero lo que es más importante aún, se puede suponer que la influencia de la
educación superior recibida pierde impacto en la trayectoria profesional en el curso de tiempo. Por otro lado,
recurrir a este indicador complementario, conlleva el riesgo de no analizar la calidad de la educación superior de
las universidades, sino la función de una universidad como mecanismos de selección.
Una mención aparte se merece el Ranking Web, que cubre un aspecto muy específico de la actividad de las
universidades: su presencia mediática en Internet. Se trata de una clasificación innovadora de las universidades
que podría ganar importancia en el proceso de la internacionalización de la educación superior y de los procesos
de investigación.
Para finalizar esta revisión de los rankings accesibles en Internet, comentamos un problema del diseño de los
mismos. Los autores del ‘International Professional Ranking’ justifican la selección de su único indicador para
medir la calidad de la educación superior por el hecho de que se trata de un indicador verificable y reproducible
por cualquier investigador y en los años siguientes. La selección del AWRU de los premios como indicador
cumple en principio con los mismos requisitos. Este argumento llama la atención a uno de los problemas del
diseño de cualquier ranking internacional o nacional: la disponibilidad y obtención de datos para confeccionar los
indicadores. En el ámbito de los rankings bibliométricos, su mayoría opta por usar una de las bases de datos de
revistas de los dos grandes proveedores comerciales mundiales. El CHE-ranking complementa el análisis

48 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

bibliométrico internacional con un análisis de bases de datos nacionales disponibles para diferentes áreas de
conocimiento. Las publicaciones en formato de libro, muy importantes en algunas áreas de conocimiento, quedan
excluidas. Se puede suponer que eso es debido a problemas para obtención de los datos correspondientes tanto al
nivel nacional como internacional[37], de la complejidad de su análisis y de su coste. Estos pocos ejemplos
indican probablemente, la mayor problemática para diseñar un ranking nacional o internacional.
A pesar de los comentarios críticos a los rankings, éstos tienen una función en la comparación de un sistema con
otro o una institución con otra. Pero en el discurso mediático se olvida muchas veces que los rankings: a) deben
ser sólo uno de varios métodos de asesoramiento, b) se basan en el principio de competición entre sistemas o
instituciones, que se confunde muchas veces con la filosofía de mercado económico; c) se basan en la reducción
de la complejidad de la realidad social universidad y por lo tanto muestran solamente una visión reducida de las
universidades; y d) están limitados por la disponibilidad de datos homogéneos o por los costes de obtener nuevos
datos. Dentro de estas limitaciones y con base en una presentación desagregada de los resultados obtenidos en el
proceso de la evaluación, podrían ser un instrumento válido para promover verdaderos procesos de mejora. Pero
para cumplir con este objetivo, se deben mejorar los indicadores de calidad académica en sus diferentes vertientes
e introducir una tipología (más adecuada) de las universidades.

49 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

Notas
[1]
Este artículo es el resultado de muchas conversaciones que hemos mantenido con colegas en el curso del proyecto europeo NESOR
(www.nesor.eu) y con los colegas de la Fundación Desarrollo y Conocimiento. Agradecemos, especialmente, los comentarios críticos de
Horacio Capel. Así mismo, dedicamos este artículo a Bernd Baumgartl, fundador de la red de investigación navreme y uno de los
motores del proyecto NESOR, el cual murió en el verano del 2009.
[2]
En el discurso público político se suele usar hoy en día el término stakeholder, lo cual implica ya cierta orientación al paradigma de
empresa y del mercado. En este artículo preferimos usar el término “político” o “actores sociales”.
[3]
  Véase Lindblat, Sverker (2008, p. 438)
[4]
Lindblat, Sverker (2008, p. 438): “These numbers inform universities where they are in relation to others – the state of their condition
and progress locally as well as worldwide. In this way, they can translated into navigator tools for universities as well as for different
stakeholders and clients in higher education.”
[5]
Hazelkorn, E. (2008, p. 208): “But rankings are also provoking wide-range changes in higher education and higher education
systems.”
[6]
  Véase el proyecto NESOR – New social risks in the European knowledge society and higher education (2006-2009), co-financiado
por la Unión Europea en el marco del programa Socrates. Para más información: <www.nesor.eu> y <www.dia-e-logos>. 
[7]
Krüger & Jiménez (2009) en <www.navreme.net>.
[8]
“A benchmark is a point of reference against which something may be measured.” (Glosario de International Network for Quality
Assurance in Higher Education – INQAAHE [www.qualityresearchinternational.com/glossary/)
[9]
“A technique in which a company measures its performance against that of best in class companies, determines how those companies
achieved their performance levels and uses the information to improve its own performance. Subjects that can be benchmarked include
strategies, operations and processes” <www.asq.org/glossary/b.html>.
[10]
De hecho, el benchmarking es un procedimiento originaria del mundo económico empresarial.
[11]
“Ranking is a term used to refer to the rating and ordering of higher education institutions or programmes of study based on
various.” (Glosario de International Network for Quality Assurance in Higher Education – INQAAHE
<www.qualityresearchinternational.com/glossary>).
[12]
Es el acrónimo del Programa para la Evaluación Internacional de Alumnos de la OCDE (PISA, por sus siglas en inglés), que “tiene
por objeto evaluar hasta qué punto los alumnos cercanos al final de la educación obligatoria han adquirido algunos de los conocimientos
y habilidades necesarios para la participación plena en la sociedad del saber” <http://www.pisa.oecd.org>.
[13]
En los años 1969, Dahrendorf insistió en que educación y formación son un derecho de los ciudadanos.
[14]
Estudios existentes sobre la expansión de la educación superior desde el principio del siglo XVIII indican que esta expansión va
acompañada por una diferenciación horizontal y vertical del sistema de educación superior (universidades de elites, universidades de
excelencia, instituciones de educación superior no universitarias etc.).
[15]
Münch resalta, no obstante, que las críticas a la “industria PISA“ no deben esconder que los resultados negativos de los estudios
indican que existe realmente una brecha entre el imaginario educativo del sistema alemán y la realidad de las escuelas. 
[16]
Los estudios PISA no son unos estudios científicos en el sentido estricto sino que se trata de una actividad económica de
asesoramiento llevada a cabo por cinco organizaciones-empresas por encargo de la OECD. Este tipo de encargos siempre conlleva la
sospecha que los resultados confirmarán ya la hipótesis de trabajo, en este caso de disfunciones en los sistemas educativos que requieren
la constante evaluación por parte de terceras instancias y más concretamente de las cinco organizaciones-empresas mencionadas. El
hecho de que el ámbito territorial de los estudios PISA se haya expandido rápidamente (supuestamente con los correspondientes ingresos
económicos de las organizaciones-empresas) indica el éxito de este programa político comercial.
[17]
  Véase Berlin Principles on Ranking of Higher Education Institutions (2006).
[18]
En el caso de que el sistema de educación superior incluya el elemento de tasas de estudios variables entre universidades o
programas, se puede hacer también una comparación calidad-precio para determinar la mejor oferta de estudio. En la vertiente de la
investigación habrá que determinar en consecuencia un equivalente a las tasas de estudios: el precio para un proyecto de investigación y,
además, la calidad de los resultados.
[19]
Véase Berlin Principles on Ranking of Higher Education Institutions (2006).

50 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

[20]
Véase Ficha 4: Institutional Ranking World Report; y BUESA, MIKEL & HEIJS, JOOST & KAHWASH, OMAR (2009) La
Calidad de las Universidades en España.  Elaboración de un índice multidimensional. Encargo del Consejo Económico y social de
Madrid (CES) y disponible en <http://www.cesmadrid.es/documentos/La_calidad.pdf>.
[21]
En el último apartado se discute en más detalle el problema adjacente al uso del término World university.
[22]
Muchas publicaciones hacen referencia a esta clasificación llamándola Shanghai-índex.
[23]
A pesar del reconocimiento general del inglés como lengua franca de los sistemas científicos, hay voces que abogan por introducir
un criterio lingüístico en la evaluación de las publicaciones cientíticas. Por ejemplo, Capel (2004) propone seguir el ejemplo del Instituto
Universitario Europeo de Florencia, que  se valora más una investigación cuando -en igualdad de condiciones- más lenguas se utilizan en
su defensa y a más lenguas pertenecen los trabajos citados en la bibliografía. En las ciencias sociales y humanitarias se podrían introducir
criterios semejantes para clasificar artículos y obras.
[24]
Aquí no entramos en la valoración sobre cuál sistema es mejor. Lo que se quiere resaltar es que los propios autores reconocen este
sesgo idiomático en favor de las instituciones de habla inglesa, pensando incluso en un sistema de ponderación idiomática de las
publicaciones.
[25]
Este artículo toma como referencia la clasificación evaluativa del año académico 2007/08.
[26]
Van Raan, Anthony F.J. (2008) Bibliometric Statistical Properties of the 100 largest European Research Universities: Prevalent
Scaling Rules in the Science System. In Wiley InterScience. <http://174.129.205.30/lis2000/cumulative_advantage
/vanRaan_2008_2.pdf>. Consulted 18/12/2004.
[27]
Los autores del RI3 definen los países iberoamericanos como aquéllos territorios que en el algún momento dependieron de la
Península Ibérica (España y Portugal). Los países latinoamericanos hacen referencia a los territorios que se relacionaron en su día con
países europeos donde se hablaba las lenguas románicas (España, Portugal y Francia). De hecho, la evaluación del impacto científico se
refiere en el caso de los países iberoamericanos a todos los países mencionados al final del párrafo y en el caso de los países
latinoamericanos se excluye España y Portugal.
[28]
Alex Usher and Massimo Savino (2006) A World of Difference: A Global Survey of University League Tables.
<http://www.educationalpolicy.org/pdf/World-of-Difference-200602162.pdf>.
[29]
Véase por ejemplo la discusión en Alemania la publicación de la Conferencia de los rectores de las instituciones de la educación
superior: HRK – HOCHSCHULREKTORENKONFERENZ (1999) Ein Schritt in die Zukunft. Qualitätssicherung im Hochschulbereich.
in Beiträge zur Hochschulpolitik. Nº3. <http://www.hrk.de/de/download/dateien/EinSchritt3-1999.pdf> y especialmente el artículo de:
LANDFRIEDE, K. (1999) Qualitätssischerung als Aufgabe wettberwerblicher Hochschulen.
[30]
Tanto la teoría del Modo 2 de la producción del conocimiento de Gibbons y otros, como la teoría de triple helix, desarrollada por
Leydesdorff y otros, sostienen que la configuración de los sistemas de producción del conocimiento científico ha cambiado en el curso de
las últimas décadas. Gibbons y otros (1994) comenzaron en los años 1990 una discusión sobre los cambios en los sistemas científicos.
Mientras las formas tradicionales de producción del conocimiento científico (Modo 1) se circunscriben, casi exclusivamente, en el mundo
científico siguiendo las reglas de las disciplinas académicas, las nuevas formas (Mode 2) se basan en la creciente interacción entre
diversos actores procedentes del mundo científico, económico, político y social. Por lo tanto, estas nuevas formas son más heterogéneas,
transdisciplinarias y menos jerárquicas. Véase Gibbons, M. y otros (1994); Gibbons, M. (1998), Novotny y otros (2006); Hessels, L. K.
& Van Lente, H. (2008) y Jiménez-Buedo, M. & Ramos Vielba, I (2009). Para el enfoque de triple helix véase Leydesdorff, Loet (2001) y
Leydesdorff, Loet (2010).
[31]
Se hace referencia a Wilhelm von Humboldt, quien es considerado, generalmente, como fundador de la universidad moderna, en la
que se yuxtapone la investigación y la enseñanza basándose en el “Bildungsideal” de la ilustración alemana. El item “transmisión de
cultura” está incluido en el viejo “Bildungsideal” de la ilustración alemana. En el debate actual sobre la educación superior, la posición
controvertida de la “transmisión de cultura” en el imaginario de la universidad moderna se refleja en el hecho de que unos abogan por
una orientación de la educación superior a la formación profesional mientras otros defienden su valor educativo.
[32]
No existe aún una traducción consolidada del término, pero en un artículo de la OEI – Organización de los Estados Iberoamericanos
<www.oei.es/noticias/spip.php?article3186&debut_5ultimasOEI=20> se utiliza el término universidad mundial. A lo largo de este
artículo hemos seguido esta propuesta para referirnos a World university.
[33]
Véase, por ejemplo, Krüger, K. & Jimenez, L. (2008, p. 62)
[34]
Marginson (2009: 13): “University rankings are marred by limiting, reductive and reifying qualities. These rankings are by most
reasonable definitions ‘unfair’. This is not a pathology of the technology. It is a mark of its uses and its rationale for existence. Rankings
reflect prestige and power; and rankings confirm, entrench and reproduce prestige and power. The particular systems in use further
particular interests.”
[35]
En una comparación de rankings universitarios, Moodie (2005) llega a una conclusión similar: It will be seen from the foregoing
quick review that most national and international rankings of universities are based mostly on research, and mostly only on investigator-
initiated and discipline-based or mode 1 research … in the empirical sciences.
[36]
Véase Cavallin & Lindblat (2006) citado en Lindblat (2008)

51 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

[37]
Existe el ISBN (International Standard Book Number) que podría ofrecer, en principio, la posibilidad de acceder a los datos de los
libros publicados, pero no hay ninguna herramienta similar a las bases de datos de Web of Science y de Scopus que ofrezcan datos
cruzados de citas en publicaciones científicas. El ISBN tiene, además, el inconveniente de que incluye todo tipo de libros y no solamente
libros científicos.
 

Recursos en línea

Rankings

CENTRE OF SCIENCE AND TECHNOLOGY STUDIES – UNIVERSITY LEIDEN. Leiden-Ranking.


<http://www.cwts.nl/ranking/LeidenRankingWebsite.html>. [12 de diciembre de 2009].

CHE - CENTRUM FÜR HOCHSCHULENTWICKLUNG. CHE Hochschul-Ranking <http://ranking.zeit.de


/che10/CHE>. [12 de diciembre de 2009]

HIGHER EDUCATION EVALUATION & ACCREDITATION COUNCIL OF TAIWAN. Performance Ranking


of Scientific Papers of World Universities. <http://ranking.heeact.edu.tw/en-us/2009%20by%20Fields/Domain
/SOC/TOP/100>. [12 de diciembre de 2009].

INSTITUTO OF HIGHER EDUCATION - SHANGHEI JIAO TONG UNIVERSITY. Academic Ranking of World
Universities. <ed.sjtu.edu.cn/ranking.htm>; <www.arwu.org>. [12 de diciembre de 2009].

LABORATORIO DE CIBERMETRÍA – CONSEJO SUPERIOR DE INVESTIGACIÓN CIENTÍFICA (CSIC).


Ranking Web de Universidades de Cybermetrics Lab del CSIC. <http://www.webometrics.info>. [12 de diciembre
de 2009].

MINES PARISTECH. International Professional Ranking of Higher Education Institutions. <http://www.mines-


paristech.fr/Actualites/PR>; <http://www.mines-paristech.fr/Fr/Actualites/PR/EMP-ranking.pdf>. [12 de
diciembre de 2009].

RATER (RATING OF EDUCATIONAL RESOURCES). New Global University Ranking.


<www.globaluniversitiesranking.org>. [12 de diciembre de 2009].

SCIMAGO. Ranking iberoamericano de Universidades por calidad investigadora. <http://www.scimago.es


/projects.php>; <http://investigacion.universia.net/isi/isi.html>. [12 de diciembre de 2009].

SCIMAGO. SCImago Institutional Ranking (SIR) 2009 World Report. <http://www.scimago.es/projects.php>;


<http://www.scimagoir.com/>. [12 de diciembre de 2009].

TIMES HIGHER EDUCATION SUPPLEMENT. World University Ranking del Times Higher Education
Supplement. <http://www.topuniversities.com/worlduniversityrankings>. [12 de diciembre de 2009].

Recursos digitales

CAPEL, H. Libelo contra el inglés. in Biblio 3W. Revista Bibliográfica de Geografía y Ciencias Sociales
5/2/2004, vol. IX nº 490. <http://www.ub.es/geocrit/b3w-490.htm>. [20 de diciembre de 2009].
CAVALLIN, M. & LINDBLAT, S. Värlsmästerskap i vetenskap? En gransking av internationella rankinglister
och deras sätt att hantera kvalitier hos universitet. Gothenburg. University of Gotengurg. Dnr G11 530/06. 2006
<http://gupea.ub.gu.se/dspace/bitstream/2077/3102/1/709619_Varldsmasterskap_vetenskap.pdf>. [01 de
diciembre de 2009]
CLARKE, M. The Impact of Higher Education Rankings on Student Access, Choice, and Opportunity. In

52 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

INSTITUTE FOR HIGHER EDUCATION POLICY College and University Rankings Systems. Global
Perspectives and American Challenges. Washington DC. 2007. <http://www.ihep.org/assets/files/publications
/a-f/CollegeRankingSystems.pdf>. [01 de diciembre de 2009].
DOCAMPO, D. Rankings internacionales y calidad de los sistemas universitarios. International rankings and
quality of the university Systems. In Revista de Educación, número extraordinario. 2008. pp. 149-176.
<www.revistaeducacion.mec.es/re2008/re2008_07.pdf> [01 de diciembre de 2009].
GIBBONS, M. Higher education Relevance in the 21st Century. World Bank Working papers. 1998. <http://www-
wds.worldbank.org/external/default/WDSContentServer/WDSP/IB/2000/07/19/000094946_9912220532351
/Rendered/PDF/multi_page.pdf>. [01 de diciembre de 2009]
HAZELKORN, E. Impact of Rankings on Higher Education: International and German Perspectives. In
HOCHSCHULREKTORENKONFERENZ. Aktuelle Themen der Qualitätssicherung und Qualitätsentwicklung:
Systemakkreditierung - Rankings - Learning Outcomes. Beiträge zu einer Veranstaltung des Projekts
Qualitätsmanagement der Hochschulrektorenkonferenz am 5./6.11.2007 in Bonn. Beiträge zur Hochschulpolitik
6/2008. <http://www.hrk.de/de/projekte_und_initiativen/4657.php>. [02 de diciembre de 2009]
HAZELKORN, E. Rankings and the Battle for World-Class Excellence: Institutional Strategies and Policy
Choices. In Higher Education Management and Policy. Volume 21, Nº. 1. 2009. <www.dit.ie/cser/media/ditcser
/documents/HEMP21%201%20Hazelkorn.pdf>. [03 de diciembre de 2009].
HAZELKORN, E. The Impact of Global Rankings on Higher Education Research and the Production of
Knowledge. Centre for Social and Educational Research Reports. Dublin Institute of Technology Year 2009.
<http://arrow.dit.ie/cgi/viewcontent.cgi?article=1016&context=cserrep>. [02 de diciembre de 2009]
HESSELS, L. K. & VAN LENTE, H. Re-thinking new knowledge production: A literature review and a research
agenda. ISU-Working papers 08.03. Copernicus Institute for Sustainable Development and Innovation, Utrecht
University. 2008. <www.uu.nl/uupublish/content/isu0803.pdf>. [02 de diciembre de 2009]
INSTITUTE FOR HIGHER EDUCATION POLICY College and University Rankings Systems. Global
Perspectives and American Challenges. Washinton DC. 2007. <http://www.ihep.org/assets/files/publications
/a-f/CollegeRankingSystems.pdf>. [03 de diciembre de 2009]
INSTITUTE FOR HIGHER EDUCATION POLICY. Impact of College Rankings on Institutional Decision
Making: Four Country Case studies. Washinton DC. 2009. <http://www.ihep.org/assets/files/publications
/g-l/ImpactofCollegeRankings.pdf>. [03 de diciembre de 2009]
INSTITUTE FOR HIGHER EDUCATION POLICY. The Role and Relevance of Rankings in Higher education
Policymaking. ISSUE Brief September 2009. Washinton DC. 2009. <http://www.ihep.org/assets/files/publications
/m-r/(Issue_Brief)_The_Role_and_Relevance_of_Rankings.pdf>. [03 de diciembre de 2009]
JIMÉNEZ-BUEDO, M. & RAMOS VIELBA, I. ¿Más allá de la ciencia académica?: Modo 2, Ciencia
Posacadémica y ciencia posnormal. In ARBOR Ciencia, Pensamiento y Cultura CLXXXV 738 julio-agosto. pp.
721-737. 2009. <http://arbor.revistas.csic.es/index.php/arbor/article/viewFile/326/327.> [01 de diciembre de 2009]
KROMREY, Helmut (2003) Qualität und Evaluation im System Hochschule. In STOCKMANN, REINHARD
(Ed.): Evaluationsforschung. Opladen. p. 233-258. Versión online del capítulo en <http://www.profkromrey.de
/Kromrey_Eval_Univ.pdf>. [02 de diciembre de 2009]
KRÜGER, K. & JIMÉNEZ, L. in BAUMGARTL, Bernd & MARIANI, Michele (Eds.) To There form Here.
Relevant Practice from Higher Education Institutions. Navreme Publications: research for practice. Vol. 7c.
Vienna/Modena. 2008. <http://www.navreme.net/downloads/Vol%207c%2025.pdf>. [02 de diciembre de 2009]
LEYDESDORFF, L. Knowledge-Based Innovation Systems and the Model of a Triple Helix of University-
Industry-Government Relations. 2001. <http://www.leydesdorff.net/new01/thmodel.pdf>. [03 de diciembre de
2009]
LEYDESDORFF, L. The Knowledge-Based Economy and the Triple Helix Model, in BLAISE Cronin (Ed.);
Annual Review of Information Science and Technology, 44 (2010) p. 367-417. <http://www.leydesdorff.net/arist09
/arist09.pdf>. [10 de diciembre de 2009]
LINDBLAT, S. Navigating in the Field of University Positioning: on International raning lists, quality indicators
and higher education governing. In European Educational Research Journal. 2008. Vol. 7 Number 4. en

53 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

<http://www.vr.se/download/18.ead945b11f699b5085800018441
/4_Lindblad_EERJ_7_4_web+%25282%2529.pdf>. [05 de diciembre de 2009]
MODELI, R. & DEARDEN, J. A. & LILIEN, G. L. The University Rankings Game: Modelling the Competition
among Universities for Ranking. Pennsylvania State University . 2006. <http://mt.educarchile.cl/mt/jjbrunner
/archives/Dearden-Grewal2006.pdf>. [06 de diciembre de 2009]
MARGINSON, S. Global university rankings at the end of 2006: Is this the hierarchy we have to have?.
Presentation at the OECD/IMHE & Hochschulrektorenkonferenz, Germany: Workshop: Institutional Diversity:
Rankings and typologies in higher education. 4-5 December Bonn. 2006. <http://www.cshe.unimelb.edu.au/people
/staff_pages/Marginson/IMHE_Bonn_rankings041206.pdf.>. [06 de diciembre de 2009]
MARGINSON, S. Global university rankings: where to from here? 2007. <http://www.cshe.unimelb.edu.au
/people/staff_pages/Marginson/APAIE_090307_Marginson.pdf>. [05 de diciembre de 2009]
MARGINSON, S. Global university rankings. Presentation at the 32nd Annual Conference of the Association for
the Study of Higher education. 7-10 November Lousville Kentucky. 2007. <http://www.cshe.unimelb.edu.au
/people/staff_pages/Marginson/ASHE%202007%20PRESENT%20global%20university%20rankings.pdf >. [05
de diciembre de 2009]
MARGINSON, S. University rankings, government and social order: managing the field of higher education
according to the logic of the performative present-as-future, in SIMONS, Maarten & OLSSEN, Mark & PETERS,
Michael (eds) Re-Reading Education Policies: A Handbook For Studying the Policy Agenda of the 21st Century.
Rotterdam. 2009. Preversión de capitulo en <http://www.cshe.unimelb.edu.au/people/staff_pages/Marginson
/Simons_et_al_chapter(Marginson)-0707.pdf>. [05 de diciembre de 2009]
MARGINSON, S. & VAN DER WENDE, M. To Rank or to be ranked: The impacto of global Rankings in Higher
education. In Journal of Studies in International Education, Vol. 11 No. 3/4, Fall/Winter 2007 306-329. Versión
online en <http://www.cshe.unimelb.edu.au/people/staff_pages/Marginson
/Marginson&VanDeWendeJSIEFallWinter07.pdf>. [05 de diciembre de 2009]
MOODIE, Gavin University Rankings. 2005. <http://www.griffith.edu.au/vc/ate/moodie/pdf/05atem3.pdf>. [05 de
diciembre de 2009]
NOWOTNY, H. “Re-thinking science: from reliable to socially robust knowledge”. In NOWOTNY, H. &
WEISS, M. Jahrbuch 2000 des Collegium Helveticum. Zürich. 2000. pp. 221-244. Una versión electronica es
disponible en: <http://www.helga-nowotny.at/documents/Re-Thinking.pdf.> [10 de diciembre de 2009]
OIE España - El Ranking Web de Universidades 2008 sitúa a 25 universidades españolas entre las 500 primeras
en el mundo. 2008. <www.oei.es/noticias/spip.php?article3186&debut_5ultimasOEI=20.>. [15 de diciembre de
2009]
SANOFF, Alvin P. (2007) The U.S. News College Rankings: A View from the Inside. In INSTITUTE FOR
HIGHER EDUCATION POLICY (2007) College and University Rankings Systems. Global Perspectives and
American Challenges. [en linea]. <www.ihep.org>. [05 de diciembre de 2009]
USHER, A. & CERVENAN, A. Global Higher Education Rankings 2005. Toronto, ON: Educational Policy
Institute. 2005 <http://www.educationalpolicy.org/pdf/Global2005.pdf>. [05 de diciembre de 2009]
USHER, A. & SAVINO, M. A World of Difference: A Global Survey of University League Tables. 2006.
<http://www.educationalpolicy.org/pdf/World-of-Difference-200602162.pdf>. [10 de diciembre de 2009]
USHER, Alex & SAVINO, Massimo. A Global Survey of Rankings and League Tables. In INSTITUTE FOR
HIGHER EDUCATION POLICY College and University Rankings Systems. Global Perspectives and American
Challenges. Washinton DC. 2007. <http://www.ihep.org/assets/files/publications
/a-f/CollegeRankingSystems.pdf>. [10 de diciembre de 2009]

Otra bibliografía

GIBBONS, M. & NOWOTNY, H. & LIMOGES, C. & SCHWARTZMAN, S. & SCOTT, P. & TROW, M. The
new production of knowledge: The dynamics of science and research in contemporary societies. London. 1994.

54 de 55 31/05/17 20:47
KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de unive... http://www.ub.edu/geocrit/aracne/aracne-129.htm

MÜNCH, Richard. Globale Eliten, lokale Autoritäten .Bildung und Wissenschaft unter dem Regime von PISA,
McKinsey & Co. Frankfurt a.M. 2009.
NOWOTNY, H. & SCOTT, P. & GIBBONS, M. Re-thinking science: mode 2 in societal context. in
CARAYANNIS, E.G. & CAMPBELL, D.F. (eds), Knowledge Creation, Diffusion, and Use in Innovation
Networks and Knowledge Clusters: a Comparative Systems Approach Across the United States, Europe and Asia;
Westport; London. 2006. pp. 39-51.
 

[Edición electrónica del texto realizada por Jeffer Chaparro y Daniel Santana].

© Copyright Karsten Krüger y Alba Molas, 2009.


© Copyright Ar@cne, 2009.

Ficha bibliográfica: 

KRÜGER, Karsten; MOLAS, Alba. Rankings mundiales de universidades: objetivos y calidad. Ar@cne. Revista Eléctronica de Recursos
en Internet sobre Geografía y Ciencias Sociales. [En línea. Acceso libre]. Barcelona: Universidad de Barcelona, nº 129, 1 de enero de
2010. <http://www.ub.es/geocrit/aracne/aracne-129.htm>.

Índice de Ar@cne

Menú principal de Geo Crítica


 

55 de 55 31/05/17 20:47

S-ar putea să vă placă și