Psicothema 2010. Vol. 22, n 2, pp. 171-179 www.psicothema.

com

ISSN 0214 - 9915 CODEN PSOTEG Copyright 2010 Psicothema

Ranking de 2009 en investigacin de las universidades pblicas espaolas

Gualberto Buela-Casal, M Paz Bermdez, Juan Carlos Sierra, Ral Quevedo-Blasco y ngel Castro
Universidad de Granada

En los ltimos aos se observa un creciente inters por la elaboracin de rankings de calidad de las universidades, tanto a nivel nacional como internacional. La falta de claridad en la obtencin y presentacin de la informacin lleva a que muchas de estas clasificaciones sean difciles de entender e interpretar, con lo que es necesario establecer una serie de consideraciones sobre el nombre del ranking, la seleccin de los criterios, el peso de los indicadores, el tipo y la seleccin de las instituciones que se evalan, el tamao de las instituciones, las fuentes de informacin, la unidimensionalidad/multidimensionalidad de los rankings, la periodicidad del ranking y los criterios de calidad. Adems de ofrecer esta informacin, el objetivo de este estudio es actualizar y mejorar el Ranking de investigacin de las universidades pblicas espaolas para el ao 2009. Se sigue la misma metodologa que en el ranking de 2008, se aade un nuevo criterio, que hace referencia a las patentes registradas y explotadas, y adems se mejora el indicador de tramos de investigacin. Los resultados obtenidos permiten evaluar las fortalezas y debilidades de cada universidad pblica espaola en el mbito de la investigacin. Ranking of 2009 in research in Spanish public universities. In recent years, there has been a growing interest in the development of quality rankings of universities, both nationally and internationally. The lack of clarity in the collection and presentation of information means that many of these classifications are difficult to understand and interpret, so that it is necessary to establish a series of considerations about the name of ranking, selection criteria, the weight indicators, the type and choice of institutions that are evaluated, the size of the institutions, information sources, the one-dimensionality/multidimensionality of the rankings, frequency and quality criteria. In addition to providing this information, the aim of this study is to update and improve the research ranking of Spanish public universities of 2009. The same methodology as in the ranking of 2008 is followed, adding a new criterion, which refers to the patents registered and operated, and also enhances the rate of research sections. Results allow the analysis of the strengths and weaknesses of each Spanish public university in the area of research.

En los ltimos aos se ha producido un enorme inters por los rankings de calidad de las universidades, y una buena muestra de ello es la cantidad de stos que se han creado. Esto, a priori, podra parecer algo positivo, dado que cuantas ms evaluaciones de la calidad se realicen y ms enfoques se utilicen para evaluar las universidades, parece que se tendra una visin ms completa de lo que supone la calidad en algo tan difcil de evaluar como es la universidad. Sin embargo, la proliferacin de rankings, tanto en el contexto nacional como internacional, est teniendo un efecto contrario, es decir, el consumidor de esta informacin (ciudadanos, estudiantes, investigadores, profesores, gestores de poltica cientfica, etc.) est recibiendo tanta informacin sobre criterios,

Fecha recepcin: 18/1/2010 Fecha aceptacin: 18/1/2010 Correspondencia: Gualberto Buela-Casal Facultad de Psicologa Universidad de Granada 18011 Granada (Spain) e-mail: gbuela@ugr.es

indicadores y clasificaciones de universidades, que podra terminar generando un cierto escepticismo, dado que en muchos casos se encuentra con informacin aparentemente contradictoria, tal como se explicar ms adelante. Las clasificaciones o rankings de las universidades son necesarias para evaluar la calidad; de hecho, carece de sentido evaluar sin comparar, por tanto, est fuera de la discusin su necesidad. No obstante, hay que ser conscientes de las importantes repercusiones que tiene para una institucin universitaria la publicacin de una clasificacin. Esto puede influir en su prestigio social y acadmico, en la posible demanda de alumnos, en la captacin de profesores e investigadores, en la financiacin, etc. Por ello, no hay duda que las clasificaciones tienen efectos sobre el presente y el futuro de las universidades, de ah la importancia de que estn bien desarrolladas, sean transparentes y, por supuesto, que sigan unos principios ticos. Muestra de este inters son las diversas reuniones y simposios sobre las directrices que deben seguir las clasificaciones de universidades, tanto en el contexto internacional como en Espaa, y ejemplo de esto son los Principios de Berln para Rankings de Instituciones de Educacin Superior (International Ranking Ex-

172

GUALBERTO BUELA-CASAL, M PAZ BERMDEZ, JUAN CARLOS SIERRA, RAL QUEVEDO-BLASCO, Y NGEL CASTRO

pert Group, 2006) o el reciente seminario interuniversitario sobre Universidad y Sociedad: Transparencia y eficiencia institucional: Rankings universitarios, organizado por la Conferencia de Rectores de las Universidades Espaolas, CRUE (2010). En ambos casos los principales objetivos son generar directrices para la elaboracin de los rankings, evaluar la calidad de las instituciones y facilitar la transparencia, la objetividad y el rigor informativo de las clasificaciones. El International Ranking Expert Group fue fundado en 2004 y tuvo la iniciativa de promulgar una serie de principios de calidad y buena prctica para la elaboracin de rankings de las instituciones de educacin superior. Son los conocidos como Berlin Principles on Ranking of Higher Education (2006). A travs de esta iniciativa se pretende uniformar la metodologa para la elaboracin de rankings y poder as comparar los resultados en todo el mundo. Son 16 principios divididos en cuatro apartados (Objetivos de los rankings, Diseo e importancia de los indicadores, Recogida y procesamiento de los datos y Presentacin de los resultados). En el primer apartado, se recomienda ser claro en los objetivos del ranking, reconocer la diversidad de instituciones y la diferencia en cuanto a objetivos y metas, as como las diferencias culturales y lingsticas entre las diversas instituciones, e informar claramente sobre cmo se accede a la informacin analizada. En cuanto a los indicadores, se debe resear claramente la metodologa utilizada para calcularlos; elegirlos por su relevancia y validez y otorgar un peso constante a cada uno de ellos. Sobre la recogida y procesamiento de la informacin se exige cumplir las normas ticas, usar datos pblicos y verificables por otros y que stos sean revisados por expertos en la evaluacin de instituciones educativas. Por ltimo, en cuanto a la presentacin de los resultados se recomienda facilitar la comprensin al lector, a travs de explicaciones de todos los datos y criterios evaluados, as como publicitar los posibles errores, tanto en los datos originales como las posibles mejoras a introducir en el ranking elaborado. La falta de claridad en la creacin y la presentacin de la informacin de los rankings tiene importantes consecuencias en la interpretacin que hacen los lectores no expertos en estos temas, que son la mayora de los consumidores de este tipo de informacin. Por ello, es necesario establecer unas directrices que garanticen la objetividad y la claridad de la informacin: El nombre del ranking El nombre que se utilice es sin duda muy importante. ste debe ser un claro descriptor del contenido del ranking. Un mal ejemplo es el Academic Ranking of World Universities Institute of Higher Education, Shangai Jiao Tong University (2008), el trmino acadmico es mucho ms amplio que lo que realmente evala este ranking, dado que se limita a unos criterios que exclusivamente se corresponden con algunos resultados de la investigacin (publicaciones en revistas incluidas en la Web of Science y distinciones como los premios Nobel y medallas en Matemticas). Sin duda alguna, esto no se corresponde con el trmino acadmico, que incluye tambin la docencia, el xito de los egresados, etc. La seleccin de los criterios Los criterios deben ser seleccionados en funcin de su capacidad de discriminacin; no pueden ser criterios con una discriminacin muy baja o muy alta, por ejemplo, utilizar el criterio de pre-

mio Nobel no es discriminativo, pues hay muy pocos premios Nobel y hay miles de universidades en el mundo. Los criterios tienen que relacionarse con la realidad actual de las instituciones, que est determinada en gran medida por el contexto socioeconmico en el que se encuentran esas universidades. El peso de los indicadores Establecer el valor de cada indicador es uno de los puntos clave en cualquier clasificacin, pues esto determina en gran medida el resultado final de cada institucin evaluada. En la mayora de los rankings el peso est establecido por los autores del ranking, lo cual es difcil de justificar. El peso debera ser establecido por una muestra de expertos de la comunidad cientfica que es objeto de esa clasificacin. El tipo y seleccin de las instituciones que se evalan Las instituciones evaluadas deben ser comparables entre s y adems esto debe relacionarse con los criterios de evaluacin. Por ejemplo, comparar universidades de pases desarrollados, que tienen como finalidad la formacin cualificada y la investigacin, con universidades de pases subdesarrollados cuya nica finalidad es una formacin profesional cualificada, y que stas sean comparadas con criterios de productividad cientfica, no tendra lgica pues estas instituciones no son comparables en esos criterios. Establecer el tamao de las instituciones Si se realizan clasificaciones en funcin de la productividad, lgicamente deben ponderarse los resultados en funcin del nmero de profesores o investigadores de cada institucin. Una vez ms hay que tener presente qu tipo de profesores o investigadores deben ser considerados. Si se clasifican las universidades en funcin de la productividad cientfica hay que considerar (para establecer el tamao de la universidad) slo aquellos profesores que tengan la capacidad de puntuar en los distintos criterios de investigacin evaluados. Por ejemplo, en Espaa los profesores titulares de escuela universitaria no pueden ser considerados, pues no pueden puntuar en varios de los criterios: dirigir tesis doctorales, impartir clase en el doctorado, dirigir un proyecto de investigacin I+D, dirigir un becario de Formacin de Profesorado Universitario, etc. Las fuentes de informacin La informacin que se utilice para elaborar un ranking debe ser pblica, accesible y por tanto contrastable por cualquiera. Adems deben especificarse de manera clara los periodos evaluados y las fechas en las que se obtiene la informacin, dado que sta cambia a travs del tiempo. Esto permitir que cualquiera pueda verificar la informacin utilizada para construir el ranking. La unidimensionalidad/multidimensionalidad de los rankings Los rankings, para que puedan resultar tiles a los consumidores y a las propias instituciones evaluadas, deben ofrecer la informacin de forma unidimensional. Por ejemplo, una puntuacin multidimensional compuesta por resultados de investigacin, docencia, gestin, innovacin, transferencia de conocimientos, infraestructuras, relacin con la sociedad, competiciones deportivas, ta-

RANKING DE 2009 EN INVESTIGACIN DE LAS UNIVERSIDADES PBLICAS ESPAOLAS

173

sas profesor alumno, procedencia de los alumnos, etc., no es til para nadie, pues no permite conocer las debilidades y/o fortalezas de esa institucin. Por ello, son necesarias clasificaciones unidimensionales que ofrezcan informacin de cada uno de los criterios. Y cuando stos se agrupan en un ranking multidimensional debe estar muy bien fundamentado el peso que se otorga a cada clasificacin para componer el ranking multidimensional final. La periodicidad del ranking Un ranking, para que resulte til debe ser editado de forma peridica, de lo contrario, con el paso del tiempo no slo queda obsoleto sino que adems no permite verificar los cambios experimentados en la mejora de cada institucin. Por ello, tambin es recomendable que los perodos utilizados para cada criterio en la construccin de la clasificacin sean relativamente cortos o, de lo contrario, no experimentarn cambios en las distintas ediciones del ranking. Criterios de calidad del ranking Los rankings son elaborados por diversas instituciones como universidades, fundaciones, agencias, diarios, o por investigadores o grupos de expertos, pero esto no implica una garanta de calidad. Por ello, sta debe ser verificada por expertos en la temtica y ajenos a su elaboracin; uno de los mejores procedimientos para contrastar su calidad es su publicacin en una revista cientfica. En Espaa en los ltimos aos han proliferado los rankings sobre calidad de las universidades. Tal como ya se mencion anteriormente, sto puede producir cierto escepticismo y confusin, dado que cada institucin suele resaltar aquel ranking en el que mejor sale situada. Los rankings existentes en Espaa son difcilmente comparables, pues evalan criterios diferentes utilizando distintos indicadores. El objetivo de este trabajo es actualizar y mejorar el Ranking de investigacin de las universidades pblicas espaolas para el ao 2009. Para su elaboracin se siguen los mismos criterios y metodologa utilizados en el ranking del 2008 (Buela-Casal, Bermdez, Sierra, Quevedo-Blasco y Castro, 2009). No obstante, en este caso se ha mejorado el criterio de los tramos de investigacin, debido a la informacin ms actual aportada por la Comisin Nacional de Evaluacin de la Actividad Investigadora, CNEAI (2009), lo que permite calcular el ndice TI (tramos de investigacin obtenidos sobre los posibles). Adems se incluye un nuevo criterio que

se refiere a las patentes registradas y explotadas, respondiendo a distintas sugerencias en el sentido de evaluar mejor a las universidades politcnicas. La inclusin de este nuevo criterio no afectar, como es lgico, a las clasificaciones por cada criterio, pero s al ranking global. Mtodo Diseo Se trata de un estudio descriptivo mediante anlisis de documentos, segn la clasificacin de Montero y Len (2007). Se han seguido las normas propuestas por Ramos-lvarez, Moreno-Fernndez, Valds-Conroy y Catena (2008) y los Principios de Berln para Rankings de Instituciones de Educacin Superior (International Ranking Expert Group, 2006) para la elaboracin y redaccin de este trabajo. Unidades de anlisis Se analiz un total de siete criterios. Seis de ellos (artculos ISI, tramos de investigacin, proyectos I+D, tesis doctorales, becas FPU y doctorados con Mencin de Calidad), son los mismos que se utilizaron en el Ranking de 2008 en productividad en investigacin de las universidades pblicas espaolas (Buela-Casal et al., 2009). El indicador tramos de investigacin se mejor mediante el anlisis del ndice TI. El sptimo indicador analizado, hace referencia a las patentes (registradas y explotadas) por cada universidad pblica espaola (tabla 1). Como se puede comprobar en la tabla 1, para el anlisis de cada indicador se han utilizado diferentes periodos, debido a que cada criterio analizado demanda intervalos diferentes. Por ello, se analizaron los datos de 2009 para los artculos ISI, los proyectos I+D y las becas FPU. Los datos sobre los doctorados con Mencin de Calidad se obtuvieron de la ltima convocatoria, de 2008. Para analizar los tramos de investigacin (ndice TI) se consult el ltimo informe publicado por la CNEAI (2009). En cuanto a las tesis doctorales, los datos se obtuvieron de la base de datos TESEO, utilizando un periodo de cinco cursos acadmicos (entre 2003/2004 y 2007/2008), con el objetivo de obtener un rendimiento medio de los profesores (Agudelo et al., 2003; Moyano, Delgado y BuelaCasal, 2006). No se utilizaron los datos del 2008/2009 ya que la fuente an no tena recogidas en su totalidad las tesis de dicho curso. Por ltimo, para el anlisis de las patentes, se utilizaron los da-

Tabla 1 Criterios e indicadores utilizados en el estudio Criterio Artculos ISI (revistas indexadas en Journal Citation Reports) Tramos de investigacin (ndice TI) Proyectos I+D Tesis doctorales Becas FPU Doctorados con Mencin de Calidad Patentes Indicador Proporcin de artculos publicados en revistas indexadas en el Institute for Scientific Information (ISI) por profesores funcionarios en el ao 2009. Nmero de tramos de investigacin obtenidos por los profesores funcionarios de las universidades pblicas (CU, CEU y TU) dividido por el nmero total de tramos de investigacin posibles de esos funcionarios a fecha 2009. Proporcin de Proyectos I+D por profesores funcionarios en la convocatoria de 2009. Proporcin de tesis doctorales por profesores funcionarios en un perodo de cinco cursos (desde el curso 2003/2004 hasta el curso 2007/2008). Proporcin de becas FPU por profesores funcionarios en la convocatoria de 2009. Proporcin de doctorados con Mencin de Calidad por profesores funcionarios en la convocatoria de 2008. Proporcin de patentes registradas en el periodo 2004-2008 y patentes explotadas en el periodo 2002-2006 por profesores funcionarios.

174

GUALBERTO BUELA-CASAL, M PAZ BERMDEZ, JUAN CARLOS SIERRA, RAL QUEVEDO-BLASCO, Y NGEL CASTRO

tos en los ltimos 5 aos debido a la gran variabilidad en el nmero de las mismas. En las patentes explotadas por las universidades espaolas, el intervalo fue de 2002 al 2006, que son los datos disponibles ms recientes y las patentes registradas se analizaron entre los aos 2004 y 2008. Procedimiento Se sigui un procedimiento similar al utilizado por Buela-Casal et al. (2009), dividido en tres partes. Para obtener el peso de los indicadores Para los indicadores artculos ISI, tramos de investigacin, proyectos I+D, tesis doctorales, becas FPU y doctorados con Mencin de Calidad, se mantienen los pesos obtenidos en el Ranking de 2008 (Buela-Casal et al., 2009) en una escala tipo Likert de 1 a 5. Con referencia al peso de las patentes, se obtuvo a travs del estudio realizado por Buela-Casal y Sierra (2007), que fue realizado con la misma muestra y metodologa que el estudio utilizado para obtener el peso del resto de indicadores; tan solo fue necesario adaptarlo a la misma escala. Resear que tambin existen otros estudios que analizan los pesos de las patentes, en funcin de los diferentes campos de conocimiento de la UNESCO, como el realizado por Sierra, Buela-Casal, Bermdez y Santos-Iglesias (2009). Para la produccin en los indicadores Todos los anlisis fueron realizados por dos investigadores de forma independiente, entre los das 3 y 12 de enero de 2010. Al igual que en el estudio de Buela-Casal et al. (2009), para cada uno de los indicadores se alcanz un alto grado de acuerdo entre ambos investigadores. En los datos donde no haba acuerdo, se discuti entre todo el grupo de trabajo hasta llegar a un consenso. Las fuentes empleadas para cada indicador fueron: Artculos ISI: se realiz la bsqueda en la Web of Science, introduciendo en el campo direcciones los nombres de las diferentes universidades publicas espaolas mediante el uso de las abreviaturas indicadas por la propia Web of Science. Por ello, se emple la abreviatura Univ seguido del nombre de cada universidad, tanto en castellano, como en ingls y, si la tuviera, en la lengua propia de la comunidad a la que pertenece. Por ejemplo, para buscar los artculos ISI de la Universidad de las Islas Baleares, se introdujeron los trminos: Univ Islas Baleares, Univ Balearic Islands y Univ Illes Balears. La bsqueda se redujo a los artculos publicados en 2009.

Tramos de investigacin (ndice TI): se utilizaron los datos del ltimo informe de la CNEAI (2009). Se calcul el denominado ndice TI, mediante el nmero de tramos de investigacin obtenidos por los profesores funcionarios (CU, CEU y TU) de las universidades pblicas espaolas, dividido por el nmero total de tramos de investigacin posibles que poda haber obtenido dichos funcionarios, al igual que se realiza en dicho informe de la CNEAI (2009). Proyectos I+D: se contabiliz el nmero de proyectos concedidos a cada universidad en la convocatoria de 2009. Dicha lista se obtuvo del Ministerio de Innovacin y Ciencia. Tesis doctorales: se realiz la bsqueda en la base de datos TESEO, seleccionando en el campo Universidad la pestaa correspondiente a cada una de las universidades pblicas espaolas y en el campo Curso acadmico se abarc desde el 2003/2004 hasta el 2007/2008. No se seleccionaron cursos ms recientes ya que no estaban cargadas todas las tesis. Becas FPU: se contabiliz el nmero de becas concedidas a alumnos matriculados en cada universidad en la ltima convocatoria (2009). Dicha informacin se obtuvo de la resolucin pertinente del Ministerio de Educacin. Doctorados con Mencin de Calidad: se contabiliz el nmero de programas de doctorado con Mencin de Calidad de cada universidad pblica espaola en la ltima convocatoria publicada por la Secretara de Estado de Universidades (2008). Patentes: las patentes registradas por las universidades espaolas en los aos 2004 y 2008 se obtuvieron de la Base de Datos de la Oficina Espaola de Patentes y Marcas (OEPM). Para obtener el nmero de patentes explotadas por cada universidad, la informacin ms reciente, que abarca de 2002 a 2006, se localiz en el informe elaborado por Hernndez Armenteros (2008). Se utilizan periodos de 5 aos dada la alta variabilidad de este criterio. Para calcular este indicador, se le otorg el valor de un punto a cada patente explotada y de 0,5 a cada una de las registradas, ya que se estim que una patente explotada deba valorarse el doble, principalmente porque las variables explotadas estn produciendo resultados y, por lo tanto, beneficios. Una vez obtenidos estos dos valores se sumaron para obtener el valor total de cada universidad. Para establecer la productividad En primer lugar se obtuvo el nmero de profesores funcionarios de cada una de las universidades pblicas espaolas, a travs de la informacin proporcionada por la CNEAI (2009). Se sum el nmero de Catedrticos de Universidad, Profesores Titulares de Universidad y Catedrticos de Escuela Universitaria de todas las universidades pblicas espaolas. No se contabilizan los Profesores Titulares de Escuela Universitaria (TEU) debido a que no pueden puntuar en la mayora de los criterios, dado que tan slo el 6,1% de los TEU tiene por lo menos un sexenio reconocido (Consejo de Coordinacin Universitaria, 2004) y adems por tener una distribucin asimtrica entre varias universidades; as, por ejemplo, mientras que la Universidad Carlos III no tiene TEU, otras como por ejemplo la Universidad del Pas Vasco tiene ms de 700. Posteriormente, se obtuvieron los datos brutos de la produccin cientfica de las universidades para los indicadores referentes a los artculos ISI, proyectos I+D, tesis doctorales, becas FPU, doctorados con Mencin de Calidad y patentes. Una vez obtenidos todos los datos de produccin, se ponderaron por el nmero de profesores funcionarios de cada universidad, para evitar el tamao del

Tabla 2 Pesos para cada uno de los criterios utilizados en el estudio Criterio Artculos ISI Tramos de investigacin Proyectos I+D Tesis doctorales Becas FPU Doctorados con Mencin de Calidad Patentes Valor 4,19 3,95 3,90 3,47 3,02 3,02 2,67

RANKING DE 2009 EN INVESTIGACIN DE LAS UNIVERSIDADES PBLICAS ESPAOLAS

175

efecto de la universidad en el ranking de productividad. A continuacin, se clasific a las universidades de mayor a menor en funcin del resultado obtenido en cada indicador. En el caso de los tramos de investigacin, se calcul el ndice de Tramos de Investigacin (TI), dividiendo el total de sexenios obtenidos por los profesores funcionarios (CU, TU y CEU) de cada universidad por el total de sexenios posibles de esos funcionarios, en base a los datos ofrecidos por la CNEAI (2009). Una vez obtenido el ndice, se clasific a las universidades de mayor a menor. Para elaborar el ranking de cada indicador se sigui el procedimiento ms frecuentemente empleado y que ya fue utilizado para elaborar el ranking de 2008 en productividad en investigacin de las universidades pblicas espaolas (Buela-Casal et al., 2009), el cual tambin se utiliza para calcular el Ranking de Universidades del Mundo (Institute of Higher Education, Shangai Jiao Tong University, 2008). Consiste en proporcionar a la institucin con la puntuacin ms elevada en cada indicador el valor de 100. La puntuacin de las dems universidades, corresponde con su proporcin en relacin a la puntuacin ms alta, resultando una escala cuyo valor mximo es 100 y el mnimo es 0. Para crear el ranking global, se calcul el sumatorio de multiplicar el valor especfico de cada indicador, extrado a partir de la opinin de una muestra nacional de profesores funcionarios (vase tabla 2) por el valor de cada universidad en cada criterio, dividiendo este resultado por el nmero total de criterios (siete). Posteriormente, se realiz nuevamente el procedimiento de otorgar a la universidad con la puntuacin ms elevada el valor 100 y calcular la puntuacin del resto de universidades a partir de las proporciones pertinentes. Resultados En primer lugar, se calcularon los rankings especficos de cada indicador, que se pueden observar en la tabla 3. El ranking por artculos ISI, el nico criterio comn entre este ranking y los utilizados en el Ranking de Universidades del Mundo, est liderado por la Universidad Pompeu Fabra, seguida por la Miguel Hernndez, la Autnoma de Barcelona, la Rovira i Virgili, la Universidad de Barcelona y la Pablo de Olavide, que son las universidades que se encuentran en las primeras posiciones. Una clasificacin relacionada con sta es la que hace referencia a los tramos de investigacin, debido a que la obtencin de tramos de investigacin, en la mayora de campos de conocimiento, se basa en la publicacin en revistas del JCR. Este ranking est liderado por la Universidad Carlos III, seguida de la Autnoma de Madrid, la Pablo de Olavide, la Autnoma de Barcelona, la Universidad Miguel Hernndez y la Pompeu Fabra. Todas estas universidades se encuentran tambin entre las 12 primeras en el ranking por artculos ISI. Otro indicador relevante para evaluar la investigacin es el que hace referencia a los proyectos I+D. Esta clasificacin est encabezada por la Universidad Pompeu Fabra, seguida de la Pablo de Olavide, la Universidad de Girona y la Carlos III de Madrid. Este ranking se relaciona tambin con los dos anteriores, debido a la influencia recproca que existe entre estos tres indicadores. El ranking por tesis doctorales est encabezado por la Universidad Autnoma de Barcelona, seguida por la Complutense de Madrid, la Pompeu Fabra, la Universidad de Alcal, la Politcnica de Valencia y la Autnoma de Madrid. En cuanto a las becas FPU, se observa que la Universidad Pompeu Fabra es la primera clasifi-

cada, seguida por la Universidad de Granada, la Autnoma de Madrid, la de Barcelona, Santiago de Compostela y la Autnoma de Barcelona. Por su parte, el ranking de doctorados con Mencin de Calidad est liderado por la Universidad de Huelva, seguida de la Pablo de Olavide, la Carlos III, la Universidad de La Rioja, la Politcnica de Catalua y la Pompeu Fabra. El ltimo de los rankings especficos calculado es el que hace referencia a las patentes. Esta clasificacin est liderada por la Universidad Politcnica de Valencia, seguida por la Universidad de La Rioja y las universidades Politcnica de Catalua, Miguel Hernndez, Politcnica de Madrid, Pblica de Navarra y Alcal. Ranking global Se presenta en la tabla 4 y est liderado por la Universidad Pompeu Fabra, seguida de la Autnoma de Barcelona, la Pablo de Olavide, Autnoma de Madrid y la Universidad de Barcelona. Discusin En los ltimos aos se observa un gran inters por realizar estudios para medir la calidad de la educacin superior y de la investigacin. Existen investigaciones que evalan la calidad de la docencia (Garca-Berro, Dapia, Ambls, Bugeda y Roca, 2009) y del doctorado (Buela-Casal y Castro, 2008a; Castro y Buela-Casal, 2008; Gil Roales-Nieto, 2009; Musi-Lechuga, Olivas-vila y Buela-Casal, 2009). Otra lnea se ha desarrollado analizando los criterios que se utilizan para otorgar la Mencin de Calidad al doctorado (Buela-Casal y Castro, 2008b), los instrumentos utilizados en la evaluacin de las universidades (Muiz y Fonseca-Pedrero, 2008), los criterios e indicadores para ser profesor funcionario en Espaa (Buela-Casal y Sierra, 2007) y tambin existen investigaciones que comparan rankings acadmicos (Buela-Casal, Gutirrez, Bermdez y Vadillo, 2007) y agencias de evaluacin de la calidad (Buela-Casal, Vadillo et al., 2009) de distintos pases del mundo. En este creciente inters se sita el estudio que aqu se presenta, continuacin del ranking de 2008 de productividad en investigacin de las universidades pblicas espaolas (Buela-Casal et al., 2009). Con respecto al ranking de 2008, se observa que hay veintiuna universidades que ganan posiciones, seis que las repiten y otras veintiuna que pierden algn puesto. Adems, se observa una gran igualdad en la parte central de la tabla. Las primeras cuatro posiciones son ocupadas por las mismas universidades que en el ao anterior, aunque en distinto orden; la Universidad Pompeu Fabra, que ocupa la primera plaza, ocupaba la segunda en el ranking de 2008, mientras que la Pablo de Olavide, primera en 2008, ahora es la tercera. Entre las veintiuna universidades que ganan posiciones destaca la Universidad Rey Juan Carlos, que ha subido trece posiciones (desde el puesto 46 hasta el 33), la Universidad de Huelva (sube once puestos) y las de Vigo y Jan, que han mejorado nueve puestos cada una. Entre las que descienden, destacan la UNED y la Jaume I, que pierden once puestos, seguidas de la Universidad de Castilla-La Mancha, que pierde nueve posiciones. Adems, si se compara el ranking global de 2009 de productividad en investigacin con las universidades espaolas que aparecen en el Ranking de Shangai entre las 500 mejores universidades del mundo se observan diferencias, al igual que ocurra en la edicin anterior del ranking (Buela-Casal et al., 2009). La Universidad de Barcelona, que es la primera espaola en el

176

GUALBERTO BUELA-CASAL, M PAZ BERMDEZ, JUAN CARLOS SIERRA, RAL QUEVEDO-BLASCO, Y NGEL CASTRO
Tabla 3 Rankings especficos por criterio

RANKING POR ARTCULOS ISI 1. Pompeu Fabra 2. Miguel Hernndez 3. Autnoma Barcelona 4. Rovira i Virgili 5. Barcelona 6. Pablo de Olavide 7. Autnoma Madrid 8. Girona 9. Politcnica Valencia 10. Carlos III 11. Crdoba 12. Castilla-La Mancha 13. Vigo 14. Jan 15. Valencia 16. Politcnica Cartagena 17. Cantabria 18. Rey Juan Carlos 19. Lleida 20. Santiago Compostela 21. Alicante 22. Jaume I 23. Politcnica Catalua 24. Zaragoza 25. Pblica Navarra 26. Alcal 27. Granada 28. Huelva 29. Murcia 30. Islas Baleares 31. Extremadura 32. Almera 33. Oviedo 34. Salamanca 35. Sevilla 36. La Rioja 37. Burgos 38. Valladolid 39. La Laguna 40. Mlaga 41. Cdiz 42. Politcnica Madrid 43. Len 44. Complutense Madrid 45. UNED 46. A Corua 47. Las Palmas de G.C. 48. Pas Vasco 100 97,28 91,88 90,63 84,16 80,58 72,61 64,91 62,32 62,01 60,51 57,63 56,65 56,33 55,91 53,50 51,53 51,48 51,15 49,51 48,95 48,50 46,93 46,40 44,22 43,72 42,92 42,66 41,51 40,68 39,38 38,82 37,55 36,58 36,29 35,56 34,99 31,52 31,28 30,27 30,16 30,04 29,86 27,65 20,88 19,95 19,82 19,23

RANKING POR TRAMOS DE INVESTIGACIN (ndice TI) 1. Carlos III 2. Autnoma Madrid 3. Pablo de Olavide 4. Autnoma Barcelona 4. Miguel Hernndez 6. Pompeu Fabra 6. Valencia 8. Alcal 9. Rovira i Virgili 10. Islas Baleares 10. Santiago Compostela 12. Alicante 12. Barcelona 12. Cantabria 15. Jaume I 15. Zaragoza 15. Salamanca 18. Castilla-La Mancha 18. Complutense Madrid 18. Crdoba 18. Extremadura 18. Granada 18. Murcia 24. Oviedo 24. Sevilla 26. Politcnica Catalua 26. Pblica Navarra 28. Len 29. Rey Juan Carlos 30. Lleida 30. Mlaga 30. La Rioja 30. Politcnica Cartagena 30. Valladolid 35. Pas Vasco 36. Cdiz 36. Girona 36. Jan 36. UNED 36. Vigo 41. Almera 41. A Corua 43. Burgos 43. Huelva 43. Politcnica Valencia 46. La Laguna 47. Las Palmas de G. C. 47. Politcnica Madrid 100 95,24 92,06 90,47 90,47 87,30 87,30 85,71 84,12 82,54 82,54 80,95 80,95 80,95 79,36 79,36 79,36 77,78 77,78 77,78 77,78 77,78 77,78 76,19 76,19 74,60 74,60 73,01 71,43 69,84 69,84 69,84 69,84 69,84 68,25 66,67 66,67 66,67 66,67 66,67 65,08 65,08 63,49 63,49 63,49 58,73 50,79 50,79

RANKING POR PROYECTOS I+D 1. Pompeu Fabra 2. Pablo de Olavide 3. Girona 4. Carlos III 5. Rey Juan Carlos 6. Autnoma Barcelona 7. Lleida 8. Miguel Hernndez 9. Islas Baleares 10. Barcelona 11. Rovira i Virgili 12. Autnoma Madrid 13. Politcnica Catalua 14. Jan 15. Alcal 16. Castilla-La Mancha 17. Politcnica Valencia 18. Cantabria 19. Santiago Compostela 20. Salamanca 21. Jaume I 22. Complutense Madrid 23. Pas Vasco 24. Alicante 25. Vigo 26. Valencia 27. Zaragoza 28. Burgos 29. Pblica Navarra 30. Granada 31. Politcnica Madrid 32. Politcnica Cartagena 33. Sevilla 34. Murcia 35. La Rioja 36. A Corua 37. Almera 38. Oviedo 39. Valladolid 40. Huelva 41. Len 42. UNED 43. Mlaga 44. Crdoba 45. Cdiz 46. Extremadura 47. Las Palma de G. C. 48. La Laguna 100 62,22 60,68 55,53 52,43 51,12 49,94 49,78 48,85 46,18 46,01 45,79 42,55 38,46 36,65 36,60 34,95 34,60 34,39 33,77 33,06 32,13 31,44 31,20 31,11 30,03 29,86 28,68 27,28 26,94 26,89 26,67 25,71 25,67 25,45 25,44 23,69 23,57 23,22 22,30 21,99 20,67 20,47 19,53 19,03 19,00 17,34 14,48

Nota: Artculos ISI: Proporcin de artculos publicados en revistas indexadas en el Institute for Scientific Information (ISI) por profesores funcionarios en el ao 2009; ndice TI: Nmero de tramos de investigacin obtenidos por los profesores funcionarios dividido por el nmero total de tramos de investigacin posibles de esos funcionarios a fecha 2009; Proyectos I+D: Proporcin de Proyectos I+D por profesores funcionarios en la convocatoria de 2009.

RANKING DE 2009 EN INVESTIGACIN DE LAS UNIVERSIDADES PBLICAS ESPAOLAS

Tabla 3 Continuacin RANKING POR TESIS DOCTORALES 1. Autnoma Barcelona 2. Complutense Madrid 3. Pablo de Olavide 4. Pompeu Fabra 5. Alcal 6. Politcnica Valencia 7. Autnoma Madrid 8. Barcelona 9. Miguel Hernndez 10. Rovira i Virgili 11. UNED 12. Girona 13. Politcnica Catalua 14. Crdoba 15. Carlos III 16. Murcia 17. Politcnica Cartagena 18. Extremadura 19. Valencia 20. Lleida 21. Pas Vasco 22. Politcnica Madrid 23. Len 24. Salamanca 25. Oviedo 26. Castilla-La Mancha 27. Alicante 28. A Corua 29. Vigo 30. La Rioja 31. Mlaga 32. Burgos 33. Zaragoza 34. Santiago Compostela 35. Jaume I 36. Cantabria 37. Pblica Navarra 38. Granada 39. Las Palmas de G.C. 40. Rey Juan Carlos 41. Valladolid 42. La Laguna 43. Islas Baleares 44. Huelva 45. Sevilla 46. Jan 47. Almera 48. Cdiz 100 90,87 89,36 87,48 87,10 83,26 80,99 74,96 74,73 69,00 66,21 62,59 62,22 59,58 59,35 58,52 57,77 56,71 56,56 55,96 53,84 53,54 53,17 52,79 50,98 50,00 49,47 49,32 47,81 47,51 47,28 45,47 44,19 43,97 42,31 42,16 40,12 38,36 38,31 36,12 33,63 31,67 31,37 31,30 30,99 27,15 23,53 15,46 1. 2. 3. 4. 5. 6. 7. 8. 9. RANKING POR BECAS FPU Pompeu Fabra Granada Autnoma Madrid Barcelona Santiago Compostela Autnoma Barcelona Crdoba Salamanca Complutense Madrid 100 60,23 57,09 54,44 50,47 49,67 46,75 41,46 40,13 39,38 39,30 38,76 36,78 35,75 35,40 35,34 34,59 33,84 31,83 31,12 30,92 30,59 29,04 28,13 27,20 26,50 25,44 24,16 23,50 23,32 23,21 22,75 22,22 22,15 21,15 19,90 18,80 18,15 17,44 12,90 11,96 9,76 9,61 8,82 7,93 4,25 0,00 0,00

177

RANKING POR DOCTORADOS CON MENCIN DE CALIDAD 1. Huelva 2. Pablo de Olavide 3. Carlos III 4. La Rioja 5. Politcnica Catalua 5. Pompeu Fabra 7. Autnoma Barcelona 8. Granada 9. Rovira i Virgili 10. Len 11. Politcnica Cartagena 12. Almera 13. Vigo 14. Autnoma Madrid 15. Pas Vasco 16. Politcnica Valencia 17. Santiago Compostela 18. Barcelona 19. Burgos 20. Islas Baleares 21. Sevilla 22. Jaume I 23. Salamanca 24. Cantabria 25. Cdiz 26. Alcal 27. Zaragoza 28. Oviedo 29. Complutense Madrid 30. Alicante 31. Girona 32. Pblica Navarra 33. Valencia 34. Murcia 35. Valladolid 36. Castilla-La Mancha 37. Rey Juan Carlos 38. Crdoba 39. Politcnica Madrid 40. Mlaga 41. Las Palmas de G.C. 42. Lleida 43. A Corua 44. Jan 45. La Laguna 46. UNED 47. Miguel Hernndez 48. Extremadura 100 92,99 67,02 63,40 61,54 61,54 60,58 58,76 53,04 51,45 47,83 47,79 46,49 46,18 37,50 35,99 35,72 35,38 35,07 34,59 34,25 34,21 33,65 33,54 33,39 32,85 31,57 31,18 30,86 26,78 25,90 25,76 25,38 24,67 24,48 23,94 23,44 22,70 22,68 22,43 21,19 20,99 19,67 17,24 16,74 11,24 9,29 3,16

10. Valencia 11. Girona 12. A Corua 13. Oviedo 14. Rovira i Virgili 15. Zaragoza 16. Politcnica Valencia 17. Jaume I 18. Alicante 19. Lleida 20. Politcnica Catalua 21. Mlaga 22. Islas Baleares 23. Carlos III 24. Cdiz 25. Politcnica Cartagena 26. Murcia 27. Cantabria 28. Almera 29. Pablo de Olavide 30. Huelva 31. Valladolid 32. Len 33. Rey Juan Carlos 34. Alcal 35. Miguel Hernndez 36. Sevilla 37. Vigo 38. Castilla-La Mancha 39. Jan 40. Politcnica Madrid 41. Extremadura 42. Pblica Navarra 43. La Rioja 44. Pas Vasco 45. La Laguna 46. UNED 47. Burgos 47. Las Palmas de G.C.

Nota: Tesis doctorales: desde el curso 2003/2004 hasta el curso 2007/2008 por profesor funcionario; Becas FPU: Proporcin de becas FPU por profesores funcionarios en la convocatoria de 2009; Doctorados con Mencin de Calidad: Proporcin de doctorados con Mencin de Calidad por profesores funcionarios en la convocatoria de 2008.

178

GUALBERTO BUELA-CASAL, M PAZ BERMDEZ, JUAN CARLOS SIERRA, RAL QUEVEDO-BLASCO, Y NGEL CASTRO
Tabla 3 Continuacin RANKING POR PATENTES Posicin Universidad 1. Politcnica Valencia 2. La Rioja 3. Politcnica Catalua 4. Miguel Hernndez 5. Politcnica Madrid 6. Pblica Navarra 7. Alcal 8. Autnoma Madrid 9. Pablo de Olavide 10. Santiago Compostela 11. Vigo 12. Jan 13. Cdiz 14. Mlaga 15. Sevilla 16. Huelva 17. Alicante 18. Zaragoza 19. Almera 20. Barcelona 21. Islas Baleares 22. Burgos 23. Extremadura 24. Granada 25. Pompeu Fabra 25. Politcnica Cartagena 27. A Corua 28. Autnoma Barcelona 29. Castilla-La Mancha 30. Cantabria 31. Carlos III 32. Pas Vasco 33. Rey Juan Carlos 34. Rovira i Virgili 35. Oviedo 36. Crdoba 37. Murcia 38. Valencia 39. Complutense Madrid 40. Las Palmas de G.C. 41. Jaume I 42. Girona 43. Valladolid 44. La Laguna 45. Len 46. Lleida 47. Salamanca 48. UNED 100,00 071,57 056,92 034,99 027,89 027,86 018,55 018,35 017,49 017,41 017,20 016,76 016,40 016,31 016,11 015,92 014,84 014,29 013,99 013,90 013,55 013,19 013,06 012,69 012,40 012,40 012,21 011,24 010,61 010,25 009,01 008,27 007,98 007,76 007,66 007,63 006,96 006,64 006,36 006,32 005,90 004,87 004,22 004,14 004,03 003,95 003,36 003,17 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. Pompeu Fabra Autnoma Barcelona Pablo de Olavide Autnoma Madrid Barcelona Rovira i Virgili Politcnica Valencia Miguel Hernndez Carlos III Politcnica Catalua Girona Alcal Santiago Compostela Granada Valencia La Rioja Complutense Madrid Crdoba Politcnica Cartagena Lleida Alicante Huelva Vigo Islas Baleares Cantabria Castilla-La Mancha Zaragoza Salamanca Jaume I Murcia Oviedo Len Rey Juan Carlos Pblica Navarra Jan Almera Sevilla Mlaga Extremadura Pas Vasco A Corua Burgos Politcnica Madrid Valladolid Cdiz UNED La Laguna Las Palmas de G.C. 100,00 083,52 083,51 075,93 071,82 071,75 071,74 070,92 070,32 065,95 060,60 059,77 056,96 056,54 055,89 055,62 055,36 054,38 053,78 053,03 052,61 052,56 052,10 052,00 051,67 051,57 051,50 051,43 051,27 048,39 048,26 046,43 046,10 045,84 045,13 043,92 043,83 043,03 041,62 041,52 041,45 040,84 040,38 038,94 037,76 036,21 031,08 028,56 Tabla 4 Ranking global de productividad en investigacin de las universidades pblicas espaolas

Nota. Proporcin de patentes registradas en el periodo 2004-2008 y patentes explotadas en el periodo 2002-2006 por profesores funcionarios.

RANKING DE 2009 EN INVESTIGACIN DE LAS UNIVERSIDADES PBLICAS ESPAOLAS

179

Ranking de Shangai aparece en quinta posicin en el ranking de productividad en investigacin; por su parte, la Pompeu Fabra, que lidera este ranking, aparece en octavo lugar entre las espaolas en el ranking de Shangai. Otras siete universidades que aparecen en el ranking de Shangai (Autnoma de Madrid, Complutense de Madrid, Valencia, Autnoma de Barcelona, Politcnica de Valencia, Granada y Santiago de Compostela) se encuentran en los quince primeros puestos del ranking de productividad en investigacin, mientras que las universidades de Zaragoza (puesto nmero 27 en el ranking de productividad en investigacin) y de Sevilla (puesto nmero 37) ocupan posiciones muy bajas. Por ltimo, en este contexto caracterizado por el inters en analizar la calidad de la educacin superior y de la investigacin, se debe ser riguroso. En algunas iniciativas que se estn llevando a cabo para estandarizar los criterios e indicadores utilizados en la

evaluacin de las universidades (CRUE, 2010) se alerta sobre la necesidad de ser objetivos con los datos, debido a que en un futuro no muy lejano se puedan utilizar los rankings elaborados para otorgar la financiacin a las universidades; si los rankings no estn bien elaborados, muchas universidades recibirn una financiacin que no se corresponder con su nivel. Por ello, se resalta la necesidad de seguir las indicaciones establecidas en la introduccin de este trabajo, adems de demandar una mayor transparencia en la publicacin de los datos base por parte de las distintas instituciones educativas espaolas (universidades, comunidades autnomas y ministerios). Agradecimientos Estudio parcialmente financiado por la Direccin General de Universidades (Referencia: EA2005-0017).

Referencias
Agudelo, D., Bretn-Lpez, J., Ortiz-Recio, G., Poveda-Vera, J., Teva, I., Valor-Segura, I., y Vico, C. (2003). Anlisis de la productividad cientfica de la Psicologa espaola a travs de las tesis doctorales. Psicothema, 15, 595-609. Buela-Casal, G., Bermdez, M. P., Sierra, J. C., Quevedo-Blasco, R., y Castro, A. (2009). Ranking de 2008 en productividad en investigacin de las universidades pblicas espaolas. Psicothema, 21, 309-317. Buela-Casal, G., y Castro, A. (2008a). Anlisis de la evolucin de los Programas de Doctorado con Mencin de Calidad en las universidades espaolas y pautas para su mejora. Revista de Investigacin en Educacin, 5, 49-60. Buela-Casal, G., y Castro, A. (2008b). Criterios y estndares para la obtencin de la Mencin de Calidad en Programas de Doctorado: Evolucin a travs de las convocatorias. International Journal of Psychology and Psychological Therapy, 8, 127-136. Buela-Casal, G., Gutirrez, O., Bermdez, M.P., y Vadillo, O. (2007). Comparative study of international academic rankings of universities. Scientometrics, 71, 349-365. Buela-Casal, G., y Sierra, J.C. (2007). Criterios, indicadores y estndares para la acreditacin de profesores titulares y catedrticos de universidad. Psicothema, 19, 537-551. Buela-Casal, G., Vadillo, O., Pagani, R., Bermdez, M.P., Sierra, J.C., Zych, I., y Castro, A. (2009). A comparison of the indicators of the quality of the universities. Revista de Universidad y Sociedad del Conocimiento (RUSC), 6, 9-21. Castro, A., y Buela-Casal, G. (2008). La movilidad de profesores y estudiantes en Programas de Postgrado: ranking de las universidades espaolas. Revista de Investigacin en Educacin, 5, 61-74. Comisin Nacional de Evaluacin de la Actividad Investigadora, CNEAI (2009). Informe 2009 sobre los resultados de las evaluaciones de la CNEAI: Tabla de resultados por Universidades. Recuperado el 15 de diciembre de 2009 de http://www.educacion.es/dctm/ministerio/horizontales/min i s t e r i o / organismos/cneai/2009-tablauniv.xls?documentId=0901e72b8008da06. Conferencia de Rectores de las Universidades Espaolas, CRNE (2010, enero). Seminario interuniversitario sobre Universidad y Sociedad: Transparencia y eficiencia institucional: Rankings universitarios. Baeza, Espaa. Consejo de Coordinacin Universitaria (2004). Informe del profesorado universitario de las universidades pblicas espaolas y la actividad investigadora evaluada. Recuperado el 15 de diciembre de 2009 de: http://www.mec.es/consejou. Garca-Berro, E., Dapia, F., Ambls, G., Bugeda, G., y Roca, S. (2009). Estrategias e indicadores para la evaluacin de la docencia en el marco del EEES. Revista de Investigacin en Educacin, 6, 142-152. Gil Roales-Nieto, J. (2009). Anlisis de los estudios de doctorado en psicologa con mencin de calidad en universidades espaolas. Revista de Investigacin en Educacin, 6, 160-172. Hernndez Armenteros, J. (2008). La universidad espaola en cifras. Madrid: CRUE. Institute of Higher Education, Shangai Jiao Tong University (2008). Academic Ranking of Wolrd Universities. Recuperado el 10 de enero de 2010 de http://www.arwu.org/. International Ranking Expert Group (2006). Berlin Principles on Ranking of Higher Education Institutions. Recuperado el 10 de diciembre de 2009 de: http://www.che.de/downloads/Berlin_Principles_IREG_534.pdf. Montero, I., y Len, O.G. (2007). A guide for naming research studies in Psychology. International Journal of Clinical and Health Psychology, 7, 847-862. Moyano, M., Delgado, C.J., y Buela-Casal, G. (2006). Anlisis de la productividad cientfica de la Psiquiatra espaola a travs de las tesis doctorales en la base de datos TESEO (1993-2002). International Journal of Psychology and Psychological Therapy, 6, 111-120. Muiz, J., y Fonseca-Pedrero, E. (2008). Construccin de instrumentos de medida para la evaluacin universitaria. Revista de Investigacin en Educacin, 5, 13-25. Musi-Lechuga, B., Olivas-vila, J.A., y Buela-Casal, G. (2009). Produccin cientfica de los programas de Doctorado en Psicologa Clnica y de la Salud de Espaa. International Journal of Clinical and Health Psychology, 9, 161-173. Ramos-lvarez, M.M., Moreno-Fernndez, M.M., Valds-Conroy, B., y Catena, A. (2008). Criteria of the peer review process for publication of experimental and quasi-experimental research in Psychology: A guide for creating research papers. International Journal of Clinical and Health Psychology, 8, 751-764. Sierra, J.C., Buela-Casal, G., Bermdez, M.P., y Santos-Iglesias, P. (2009). Importancia de los criterios e indicadores de evaluacin y acreditacin del profesorado funcionario universitario en los distintos campos de conocimiento de la UNESCO. Revista de Universidad y Sociedad del Conocimiento (RUSC), 6, 49-59.