Documente Academic
Documente Profesional
Documente Cultură
2 (2)
19/5/11
15:13
Pgina 117
La evaluacin de la Educacin Superior ha ganado gran importancia en los ltimos aos. Entre
las causas que han generado un incremento en el nmero de evaluaciones destacan la creacin
del Espacio Europeo de Educacin Superior y las nuevas Leyes Orgnicas espaolas y sus desarrollos por las que se establecen complementos retributivos y procedimientos de acreditacin
del profesorado. Aunque se hayan realizado varios estudios relacionados con criterios, parmetros e indicadores para dicha evaluacin, son muy pocos los trabajos dedicados a analizar
los criterios para la concesin de los sexenios. Por ello, el objetivo del presente estudio consiste en llevar a cabo dicho anlisis, prestando especial atencin al campo de la Educacin. Los
resultados ponen de manifiesto que el criterio ms claro para conseguir la evaluacin positiva
es la aportacin de artculos publicados en revistas incluidas en el Journal Citation Reports
(JCR). Aunque se acepta en la normativa la valoracin de otras aportaciones no incluidas en el
JCR, siempre y cuando cumplan, a juicio del Comit Asesor, una serie de criterios de calidad
que se mencionan en las convocatorias a partir del 2005, se demuestra que los criterios son
poco especficos y que no existe ningn baremo objetivo que pueda ser aplicado a la hora de
valorar los mritos aportados por los solicitantes. Esta situacin provoca una enorme tasa de
fracaso en trminos absolutos y en comparacin con otras reas. En conclusin, se incluyen
una serie de recomendaciones para mejorar el sistema de evaluacin de la productividad investigadora en el futuro.
Palabras clave: Educacin Superior, Evaluacin, Profesorado, Complementos de produc-
tividad.
19/5/11
15:13
Pgina 118
Introduccin
En el ltimo decenio, Espaa se ha visto envuelta en un proceso creciente de evaluacin de la
Educacin Superior, en parte por la entrada en
el Espacio Europeo de Educacin Superior
(acreditacin y verificacin de los ttulos oficiales) y, por otro lado, por la aplicacin de la LOU
(2001) y la LOMLOU (2007), en especial en lo
relativo al artculo 55 que permite complementos retributivos al profesorado por mritos individuales y a los artculos 50-52 relacionados con
la seleccin de profesorado contratado. An
ms recientemente (7/1/2011), se ha presentado
el Borrador del Estatuto del Personal Docente e
Investigador de las Universidades Pblicas
Espaolas, que dibuja una carrera horizontal
sometida a evaluacin externa.
Este proceso ha provocado un contexto de presin evaluativa para el profesorado (Galn,
2007; Galn y Rubalcaba, 2006) que puede influir negativamente en los objetivos de mejora
de la calidad que propician dichas polticas. La
objetividad y la transparencia son elementos
esenciales para dotar de credibilidad y prestigio
a las evaluaciones realizadas.
En el actual contexto de competitividad global,
la evaluacin de la actividad cientfica de los profesores e investigadores cobra especial relevancia, de modo que la existencia de Highly Cited
Researches es uno de los indicadores importantes
a la hora del establecimiento de los rankings
internacionales de universidades, como el Times
Higher Education World University Rankings o el
Academic Ranking of World Universities (de la
Shanghai Jiao Tong University) o ranking nacionales (Buela-Casal, Bermdez, Sierra, QuevedoBlasco y Castro, 2009, 2010).
Espaa se convierte as en uno de los pases con
mayor control externo del trabajo realizado por el
profesorado en todos los niveles (investigacin,
docencia, gestin, transferencia del conocimiento, innovacin, etc.), y cuyas evaluaciones suponen decisiones cruciales para las posibilidades
19/5/11
15:13
Pgina 119
nacionales con poco rigor cientfico y poca difusin. Por otra parte, el autor comenta que algunas
reas de la Educacin son nuevas y tienen poca
tradicin investigadora, variedad de enfoques bsicos o aplicados, presencia de trabajos de innovacin/creacin en vez de investigacin, junto con
las diferencias debidas a contextos, conceptos de
investigacin o pertenencia o no a equipos de investigacin. Por todo ello, dicho autor sugiere
que el subcampo de la Educacin puede verse desfavorecido en relacin con el resto de los subcampos en el mismo grupo. Sin embargo, De Miguel
no abord dos de los problemas fundamentales: la
poca transparencia del sistema de evaluacin, que
no permita a los solicitantes conocer las revistas y
editoriales que daban lugar a una evaluacin positiva y, de acuerdo con Aliaga (2009), la cuestionable aplicacin de dichos criterios por parte de los
Comits de Evaluacin.
Un buen anlisis de los principios y criterios
utilizados por la CNEAI ha sido publicado
recientemente por Ruiz-Prez, Delgado LpezCzar y Jimnez-Contreras (2010). En ste se
ha puesto de manifiesto que, en trminos generales, los criterios se han ido reorientando a lo
largo de los aos, introduciendo nuevos ndices
e incorporando los libros. Estas dos modificaciones parecen ser especialmente importantes
para el campo de la Educacin.
Por otra parte, hay una serie de trabajos relacionados con los tramos de investigacin que han
sido publicados en nuestro pas. Buela-Casal
(2005b) analiz la productividad cientfica en las
universidades espaolas, incluyendo los porcentajes de sexenios teniendo en cuenta diferentes
universidades espaolas y las figuras de profesor
titular y catedrtico de universidad, sin distinguir, sin embargo, por campos de conocimiento.
En otro trabajo de investigacin, se relacion el
aumento en el nmero de artculos internacionales, entendidos como documentos incluidos en la
Web of Science, y el impacto de la CNEAI. Los
autores de dicho estudio argumentan que el
aumento es debido, entre otros factores, a que la
Comisin da preferencia a los artculos incluidos
19/5/11
15:13
Pgina 120
Mtodo
Unidad de anlisis
En el presente estudio, se han utilizado los documentos relacionados con los criterios de evaluacin para el reconocimiento de complementos
de productividad disponibles en la pgina web
de la CNEAI (http://www.educacion.es/horizontales/ministerio/organismos/cneai.html).
Igualmente, se han utilizado los Boletines Oficiales de Estado en los que se establecen criterios generales y/o especficos para el reconocimiento de dichos complementos. Por ltimo,
se ha consultado el Journal Citation Reports.
Diseo
Este trabajo se clasifica como estudio descriptivo
mediante anlisis de documentos (Montero y
Len, 2007) y se ha redactado segn las normas
establecidas por Ramos-lvarez, Moreno-Fernndez, Valds-Conroy y Catena (2008).
Procedimiento
Despus de una minuciosa bsqueda de bibliografa al respecto, se ha realizado un anlisis
19/5/11
15:13
Pgina 121
Resultados y discusin
Los criterios generales y especficos en el campo
de la Educacin para el reconocimiento de complementos de productividad se recogen en tabla 1.
Durante 16 largos aos, entre 1989 y 2005, la evaluacin de la actividad investigadora del profesorado adoleci de falta de criterios pblicos, transparentes y objetivos que permitieran a los
solicitantes prever el resultado de la evaluacin
con cierto grado de fiabilidad ms all de una
genrica e inconcreta referencia al JCR. La
necesidad de aclarar y especificar los criterios para
la evaluacin del profesorado en Espaa ya se
haba comentado en otros contextos, como, por
ejemplo, en el sistema de acreditacin (BuelaCasal, 2005a, 2007b) o de contratacin del profesorado (Galn y Serrano, 2006). Si bien es cierto
que en las reas ms prximas a las ciencias experimentales y biosanitarias existan ya unos claros
referentes internacionales para valorar el impacto
y la calidad de la produccin cientfica, se no era
el caso de muchas reas de Ciencias Sociales y
19/5/11
15:13
Pgina 122
TABLA 1. Criterios generales y especficos en el campo de la Educacin para el reconocimiento de los sexenios
Orden / Resolucin / Real Decreto
Criterios generales:
Slo se menciona que se evala el rendimiento en la
investigacin.
Criterios especficos:
No se incluyen.
En general, no se incluyen criterios para la evaluacin
de los tramos de investigacin.
Criterios generales:
Se tiene en cuenta la contribucin al progreso
del conocimiento, la innovacin y creatividad de
las aportaciones
Tienen prioridad los trabajos formalmente
cientficos e innovadores frente los descriptivos
o divulgativos.
Los trabajos se dividen en ordinarios (libros,
captulos de libros, prlogos, introducciones y
anotaciones a textos; artculos de vala cientfica;
patentes, o modelos de utilidad, de importancia
econmica demostrable) y extraordinarios.
(informes, estudios y dictmenes; trabajos tcnicos
o artsticos; participacin relevante en exposiciones
de prestigio, excavaciones arqueolgicas o
catalogaciones; direccin de tesis doctorales de
mritos excepcionales; comunicaciones a
congresos, como excepcin).
Las aportaciones ordinarias tienen prioridad y las
extraordinarias se valoran excepcionalmente.
Se consideran indicios de calidad (relevancia
cientfica del medio, criterios internacionales si
existen en la disciplina, referencias de otros autores,
apreciacin del solicitante sobre la contribucin de su
trabajo, reseas, datos de explotacin de patentes).
Criterios especficos:
No se menciona en ningn momento el campo de
la Educacin; en cuanto a los criterios especficos
que no hacen referencia a ningn campo en
concreto se incluye lo siguiente:
Se tiene en cuenta la situacin en la disciplina del
solicitante.
Se reitera que las aportaciones deben ser de
reconocido prestigio o valor en su rea.
Se aplicarn criterios internacionales de calidad si
existen en el rea.
19/5/11
15:13
Pgina 123
TABLA 1. Criterios generales y especficos en el campo de la Educacin para el reconocimiento de los sexenios (cont.)
Orden / Resolucin / Real Decreto
Criterios generales:
No se incluyen criterios generales.
Criterios especficos:
No se especifican criterios para Educacin, pero s
para el campo 7 Ciencias Sociales, Polticas, del
Comportamiento y de la Educacin:
Las cinco aportaciones deben ser ordinarias y
suponer un progreso de la ciencia.
Preferentemente artculos en revistas del Journal
Citation Reports, aunque la Comisin podr
reconocer la calidad de otras revistas segn un
control de calidad de los artculos publicados.
En las tesis, se tendrn en cuenta los trabajos
publicados derivados de stas.
En casos justificados, se podrn valorar trabajos
de desarrollo tcnico, ej. estudios o informes.
stos deben cumplir una serie de criterios y como
mximo se pueden valorar dos aportaciones de este
tipo.
La participacin del solicitante debe ser activa.
Las cinco aportaciones deben cumplir dichos
criterios aunque pueden ser menos si son de
especial relevancia.
Criterios generales:
No se incluyen criterios generales.
Criterios especficos:
Nuevamente, no hay criterios especficos en el
campo de la Educacin, aunque s se establecen para
el campo 7. Los criterios son los mismos que en la
resolucin de 26 de octubre de 1995, con la siguiente
diferencia:
Al menos una aportacin debe ser artculo en
revistas del Journal Citation Reports, aunque la
Comisin podr reconocer la calidad de otras
revistas.
19/5/11
15:13
Pgina 124
TABLA 1. Criterios generales y especficos en el campo de la Educacin para el reconocimiento de los sexenios (cont.)
Orden / Resolucin / Real Decreto
Criterios generales:
No se incluyen criterios generales.
Criterios especficos:
Se mantienen los criterios de las resoluciones
anteriores, introduciendo los siguientes cambios:
Aunque se establezca que el nmero de autores no
sea evaluable, se comenta que debe ser justificado
por la complejidad.
Se ampla el elenco de revistas de reconocida vala.
El JCR deja de ser el nico criterio preferente. En
esta lnea, se especifican con ms detalle (Apndice
1 de la resolucin) los criterios de calidad de las
revistas alternativas al Journal Citation Reports.
Las revistas electrnicas se consideran cuando
aparezcan en los listados del Journal Citation
Reports.
Se introducen los libros y como criterios de calidad
de stos el nmero de citas, la editorial, la
coleccin, las reseas y las traducciones.
Se eliminan los apartados de tesis o trabajos de
desarrollo tcnico referidos a todo el campo 7.
Para que la evaluacin sea positiva, las cinco
aportaciones deben cumplir los criterios, a
excepcin de trabajos de especial calidad.
Por primera vez se hace mencin especfica al
campo de Ciencias de la Educacin en el que, para
la evaluacin positiva, las aportaciones deben
cumplir alguno de los siguientes criterios: a) que
una sea un libro monogrfico de investigacin, b)
que dos sean artculos del JCR o c) que tres sean
artculos nacionales o internacionales que cumplan
los criterios de calidad del Apndice 1.
Criterios generales:
No se incluyen criterios generales.
Criterios especficos:
A continuacin se especifican los cambios con
respecto a las resoluciones anteriores:
Un elevado nmero de autores puede reducir la
calificacin, a no ser que sea justificado por la
complejidad del tema.
Las revistas electrnicas estarn sujetas a los
mismos criterios que las restantes.
19/5/11
15:13
Pgina 125
TABLA 1. Criterios generales y especficos en el campo de la Educacin para el reconocimiento de los sexenios (cont.)
Orden / Resolucin / Real Decreto
Criterios generales:
No se incluyen criterios generales.
Criterios especficos:
No hay cambios en relacin con la resolucin anterior.
Criterios generales:
No se incluyen criterios generales.
Criterios especficos:
Se incluyen los libros y captulos de libros como
aportaciones valoradas preferentemente.
Se valoran tambin artculos en revistas de otras
bases de datos nacionales o internacionales (por
ejemplo, ERIH, INRECS, LATINDEX, SCOPUS,
DICE-CINDOC, etc.) si cumplen los criterios de
calidad a juicio del comit asesor. No obstante,
contina existiendo el Apndice 1.
Criterios generales:
No se incluyen criterios generales.
Criterios especficos:
Se incluyen artculos en revistas acreditadas por la
FECYT entre los que pueden ser valorados.
Criterios generales:
Se crea un nuevo campo para la Transferencia del
conocimiento y de la Innovacin. La evaluacin en
dicho campo puede ser solicitada por investigadores
que ya tengan un tramo en otro campo cuando
tengan mritos relacionados con la transferencia o
innovacin podrn presentarse en el mismo como
alternativa.
Criterios especficos:
No hay cambios en relacin con la resolucin anterior.
19/5/11
15:13
Pgina 126
de campos (Agrait y Poves, 2009). Los resultados detallados del informe de la CNEAI 19892005 confirman el problema especfico de las
reas de Educacin. Si la media general nacional
de concesin de sexenios era del 71%, la media
en Educacin era tan slo del 38% (variando
desde el 20% de Didctica de la Expresin
Musical hasta el 57% del rea de Mtodos de
Investigacin y Diagnstico en Educacin).
GRFICO 1. Porcentajes de profesores por nmero de
sexenios en Educacin y otras reas hasta el 2009
70
60
50
40
30
20
10
0
%NP % % 0 % 1 % 2 % 3 % 4 % 5 % 6
+ 0 NP Sex. Sex. Sex. Sex. Sex. Sex. Sex.
Sex.
Educacin
Resto de reas
19/5/11
15:13
Pgina 127
GRFICO 2. Porcentajes de profesores por nmero de sexenios y por reas en Educacin hasta el 2009
80
70
60
50
40
30
20
10
0
805
625
% NP
215
% 0 Sex.
187
% 1 Sex.
189
% 2 Sex.
193
195
% 3 Sex.
200
205
% 4 Sex.
% 5 Sex.
210
245
% 6 Sex.
Nota: 805 - Teora e Historia de la Educacin; 625 - Mtodos de Investigacin y Diagnst. en Educ.; 215 - Didactica y Organizacin Escolar; 187 - Didctica de la Expresin Corporal; 189 - Didctica de la Expresin Musical; 193 - Didctica de la Expresin
Plstica; 195 - Didctica de la Lengua y la Literatura; 200 - Didctica de la Matemtica; 205 - Didctica de las Ciencias Experimentales; 210 - Didctica de las Ciencias Sociales; 245 - Educacin Fsica y Deportiva.
2009 (ver anexo I). En este manifiesto se indican todas las bases de datos aadidas en la resolucin de 2008, pero se va mucho ms all, ya
que se solicita que se hagan pblicos los rangos
de puntuacin que atribuirn los Comits a las
revistas, en funcin del puesto que posean las
revistas en las bases de datos referenciadas.
Parece claro que un sistema de evaluacin de este
tipo reducira al mnimo las posibilidades de arbitrariedad por parte de los Comits de Evaluacin,
permitira autoevaluarse a los solicitantes potenciales de sexenios y aumentara considerablemente, en consecuencia, la tasa de evaluaciones
positivas, adems de orientar con mayor rigor la
produccin cientfica en la lnea deseada por los
administradores educativos. Adems, transparencia y objetividad se antojan deseables en un
398
228
357
41
13
34
100
113
136
82
90
1.592
0,62
218
520
191
128
152
315
205
198
163
146
2.549
231,73
Total
sexenios
313
N de
profesores
0,25
0,16
0,05
0,02
0,04
0,07
0,12
0,15
0,10
0,18
0
0,28
iS
69
NP
0,06
45
0,02 183
0,01 132
0
90
0,01 103
0
173
0,01
97
0,05
68
0,02
70
0,09
46
1.076
0
42%
0,07
iE
53
143
31
27
30
83
46
56
52
33
616
24%
62
0
sex
56
103
16
8
10
32
33
36
17
47
430
17%
72
1
sex
35
47
11
3
6
15
12
21
14
17
227
9%
46
2
sex
21
24
1
0
1
11
13
11
5
3
126
5%
36
3
sex
2
12
0
0
1
0
3
5
3
0
43
2%
17
4
sex
5
8
0
0
1
1
1
1
2
0
27
1%
5
sex
1
0
0
0
0
0
0
0
0
0
4
0%
6
sex
19/5/11
15:13
Nota: Tabla de elaboracin propia a partir de los datos disponibles en la Web de la CNEAI. Sex= sexenio; iS = nmero de sexenios conseguidos/nmero de sexenios posibles. A su
vez, el nmero de sexenios posibles = (Edad 27)/6 (debido a que la edad media de inicio de publicaciones es de 27 aos). iE es un indicador binario al que se asigna 1 si iS es
mayor o igual a 1 y 0 si iS es menor a 1, indicando de este modo el xito completo en las evaluaciones. Para ms informacin, vase Agrait y Poves (2009).
1
2
rea
TABLA 2. Resultados de la evaluacin de la CNEAI para diferentes reas y para el total en el campo de la Educacin hasta el 2009
19/5/11
15:13
Pgina 129
sistema de evaluacin sumativo que puede limitar los derechos de los ciudadanos. La utilizacin
de un baremo objetivado de evaluacin ayudara
tambin a los evaluadores a motivar con mayor
acierto sus decisiones, especialmente en los casos
de evaluacin negativa. Todos los problemas comentados anteriormente se ven reflejados en los
resultados de la evaluacin de los tramos de investigacin en Educacin por parte de la CNEAI. La
tabla 2 recoge dichos resultados, calculados a partir de los datos disponibles en la pgina web de la
Comisin, para cada rea por separado y para el
campo de Educacin en su totalidad.
Tal como se puede apreciar en la tabla 2, el 42%
de los profesores nunca se han presentado para
un sexenio, un 24% s se ha presentado pero no
tiene ningn sexenio, un 17% tiene un sexenio,
un 9% tiene dos, tan slo un 5% tiene tres, un 2%
tiene cuatro, un 1% tiene cinco y un 0% tiene seis
sexenios. Por tanto, la mayora de los profesores
en Educacin no tiene ningn sexenio.
19/5/11
15:13
Pgina 130
trabajos (basndose en la previa evaluacin positiva del trabajo por parte de los
dos referees de la revista en cuestin),
sino el medio de difusin de los mismos,
lo que puede hacerse segn criterios objetivos externos aplicables por tcnicos
no acadmicos. La labor de los miembros
de las comisiones servira para dirimir
los casos raros que requieran conocimientos ms all de los tcnicos y para
corroborar, matizar o corregir las puntuaciones individuales finales asignadas
por los tcnicos evaluadores.
5. La calidad de las revistas cientficas espaolas y la difusin de la ciencia en espaol.
Durante algunos aos, siguiendo patrones de evaluacin propios de las ciencias
experimentales, se han despreciado los
trabajos publicados en revistas espaolas. Aunque ya hemos defendido la
importancia de publicar en ingls en
revistas de alto impacto, no podemos
despreciar que, en Educacin, Espaa
tiene una clara influencia en el mbito
iberoamericano, por lo que la produccin cientfica en espaol no slo no
debe despreciarse, sino que debe potenciarse hasta competir en igualdad de
condiciones con la produccin cientfica
en lengua inglesa. En caso contrario, los
mejores trabajos siempre sern publicados en las revistas extranjeras, dejando
los trabajos de segundo orden para las
espaolas. Los esfuerzos realizados por
grupos como los que elaboraron INRECS, RECYT, Latindex, etc., y la inclusin de algunas revistas espaolas en el
JCR, suponen un gran avance al evaluar
y ayudar a mejorar y potenciar las revistas espaolas e iberoamericanas. En
determinados campos, sera conveniente
que la CNEAI favoreciera tambin la
publicacin de trabajos en las revistas en
lengua espaola de calidad contrastada,
aunque no pertenezcan al JCR. Tal como
se ha demostrado en algunos estudios
cientficos, una publicacin internacional
19/5/11
15:13
Pgina 131
19/5/11
15:13
Pgina 132
Anexo I
Manifiesto sobre la Evaluacin de sexenios en Ciencias de la Educacin
Al Coordinador General de la CNEAI
Las cifras relativas a la concesin de tramos de investigacin en el campo de las Ciencias de la Educacin arrojan un resultado preocupante, puesto que el porcentaje de profesores con todos los sexenios posibles no llega al 17%, aunque hay variaciones en funcin de las reas de conocimiento (ver
anexo).
Por este motivo, las asociaciones y grupos abajo firmantes, exponemos las siguientes reflexiones y
propuestas para contribuir a la mejora del sistema de evaluacin de la produccin investigadora en
nuestras reas de conocimiento:
1. Un buen sistema de evaluacin de mritos debe ser lo ms objetivo y transparente posible. En
la actualidad, en las Ciencias de la Educacin, ms all del Social Sciencies Journal Citation Report
(JCR del ISI), no son pblicos los referentes utilizados por el Comit 7 para evaluar revistas o
editoriales positivamente (puntuacin superior a 6). En ocasiones, incluso las contribuciones
publicadas en revistas que cumplen los criterios del Apndice 1 de la convocatoria, no alcanzan
la puntuacin mnima de 6 puntos.
2. El avance en la produccin investigadora de impacto requiere unos criterios de evaluacin
pblicos y suficientemente detallados como para que la comunidad cientfica pueda producir en la direccin adecuada en funcin de las estrategias nacionales e internacionales y respetando la libertad de ctedra e investigacin.
3. Somos conscientes de la escasa tradicin en nuestras reas respecto a la publicacin en revistas consideradas de impacto internacional, en concreto, en revistas del ISI (SS-JCR). No
podemos trasladar acrticamente, sin embargo, la forma de publicar de las Ciencias Experimentales a las Ciencias Sociales (hay grandes diferencias como el nmero de revistas disponibles, inters local o de poco inters para el mbito anglosajn de muchos estudios, etc.).
Sin duda, una forma de potenciar esta dimensin internacional es su obligatoriedad para conseguir un sexenio. Sin embargo, estos cambios no se producen a corto plazo, sino tras un adecuado recorrido de informacin y formacin en esta lnea y deben, en todo caso, respetar las
peculiaridades de las distintas reas de conocimiento relacionadas con la educacin.
19/5/11
15:13
Pgina 133
4.
5.
6.
7.
8.
9.
10.
19/5/11
15:13
Pgina 134
10. Finalmente, sugerimos que las contestaciones a los numerosos recursos de alzada estn debidamente motivadas, ya que la situacin contraria est produciendo una cierta sensacin de indefensin e inseguridad jurdica.
Madrid, febrero de 2009
Documento aprobado por las juntas directivas de:
Sociedad Espaola de Pedagoga
Asociacin Interuniversitaria de Investigacin Pedaggica (AIDIPE)
Reunin Estatal del rea de Didctica y Organizacin Escolar Seminario Interuniversitario de
Teora de la Educacin
Sociedad Espaola de Educacin Comparada
Sociedad Espaola de Historia de la Educacin
N de
profesores
Profesores
con
todos los
sexenios
% todos
los sexenios
presentados
(A)
% parte
de los
sexenios
(B)
A+B
% sin
sexenios
+ no
(C)
301
80
27
33
60
40
205
52
25
33
58
42
387
82
21
27
48
52
69
13
12
25
75
31
17
23
77
55
15
18
33
67
131
80
18
17
14
21
28
40
42
61
58
39
113
70
122
27
8
37
24
11
30
16,75
36
39
10
25
60
50
40
41,75
40
50
60
58,25
19/5/11
15:13
Pgina 135
Anexo II
Revistas iberoamericanas de Educacin incluidas en la web of science
Ttulo
Pas
Factor
de Impacto
2009
Cuartil de
su categora
Brasil
Espaa
Espaa
Espaa
Espaa
Espaa
Brasil
Espaa
Espaa
Espaa
Espaa
Pendiente
Pendiente
Pendiente
Pendiente
Pendiente
0,441
Pendiente
Pendiente
Pendiente
0,245
0,414
Pendiente
Pendiente
Pendiente
Pendiente
Pendiente
Cuarto
Pendiente
Pendiente
Pendiente
Cuarto
Cuarto
Mxico
Portugal
Espaa
Pendiente
0,114
0,19
Pendiente
Cuarto
Cuarto
Nota: Revistas incluidas en la categora Education & Educational Research. Con el asterisco se han incluido revistas en la categora Psychology Educational y Psychology Developmental (ya que se entiende que son reas afines y se publican algunos artculos
de Educacin). No hay revistas iberoamericanas incluidas en Education Special. La mayora de las revistas ha sido incluida recientemente y, por tanto, todava no se conoce su Factor de Impacto o su cuartil.
Referencias bibliogrficas
ALIAGA, F. (2009). La evaluacin de la actividad investigadora del profesorado universitario: contraste entre intenciones y hechos. En J. JORNET (ed.), La letra sin sangre entra. Valencia: Universidad de Valencia, 19-31.
ARANA Uli, L. (2010). La importancia de la educacin en la estrategia estatal de innovacin. Aula Abierta, 38, 41-52.
BERMDEZ, M. P.; CASTRO, A.; SIERRA, J. C. y BUELA-CASAL, G. (2009). Anlisis descriptivo transnacional de los estudios de doctorado en el EEES. Revista de Psicodidctica, 14, 193-210.
BETZ, B. (2010). Anlisis de las fortalezas institucionales para la contratacin de investigadores. Aula Abierta, 38, 6574.
BUELA-CASAL, G. (2005a). El sistema de habilitacin nacional: criterios y proceso de evaluacin. Anlisis y modificacin de conducta, 31, 136-137.
BUELA-CASAL, G. (2005b). Situacin actual de la productividad cientfica de las universidades espaolas. International
Journal of Clinical and Health Psychology, 5, 175-190.
BUELA-CASAL, G. (2007a). Consideraciones metodolgicas sobre el procedimiento de acreditacin y del concurso de
acceso a cuerpos de funcionarios docentes universitarios. Revista Electrnica de Metodologa Aplicada, 12, 1-14.
19/5/11
15:13
Pgina 136
BUELA-CASAL, G. (2007b). Reflexiones sobre el sistema de acreditacin del profesorado funcionario de Universidad en
Espaa. Psicothema, 19, 473-482.
BUELA-CASAL, G. (2010). ndices de impacto de las revistas cientficas e indicadores para medir el rendimiento de los
investigadores. Revista de Psicodidctica, 15, 3-19.
BUELA-CASAL, G.: BERMDEZ, M. P., SIERRA, J. C., QUEVEDO-BLASCO, R. y Castro, A. (2009). Ranking de 2008 en investigacin de las universidades pblicas espaolas. Psicothema, 21, 304-312.
BUELA-CASAL, G.; BERMDEZ, M. P.; SIERRA, J. C.; QUEVEDO-BLASCO, R. y CASTRO, A. (2010). Ranking de 2009 en investigacin de las universidades pblicas espaolas. PSICOTHEMA, 22, 171-179.
BUELA-CASAL, G.; GUILLN-RIQUELME, A.; GUGLIELMI, O.; QUEVEDO-BLASCO, R. y RAMIRO, T. (2011). Rendimiento en el
doctorado en funcin del rea del conocimiento. Revista de Psicodidctica, 16, 181-192.
BUELA-CASAL, G.; OLIVAS-VILA, J.; MUSI-LECHUGA, B. y ZYCH, I. (2011). The h index of the presidents of the American
Psychological Association (APA) through journal articles included in the Web of Science. International Journal of
Clinical and Health Psychology, 11, 95-107.
BUELA-CASAL, G.; VADILLO, O.; PAGANI, R.; BERMDEZ, M. P.; SIERRA, J. C.; ZYCH, I. y CASTRO, A. (2009). Comparacin
de los indicadores de la calidad de las universidades. Revista de Universidad y Sociedad del Conocimiento (RUSC),
6, 9-21.
BUELA-CASAL, G. y ZYCH, I. (2010). Analysis of the relationship between the number of citations and the quality evaluated by experts in psychology journals. Psicothema, 22, 270-275.
BUELA-CASAL, G.; ZYCH, I.; SIERRA, J. C. y BERMDEZ, M. P. (2007). The Internationality Index of the Spanish Psychology Journals. International Journal of Clinical and Health Psychology, 7, 899-910.
FERNNDEZ, M. J.; CARBALLO, R. y GALN, A. (2010). Faculty attitudes and training needs to respond the new European Higher Education challenges. Higher Education, 60, 101-118.
CASTRO, A.; GUILLEN-RIQUELME, A.; QUEVEDO-BLASCO, R.; RAMIRO, M. T.; BERMDEZ, M. P. y BUELA-CASAL, G. (2010).
Las Escuelas Doctorales: evolucin histrica, caractersticas y aspectos relevantes para su consolidacin en Espaa. Aula Abierta, 38, 17-28.
DE MIGUEL DAZ, M. (1997). La evaluacin de la actividad investigadora del profesorado en el mbito de las Ciencias
de la Educacin. Revista de Investigacin Educativa, 15, 171-186.
ECHEBURA ODRIOZOLA, E. (2002). El sistema de sexenios en la evaluacin de la actividad investigadora en el mbito
de la psicologa clnica: una primera reflexin. Anlisis y Modificacin de la Conducta, 288, 391-404.
GALN, A. (ed.). (2007). El perfil del profesor universitario: situacin actual y retos de futuro. Madrid: Editorial Encuentro.
GALN, A. y RUBALCABA BERMEJO, L. (2006). Motivaciones del profesorado universitario espaol y nuevas exigencias
en la universidad de hoy. Revista Krinein. Revista de Educacin, 2, 57-90.
GALN, A. y SERRANO, C. (2006). Tendencias actuales en la evaluacin externa del profesorado universitario: el caso
de la ACAP. Miscelnea Comillas.Revista de Ciencias Humanas y Sociales, 64, 127-171.
GARCA-BERRO, E.; ROCA, S.; AMBLS, G.; MURCIA, F.; SALLARS, J. y BUGEDA, G. (2010). La evaluacin de la actividad
docente del profesorado en el marco del EEES. Aula Abierta, 38, 29-40.
GARFIELD, E. (2003). The meaning of the impact factor. International Journal of Clinical and Health Psychology, 3, 363369.
JIMNEZ CONTRERAS, E.; MOYA ANEGN, F. y DELGADO LPEZ-CZAR, E. (2003). The evolution of research activity in
Spain. The impact of the National Commission for the Evaluation of Research Activity (CNEAI). Research Policy,
32, 123-142.
LEY ORGNICA 4/2007, de 12 de abril, por la que se modifica la Ley Orgnica 6/2001, de 21de diciembre, de Universidades (LOMLOU).
MONTERO, I. y LEN, O. G. (2007). A guide for naming research studies in Psychology. International Journal of Clinical and Health Psychology, 7, 847-862.
OLIVAS-VILA, J. A. y MUSI-LECHUGA, B. (2010a). Anlisis de la produccin de los profesores funcionarios de Psicologa en Espaa en artculos de revistas en la Web of Science. Psicothema, 22, 909-916.
19/5/11
15:13
Pgina 137
OLIVAS-VILA, J. A. y MUSI-LECHUGA, B. (2010b). Produccin en tesis doctorales de los profesores funcionarios de Psicologa en Espaa ms productivos en la Web of Science. Psicothema, 22, 917-923.
PELECHANO BARBER, V. (2002). Valoracin de la actividad cientfica en psicologa: Pseudoproblema, sociologismo o
ideologismo? Anlisis y Modificacin de la Conducta, 28, 323-362.
POLAINO LORENTE, A. (2002). Ciencia, poltica y poltica de la investigacin. Anlisis y Modificacin de la Conducta, 28,
363-390.
RAMOS-LVAREZ, M.; MORENO-FERNNDEZ, M. M.; VALDS-CONROY, B. y CATENA, A. (2008). Criteria of the peer review
process for publication of experimental and quasi-experimental research in Psychology: A guide for creating research papers. International Journal of Clinical and Health Psychology, 8, 751-764.
ROALES-NIETO, J. G. y LUCIANO, C. (2002). A la calidad por the quantity (porque la cantidad no vale): algunas reflexiones sobre los criterios de evaluacin de la calidad de la investigacin en psicologa. Anlisis y Modificacin de
la Conducta, 28, 431-454.
RUIZ-PREZ, R.; DELGADO LPEZ-CZAR, E. y JIMNEZ-CONTRERAS, E. (2010). Principios y criterios utilizados en Espaa por la Comisin Nacional Evaluadora de la Actividad Investigadora (CNEAI) para la valoracin de las publicaciones cientficas: 1989-2009. Psicothema, 22, 898-908.
SALVADOR CODERCH, P.; AZAGRA MALO, A. y GMEZ LIGERRE, C. (2008). Criterios de evaluacin de la actividad investigadora en derecho civil, derecho privado y anlisis del derecho. InDret, 3, 2-63.
SANZ MENNDEZ, L. (1995). Research actors and the state: Research evaluation and evaluation of science and techology policies in Spain. Research Evaluation, 5, 79-88.
SIERRA, J. C.; BUELA-CASAL, G.; BERMDEZ, M. P. y SANTOS-IGLESIAS, P. (2008). Anlisis transnacional del sistema de evaluacin y seleccin del profesorado universitario. Internciencia, 33, 251-257.
SIERRA, J. C.; BUELA-CASAL, G.; BERMDEZ, M. P. y SANTOS-IGLESIAS, P. (2009a). Importancia de los criterios e indicadores de evaluacin y acreditacin del profesorado funcionario universitario en los distintos campos de conocimiento de la UNESCO. Revista de Universidad y Sociedad del Conocimiento (RUSC), 6, 49-59.
SIERRA, J. C.; BUELA-CASAL, G.; BERMDEZ, M. P. y SANTOS-IGLESIAS, P. (2009b). Opinin de Profesores Titulares y Catedrticos de Universidad acerca de criterios y estndares para la acreditacin del profesorado universitario. Revista Espaola de Documentacin Cientfica, 32, 89-100.
ZYCH, I. y BUELA-CASAL, G. (2007). Anlisis comparativo de los valores en el ndice de Internacionalidad de las revistas iberoamericanas de psicologa incluidas en la Web of Science. Revista Mexicana de Psicologa, 24, 7-14.
ZYCH, I. y BUELA-CASAL, G. (2009). The Internationality Index: Application to Revista Latinoamericana de Psicologa.
Revista Latinoamericana de Psicologa, 41, 401-412.
ZYCH, I. y BUELA-CASAL, G. (2010). Internacionalidad de las revistas de psicologa multidisciplinar editadas en Iberoamrica e incluidas en la Web of Science. Universitas Psychologica, 9, 27-34.
Fuentes electrnicas
AGRAIT, N. y POVES, A. (2009). Informe sobre los resultados de las evaluaciones de la CNEAI: La situacin en 2009.
http://www.educacion.es/dctm/ministerio/horizontales/ministerio/organismos/cneai/2009-info-v5.pdf?documentId=0901e72b8008d9ff [Fecha de consulta 1/03/2011]
ACADEMIC RANKING OF WORLD UNIVERSITIES (Shanghai Jiao Tong University (SJTU)) http://www.arwu.org/ARWU2010.jsp
[Fecha de consulta: 1/3/2011].
BORRADOR DEL ESTATUTO DEL PERSONAL DOCENTE E INVESTIGADOR DE LAS UNIVERSIDADES PBLICAS ESPAOLAS
http://www.fe.ccoo.es/comunes/temp/recursos/25/760575.pdf. [Fecha de consulta: 1/3/2011].
FERNNDEZ ESQUINAS, M.; PREZ YRUELA, M. y MERCHN HERNNDEZ, C. (2005). El sistema de incentivos y recompensas
en la ciencia pblica espaola. Instituto de Estudios Sociales Avanzados de Andaluca y Consejo Superior de Investigaciones Cientficas. http://digital.csic.es/bitstream/10261/2044/1/01-06.pdf. [Fecha de consulta: 10/3/2011].
19/5/11
15:13
Pgina 138
WORLD UNIVERSITY RANKINGS (Times Higher Education) http://www.timeshighereducation.co.uk/. [Fecha de consulta: 1/3/2011].
Abstract
Analysis of the criteria of the National Commission for the Evaluation of Research Activity
(CNEAI) for the concession of the research incentives in Education
The importance of the evaluation of the Higher Education has recently increased, on one hand,
because of the creation of the European Higher Education Area and, on the other, as the new
Spanish Organic Laws establish research incentives and accreditation processes of the university
professors. Although many studies were conducted in relation to the criteria, parameters and
indicators for this evaluation, there are very few works which focus on analyzing the criteria for the
concession of the research incentives. For this reason, the objective of the current study consisted
of conducting this analysis, focusing on the field of Education. The results show that the most
important criterion to get an incentive is the publication of articles in journals included in the
Journal Citation Reports. Other publications can be assessed if they accomplish a series of criteria
according to the Assessing Committee, which have been mentioned since 2005. It has been shown
that the criteria are not specific and that there is no established reckoner which could be applied to
evaluate the merits of the solicitants. The rate of negative evaluations is very high, in absolute terms
and also in comparison to other areas. Thus, the authors include some recommendations for the
future.
Key words: Higher Education, Evaluation, University professors, Research incentives.
Rsum
Analyse des critres de la Commission Nationale dvaluation de lActivit de Recherche (CNEAI)
pour la concession des tapes de recherche en ducation
Lvaluation de lEnseignement Suprieur a gagne en importance pendant ces dernires annes.
Parmi les causes qui ont conduit une augmentation du nombre des valuations on peut souligner
la cration de lEspace Europen dEnseignement Suprieur, ainsi que les nouvelles Loi Organiques
espagnoles et ses dveloppements normatifs, lesquels tablissent des complments conomiques et
des procdures daccrditation pour les enseignants. Mme sil y a eu plusieurs tudes sur les
critres, les paramtres et les indicateurs propres ce type dvaluation, trs peu dentre eux ont t
consacrs lanalyse des critres pour la concession des sixaines de recherche. Par consquent,
lobjectif de cette tude est de procder cette analyse, en concdant une particulire attention au
domaine de lducation. Les rsultats montrent que le critre plus clair pour obtenir une valuation
positive est la contribution des articles publis dans des revues incluses dans le Journal Citation
Reports (JCR). Mme si la normative accepte lvaluation dautres contributions qui ne soient pas
incluses dans le JCR, condition quelles rpondent, selon lavis du Comit Consultatif, une srie
de critres de qualit approuves depuis 2005, nous dmontrons que les critres sont trs peut
spcifiques et quil nexiste pas un barme objective qui puisse tre appliqu lors de lvaluation des
mrites apports par les solliciteurs. Cette situation entrane un taux dchec norme en termes
19/5/11
15:13
Pgina 139
absolus ainsi que par rapport dautres domaines. En conclusion, nous prsentons une srie de
recommandations visant amliorer le systme dvaluation de la productivit de la recherche dans
le futur.
Mots cls : Enseignement suprieur, valuation, Professorat, Complments de productivit.
Izabela Zych
Izabela Zych es licenciada y doctora en Psicologa por la Universidad de Granada. Autora de diferentes artculos cientficos en revistas incluidas en la Web of Science. Sus lneas de investigacin
estn relacionadas con la evaluacin de la calidad de la ciencia y de la educacin. Actualmente, trabaja como profesora en las Facultades de Ciencias de la Educacin de la Universidad de Crdoba y
de la Universidad de Huelva.
Correo electrnico de contacto: izych@uco.es
19/5/11
15:13
Pgina 140