Número 6, juny 2001

La evaluación de las revistas científicas

[versió catalana]

José Ramón Pérez Álvarez-Ossorio

Profesor de Investigación. CINDOC
ossorio@cindoc.csic.es

Para tratar de evaluar la calidad de las revistas científicas se vienen utilizando

tradicionalmente una serie de parámetros que pretendo examinar someramente a
continuación, para considerar sus mayores o menores posibilidades de aplicación al caso
de las revistas españolas y, más en concreto, al caso de las revistas de Documentación,
que voy a utilizar como ejemplo.

El parámetro que podríamos considerar más tradicional y, desde luego, más utilizado,
aunque muchas veces de forma excesiva, es el llamado factor de impacto, tomado de la
publicación Journal Citation Reports del Institute for Scientific Information (ISI) de
Filadelfia. Como es sabido, se trata de un índice que expresa la relación entre el número
de citas recibidas por una revista en un año determinado y el número de artículos que esa
revista publicó en los dos años anteriores. Antes de entrar en las mayores o menores
posibilidades de aplicación del factor de impacto en las revistas españolas, es preciso
decir que este parámetro presenta, con carácter general, un sesgo evidente, en el sentido
de que prima a las revistas que publican pocos artículos extensos y que contienen muchas
referencias bibliográficas; en particular, salen muy beneficiadas las revistas del
tipo Review o Progress, dedicadas fundamentalmente a artículos de revisión. Puede
comprobarse, en efecto, que, en la clasificación de revistas según su factor de impacto, las
de este tipo ocupan los primeros lugares en detrimento de las revistas que podríamos
llamar convencionales y que son, por el contrario, las que ocupan los primeros lugares en
la clasificación por recuento bruto del número de citas que reciben sus artículos. Pues
bien: yo realicé, hace ya algunos años, un pequeño estudio en el que comparaba las dos
clasificaciones de revistas, por factor de impacto y por número de citas, con la lista de
revistas más solicitadas en la biblioteca y en el servicio de fotodocumentación de nuestro
centro, y encontré que la correlación era mucho mejor con la clasificación por el número de
citas. Además de este sesgo evidente, el factor de impacto está sometido también a los
archisabidos sesgos de las publicaciones del ISI, a favor de las publicaciones en inglés y
también, aunque en menor grado, a favor de las ciencias puras sobre las ciencias
aplicadas y a favor de las ciencias físiconaturales sobre las ciencias sociales y humanas.
No es el momento de entrar en la vieja polémica sobre si se debe publicar en revistas
nacionales o en revistas de difusión internacional, que están habitualmente en inglés,
aunque sí parece claro que la mejora de las revistas nacionales pasa necesariamente por
que nuestros científicos destacados publiquen en ellas. Así pues, si tratamos de aplicar el
factor de impacto a la evaluación de las revistas españolas, nos encontramos con que su
presencia en las publicaciones del ISI es escasísima (y sigue disminuyendo año tras año)
lo que, en la práctica, hace imposible la evaluación por este método. Concretamente, en el
campo de la documentación, ninguna de nuestras revistas está presente en las
publicaciones del ISI. Otros dos parámetros, en cierto modo paralelos, podrían ser la
presencia de las revistas en las grandes bases de datos internacionales de las disciplinas
correspondientes o en los grandes centros de suministro de documentos, con el British
Library Documents Supply Centre (BLDSC) a la cabeza. Está claro que no se trata de
indicadores absolutos de calidad, pero sí son un índice de la difusión que alcanza una
revista y de su utilización por la comunidad internacional. Volviendo al caso español, la
presencia de revistas españolas en las grandes bases de datos es ya importante;
concretamente, en el campo de la documentación, son seis las revistas españolas que
recoge, por ejemplo, la base de datos LISA. En cuanto a la presencia en el BLDSC, sí
existen bastante revistas españolas, aunque ninguna de ellas de documentación, lo cual
no debe extrañar porque la demanda de documentos en este campo es, sobre todo, de
carácter local o, a lo sumo, procedente de Iberoamérica.

Por último, un índice de la calidad de una revista es también su grado de cumplimiento de

las normas nacionales e internacionales que existen a este respecto. Como es obvio, este
indicador no mide en absoluto la calidad intrínseca de una revista, sino únicamente lo que
podríamos llamar su calidad formal. Pero no es menos cierto que la calidad formal y la
calidad intrínseca suelen ser paralelas o, al menos, que la primera es un prerrequisito para
la segunda. En efecto, lo primero que se exige a una revista para su incorporación a los
grandes circuitos de difusión internacionales es que cumpla con las normas
correspondientes. A este respecto, cabe mencionar el proyecto LATINDEX, que trata de
reunir información sobre las revistas científicas que se publican en América Latina, España
y Portugal, y en el que colaboran una serie de centros de dichos países. LATINDEX ha
establecido un conjunto de 8 criterios editoriales obligatorios, más otros 24 criterios de
calidad formal, considerando como revistas aceptables aquéllas que cumplan, al menos,
entre 15 y 17 criterios de esta segunda lista. En el CINDOC se ha realizado un estudio de
la aplicación de estos criterios a las revistas españolas de documentación, como primer
paso para una sucesiva aplicación a todas las revistas científicas españolas. De un total de
21 revistas analizadas, que se pueden considerar incluidas en el campo de la
documentación, se encontró que ninguna de ellas cumple los 24 criterios; tres cumplen
entre 20 y 23 criterios y otras cinco entre 16 y 19 criterios.

Quizás, para obtener una idea bastante aproximada de la calidad de una revista, lo más
correcto sería tratar de aplicar conjuntamente, en la medida de lo posible, los distintos
parámetros mencionados.

Articles similars a BiD

 Revistes espanyoles d'arquitectura, ciències de la construcció i urbanisme : visibilitat y

internacionalització. Sorli Rojo, Ángela; Mochón Bezares, Gonzalo. (2013)
 Localització i identificació de les revistes universitàries per integrar-les en repositoris
institucionals. El cas de la Universitat de València. González Teruel, Aurora; Abad
García, María Francisca; Hernández San Miguel, Javier; Ruiz Castell, Júlia. (2010)
 Avaluació de revistes i avaluació de la recerca en humanitats i ciències socials a
Cataunya : aproximació a un problema. Urbano Salido, Cristóbal. (2003)
 Les metadades a les revistes electròniques espanyoles de biblioteconomia i
documentació. Cantos Puig, Carme. (2003)
 L'aportació espanyola a la producció científica internacional en biblioteconomia i
documentació : un balanç de deu anys (1992– 2001). Jiménez Contreras, Evaristo.
(2002)

Articles similars a Temària

 Revistas periféricas de generación interna de la Universidad de Chihuahua, México :

identificación de indicadores para la calidad. Tarango, Javier. (2012)
 Difusión y factor de impacto nacional e internacional de las revistas científicas
españolas. Osca Lluch, María Julia; Haba, Julia; Minués, Olga; Navarro, Gloria. (2008)
  IME/Índice Médico Español : perspectivas y retos tras 40 años de tradición bibliográfica
en ciencias de la salud (1964-2003). Aleixandre Benavent, Rafael. (2004)
 Criterios de evaluación y utilización de las revistas académicas en el área de
conocimiento de psicología en España. Salvador Olivás, José Antonio; Arquero Avilés,
Rosario; Lamarca Langa, Genaro. (2011)
 Introducción y estudio comparativo de los nuevos indicadores de citación sobre revistas
científicas en Journal Citation Reports y Scopus. Torres Salinas, Daniel; Jiménez
Contreras, Evaristo. (2010)

Articles del mateix autor a Temària

Pérez Álvarez-Osorio, José Ramón