Gomez Del Pulgar Rodriguez de Segovia, Gloria

D. GLORIA GMEZ DEL PULGARRODRGUEZDE SEGOVIA. con D.N.l.
764163 L
A UT O R 1ZA:
A que su tesis doctoral con el ttulo: Calidad de las

Revistas Espaolas de Derecho Pblico pueda ser
utilizada para fines de investigacin por parte de la
UniversidadCarlosIIIde Madrid.
Getafe, 11de junio de 2004
del
Fdo.:
Gmez
Rodrguez de Segovia.
Pulgar
/TU
(2d-
FACULTADDE HUMANIDADES
COMUNICACIN
Y DOCUMENTACIN
Departamentode Biblioteconoma
y Documentacin
CALIDADDE LAS REVISTAS

ESPAOLAS
DE DERECHO
PBLICO
TESIS DOCTORAL
Presentadapor
Gloria Gmezdel PulgarRodrguezde Segovia
Director: JosRamnPreztvarez-Ossorio
Tutor: ElasSanzCasado
Getafe,2003
SE
;-e
/
A mis hos Sergioy Natalia,

para que vean que el esfuerzomerecela pena
A mispadres,
porque lo aprendde ellos
Y ngel por comprenderme
Escribo. Escriboque escribo.

Mentalmente me veo escribirque escribo
y tambinpuedo yerme ver que escribo
(El Grafgrafo.SalvadorElizondo)
AGRADECIMIENTOS
El cuento El Grafgrafo es el mejor representante de una corriente
literaria conocida como novela de la escritura y supuso mi primer
acercamiento a la investigacincientfica.Por eso lo he destacadoy porque en
los ltimosmeses me he sentido como su protagonistavindomeescribir que
escriba la tesis, y, como reflejada en un infinito juego de espejos, sin poder
vislumbrar un final que hoy, parecehaber llegado.
Quiero dar las gracias, en primer lugar, a don Jos Ramn Prez
lvarez-Ossorio, por su amabilidadal haber aceptado dirigir el trabajo de una
completa desconocida,y por su dedicacinen estos aos.
Tambin a don Elas Sanz Casado,que, desde que dirigi mi tesina, ha
conseguido que sea capazde creer un poco ms en m misma.
Tampoco puedo perder la oportunidadde agradecersu atencin a doa
Adelaida Romn Romn, que me ayud a perfilar el tema de la tesis y me
resolvi las dudas que, sobre todo al principiodel trabajo, me surgieron.
Debo reconocer tambin el trabajo de todos los profesionales de los
centros a los que he acudido a consultar sus fondos, entre ellos, a los del
Centro de Estudios Polticos y Constitucionales,donde yo trabajo, y muy
especialmente a doa Pilar Fernndez Huscar, mi compaera, pero sobre
todo amiga, que mantiene en perfecto orden y control la coleccin de
publicaciones peridicasde nuestrabiblioteca.
Tambin quiero agradecer su inters a todos aquellos amigos que
alguna vez se interesaronpor eso. Y, por su puesto,a mi familia, sobre todo a
Sergio, Natalia y ngel, por su pacienciay comprensindurante el tiempo que
he dedicadoa estos menesteresy a los que debo unas vacacionesa tiempo
completo.
INDICE
1. INTRODUCCIN
1.1. La evaluacinde lasrevistascientficas4

1.2. La evaluacinde las revistascientficasen Norteamrica8
1.3. La evaluacinde las revistascientficasen Europa11
1.4. La evaluacinde las revistascientficasen frica y Asia13
1.5. La evaluacinde las revistascientficasen Latinoamrica14
1.6. La evaluacinde las revistascientficasen Espaa17
1.7. Clasificacinde los estudiosde evaluacinde revistascientficas...
26
2. OBJETIVOSDEL ESTUDIO31
3. SELECCINDE LA MUESTRA35
4. METODOLOGA43
4.1. Solucionesmetodolgicasde aplicacingeneral46
4.1.1. Obtencinde datos47
4.1.2. Normalizacinde la edicin de publicacionesperidicas47
4.1.3. Antigedadde las revistas48
4.1.4. Periodicidady puntualidad49
4.1.5. Conceptode coautora50
4.1.6. Sistemasde seleccinde originales51
4.1.7. Conceptode originalidad52
4.1.8. Conceptode endogamia53
4.1.9. Difusinde las revistas53
4.1.9.1. Distribucin54
4.1.9.2. Serviciosde difusinnacionalese internacionales54
4.1.9.3. Difusinpor Internet60
4.2. Anlisisdirectode la muestra61
4.3. Descripcinde los modelosde evaluacinde revistasformulados

por organismosde investigacin62
4.3.1. Modelode la Universidadde So Paulo62
4.3.1.1. Introduccin62
4.3.1.2. Formulaciny notas65
4.3.2. Modelodel InstitutoColombianoColciencias72
4.3.3. Modelodel Instituto MexicanoConacyt81
4.3.4. Modelodel NationalResearchCouncilde Canad87
4.3.5. Modelodel proyecto LATINDEX93
4.4. Normalizacinde los modelosde evaluacinde revistas96
4.4.1. Identificaciny clasificacinde los indicadores
empleados96
4.4.2. Clculo y unificacinde las puntuacionestotales
mximas102
4.4.3. Nueva formulacinde los modelos111
5. RESULTADOS117
5.1. Resultadosobtenidosdel anlisis directode las publicaciones119
5.1.1. Edicinde las revistas119
5.1.1.1. Entidadeseditoras. Naturalezajurdica119
5.1.1.2. Entidadeseditoras. Distribucingeogrfica121
5.1.1.3. Pautasde edicin.Antigedad123
5.1.1.4. Pautas de edicin.Tirada124
5.1.1.5. Pautas de edicin.Periodicidady puntualidad125
II
5.1.1.6. Comitseditoriales.Composicin
125
5.1.1.7. Comitseditoriales.Distribucingeogrfica128
5.1.1.8. Comitseditoriales.Endogamia131
5.1.1.9. Comitseditoriales.Sistemasde seleccinde
originales134
5.1.1.10. Comitseditoriales.Porcentajede aceptacinde
originales135
5.1.1.11. Normalizacinde las publicacionesperidicas135
5.1.2. Caracterizacinde los autores139
5.1.2.1. Autores. Distribucingeogrfica139
5.1.2.2. Autores. Distribucininstitucional146
5.1.2.3. Autores. Endogamia148
5.1.2.4. Autores. ndicede coautora151
5.1.2.5. Autores. Colaboraciones.Distribucininstitucional154
5.1.2.6. Autores. Colaboraciones.Distribucingeogrfica156
5.1.3. Caracterizacinde los trabajospublicados160
5.1.3.1. Trabajos publicados.Tipologadocumental160
5.1.3.2. Trabajos publicados.Gradode originalidad164
5.1.4. Difusinde las revistasanalizadas166
5.1.4.1. Difusinnacional166
5.1.4.2. Difusininternacional171
5.1.4.3. Difusinpor Internet176
5.2. Resultadosde la evaluacintras la aplicacinde los modelos
formulados por organismosde investigacin182
5.2.1. Resultadosde la aplicacindel modelode la Universidadde
So Paulo182
5.2.1.1. Normalizacin182
5.2.1.2. Duracin185
5.2.1.3. Periodicidad185
5.2.1.4. Inclusinen ndices186
5.2.1.5. Difusin186
5.2.1.6. Colaboraciny divisinde contenido188
III
5.2.1.7. Resultadosglobales
190
5.2.2. Resultadosde la aplicacindel modelodel Instituto

Colombiano Colciencias194
5.2.2.1. Calidad editorial194
5.2.2.2. Normalizacin197
5.2.2.3.Visibilidad nacional198
5.2.2.4. Visibilidadinternacional200
5.2.2.5. Resultadosglobales201
5.2.3. Resultados de la aplicacin del modelo del Instituto
Mexicano Conacyt205
5.2.3.1. Contenido205
5.2.3.2. Arbitraje205
5.2.3.3. Contribuciones207
5.2.3.4. Ediciny distribucin207
5.2.3.5. Criteriosformales208
5.2.4. Resultados de la aplicacin del modelo del National
Research de Canad214
5.2.4.1. Contenidocientfico214
5.2.4.2. Uso y aceptacinde las revistaspor la comunidad
cientfica
5.2.4.3. Calidadeditorial217
5.2.5. Resultadosde la aplicacindel modelodel proyecto
LATINDEX222
5.2.5.1. Caractersticasbsicas222
5.2.5.2. Presentacinde las revistas224
5.2.5.3. Gestiny polticaeditorial225
5.2.5.4. Caractersticasde los contenidos226
Iv
215
5.3.
Resultadosde la evaluacintras la aplicacinde los modelos

una vez normalizados231
5.3.1. Resultadosde la aplicacindel modelode la Universidadde

So Paulonormalizado231
5.3.2. Resultadosde la aplicacindel modelodel Instituto
Colombiano Colcienciasnormalizado233
5.3.3. Resultados de la aplicacin del modelo del Instituto
Mexicano Conacytnormalizado235
5.3.4. Resultados de la aplicacin del modelo del National
Research Council de Canadnormalizado236
5.3.5. Resultadosde la aplicacindel modelodel proyectoLatindex
normalizado238
5.3.6. Resultadoscomparados240
5.4. Propuestasde rankingfinal241
5.4.1. Rankingsegnel primer mtodo242
5.4.2. Rankingsegnel segundomtodo244
5.4.3. Comparacinde los dos rankingfinales247
6. CONCLUSIONES249
6.1. Caractersticasde la revistasespaolasde DerechoPblico251
6.2. Caractersticasde los modelosde evaluacinde revistas
formulados por organismosde investigacin260
6.3. Conclusionesglobales264
7. BIBLIOGRAFA267
7.1. Artculosy monografas269
7.2. PginasWeb294
8. RELACINDE CUADROS,FIGURASY TABLAS299
9. APNDICES
1. Modelode evaluacinde revistasdel 1.5.1307
II. Modelode evaluacinde revistasde la UNESCO(1964)309
III. Relacinde revistasanalizadas,con sus acrnimos311
IV. Bibliotecasde consulta313
V. Cuestionarioenviado a las editoriales315
VI. Direccionesde Internetde las revistasanalizadas317
VII. Cuestionariooriginaldel modelodel InstitutoMexicanoConacyt319
VIII. Criteriosde calidaddel modeloLatindex323
IX. Trabajos publicados.Tipologadocumental.Nmerode pginas327
X. Resultadosobtenidostras la aplicacindel modelode la
Universidad de So Paulo normalizado329
Xl. Resultadosobtenidostras la aplicacindel modelodel Instituto
Colombiano Colcienciasnormalizado333
XII. Resultadosobtenidostras la aplicacindel modelodel Instituto
Mexicano Conacytnormalizado337
XIII. Resultadosobtenidostras la aplicacindel modelodel National
Research Council de Canadnormalizado341
XIV. Resultadosobtenidostras la aplicacindel modelodel proyecto
Latindex normalizado345
XV. Rankingfinal de las revistasanalizadas,obtenidopor el primer
Mtodo349
XVI. Rankingfinal de las revistasanalizadas,obtenidopor el segundo
Mtodo353
XVII. Fichas completasindividualespor revistas357
VI
305
1. INTRODUCCIN
1. INTRODUCCIN
La sociedad actual ha pasado de ser conocida como Sociedad de la
Informacin,a ser denominadaSociedaddel Conocimiento,ya que, graciasa
la utilizacinde las nuevastecnologasde la informacin,cada vez es ms fcil
el intercambio,no slo de datos, sino tambin de conocimiento,o experiencia,
entre los seres humanos.
Este intercambio se ha realizado desde siempre, ya que lo que nos
caracteriza como personas es nuestra capacidadpara procesar la informacin
que recibimos de nuestro entorno y convertirla en conocimiento que somos
capaces de representar,conservary difundir. Los habitantes de Altamira nos
han enseado,a travs de sus pinturas en las cuevas, cmo era el mundo que
les rodeaba y cules eran sus principales actividades, avances posteriores
como la escritura o la imprenta han agilizado la posibilidad de transmitir
conocimiento y ahora disponemosde mediosms rpidos, eficacesy eficientes
que nunca.
Por lo tanto, el avance de la ciencia ha sido posible no slo gracias a
concebir ideas fructferas, elaborar nuevos experimentos, formular nuevos
problemas o establecer nuevos mtodos (Merton, 1977, p. 567), sino, sobre
todo, graciasa la transmisinefectivadel conocimientocientfico:
...
the productionof new knowledge(...) ls not really complete until it
has been transmittedto sorne others, so that it is no longer one mans

knowledge only (Machlup,1962, p. 14)
Esta transmisinde conocimientose ha realizadoa travs de los medios
de difusin disponibles en cada momento, correspondencia personal e
institucional, hojas informativas,reuniones, libros... (Lpez Yepes, 1989). En
los siglos XVI y XVII se produce una explosin tanto cuantitativa como
cualitativa de los estudioscientficos,es la poca de la revolucincientfica,en
la que se puede fijar el nacimientode las revistas cientficas1por la necesidad

de transmitir los resultadosde las investigacionesde una manera ms rpida
que a travs de los libros (Lpez Piero, Navarro y Portela, 1989) y a la vez,
con la garantade la revisinque ejercan sobre los manuscritoslos miembros
de las sociedadescientficasen las que nacieron.
Las revistas cientficas son, por tanto, el principal vehculo de
comunicacin de los resultados de las investigacionesen la mayora de las
disciplinas, adems de ser tambin soporte y archivo del conocimiento,de los
productos de la mente humana, materia constitutiva del mundo 3 que
distingui Popper:
Podemos llamar al mundo fsico mundo 1, al mundo de nuestras
experiencias conscientesmundo2 y al mundode los contenidoslgicos
de los libros,bibliotecas,computadorasy similares, mundo 3 (Popper,
1972, p. 77)
Entre los inquilinos de mi tercer mundo se encuentran especialmente
los sistemas tericos y tan importantecomo ellos son los problemas y
las situaciones problemticas. Demostrartambin que los inquilinos
ms importantesde este mundo son los argumentos crticos (...),
as
como los contenidosde las revistas, libros y bibliotecas(Popper, 1972,

p. 107)
1.1.
Laevaluacin de las revistas cientficas

Desde su aparicin, el nmero de ttulos de revistas disponibles no ha
hecho ms que crecer, a pesar de las dificultades,fundamentalmentede tipo

econmico, con las que se encuentranlos editores. Esta abundanciade ttulos,
junto con la inestabilidad del mercado editorial, ha hecho que desde hace
aproximadamente cuatro dcadas se hayan multiplicado los estudios de
En enero de 1665 se publicael primernmerode la revista Journal de Savantsy en abril del
mismo ao nacePhilosophicalTransactions
of the Royal Society
1
evaluacin de las revistascientficasen un gran nmerode pases. Pero, qu

beneficios se obtienen de una evaluacin?, por qu evaluar revistas
cientficas?.
La investigacincientfica es una actividad crucial en todo pas que se
considere desarrollado,pero su elevado coste, financiado en gran medida con
fondos pblicos, hace que sea objeto de una evaluacin constante que se
desarrolla a lo largo de todo el proceso.Se habla de una evaluacin ex ante
(Bellavista, Guardiola y Mndez Miaja, 1997, pp. 1-2), cuando lo que se
examinan son los proyectos y programas propuestos por los centros de
investigacin, y tambin cuando son examinados esos mismos centros y de
cuyos resultadosdepende su presupuesto.Se realiza tambin una evaluacin
de proceso, durante la realizacin de un proyecto, que permite corregir o
cambiar actividades para obtener un resultado mejor. Por ltimo, se lleva a
cabo una evaluacinex post, es decir, del trabajofinalizado, o de la actividad
global desarrolladapor un centroen un periododeterminado.
Las dos primerasfases de la evaluacinse llevana cabo, prcticamente
en exclusiva,a travs del juicio de expertos,es el sistemaconocidocomo peer
review. En la ltima fase, al contar ya con el resultado fsico de la
investigacin, se pueden utilizar otros mtodosde evaluacin.Esta evaluacin
puede ser, en principio, meramente cuantitativa, es decir, basada en el
recuento de trabajos,analizandoas la productividadde un autor concreto,de
un centro de investigacindeterminadoo analizartoda la produccincientfica
de un pas, por disciplinaso periodosdeterminados.
La evaluacintambin puede ser cualitativa,cuando se intenta medir la
calidad de la produccincientfica.En este caso se puede recurrir,de nuevo,al
juicio de expertos, pero tambin se puede medir el impacto de un trabajo
analizando el nmero de veces que es citado, o analizando su visibilidad
rastreando su presenciaen basesde datos.
En este contexto podemos fijar la evaluacinde las revistas cientficas
que son el principal reflejo de los resultados de la investigacin. Pero la
5
evaluacin de las revistas tiene entidad propia. La revista es un producto

editorial susceptiblede ser analizadono slo por la calidad de sus artculos,
sino tambin por su calidad formal. Por eso, hay un gran nmero de
profesionales que obtienen valiosa informacinde los estudios de evaluacin,
entre ellos, los editores, los bibliotecarios,los cientficosy los responsablesde
organismos de financiacin.
Por un lado, se ayuda a los editores al darles a conocer los puntos
dbiles de sus publicaciones, ya que as pueden preparar productos ms
competitivos y que alcancen una mayor y mejor difusin entre la comunidad
cientfica internacional. Su intervencin es decisiva, ya que slo de ellos
depende que se introduzcanmejorasformalesy, en gran medida, pueden influir
en la mejora del contenido (Licea de Arenas, Torre y Morales, 1999),
seleccionando buenos profesionales que forman parte del comit editorial
(Prez Gmez, 1998), cuyo papel es fundamental a la hora de seleccionar
material de calidad (Arboleda, 1995).Adems, los editores deben preocuparse
de incluir en sus publicaciones instrucciones que ayuden a los autores a
preparar sus trabajos, y, como ha observadoAnn C. Weller (1987), las mejores
revistas incluyeninstruccionesms completas.
Por otro lado, los responsables de las bibliotecas y centros de
documentacin encuentranvaliososdatos que les ayudan a la hora de decidir a
qu revistas deben suscribirse,ya que el mercado ofrece un gran nmero de
ttulos de cada materia y los presupuestossuelen estar muy ajustados. Los
mismos bibliotecarios emprenden, a veces, estudios de evaluacin de sus
colecciones para ajustarsea su espacioo a su presupuestolimitado. Es el caso
de trabajos como los de A. Valls Pasola (1993), en Espaa, el de Martnez,
Barbieri y Aguado(1991), en Argentina,o el de Yang (1998), en China, por citar
algunos.
Los cientficos obtienen informacin sobre su comportamiento como
grupo y del valor de su trabajo personal, y, sobre todo, les permite conocer
cules son las revistasde mayor calidad, aqullas a las que les interesa dirigir
sus trabajos,que as obtendrnuna mayor difusiny sern ms valorados.
6
Finalmente, los organismos de financiacin obtienen datos que les

permiten tomar las decisiones adecuadas para distribuir mejor sus recursos,
normalmente escasos. Si los datos obtenidosson importantespara organismos
sostenidos con financiacinprivada,an ms importantesdeberan ser para los
organismos sostenidos con fondos pblicos, cuya principal obligacin es
ofrecer serviciosde calidad al mejor coste posible,es decir, ser eficientesen la
asignacin de los recursos econmicos.Algunos modelos de evaluacin se
desarrollan precisamente para seleccionar las revistas a las que ayudar
econmicamente:es el caso del modelode la Universidadde So Paulo, en
Brasil, diseado para seleccionar las revistas a las que iran destinadas las
ayudas de FAPESP (Fundacinde Amparo a la Investigacindel Estado de
So Paulo), o el modelo mexicano desarrollado por el Conacyt (Consejo
Nacional de Ciencia y Tecnologa de Mxico) que subvenciona revistas que
cumplen ciertos criteriosde calidad.
Por todo lo expuesto, se deduce que la evaluacinde revistas es una
necesidad para Jacomunidadcientfica,que es la que comienzaa promoverlos
estudios de evaluacin,sobre todo, a partir de los aos sesenta, coincidiendo
con un importante aumento de la produccin bibliogrfica, aumento que no
siempre iba acompaadode calidad, ya que la falta de medioseconmicos,en
unos casos, o la mala canalizacin de los mismos en otros, provocaba el
nacimiento y desaparicinde ttulos de forma indiscriminada.Los estudios de
evaluacin deben disearse, por tanto, para ayudar en la seleccin de ttulos
de intersy para promoveracciones dirigidas a la mejora de su calidad como
producto editorial, lo que redundaen disponerde mejoresvas de difusin.
Este tipo de estudios se ha desarrolladodesde entonces en todas las
partes del mundo, aunque, como se ver en la revisin bibliogrfica que se
incluye a continuacin,hay zonas ms productivasque otras, como es el caso
de los paseslatinoamericanos
1.2. Laevaluacinde revistascientficasen Norteamrica
No se puede iniciar el repaso de la historia de los trabajos sobre

evaluacin de revistas sin reparar en la importanciaque, prcticamentedesde
su nacimiento,han tenido los ndices de citas, impulsadospor Eugene Garfleld
desde el Institute for Scientific Information (ISI). Creados en principio como
repertorios bibliogrficos, pronto se vio su aplicacin en la evaluacin de
revistas (Garfield y Sher, 1963; Garfield, 1972), y, sobre todo, desde 1975
cuando se comienzaa publicar el Journalof CtationReport. Desde entonces
los criterios de evaluacin de publicaciones peridicas se han basado, en
muchos casos, en la presencia o ausencia de las revistas o trabajos en los
Citation mdcx(ScienceCitationndex,SocialScienceCitation ndexy Arts and

HumanitiesCitationmdcx)y sobre todo en los indicadores factor de impacto
(impact factor) e ndice de inmediatez (inmediacy factor) propuestos por
Eugene Garfield. El primero es el nmero medio de citas recibidas por los
artculos de una revista durante un tiempo determinado.El segundo se calcula
dividiendo el total de citas que han recibido los artculos publicados en una
revista durante el ltimo ao, por el nmero total de artculos que han sido
publicados por esa revista duranteese mismo ao. Los editores del Institutefor
Scientific Information, que reciben publicaciones procedentes de todo el
mundo, realizan un riguroso proceso de seleccin de revistas, ya que no es
econmicamente posible, ni til, el recoger toda la bibliografa editada. Por
tanto, intentan seleccionarlo mejor basndoseen la ley de Bradford2 esta ley,
tanto en su formulacin original como en adaptaciones posteriores (Rashid,
1991), tambin se ha utilizado como indicadoren los procesos de evaluacin
de revistas.
El proceso de seleccin del ISI lo llevan a cabo personas con un amplio
conocimiento en el tema que deben evaluar y aplican criterios relacionadoscon
la normalizacin,el contenidoeditorial, la puntualidad,el factor de impacto...El
ISI tambin ha desarrollado un sistema de evaluacin de revistas electrnicas
2
Las observacionesde Bradforddeterminaronque, cuandose analizaun determinadocampo
del conocimiento,hay un pequeoncleode publicacionesperidicasque recogenun gran

nmero de trabajostiles, mientrasque el resto se dispersaen un elevado nmerode revistas.
8
debido al auge que estn viviendo en estos ltimos aos. En estos casos
tambin se valora la puntualidad y la inclusin de elementos bsicos de
identificacin, como el ttulo de la revista, el del artculo, los autores, los
identificadores DOl (Digital Object Identifier) y P11(Publisher Item ldentifer),
entre otros (Testa, 2002). El modelocompletose incluyecomo apndice1.
Las publicacionesque el ISI genera con los datos de todas las revistas
seleccionadas como son los Citation Index y el Journal of Citation Repon han
generalizado el uso de las evaluacionesde revistasbasadas en los anlisis de
citas y en los indicadoresderivados de ellos, hasta el punto de ser tambin la
referencia bsica en las evaluacionesdel personalinvestigador,en las que se
considera una tcnica ms objetivay complementariade la evaluacinbasada
en la reputacin entre colegas (Robey, 1982). Y esta generalizacinse ha
llevado a cabo no slo en los Estados Unidos,sino tambin en todos los pases
de nuestro entorno y en todas las disciplinas, lo que ha generado numerosas
crticas, sobre todo entre los especialistasdel mbito de las cienciassocialesy
de las humanidades,debido a las limitaciones de estos ndices, ya que el
mtodo que utilizan para seleccionarrevistasorigina unos sesgos importantes,
pues priman la investigacin bsica frente a la aplicada, los temas de
investigacin de evolucin rpida frente a los ms estables y, entre otros, la
lengua inglesafrente a todas las dems;por lo tanto pueden ser utilizados,con
ciertas reservas, en ciencias bsicas experimentales,pero no en ciencias
sociales y humanidades.
Como se ver a continuacin,en la bibliografaexiste un gran nmerode
trabajos de evaluacin de revistas basados en los criterios derivados del
anlisis de citas, pero tambin hay numerosos trabajos que destacan los
problemas que surgen en su aplicacin. Entre los primeros hay algunos
realizados por los bibliotecarios para evaluar sus colecciones o tomar
decisiones sobre nuevas suscripciones o cancelaciones, tomando estos
criterios como nico elemento de juicio (Vymetal, 1981; Chandran, 1982;
Bargagna, 1993) o en combinacincon otros como la frecuencia de uso de la
coleccin (Rice, 1983; Cressent, 1987; Chou, Tai y Lee, 1998; Bauer, 1998).
Otros estudios los realizan los especialistas en una materia determinada,
9
interesados en conocer el impacto de determinadaspublicaciones (Lazarev,

1984; Marshakova,1996).
Entre los crticos con el sistema hay algunos que ponen de manifiesto
los problemas que surgen cuando la evaluacin tanto de revistas, como de
artculos e investigadores se basa principalmente en la utilizacin de los
indicadores derivados del uso de las publicacionesdel ISI (Mndez, Gmez y
Bordons, 1993; Amin y Mabe, 2000). Otros destacan la escasa presencia de
revistas de pases no anglfonos (Arunachalamy Manurama, 1989; Moed,
Leeuwen y Reedijk, 1996; Komatsu, 1998; Bordons, Fernndez y Gmez,
2002). Especialmente grave es el caso de revistas de ciencias sociales y
humanas, cuyo campo de actuacines, en general, de enfoque ms localista
que las de ciencias puras (Nederhofy Zwaan, 1991), e, incluso en este caso,
hay disciplinas mal representadasporque utilizan canales de difusin que no
son revistascientficaspropiamentedichas, como destaca Klimley (1994) en el
caso de la geologa, que no est bien representadaporque utilizan con mucha
frecuencia boletines de asociaciones y otro tipo de publicaciones de
distribucin alternativa.
En Estados Unidos tambin se han llevado a cabo estudios de
evaluacin de revistas realizados con otros mtodos, como la evaluacin por
pares. Es el caso del trabajo de Giles y Wright (1975) que evaluaron sesenta y
tres revistas de ciencia poltica procedentes de varios pases, pero editadas
todas en ingls, basndose exclusivamente en los resultados, de unas
encuestas enviadas a 515 expertos en la materia. Este trabajo se revis en
1989 (Giles, Mizeil y Patterson, 1989). Estudios posteriores han puesto de
manifiesto los problemasde la aplicacin en exclusiva de la evaluacin por
pares (Lester, 1990)y se proponenmtodoscombinadosen los que se valoren
adems otro tipo de indicadores, Garand (1990) en su trabajo propone los
siguientes: porcentajede aceptacinde originales,composicinde los comits
editoriales, puntualidad,tirada y productividad.
lo
Posteriormente,Crespi (1997) realiza,un estudiobasadoen la opininde

expertos, esta vez para analizar revistas de derecho editadas en los Estados
Unidos. La peculiaridadde estos estudios es que realiza una comparacinde
los resultadoscon los obtenidosen otros trabajosprevios.
En esta revisinde los sistemasde evaluacinde revistas, no se puede
abandonar el continente americano, sin mencionar los trabajos que ha
realizado el National Research Council de Canad (1981), cuyo modelo,
desarrollado para evaluar las revistas editadasen Canad, es uno de los que
se aplican en este trabajo. Contempla,sobre todo, aspectos relacionadoscon
el contenidocientfico de la revista, con la aceptaciny el uso de la misma por
la comunidad cientfica, y la calidad de la edicin. Tambin contempla la
opinin de los especialistasy el anlisis de citas, pero no tiene en cuenta el
grado de cumplimiento de las normas internacionales de edicin de
publicaciones peridicas.
1.3. La evaluacin de revistascientficasen Europa
En el mbito europeo, si exceptuamos Espaa cuyos trabajos
analizaremos en detalle en un apartado propio, no se han llevado a cabo
grandes proyectosde evaluacinde publicacionesperidicas,o al menos, sus
trabajos tienen escasa visibilidad.El Reino Unido quiz sea uno de los pases
ms productivos.Ya en los aos sesenta, Martyn y Gilchrist (1968) realizaron
un estudio basado en el Science Citation ndex para determinar las revistas
cientficas britnicasms citadas. Con base en este estudio, Jacqueline Hills
(1971) del ResearchDepartmentof ASLIB (Associationof Special Librarianship
and lnformation Bureaux) analiz en 1971 el grado de adecuacin de dichas
revistas a las normasde presentacinde publicacionesperidicas.
Posteriormente, Crewe y Norris (1991) realizaron una evaluacin de
revistas europeasy americanasde ciencia poltica, basndoseen la opininde
expertos procedentes de Estados Unidos y Gran Bretaa y analizaron las
diferencias entre unos y otros. Estos mismos autores realizaron un nuevo
estudio dos aos despus (Norris y Crewe, 1993). En esta ocasin pidieron a
11
los encuestadosque clasificaranlas revistaspor cuatro aspectos diferentes:su

nivel de originalidad,su utilidad para la enseanza,el tipo de lector al que se
dirige y la calidad de contenidos.
Por esos mismos aos, McDonald y Feather (1995) analizaron el
proceso de seleccinde artculosen revistasbritnicasdel rea de las ciencias
de la informacin.Y un ao despus,Jones, Brinn y Pendlebury(1996), de la
escuela de negociosde Cardiff proponenun sistemade evaluacin de revistas
britnicas de contabilidad,basadoen el anlisis de citas y la valoracin de los
pares tanto nacionales como extranjeros para evitar, en lo posible, opiniones
sesgadas.
En Checoslovaquia, Ludmila Benetinova (1978) elabor un mtodo
completo de evaluacin de revistas en el que se proponan los siguientes
criterios: actualizacinde la informacin,curriculum cientfico de los autores,
presentacin de los artculos,nmero de citas, nmero de artculospertinentes
al campo cientfico que se trate, regularidad de la publicacin, nmero de
artculos por entrega, y sumarios en lenguas extranjeras; mtodo que
ejemplifca evaluandola revista checa Po!nohospodarstvo(Agricultura).
En Yugoslavia tambin se han realizado algunos estudios, como el de
Maricic (1983) que analiza las revistas mdicas yugoslavas para proponer un
mtodo vlido de evaluacinde publicacionesde comunidadescientficaspoco
desarrolladas. En 1989 tuvo lugar en Pula el decimotercer simposio sobre
publicaciones cientficas titulado The development of scientific journais in
Yugoslavia by 2000, organizado por el lnstitute for Information Science de
Zagreb, en el que, entre otros, se present el trabajo de Alenka SauperlZorko
(1990) que ofrece una panormica de la calidad de las revistas cientficas
yugoslavas.
En la Universidadde Tampere, Finlandia, se analiz la calidad de la
coleccin de revistas de sociologa de su biblioteca (Tyrvainen, 1992),
basndose en un estudio de uso de las revistas, presencia en fuentes
secundarias y un anlisis de citas mediante el Journal of Citation Report y el
12
Social ScienceCitationndex.En 1998 se llev a cabo un estudio parecidoen

la BiblitecaCentralde Medicinade Viena,Austria, en este caso el objetivoera
la cancelacinde algunas suscripcionespor falta de presupuesto.El estudio
(Bauer, 1998) se bas en un informe de uso de las revistas y en el factor de
impacto.
En Suecia, Hanson(1998) envi una encuestaa 193 personaspara que
evaluaran 118 revistassanitariasde pases nrdicospara establecer un ranking
y compararlo con los internacionales,adems, las revistas mejor situadas
podran pasar a formar parte del ncleo bsico de revistas sanitariasnrdicas.
Ms recientemente,en Rumania, se ha llevado a cabo un anlisis de la
situacin de las revistas biomdicas rumanas, ningunas de las cuales est
recogida en el ScienceCitationIndex,ni en el Journalof CitationReport.Robu
y
colaboradores (2001) las han analizado utilizando distintos criterios:
evaluacin por pares, inclusinen basesde datos interncionales,puntualidad,

idioma de los artculosy de los resmenes,y el factor de impacto nacional.
1.4. La evaluacinde revistascientficasen frica y Asia
Fuera del mbito europeo y americanotambinse han llevadoa cabo
estudios interesantes. En frica, Alemna, Chifwepa y Rosenberg (2000)
recogen los resultadosde una serie de informes elaborados en 1996, 1997 y
1998 con el fin de evaluarel uso y el impactode las investigacionespublicadas
en revistas africanas, basndose en las colecciones de la biblioteca de la
universidad de Ghanaen Legony de la universidadde Zambia en Lusaka.
En Asia, tambin encontramos estudios realizados desde distintos
puntos de vista en pases como Japn, China, Taiwan, Malasia o la India. En
Japn, Shuichi Ueda (1976) realiz la evaluacin de 270 revistas cientficas
japonesas de medicina, agricultura y ciencias naturales, aplicando cuatro
indicadores: factor de impacto, ndice de inmediatez,nmero de artculosy su
presencia en las principalesbibliotecas.
13
En Taiwan se han realizado varios estudios relacionados, sobre todo,

con la evaluacinde colecciones de bibliotecas.El estudio de Mei Hwa Yang
(1988) aplica cuatro indicadorespara evaluarla coleccin de la Bibliotecade la
Universidad Feng Chia. Esos cuatro indicadoresson: precio de la suscripcin,
anlisis de uso, juicio de expertosy prstamosinterbibliotecarios.Similares el
estudio de Chou, Tay y Lee (1998) sobre la coleccin de la Biblioteca del
Hospital General de Veteranos de Taipei. Tasi (1999) realiza tambin un
estudio de una coleccin,teniendo en cuenta la frecuencia de uso, el nmero
de citas recibidasen tesis doctorales,la inclusin en servicios de indizaciny
resumen y contando con la opinin de expertos. Lo destacablede este trabajo
es que se realiza sobre la coleccin de revistasextranjeras de la Bibliotecade
la UniversidadNacional Chengchi relacionadascon el derecho, disciplina muy
poco estudiada.
Tambin en Taiwan se ha desarrollado un modelo de evaluacin de
publicaciones peridicas de aplicacingeneral y, especialmente,a las revistas
de humanidadesy ciencias sociales. Es el modelo desarrollado por el National
Science Council y que describe Hsueh (1995) evaluando las 31 revistas
taiwanesas de ciencias de la informacin.Se analiza sobre todo el formato de
las revistas,el de los artculosy el trabajoeditorial.
En Malasia(Nasir, et al., 1994)se han analizadolas revistas malayasdel
rea de la agricultura, estudiando, entre otras cosas, la naturaleza de los
trabajos publicadosy prcticaseditoriales.Y en la India, Thomas (1996) analiza
la coberturapor los serviciosde indizaciny resumende 360 revistas indiasdel
campo de la agrobiologa.
1.5. La evaluacin de revistascientficasen Latinoamrica
En 1964 se forma en la UNESCOun grupo de trabajo para la seleccin
de revistastcnicas latinoamericanasque dise un modelo de evaluacinque
tena en cuenta numerososfactores como la presentacinfsica de la revista,la
puntualidad, pervivencia, presencia de colaboradores de varias instituciones,
difusin, etc. Este modelo, cuya formulacinoriginal se incluye como apndice
14
II, fue adaptado en 1968 para evaluar las revistas mdicas venezolanas
(Arends, 1968).
Este mismo modelo fue retomado y adaptado en 1982 para evaluar
revistas cientficasy tcnicas brasileas,tal como se describe en el trabajode
Gilda M. Braga y Cecilia A. Oberhofer (1982), que analizan las revistas
teniendo en cuenta su funcin memoria,comoarchivos del conocimiento,y su
funcin diseminacin,comovehculostransmisoresde ideas.
Brasil, desde entonces, se ha convertidoen uno de los pases con ms
preocupacin por la calidad de sus publicacionesy es, por tanto, uno de los
ms productivos en cuanto a trabajos relacionados con la evaluacin de
publicaciones cientficasse refiere. En 1983 pusieron en marcha el Programa
sectorial de Publicacionesen Ciencia y Tecnologa,fruto de la colaboracin
entre el Centro Nacional de InvestigacinCientficay Tecnolgica(CNPq) y la
Financiadora de Estudiosy Proyectos(FINEP), con el objetivo de valorar las
revistas subvencionadaspor esta ltimainstitucin.Productode este programa
es una obra de P. Moriconi (1994) en la que se recogen un buen nmero de
indicadores de calidad aptos para la evaluacinde revistas, que se pueden
clasificar en:
indicadores de calidad extrnsecos: basados en el cumplimiento de las

normas internacionales de edicin de publicaciones peridicas, o en la
calidad de la edicin,e
indicadoresde calidad intrnsecos:que analizanfundamentalmenteel grado

de difusin internacionalde las revistas,y la eficacia de los mecanismosde
seleccin de artculos empleados por los consejos editoriales de las
revistas.
En 1988 y 1991 (Krzyzanowski,1991),tambin en Brasil, se realizaron
unas encuestas entre expertos para que seleccionaran el ncleo bsico de

revistas cientficas,aqullasdignas de recibir apoyo financiero de la Fundacin
de Amparo a la Investigacin del Estado de So Paulo (FAPESP). En la
encuesta se peda que clasificarancada revista segn su grado de relevancia
15
en: revistas prioritarias, importantes,de importancia relativa o no relevantes.

Una vez concluida esta evaluacinde mrito, la coordinacinde publicaciones
de FAPESP pudo organizar el Ncleo Bsico de las Revistas Cientficas
Corrientes Nacionales1996.
Sobre este ncleo de revistas se llev a cabo con posterioridad una
segunda fase del proceso evaluadoraplicandoel modelo descrito por Braga y
Oberhofer en 1982, adaptadoal momento,lo que ha dado lugar al modelode la
Universidad de So Paulo, que es uno de los que se aplican en este trabajo.
Este modelo (Krzyzanowskiy Ferreira, 1999) fue presentado en el II Taller
sobre publicacionescientficas en Amrica Latina, celebrado en Guadalajara,
Mxico, en 1997.
Como un ejemplo ms de la productividadde Brasil en este campo, se
puede mencionar tambin el trabajo llevado a cabo por el Centro
Latinoamericano de Informacin sobre Ciencias de la Salud (BIREME) a
peticin de la Organizacin Panamericanade la Salud (OPS) que estudi las
revistas latinoamericanas incluidas en los ndices Medline y Lilacs, con el
objeto de establecer un sistema de evaluacinpara aplicarlo a todas aqullas
revistas que solicitaran su inclusin en Lilacs. El desarrollo de este proceso lo
analizan Castro y Ferreira(1996) entre otros.
Mxico lleva aplicandoun sistema de evaluacinde revistas desde 1993
(Lugo y Orozco, 1993). All, el Consejo Nacional de Ciencia y Tecnologa
(CONACYT) subvencionala edicin de publicacionesperidicas que cumplen
determinados requisitos. Una vez que las revistas son aceptadas, pasan a
formar parte del ndice de Revistas Mexicanasde Investigacin en Ciencia y
Tecnologa (Bonilla, 1996; Bazdresch, 1999). Los requisitos se fijan en cada
convocatoria de ayudas.
Colombia es otro de los pases que, preocupadopor la calidad de sus
publicaciones, ha desarrollado un modelo de evaluacin de revistas como
forma de seleccinpara apoyar el esfuerzo editorial y con el objetivo de crear
un indice electrnicode publicacionesseriadas colombianas. Este modelofue
16
elaborado por el grupo de cienciometra del Instituto Colombiano para el

desarrollo de la Ciencia y la Tecnologa Francisco Jos de Caldas
(Colciencias) y tambin se ha utilizadoen este trabajo. Agrupa los indicadores
en cuatro apartados que estudian la calidad editorial, la normalizacin la
visibilidad nacional y la visibilidad internacional. Lo describe detalladamente
Yuri Jack GmezMorales (1999) en un trabajo presentadoen el II Taller sobre
publicaciones cientficasen AmricaLatina, celebradoen Guadalajara,Mxico,
en 1997.
Dentro del mbito latinoamericano es absolutamente necesario
mencionar el proyecto LATINDEX3:ndice Latinoamericanode Publicaciones
Cientficas que nace en 1995 con la misin de facilitar el acceso a estas
publicaciones y elevar su calidad. Fruto de la colaboracin entre los pases
implicados4 han surgido ya tres productos:un directorio en el que se recogen
datos de ms de oce mil revistas cientficas, un catlogo, accesible desde
marzo de 2002, que incluye datosde revistaspreviamenteevaluadasy que han
superado unos determinadosniveles de calidad,y un ndice que proporciona
acceso directo a unas 1500 revistas que tienen pgina web. El modelo, que
atiende a criterios de presentacin,gestin editorial y caractersticas de los
contenidos, se describe detalladamentems adelante ya que es otro de los
modelos aplicados en este trabajo. Adems es el que ms est influyendoen
Espaa, al haberlo adaptadoel CINDOC en sus trabajos, como se ver en el
siguiente apartado.
1.6.
Laevaluacin de revistascientficasen Espaa

En Espaa se empiezaa trabajar en este campo a finales de los aos
setenta por parte del personal ligado al Consejo Superior de Investigaciones

Cientficas. En general, los trabajos que se han venido desarrollando han
Accesibleen: http://www.Iatindex.unarn.mx
Los pasesimplicadosson: Argentina,Brasil,Chile, Colombia,CostaRica, Cuba, Ecuador,
Espaa, Mxico,PuertoRico, Portugal,Uruguay,Venezuelay, desdemayo de 2003,
Nicaragua
17
utilizado fundamentalmentetres tipos de criterios,como seala Delgado Lpez

Czar (1997) en su revisinbibliogrfica.stos son:
1) Criteriosformales: adecuacina las normas internacionalesde presentacin
de revistas.
2) Criterios de contenido cientfico: los que valoran la existencia de un comit
cientfico yio consejo de redaccin, regularidad de la publicacin,
pervivencia, productividad, impacto y caractersticas de los trabajos
publicados.
3) Criterios de difusin: referidos a la difusin directa a travs de su tirada y
presencia en bibliotecastanto nacionalescomo internacionales,y a difusin
indirecta valoradaen funcin de la presenciade las publicacionesen bases
de datos internacionales.
En los primeros estudios sobre evaluacin de revistas publicadas en
Espaa se intenta adaptar la metodologapredominanteque era la utilizacin
del anlisis de citas, pero los problemasde adaptacina nuestro pas se hacen
evidentes por la escasa presencia de revistasespaolas en los Citation lndex
del Institute for Scientific lnvestigation, por lo que se desarrollan mtodos
alternativos.
El primer trabajo localizado en el que se pretende establecer una
metodologa de evaluacin es el de Prez lvarez-Ossorio (1977) que se
propone evaluar las revistas espaolas de qumica. Con anterioridad se
realizaron estudios ms concretos,relacionadosexclusivamentecon la difusin
(Prez lvarez-Ossorio,1976; Viesca, Galvny Sancho, 1976). Prezlvarez
Ossorio expone primero los mtodosms utilizados:anlisis de citas, grado de
utilizacin y productividad.Vistos los inconvenientes,propone una evaluacin
basada fundamentalmente en la difusin internacional y considerando la
presencia en el Science Citation ndex como un valor aadido. Completa el
estudio con un anlisis de la productividadde las revistas, datos que cruza con
los de difusinpara establecerun ranking.
18
El siguiente trabajo localizadoes el de Mndez y colaboradores(1978)

en el que valoran las revistasespaolasde alimentacin.Es un estudio basado
tambin fundamentalmenteen la difusin analizandola presencia en revistas
de resmenesy la tirada, completandoel estudio con un anlisis de las citas
recibidas.
Pero el primer trabajoen el que se aborda una evaluacinms completa
es el de lvaro Bermejoy San Milln(1979) que, adems,tiene la peculiaridad
de analizar revistas jurdicas que, desde entonces, no se han vuelto a tratar
hasta fechas muy recientesen las que el CINDOC ha abordado la evaluacin
de todas las revistasespaolas como ms adelante se ver. En el trabajo de
lvaro y San Milln se analizan aspectos formales tales como presentacin,
periodicidad, regularidad, antigedad y cumplimiento de
las normas
internacionales de edicin de revistas. Despus estudian su difusin

considerando el nmero de publicacionessecundarias que las recogen y el
nmero de bibliotecasen que se encuentran.En tercer lugar se ha clasificado
la produccin cientfica segn el tipo de trabajos publicados (estudios,
dictmenes, jurisprudencia,legislacin...). Y, por ltimo han analizadolas citas
recogidas en las propias revistas obteniendo informacin sobre las revistas
espaolas citadas y aos en que se citan, y autores espaoles citados y su
participacin en los consejosde redaccinde las revistasen que publican.
A principiosde los aos ochenta se llevan a cabo los primeros estudios
que pretenden evaluar toda la produccin nacional desde distintos puntos de
vista. Son los estudios realizados a instanciasde la SubdireccinGeneral de
Documentacin e Informacin Cientfica, dependiente de la Secretara de
Estado de Universidades,por el Instituto de Informaciny Documentacinen
Ciencia y Tecnologa, por el Instituto de Informacin y Documentacinen
Ciencias Sociales y Humanidadesy por el de InformacinMdica, para cubrir
todas las reas del conocimiento.En los primeros informes, emitidos en 1984,
se presentanlos resultadosdel anlisis. Con posterioridad,en el seno del III
Congreso Nacional de la Asociacin espaola de Archiveros, Bibliotecarios,
Arquelogos y Documentalistas,se dio a conocerel trabajo (Ortegay Vzquez,
19
1986) en el que se presenta el anlisis de las 306 revistas que en 1984 se

editaban en Espaaen el terreno de la cienciay la tecnologa.
El mtododesarrolladoaplica criterios formales, cientficosy de difusin,
y a cada criterio se le asigna una determinadapuntuacin. De esta forma se
puede establecer un ranking entre todas las revistas. Los aspectos estudiados
son los siguientes:
1) Aspectosformales (1 punto por criterio):
-
ttulo adecuado
igual formato en todos los fascculos
datos bsicos en cubierta y sumario (ttulo de la revista, nmero del

fascculo, fecha de publicacin,periodicidad,ISSN)
datos en cada pgina (ttulo de la revista, nmero,ao, ttulo del artculo,
autor/es)
-
nombre y direccin de la editorial
nombre y direccinde la distribuidora
precio de la suscripcin
sumario
2) Aspectos cientficos
-
Nacionalidadde los miembrosdel comity/o consejode redaccin
periodicidad regularidad
pervivencia
productividad(nmerode artculospor ao)
caractersticasde los trabajos (originales,traducciones,de revisin,etc.)
distribucingeogrficade las revistas
3) Criteriosde difusin
20
tirada
presencia en bibliotecasespaolas
presencia en bibliotecasextranjeras
presencia en bases de datos internacionales
artculos de autores extranjeros
La difusin internacionalera, en general, muy escasa y se constat en

estos estudios,en los que se detectaronlas posiblescausas,que eran:
incumplimientode las normasinternacionalesde publicacinde revistas
irregularidaden las fechas de publicacin
predominiode editores institucionales,poco preocupadospor la explotacin

comercial frente a editores privados.
Esta situacinpreocupabaal personalresponsabley desde el grupo de
trabajo de Informacin y Documentacin de la Comisin Nacional de la

UNESCO (1987) se puso en marchaun proyectopara mejorar la difusinde las
revistas espaolas,tarea que se haba iniciado en 1983 desde el ISOC. El
trabajo consisti, una vez seleccionadaslas revistas que iban a formar parte
del programa,en una seleccin de bases de datos internacionalesde inters
en las distintas materias. Previa comunicacina los editores del proyecto, se
solicit la inclusin de las revistas a los productoresde las bases de datos. El
resultado final fue ms satisfactoriopara las revistas de ciencia y tecnologa
que para las de ciencias sociales y humanidades,ya que de las 88 revistas
propuestas, 33 fueron aceptadas en 11 bases de datos diferentes, mientras
que de las 160 de ciencias sociales y humanidadesfueron aceptadas slo 19
en cinco basesde datos.
Por estos mismos aos se realizaron tambin estudios sectoriales,
estudiando revistas de determinadas materias como la geologa (Ortega y
Vzquez, 1987)o la qumica (Ortega y Vzquez, 1987a) estudios que siguen
la metodologaantes expuesta.
La dcadade los noventa ha sido especialmenteproductivaen lo que a
estudios sobre evaluacinde revistasespaolas se refiere. Se le ha prestado
una especialatencina los aspectosrelacionadoscon la normalizacin,una de
las asignaturas pendientes de nuestras publicaciones,especialmenteen las
ciencias sociales y humanas.Ruiz y Pinto (1990) recogen en una monografa
las principalesnormas de edicin de publicacionesperidicas y elaboran unas
directrices para ayudar a los autores a preparar sus trabajos y otras para
21
editores y directores.El estudio se completacon un anlisis (Ruiz Prez, 1989)

de 14 revistaseditadas por la Universidadde Granadaen el que se comprueba
el cumplimiento de 11 aspectos normativos bsicos. Se observa que las
revistas mejor normalizadas son las de medicina y ciencias y las menos
normalizadas las de filologay derecho.
Tomando como base este estudio, se elabor un modelo (Delgado y
Ruiz Prez, 1995) de anlisis de la normalizacinms completo, en el que se
analizan
136 aspectos normativos incluidos en normas ISO y en
recomendaciones de organizaciones internacionales.Este mismo modelo ha

sido utilizado por un grupo de trabajo de la Facultad de Biblioteconomay
Documentacin de la Universidadde Granada para evaluar revistas de las
universidades de Granada (Ruiz Prez, et al., 1994), Salamanca (Ruiz Prez,
et al., 1995b),Cdiz (Ruiz Prez, et al., 1995), Len (Ruiz Prez, et al., 1995a)
y las de cienciasde la salud (Delgado,1996).
A la vez que se realizan estos estudios, Blanco Prez y colaboradores
(1994) analizaron el grado de normalizacin de las revistas espaolas de
enfermera, estudiando por un lado los aspectos relacionados con la
presentacin formal de las mismas y, por otro, las relacionadas con el
contenido y estructurade los artculos.
Pero en estos aos tambin se siguen realizandoestudios (Ortega et
,
al., 1992)en los que se utilizan distintoscriterios de anlisis (adecuacina las

normas internacionales,produccincientfica,visibilidad, accesibilidad),ms o
menos en la lnea de los trabajos del CSIC en 1984. Con posterioridad,Ortega
y Plaza (1993) presentan un panorama de las revistas espaolas de ciencia y
tecnologa analizando otros aspectos complementariosdel anterior trabajo,
como: cobertura temtica, periodicidad y vigencia, tipologa de editores,
difusin en bases de datos internacionales,cumplimientode la norma UNE 50101-90, y hbitosde publicacinde los autores.
Las revistasespaolasde ciencia y tecnologa,y ms concretamentelas
de tecnologae ingenieramecnica,han sido objeto de otro anlisis detallado,
22
que se presentaen el trabajo de Garcadel Toro y Faura (1998) en el que se

estudian 16 revistas como una primera aproximacin al estado de los
principales rganos de difusin del sector. Se analizan datos relativos a las
entidades editoras,temtica, secciones,productividad,lugar de trabajo de los
autores, presentacin formal de la revista y los artculos e inclusin de
bibliografa.
Las revistasde cienciassocialesy humanidadestambin han sido objeto
de anlisis. En 1995, con el apoyo econmico de la Direccin General de
Promocin de la lnvestigacin,personaldel CINDOCinici un trabajo orientado
a
proponer una metodologa vlida para el anlisis de este tipo de
publicaciones,aplicndolode forma experimentala la Sociologa,por un lado, y

a la Historia Antigua, Prehistoria y Arqueologa por otro. Tras analizar los
sistemas de evaluacin empleados propusieronel anlisis de los siguientes
criterios:
Calidad materialde la revista
Cumplimientode las normas lSD para la edicinde revistas cientficas
Difusin directae indirecta
Composicinde los consejoseditorialeso de redaccin
Procedimientode seleccinde originales
Valoracinde los pares
Impactode las revistas,medidopor el anlisisde las citas.

En diversosartculos(GarcaMarn, Salesy Romn, 1996; Sales, Garca
Marn y Romn, 1997; Garca Marn y Romn, 1998) se han presentado los
resultados obtenidos en el anlisis de la difusin internacional y de la
evaluacin de los pares, y tambin se han descrito los problemasque conlleva
el anlisis de citas. Romn (1999) explica claramentetodas las fases de este
estudio y expone la situacin en la que, en esa fecha, se encontraba el
proyecto.
Una metodologa similar se ha aplicado a un conjunto de revistas
espaolas de economa,de las que se han analizadocriterios relacionadoscon
23
la
calidad formal (periodicidad, pervivencia y normalizacin), criterios
relacionados con la gestin cientfica (composicin de los consejos de

redaccin, procedimientos de evaluacin de originales, apertura exterior),
difusin internacionaly valoracin de los pares (Gimnez, Romn y Snchez
Nistal, 1999;Romny Gimnez, 2000), de cuyas respuestas se han obtenido
datos para establecerhbitos de trabajo de los profesoresde economade las
universidades espaolas (Romn y
Gimnez, [1997]). Y
tambin,
recientemente, se ha aplicado un sistema similar de evaluacin a las revistas

espaolas de las ciencias de la actividad fsica y el deporte (Devs, et al.,
2003), aunque en este caso los autores, se han dedicado, sobre todo, al
anlisis de la calidad del contenido y de la difusin en bases de datos e
Internet.
Durante estos ltimos aos, el CINDOC ha venido trabajando para el
proyecto L TINDEXcomo representanteespaol,y, actualmente,sus equipos
de trabajo estn aplicandoel modelode evaluacinde revistaselaborado para
este proyecto, a todas las revistasespaolas.El ao 2002 se han publicadolos
resultados obtenidos (Romn, Vzquez y Urdn, 2002) por las revistas
espaolas de ciencias sociales y humanidadesy en 2003 (Urdn, Vzquez y
Romn, 2003) se han publicado tambin los resultados de las revistas de
ciencia y tecnologa y de las de ciencias de la salud. El trabajo total de
evaluacin se completa con un estudio sobre la difusin internacionalde las
revistas y su presencia en Internet.Adems, se estn llevando a cabo otras
acciones encaminadas a valorar la calidad de los contenidos. Una es una
encuesta dirigida a todos los profesores universitarios,cuyos datos estn en
fase de tratamiento,y tambin se quiere realizar un estudio para conocer las
revistas ms citadas.
Junto a estos estudios reseados que siguen lneas parecidas de
anlisis, surgen propuestas alternativas o, mejor dicho, complementarias,
encaminadas a la formulacin de indicadores bibliomtricos vlidos para
analizar las publicacionesperidicas espaolas.Es el caso de las propuestas
de Jimnez Contreras,de Diego y Ferreiro (1987) que, una vez constatada la
imposibilidad de analizar revistas espaolasutilizando los informes del Journal
24
of
Citation Report, proponen cuatro indicadores bibliomtricos como
instrumento adicional en las evaluacionesobjetivas.stos son:

1. Capacidad potencialde transferenciade la informacindocumental,
indicador basadoen el anlisisde las referenciasbibliogrficasde los
artculos publicadospor una determinadarevista.
2. Dependencia temporal de la documentacin referenciada, o
antigedad de los documentosreseados.
3. Actualidadde esta mismadocumentacin
4. Aislamiento-dependenciadocumental, que analiza la relacin que
existe entre bibliografanacionalcitaday bibliografainternacional.
En el ao 2000, MoralesGarcapublica un trabajo en el que proponeun
mtodo para evaluar revistascientficas,diseadoespecialmentepara ayudara
los bibliotecariosa seleccionarlas revistas ms idneas para su coleccin.Se
trata del anlisis Rango Selectivo Multidimensional,mtodo que permite
combinar los resultados obtenidos tras la aplicacin de distintas variables
estudiadas de forma individual.Estavariablesdeben ser elegidasy ponderadas
por el analistaen funcin de su importancia.Una vez analizadoslos datos, se
define el valor de la revista patrny la clasificacinde las revistasvendrdada
por la cercanade la puntuacinobtenidaen relacin con el valor de la revista
patrn.
Recientemente se ha publicado otro trabajo en el que Buela-Casal
(2003) propone indicadores alternativos al factor de impacto (o factor de
prestigio). stos son el factor de impacto medio de las revistas donde se
producen las citas y el factorde impacto ponderado.Adems, sugiereque la
evaluacin de revistas no se debe guiar exclusivamentepor la aplicacinde
este tipo de indicadoresque, segn dice, no son ms que ndices del nivel de
difusin, sino construyendondices de calidad ms complejos, aplicados por
profesionalesexpertos.
Ahora bien, la validez de los estudios bibliomtricos basados en el
anlisis de citas y el clculo del factor de impacto de las revistas, tienen, sin
25
duda, un gran inters,sobre todo, para realizaranlisissobre la actividad

investigadora,bien por reas de conocimiento,bien por autores o pases.
Como las publicacionesdel ISI, comoya se dijo, no recogenapenasfuentes
espaolas, un equipomultidisciplinarde la UniversidadCarlos III de Madrid
est llevandoa cabo un proyectopiloto,que es interesanteresear(Sanz,et
al., 2002).Se intentacrearun ndicede citasde revistasespaolasdl reade
historia. En un principiohan analizadolas referenciasbibliogrficasde los
trabajos publicadosen diecisieterevistas,durantelos aos 1997 y 1998.La
realizacinde ms trabajosde este tipo podraconducira la elaboracinde
ndices de citasde publicaciones
espaolasque nos permitieranhallarel factor
de impactode las mismas,lo que podracontribuira su relanzamientoentrela
comunidadcientficade nuestropas.
1.7.
Clasificacinde los estudiosde evaluacinde revistascientficas
La revisinbibliogrficade los estudiossobre evaluacinde revistas

cientficasponede manifiestola variedadde mtodosy multitudde indicadores
propuestos,as comoel distintoenfoquey los distintosinteresesque muevena
los autoresde los mismos.Tal cantidadde estudiospuede ser clasificada
desde distintospuntosde vista.Se proponenlos siguientes5:
1. Segnla coberturatemtica:
-
estudios realizadossobreuna nica revista(LpezLpez,et al., 2001;

Gmez del Pulgar,2001)
estudios que abarcanrevistasde una sola disciplina(Arends,1968;
Mndez,Viescay Blanco,1978;Ortegay Vzquez,1987y 1987a)
estudiossobrelas distintasdisciplinasque componenun rea del saber
(Nederhofy Zwaan,1991)
estudios que englobantodas las reas del saber (Krzyzanowskiy
Ferreira,1998)
Entre parntesisse dan algunosejemplosde trabajosreseadosen la bibliografa.

26
2. Segn la cobrturageogrfica:
-
estudios sobre revistas de una institucin (Galcern y Morer, 1997;

Gmez del Pulgar,2000)
estudios sobre revistaslocales (Moriconi,1994)
estudios sobre revistasnacionales(Bazdresch,1999)
estudios de mbito supranacional(proyectoLATINDEX)
3. Segn el objetivo:
-
mejorar la calidad global de las revistascomo productoeditorial (Ulshen

y Garfunkel,1990)
elaborar productos bibliogrficos, bien con fines comerciales o no

(Bonilla, 1996; Testa, 2002)
otorgar subvenciones(Krzyzanowski,1991)
gestin de una coleccinde publicacionesperidicas(Bessony Sheriff,
1986)
4. Segnel mtodo utilizado:

-
evaluacin por expertos y su alternativa, la evaluacin por los lectores

(Gonzlez Rodrguez,1992; Crespi, 1997)
uso de las revistas, analizado con mtodos directos (suministro de

documentos) o indirectos (anlisis de citas) (Valls, 1993; Marshakova,
1996; Alemna,Chifwepay Rosenberg,2000)
determinacindel ncleode Bradford(Boycey Pollens, 1982)
difusin y cobertura en bases de datos, repertorios y/o catlogos de

bibliotecas (Viesca,Galvn y Sancho,1976:Thomas, 1996)
productividadcientfica(Lpezy Escalada,1999)
normalizacin(Delgado,1996y 1999; Martins,1986)
combinacin de dos o ms criterios (Gimnez, Rodrguez Yunta y

Romn, 2000)
27
Estos mtodos han sido objeto, a su vez, de distintas clasificaciones.

Viesca y Mndez (1979) intentan una primera clasificacin de los mtodos
propuestos hasta ese momento.Es la siguiente:
Mtodos de enfoque biblioteconmico, utilizados fundamentalmente por
bibliotecarios para evaluar su coleccin o decidir suscripciones o

cancelaciones:
Grado de utilizacinde la revista
Juicio crtico de tos lectores
Determinacindel ncleo de Bradford

Mtodos de enfoquecientfico:
Anlisis de citas, o valoracin de una revista segn la frecuencia con

que son citados sus artculospor las dems revistas
Difusin y coberturapor basesde datos

Con posterioridad, Ferreiro y Jimnez-Contreras(1986) clasifican los
mtodos de evaluacin en tres: subsidiarios,convencionalesy objetivos. Los

mtodos subsidiarios se aplican a conjuntos de revistas previamente
seleccionados y analizan su difusinen funcin del nmero de bases de datos
que recogen una determinadarevista,o nmerode artculos recogidos en una
base determinadao realizando un estudio de difusin nacional e internacional
de las revistasanalizadas.
Los mtodos convencionalesanalizan el perfil editorial de las revistas
desde el punto de vista, generalmente,formal,aunque estos estudios se suelen
completar con un anlisisde difusin.
Por ltimo, los autores proponenlos mtodosobjetivos que se basan en
el anlisis de las bibliografas que recogen las revistas. Se basan en la
consideracin de revista como medio de expresin de una determinada
comunidad cientficay no como los otros mtodos,que analizan la revista como
28
producto acabado de la industria editorial. Las evaluaciones subjetivas se

centran en el estudiode la difusininternacionalreal, medidaa travs del factor
de impacto y el indice de inmediatez, de la difusin potencial, mayor cuanto
mayor es la colaboracinentre autores, y la capacidad de transmisin de la
informacin documental, medida en funcin del nmero de referencias por
artculo, siempre que este nmero sea proporcional al nmero de fuentes
disponibles por sectores,ya que tanto el defectocomo el exceso en el nmero
de citas son conductasinapropiadas.
29
2. OBJETIVOS
2. OBJETIVOSDEL ESTUDIO
El tema central de esta tesis es la realizacin de un estudio, lo ms
completo posible, sobre las caractersticasy el nivel de calidad de las revistas
jurdicas editadas en Espaa que son, hasta la fecha, las que menos atencin
han recibido por parte de los investigadoresen fuentes de informacin.Para
ello, se hanfijado los siguientesobjetivos:
1. Realizarel estudio de las publicacionesjurdicas espaolas a travs de la
evaluacin de una muestraseleccionadade revistas.
2. Examendirecto de toda la coleccinde revistas, que permita analizar los
siguientes aspectos:
>
Caractersticaseditoriales:
Tipo de editorial
Lugarde edicin
Antigedad,periodicidady puntualidadde la revista
Composicinde los comitseditoriales
Sistemas de seleccinde originales
Adecuacin de las revistas a las normas internacionales de

edicin
>
Caractersticasde los autores:

u
Distribucingeogrfica
Distribucininstitucional
Colaboraciones
Caractersticasde los trabajos publicados:
Tipologa
Originalidad
33
>
Difusin:
Difusinnacional
Difusininternacional
Difusina travs de Internet
3. Aplicacin de cinco modelos diferentes de evaluacin de publicaciones

peridicas para analizar el comportamiento de las revistas ante los
diferentes indicadoresque proponecada modelo.
4. Normalizar la formulacin de los modelos para poder comparar tos
resultados obtenidos.
5. Aplicacin de los modelos una vez normalizados y anlisis de los
resultados
6. Proponerun rankingfinal de las revistasanalizadas.
7. Proporcionarlos elementos de juicio necesariospara elaborar un sistema
de evaluacinadecuadoa los objetivosque, en cada caso, se fijen.
El
inters de este estudio est, adems de dar a conocer las
caractersticas y nivel de calidad de las revistasjurdicas espaolas,en analizar

en detalle cmofuncionan los sistemas de evaluaciny qu sesgos presentan,
para ayudar a quienes deban abordartrabajosde este tipo.
34
3. SELECCINDE LA MUESTRA
3. SELECCINDE LA MUESTRA
La investigacin se ha realizado sobre sesenta y nueve ttulos de
revistas espaolasdel rea de la cienciajurdica. Se ha seleccionadoesta rea
de conocimiento porque, como se ha visto en la introduccin, las revistas
menos analizadasson las de CienciasSocialesy Humanidadesy, sobre todo,
las jurdicas, que slo han sido analizadas de forma anecdtica, aunque
actualmente estn siendo objeto de estudio por parte del CINDOC,junto con
toda la produccin de revistas espaolas (Romn, Vzquez y Urdn, 2002;
Urdn, Vzquezy Romn,2003) de todas las reas del conocimiento,aplicando
el mtododesarrolladopor el proyectoLatindex.
En este trabajo se podrn individualizar las caractersticas de este
conjunto de publicacionesal ser objeto nico de un estudio realizado desde
varios puntos de vista. Las revistasse seleccionaronutilizandoel Directoriode
revistas espaolasde cienciassocialesy humanas,editado en 1998, junto con

una adenda de actualizacina junio de 2001, facilitada amablementepor el
personal del CINDOCI donde se recogen 145 ttulos de revistas del rea de
ciencias jurdicas.Ante la imposibilidadmaterialde abordar el estudio de todas
ellas, se dejaron fuera las revistasque pertenecenal rea del derecho privado
y se seleccionaronlas que tratan de generalidadesdel derecho y derecho
pblico, concretamente, se seleccionaron los siguientes subgrupos del
directorio:
56000 Derecho
560200 Teora y mtodosgenerales
560203 Filosofadel derecho
560300 Derechointernacional
560402 Magistratura
560500 Legislacionesnacionales
560501 Derechoadministrativo
560504 Derechoconstitucional
560506 Derechofiscal
560507 Derechopblico
37
569901 Derechocomunitario
569904 Derechofinanciero
569905 Derechopoltico
La distincinentre derecho pblicoy derecho privado ha sido y es objeto
de discusionesdoctrinalespero, si entendemosque el derecho es el conjunto
de normas que regulan las relacionesy los conflictosentre dos sujetos,se trata
de derecho pblico cuando, al menos uno de esos sujetos, es un ente de
carcter pblico.Entre otras definicionespodemoscitar las siguientes:
Derecho Pblico y Derecho Privado. Diversas teoras han tratado de
explicar la diferencia fundamental que origina esta clasificacin del
Derecho en Pblico y Privado: as, algunos autores ven en el primero
normas de organizacinde la sociedad, y en el segundo, normas de
conducta de los individuos que la integran; otros hacen mencin de los
sujetos a quienes se dirigen uno y otro; sera el Estado el sujeto del
Derecho Pblico, y lo sera del DerechoPrivado el individuo... (Ossorio,
2001; p. 328)
Por Derecho pblico se entiende, prima facie, las asignaturas de
Derecho poltico, constitucional,administrativo,fiscal, que se distinguen
claramente del conjunto de asignaturas de Derecho privado que es,
fundamentalmente,el Derechocivil y el mercantil(Gallego,2002; p. 17)
Teniendo en cuenta estos conceptos, en una primera seleccin se
marcaron 97 ttulos de los que haba que escoger slo aquellos que cumplieran
los siguientesrequisitos:
-
ser revistasvivas a finales del ao 2000,
haber nacido antes de 1998,
incluir doctrina firmada, es decir, destinar parte de su espacio a la

edicin de artculos cientficos. Se eliminaron, por tanto, aquellas
revistas que son slo repertoriosjurdicos,
poder disponer de colecciones completas de los aos 1998, 1999 y

2000.
38
Para llevar el controlde todoslos ttulosse elaboruna base de datos

en ACCESSen la que se incluyeronlos datos bibliogrficosbsicosms un
campo de localizacin,para reflejarel nombrede la bibliotecao bibliotecas
donde se podanlocalizar,y un camponotas para incluir las observaciones
pertinentes,comose puedever en la figura1:
Qhservatrdedodfta(2O%
enpg
1neta
:
1:
--------------
Figura1. Ejemplode registrode la basededatosde controlde lasrevistas
Todos estos datos, necesariospara la seleccindefinitiva,se fueron

obteniend tras dar los siguientespasos. En primer lugar se realiz una
consultaa losprincipalescatlogoscolectivosespaolesparaeliminaraquellas
revistas que, por uno u otro motivo,no cubranel periodoque se haba
determinadoestudiar.De estaformase eliminaroncatorcettulosque estaban
cerrados o haban suspendidoen ese momentosu publicaciny dos que
haban nacidocon posterioridad
a 1998.
Despus se intent lcalizarlos fondos de los ochentay un ttulos
restantesconel objetivode revisaral menosun nmerode cadaunade ellasy
poder eliminarlas que no dedicanespacioa la publicacinde artculoso
trabajos de investigacin
y las quepor tematambinpodanquedarfuera del
39
mbito de esteestudio Dosrevistassloaparecanen bibliotecasde Catalua,

que por sus ttulos y la informacinobtenidaen los catlogoseditoriales,se
entendi que podanquedarfuera,ya que son,fundamentalmente.,
repertorios
jurdicos. Sn: La 1/ejde Catalunya Balears: Revista jurdica de legislaci
jurisprudencia y CatalunyaMunicipal. Otra de las revistas:Iustiforum Papers
dEstudis Formaci no se localizen ningunabiblioteca.Y del Boletn de los
Colegios de Abogados de Aragn no se pudieron localizar colecciones
completas.
Del resto,una, la Revista de la Facultadde Derecho de la Universidad
Complutense. Monogrficos,se eliminpor ser, en realidad,una coleccinde
nmeros monogrficos,complementariade la Revista de la Facultad de
Derecho de la UniversidadComplutensede Madridque s se ha analizado.
Seis se eliminaronpor la materiaque tratan.Unade ellas,la Revistadel
Ministerio Fiscal est mal clasificadaen el Directoriodel CINDOC,que la
incluye en derechofiscal. Otrasdos eliminadasson el Boletn de Informacin
de la Academia Granadinadel Notariadoy Anales de la Academia Matritense
del Notariado, entendiendoque son revistasms interesadasen el derecho
privado,y se dej unams representativa
delsector,quees a RevistaJurdica
del Notariado.
Las otras tres que se eliminaronpor su tema son: Cuadernos de

Derecho Judicial, Revista Espaola de Derecho Militar y Revista Espaola de
Medicina Legal.
De los sesentay nuevettulos resultantesse calcul el espacioque

destinaban,en el nmerorevisado,a artculosy el porcentajese anoten el
campo Observaciones
de la basede datosde controlde revistas,y se decidi
eliminar tres ttulosms: La AdministracinPrctica, que no incluyenadade
doctrina firmada,y Gaceta Fiscal y Actualidad Financiera porqueson, sobre
todo, repertoriosjurdicos,muy similarsta ltimaa Actualidad Administrativa
que s se analiz.
40
A los sesenta y siete ttulos resultantesde esta seleccin se aadieron

dos ms, el Anuario de Historiadel DerechoEspaol, recogidoen el Directorio
del CINDOCen el apartado de historia, pero que se consider interesante,ya
que se haba incluidoel Anuariode Filosofadel Derecho,y, por ltimo, al tener
noticia de la existencia del Anuario Jurdico de la Rioja, se decidi incluirlo,
aunque no aparece en el Directorio, como se haban incluido otras revistas
jurdicas de varias comunidades autnomas. En total son sesenta y nueve
ttulos, cuya relacinse incluyecomo apndiceIII, y en el apndice IV se indica
el nombrede las bibliotecasen las que se han localizado.
El conjunto del materialanalizadoha sido, por tanto, de sesenta y nueve
ttulos de revistas jurdicas espaolas, de las que se han revisado los aos
1998, 1999 y 2000, que en conjunto suman 628 fascculos ms treinta y seis
tomos que recopilan entregas semanales o quincenales de tres repertorios
jurdicos.
41
4. METODOLOGA
4. METODOLOGA
Para cumplir con los objetivos propuestosy, una vez seleccionada la
muestra, se han aplicadodistintosmtodosde trabajo, en tres fases diferentes,
que han sido, en primer lugar, el anlisis directo de las revistas para obtener
datos sobre sus caractersticasgenerales;en segundo lugar, la aplicacinde
cinco mtodosdistintosde evaluacinde revistas, formulados por organismos
nacionales de investigacin,y, por ltimo, la aplicacinde estos modelos tras
haber sido normalizadospara poder comparardespuslos resultados.
Los modeloshan sido seleccionadostras revisar los trabajos que se han
llevado a cabo en el mundo sobre evaluacinde revistas cientficas, los cinco
mtodos cumplen los requisitos necesariospara poder ser aplicados en este
trabajo, que son:
-
haber sido diseadospara analizar grandesconjuntosde revistas,y
utilizar un amplio nmerode indicadoresvlidos para analizar las revistas

desde varios puntosde vista.
Se rechazaron, por tanto, los trabajos pensados slo para evaluar
aspectos concretoscomo la normalizacin,o la difusin, etc., y aqullos otros,

como el elaborado por el Institute for Scientific Information, descrito en la
introduccin, cuyo objetivo es seleccionarrevistasque engrosen sus productos
editoriales aplicandocriterios subjetivos,por ejemplo, intentar cubrir reas de
conocimiento, rechazando buenas revistas por
pertenecer a reas
suficientemente representadasen sus basesde datos.

Los mtodosfinalmenteseleccionadosson los siguientes:
-
Universidadde So Paulo (Brasil)
Colciencias: Instituto Colombianopara el desarrollo de la Ciencia y la

Tecnologa FranciscoJos de Caldas
CONACYT:ConsejoNacionalde Cienciay Tecnologade Mxico
National ResearchCouncilof Canada
LATINDEX
45
Como se vio en la introduccin,los pases ms productivosen cuanto a

trabajos sobre evaluacinde revistas se refiere son los latinoamericanos,por
eso tres de los modelos pertenecen a esa rea geogrfica, y un cuarto, el
modelo Latindex, abarca pases de Amrica Latina, el Caribe y tambin
participa Espaa. Para completar el panorama, se ha incluido el modelo
canadiense, elaborado por el National Research Council, perteneciente, por
tanto, a otro mbito geogrfico.
El desarrollo de las distintas fases del trabajo no ha estado exento de
problemas, bien por falta de datos, bien por falta de precisin en la informacin
facilitada, o, en el caso de la aplicacinde los modelos escogidos, porque su
formulacin no es lo suficientementeprecisa, o porque haba que adaptarlosa
los datos obtenidos y a los medios disponibles. Como estos problemas son
comunes, en algunos casos, a las distintasfases del trabajo, se han buscado
soluciones de aplicacingeneral que se detallan en el siguiente apartado para
evitar repetirla explicacin.
4.1. Solucionesmetodolgicasde aplicacingeneral.
Los aspectosa losqueafectan son los siguientes:
46
obtencin de datos
normalizacin
antigedad
periodicidady puntualidad
concepto de coautora
sistemas de seleccinde trabajos
concepto de originalidad
concepto de endogamia
difusin
4.1.1. Obtencinde datos

Los datos necesariospara realizarla evaluacinse han obtenido, en su
mayora, del anlisis directo de los ejemplares, ya que se han revisado las
sesenta y nueve coleccionescompletas,pero los fascculosno contenantoda
la informacinnecesariapor lo que hubo que solicitar los datos directamentea
las editoriales. Estos datos se refieren, sobre todo, a la distribucin de las
revistas y al sistemade seleccinde originalesempleado.Para ello se dise
un cuestionario,incluido como apndice y, que se envi por correo. A este
primer envo contestaron veintiocho revistas: doce de ellas lo hicieron por
correo, once por fax y cinco por correoelectrnico.Con posterioridadse realiz
un segundo envo del cuestionario a aquellas revistas que no haban
contestado, utilizando esta vez el correo electrnico. A este segundo envo
respondieron diecisis:trece de ellas por correo electrnico,dos por fax y una
por correo postal. Por ltimo,se hicieron llamadastelefnicas,y de esta forma
contestaron dos revistas.En conjuntose obtuvieroncuarentay seis respuestas,
un sesentay seis por ciento del total.
4.1.2. Normalizacin de la edicin de publicacionesperidicas
La mayorade los modelos de evaluacinque se han aplicado tiene en
cuenta el grado de normalizacinde una publicacin,es decir, intenta medir el
nivel de adecuacin a las principales normas para la homologacinde la
edicin de las publicaciones peridicas, cuya aplicacin generalizada
contribuye a simplificar la gestin de una coleccin y a facilitar el proceso de
catalogacin necesariopara el enriquecimientode las bases de datos.
En los procesosde evaluacinde mbito nacional se tiende a aplicar
normas nacionales,normalmenteadaptacionesde normas internacionales,por
ejemplo el modeloaplicado por la Universidadde So Paulo utiliza las normas
ABNT (Associao Brasileira de Normas Tcnicas) y el modelo Colciencias
utiliza las normas NTC (Normas Tcnicas Colombianas).En este estudio se
han utilizadolas normas UNE equivalentesa las normas lSO ms importantes
en el campode la edicin de las publicacionesperidicasy, con posterioridad,
47
se ha adaptado la informacinobtenida a los requerimientosde cada modelo

de evaluacin,explicandoen cada caso los criterios que se han aplicado.
Las normasque se han utilizadohan sido:
UNE 50-101-90 (lSO 8-1977): presentacin de las publicaciones

peridicas
UNE 50-110-90 (ISO 18-1981): sumario de las publicaciones

peridicas
UNE 50-133-94 (ISO 215-1986): presentacin de artculos en

publicaciones
4.1.3. Antigedad de las revistas

El mercado de la edicin de revistas cientficas est en constante
evolucin y cambio. Cada ao aparecen nuevos ttulos, pero tambin
desaparecen otros. Es un mundocompetitivoy difcil, por eso la pervivenciade
una publicacina lo largo de varios aos se considera como un factor positivo
en cualquierprocesode evaluacin.
Pero, a veces, no es fcil conocer cul ha sido el primer ao de edicin,
ya que hay revistasque han cambiado de ttulo e incluso de entidad editora, a
lo largo de su historia.
Para este estudio se pens, en un principio, empezar a contar la
antigedad desde la fecha de salida de la publicacin con el ltimo ttulo
conocido, pero se vio que, aplicandoeste criterio, se privaba a algunas revistas
de una gran parte de su historia, que es, a veces, reflejo de la propia historia
del pas. Un ejemplo lo tenemos en los ttulos que no se publicaron durante la
guerra civil, como la Revista Jurdica de Catalunya, interrumpida de 1936 a
1945, ao en el que sali con el ttulo en castellano, hasta 1982, en el que
vuelve a salir en cataln; o algunas que hicieronel esfuerzode salir al mercado
reduciendo su periodicidad,como el Anuario de Historia del Derecho Espaol,
que public slo dos nmeros en el periodo comprendidoentre 1936 y 1943,el
48
volumen 13 en el periodo comprendidoentre 1936y 1941y el volumen 14 que

incluye de 1942 a 1943. Tambin son, en algunos casos, reflejos de los
avatares de la institucinencargada de su publicacin,como en el caso del
Boletn de Informacin del Ministerio de Justicia, que naci en 1852 como
Boletn oficial del Ministeriode Graciay Justicia,y ha ido adaptandosu ttuloa
las distintasdenominacionesque ha recibidoel Ministerioque lo edita.
La reconstruccinde la vida de cada revista se ha realizado utilizando
por un lado, la informacin que algunas proporcionan en sus catlogos o
folletos de propaganda, y, por otro, analizando las anotaciones de los
principales catlogos colectivos espaoles:el Catlogo Colectivo Espaol de
Publicaciones
Peridicas
mantenido
por
la
Biblioteca
Nacional
(http://www.bne.es/esp/cat-fra.htm)y el catlogo REBIUN de la Red de

Bibliotecas UniversitariasEspaolas(http://rebiuncrue.org/cqi-bin/rebiun).
Hay algunos casos de revistas que han nacido desgajndosede otras
por la necesidadde crear publicacionesms especializadas.Es el caso, por
ejemplo, de la Revista de AdministracinPblica, editada actualmente por el
Centro de Estudios Polticos y Constitucionales,que naci en 1950 con el
propsito de tratar de forma especializadalos temas de administracinpblica
que cada vez ocupaban ms espacio en la Revista de Estudios Polticos,
nacida en 1941. 0 el caso de la revista Anales de Derecho: revista de la
Facultad de Derecho, Universidad de Murcia, nacida en 19556, como
especializacin de la revista Anales de la Universidadde Murcia (1930-1954).
En estos casos, hemos tomado como primera fecha aqulla en la que ya
podemos reconoceruna revista de temticasimilar a la actual.
4.1.4. Periodicidady puntualidad
Adems de la antigedad,tambin se consideramuy positivo el que una
revista cumpla escrupulosamente con la periodicidad establecida, lo que
supone, por un lado, editar el nmerode ejemplaresa que se ha comprometido
6
En 1955 su ttulo era:Anales de la Universidadde Murcia.Derecho
49
la editoray, por otro, llegar puntualmenteal lector. Para comprobarestos datos,

se han consultadolos ficherosde entrada de las distintasbibliotecasen las que
se han localizadolas revistasy para afirmar si una revista es puntual o no, se
han aplicado los siguientescriterios:
a las revistas mensualesy bimestralesse les da un mes de plazo a
partir de la fecha en que deben salir,

-
a las revistas trimestralesy cuatrimestralesse les da dos meses de
plazo, y
-
a las revistassemestralesy anualesse les da tres meses de plazo7.
4.1.5. Concepto de coautora

El trabajo realizado en colaboracin entre dos o ms autores es un
hbito que ha ido en aumento a lo largo de los aos. Segn datos del profesor
Sanz Casado (1994, p. 223 y Ss.) en el ao 1900 el 80 por ciento de los
trabajos estaban firmados por un solo autor, mientras que en 1988 esta
situacin se invierte, siendo el 20 por ciento los trabajos firmados por un solo
autor. Pero esta evolucinno ha sido la misma en todos los campos cientficos:
el
mayor nmero de firmas por trabajo se registra en las ciencias
experimentales y el menor, con diferencia,en las ciencias humanas,en las que

predomina el trabajo individual. El Derecho, en este caso, sigue un
comportamiento similar al de las humanidades,Lpez Terrada (1997) obtiene
un ndice de 115 en su anlisis de trabajos sobre negociacin colectiva, y
datos parecidosse obtienen en ciencias afines como la ciencia poltica (Gmez
del Pulgar, 2001, trabajoen el que se obtiene un 106 al analizar la Revista de
Estudios Polticos) o la sociologa(Lpez Lpez y Escalada, 1999, obtienenun
118 en su anlisis de la Revista Espaolade InvestigacionesSociolgicas).
El ndice de coautora nos informa del nmero medio de autores por
trabajo, se obtienedividiendoel nmero de autoresque han colaboradoen una
Estos criteriosestnestablecidospor AdelaidaRomny EleaGimnezen su trabajoLas
revistas espaolasde economa:una propuestade evaluacincientfica,en Informacin
Comercial Espaola,n 753, enero-febrero,2000; p. 136
50
revista, entre el nmero de artculospublicados.Este concepto,por tanto, est

muy ligadoal de colaboracin,cuyo estudio permiteconocer las relacionesde
trabajo entre distintasinstitucioneso gruposde investigadores.
4.1.6. Sistemasde seleccinde originales
La edicin de una publicacines un trabajo en el que est implicadoun
conjunto de personas de cuyo esfuerzo e inters va a depender una parte
importante del xito de la misma. Segn Gmez Caridad (2001) el personal
implicado, en lneasgenerales,es el siguiente:
Director, el ltimo responsablede la revista
Consejo de redaccin,formadopor expertos en el tema, cuya vala

personal influye en el prestigiode la publicacin
Consejo asesor
Expertos para revisinde originales
Secretariode redaccin
Imprenta
Distribuciny promocin
Toda entidad editora debera cuidar al mximo la composicin de los

rganos decisorios, seleccionandoa los responsablespor su vala personaly
su entusiasmo,ya que de ello va a dependeren muchos casos el que buenos
investigadores confen en ella para enviar sus trabajos. Adems, se debera
tener en cuenta la pluralidad y dar cabida a gente procedente de diversas
instituciones nacionalesy/o extranjeras,evitando as la tendencia endogmica
que, desgraciadamente,se da en un buen nmero de revistas dedicadas a
publicar trabajos producidosen un entorno muy prximo bien institucional,bien
geogrfico.
Un buen equipo directivo, ademsde dar prestigioa una revista por los
mritos de sus componentes,debe prestar especial atencin al proceso de
seleccin de originales para publicar. La confianza que tanto autores corno
lectores depositanen las revistascientficasse basa en la seriedadcon que se
51
realiza este proceso,en el que deben colaborarvarios expertos (peer review),

de forma annima (Maltrs, 2003; p. 47) y, preferiblemente, utilizando el
sistema doble ciego, aqul en el que tampoco el revisor conoce el nombre
del autor del trabajo que debe evaluar. A pesar de los problemas(Campanario,
2002), hoy por hoy sigue siendo el mejor sistema. De hecho, las revistas ms
exigentes son las que ms trabajos y de mejor calidad atraen, por eso tambin
se suele considerar, como indicador de calidad, el porcentaje de artculos
publicados en relacincon los recibidos.
Los datos relacionadoscon la composicinde los comits editoriales se
ha obtenido de los fascculos de las revistas, de las respuestas a los
cuestionarios y, en los casos en los que no se facilita la afiliacin, se ha
intentado su localizacin utilizando buscadores de Internet, as se han
completado los datos de aproximadamenteun 93 por ciento de los miembros
de los comits. Conociendo estos datos, se ha podido calcular el ndice de
endogamia en la composicinde los comits.
La informacinrelacionadacon el sistema de seleccin de originales no
aparece en la mayora de los fascculos,por eso fue uno de los datos que se
solicitaron en los cuestionarios.Las respuestasobtenidas revelan, en algunos
casos, desconocimientode la terminologa,por lo que los datos obtenidos no
son del todo fiables.
4.1.7. Concepto de originalidad
Las revistas cientficas tienen como principal objetivo difundir los
resultados de las investigacionesque se llevan a cabo en un rea determinada,
por tanto deben destinar gran parte de su espacio a la publicacinde trabajos
originales, pero no siempre stos ven la luz por primera vez, ya que en algunas
ocasiones las revistas recogen textos concebidos como ponencias,
conferencias, seminarios,etc. En el caso de las ciencias sociales y humanas,
en las que se concede gran importanciaa la publicacin de monografas,es
muy frecuente la publicacinpor adelantado,en forma de artculo, de trabajos
cuyo destino final ha sido o ser formar parte de una monografa. En este
52
trabajo se ha consideradocomo original toda aquella investigacinque no se

ha dado a conocer antes de salir en la revista, aunque se anuncie su futura
aparicin como monografa.
4.1.8. Concepto de endogamia
Si
las revistas quieren ser verdadero reflejo del estado de la
investigacin cientfica de su especialidad, deben estar abiertas a la

participacin de todos aquellosinvestigadoresque tengan algo que decir, y no
limitarse a publicar los trabajos realizados en su mbito institucional o
geogrfico, y, del mismo modo, deben dar cabida en sus comits editorialesa
expertos de distintasinstitucionesy pases.
A efectos del clculo del ndice de endogamia, mediante el cual se
valora el grado de apertura de una revista, se ha considerado que exista
endogamia,en el caso de los miembrosde los comits, cuandostos trabajan
para la entidad editora, y en el caso de los autores tanto cuando stos
pertenecen a cualquierade los comitseditoriales,como cuando trabajanen la
institucin que financia la revista,comoes el caso de los profesoresen relacin
con las revistaseditadaspor la universidadpara la que trabajan.
4.1.9. Difusin
La
revista cientfica es el principal vehculo de transmisin del
conocimiento cientfico, por lo tanto, uno de los aspectos que ms va a

contribuir a aumentarsu prestigio es conseguir una alta tasa de visibilidad,lo
que se logra estando presenteen los principalesservicios de referenciade su
especialidad, tanto nacionales como extranjeros. Pero la aceptacin de las
revistas por parte de estos serviciosest muy ligada al nivel de calidad de las
mismas ya que los productoresno se arriesgancon la primera publicacinque
llega a sus manos, normalmenteeligen aqullas que se han consolidadoa lo
largo de un periodo que no suele ser inferiora dos aos y que cumplen ciertos
criterios de calidad. La difusin, por tanto, est ligada con la calidad, pero no
hay que olvidar que tambin tiene que ver con el inters que despiertanlos
53
temas. Por eso nos encontramoscon materiasque estn bien representadas

en mbitosgeogrficosprximosy muy mal representadasen zonas ms
alejadas. Es el caso de las Ciencias Sociales y, sobre todo, de las
Humanidades,cuyas investigaciones,por su propia naturaleza,tienen un
marcado carcter local. Estascaractersticaslas comparteel Derechoque,
salvo aquellostemas relacionadoscon la teora del Estadoo la Filosofadel
Derecho, o materiascorno el derechointernacionalo comunitario,tiene un
inters local,ya que su desarrolloprcticoes exclusivodel pas que generay
aplica la normativalegalquees objetode su estudio.
En este trabajose ha estudiadola difusindesdevariospuntosde vista:
la distribucin, la presenciaen repertorios,bases de datos, catlogosde
bibliotecas,tantonacionalescomointernacionales,
y a travsde Internet.
4.1.9.1. Distribucin
Los datos sobre las formas de distribucinse han obtenidode la
informacin que proporcionanlos ejemplaresde cada publicaciny de la
informacincomplementaria
que se solicita las redaccionesde las revistas.
En el cuestionario
enviadose les pedainformacinsobrela tirada,nmerode
suscripcionesnacionalese internacionales
y nmerode coleccionesenviadas
por canje.Se penstambinpedirinformacinsobredonativos,pero,segnun
sondeo previo, les era ms difcil localizarese dato, porque, a veces, los
donativosse producende formapuntual,o respondena determinadaspolticas
que varancuandocambiala direccinde las mismas,por lo que al final se
elimin del cuestionario.
4.1.9.2. Servicios de difusin nacionales e internacionales
La presenciaen distintosserviciosde difusintanto nacionalescomo
extranjeros se ha examinado consultando recursos de mbito general y
especializados, muy limitados en el campo del Derecho (Maci, 1998; Pez,
1994). Dadas las caractersticasde la materia,se han desarrolladomucho ms
las basesde datos que recopilanlegislaciny/o jurisprudenciay que son la

54
versin electrnica de los repertoriostradicionales. Las bases de datos han

conseguido mejorary agilizarel acceso a esta informacinque aumentade da
en da y a la que todo profesionalde derecho debe acudir con frecuencia. Una
vez que se ha conseguidovolcar toda la informacinen soportes electrnicos,
e incluso superadala fase de edicin en cd-rom,las editorialesestn lanzando
al mercadoproductosms completosen los que ya se empieza a contemplarla
inclusin sistemtica de doctrina como un valor aadido. Es el caso, por
ejemplo, de la editorial Aranzadi, cuyos repertorios de legislacin y
jurisprudencia son los ms usadospor losjuristas de nuestro pas, y que acaba
de lanzar al mercado el sistema de informacinjurdica Westlaw, de accesoa
travs de Internet, lo que permite la consulta en lnea de todos sus fondos,
eliminando as el problema de actualizacinde las bases de datos editadas
peridicamenteen cd-rom.Este sistemapermiteel acceso tanto a legislaciny
jurisprudencia, como a una base de datos bibliogrficade estudios doctrinales.
Finalmente, los servicios revisadosson los siguientes:
+
Directoriose ndices impresosy/o electrnicos

>
Nacionales
Directorio de revistas espaolas de ciencias sociales y humanas.

Madrid: CINDOC-CSIC,1998
>
Extranjeros
Ulrichs:InternationalPeriodicaisDirectoiy 2001. New York: Bowker,

cop. 2000
PUBLIST
(http://www.publist.com). Servicio
electrnico que
proporciona acceso a los datos de aproximadamente 150.000

documentos, incluyendo revistas impresas y electrnicas,facilita el
acceso a los serviciosde suscripciny, mediante la contratacindel
servicio Infotrieve, se pueden conseguir los textos completos de los
artculos que se necesiten.
LATINDEX: Catlogoy Directorio(http://www.Iatindex.unam.mx)
55
Index fo foreign legal periodica/&(CD-ROM).American Association of
Law Libraries. Recoge referencias de todo tipo de documentos,

artculos de revista, congresos,informes,etc., sobre derecho en todo
el mundo, excepto Estados Unidos y Reino Unido, aunque s incluye
publicaciones britnicasy americanassobre el derechoen el resto de
los pases.
Periodical
Content
ndex
en
espaol
(http://www.Iaw.berkeley.edu/librarv/ifIP/).
Es un ndice electrnico
que da acceso a las revistas espaolas e hispanoamericanasms
representativas en distintas reas, entre las que se encuentra el
derecho.
Basesde datos en CD-ROMo en lnea de acceso mediantesuscripcin

> Nacionales
ISOC: Base de datos referencialque recoge artculos editados en

revistas espaolas del campo de las ciencias sociales y las
humanidades. Elaborada por el CINDOC desde 1975. Tambin se
puede consultar de forma gratuita, aunque parcial, a travs de
Internet en: ht.tp:/www.bddoc.csic.es:8080/basisbwdocs/iSoCbd
html
.
La Ley: Jurisprudencia, Legislacin, Bibliografa [DVD]. Base de

datos de documentacinjurdica espaola.
Westlaw-Aranzad(http://www.westlaw.es):Servicio Jurdico Online

de la Editorial Aranzadi que facilita el acceso a travs de Internet a
varias bases de datos jurdicasy, entre ellas, hay una de bibliografa.
Extranjeras
Social Science Citation Index. Philadelphia: Insitute for Scientific

lnformation.
Current Contents Search On-Line. Proporciona el acceso a los

sumarios de nmeros recientes de las ms prestigiosas revistas y
obras colectivasespecializadasen todo el mundo.
FRANCIS. Paris: lnsitut National dlnformation Scientifique et

Tecnique. Recoge, desde 1984, artculos, congresos, monografas,
56
informes, tesis, etc., publicados en todo el mundo sobre

humanidades y ciencias sociales,agrupadosen tres bases de datos:
BHA (Bibliografa de historia del arte), RAA (Repertorio de
arqueologa y arte) y otra que agrupa el resto de materias: psicologa,
ciencias de la informacin,administracin,Amrica Latina, etnologa,
geografa, gestin de empresas,historia de la ciencia y las tcnicas,
historia de las religiones, lingstica, literatura, filosofa, prehistoria,
sociologa y cienciasde la educacin.
IBSS: International Bibliography of the Social Sciences. Londres:

British Libraryof Politicaland EconomicScience. Base de datos con
referencias sobre antropologa,cienciaspolticasy sociologa
Basesde datos en lnea de accesogratuito

>
Nacionales
ART! 8: Base de datos referencialelaboradapor el departamentode

documentacin del Senado espaol, seleccionando artculos de
temas de inters para la cmara: derecho parlamentario, derecho
constitucional, comunidades autnomas, Unin Europea, derecho
comunitario,
economa, estadstica, actualidad nacional
internacional,etc.
TAURUS:Base de datos referencialelaborada por el departamento

de documentacindel Congreso de los Diputados desde 1977. Al
contrario que ARTI, esta base no es de acceso pblico, slo se
puede acceder a ella medianteconveniofirmado con el Congreso9.
El acceso
era restringidoy las normasde accesose recoganen: Acuerdode la mesa del
Senado por el que se apruebanlas normassobre accesoexternoa las basesde datos
documentalesdel Senado(629/000002).BoletnOficialde las Cortes Generales.Senado.Serie
1, n 365, 8-10-1992; perodesde 2003 el accesose puede realizara travsde su pginaweb:
http://www.senado.es
6
Lasnormasde accesose recogenen: Acuerdode la mesade la Cmarade 17 de enerode

1991. BoletnOficial de las CortesGenerales.Congresode los Diputados.Serie E, n126, 311-1991.
57
COMPLUDOC (http://www.ucm.es/BUCM/complu).Base de datos

referencial, de acceso gratuito a travs de Internet. Naci en 1997 y
se nutre con el vaciado de revistas elaborado por las distintas
bibliotecas de la UniversidadComplutensede Madrid. Se divide en
cuatro secciones: ciencias, ciencias de la salud, ciencias sociales y
humanidades
Extranjeras
Article@INIST. Paris: lnstitut National dlnformation Scientifique et

Technique. Se puede consultar de forma gratuita en Internet en la
direccin: http://fce.inist.fr/pubIic/en/conslt.
htm
Catlogoscolectivos
>
Nacionales
Catlogo colectivo de publicaciones peridicas de la Biblioteca

Nacional: http:/Iwww.b nees/esp/cat-frahtm. Est formado con los
.
registros de 1140bibliotecas.
REBIUN: catlogo colectivo de la Red de Bibliotecas Universitarias

Espaolas (bttp://rebiun.crue.or/ci-bin/rebiun)Recoge los datos de
56 bibliotecas universitarias ms las del Consejo Superior de
Investigaciones Cientficas,incluye,por tanto, los datos recogidosen
otros catlogoscomo el Catlogo Colectivo de las Universidadesde
Catalua (CCUC) organizado por el Consorci de Biblioteques
Universitries de Catalunya (CBUC: http://www.cbuc.es)en el que
participan 10 instituciones10.REBIUN incluye tambin los datos de
RUECA11 (Red Universitaria Espaola de catlogos ABSYS:
Universidadesde Barcelona,Autnomade Barcelona,Politcnicade Catalunya,Pompeu

Fabra, Girona,Lleida, Rovira Virgili, Oberta de Catalunya,la Bibliotecade Catalunyay el
DepartamentdUniversitatsRecercai Societatde le Informaci(DURSI)de la Generalitatde
Catalunya.
10
Formanpartede RUECAlas Universidadesde Castilla-LaMancha,Jan, La Rioja, La

Laguna, Las Palmasde Gran Canaria, Murcia,Pontificiade Comillasde Madrid y el Centro
Universitario Franciscode Vitoria
11
58
http://rueca.absysnet.com/cgi-bin/rueca) y las de MADROO12

(Catlogo Colectivo de las Bibliotecas Universitarias Madrileas:
http://www.consorciomadrono.net
Catlogo
Colectivo
de
Bibliotecas
Judiciales
(http://poderludicial.es/CGPJ/Bibliotecas/default.
asp). Mantenido por
el Centro de DocumentacinJudicial. Recoge los datos de 196
bibliotecas pertenecientes a todos los rganos jurisdiccionales
dependientes del ConsejoGeneraldel PoderJudiciai3
>
Extranjeros14
Libraiy of Congress: Biblioteca del Congreso de los Estados Unidos
(http://marvel.loc.gov)
GABRIEL (GAteway and BRidge to Europes national Libraries):

Servidor
Web
para
las
Bibliotecas Nacionales Europeas
representadas en la Conference of European National Librarians

(GENL). La idea de su creacin surgi en la reunin de la CENL de
Oslo en 1994 (hftp://portico.bl.uklqabriel/).
Recoge informacinsobre
41 bibliotecas nacionales de las que ocho no tienen acceso a su
catlogo a travs de la red y una, la
de Ucrania, slo ofrece
informacin en ruso.
ABINIA (Asociacin de Bibliotecas Nacionales de Iberoamrica):

creada en 1989 como un medio para vincular estas institucionesy
mantener actualizadala informacinde estas bibliotecas nacionales.
Forman parte de esta asociacinveintiuna bibliotecas,de ellas slo
once tienen pgina web y slo Argentina, Chile y Portugal dan
acceso
sus
catlogos
de
publicaciones
peridicas
(http://www.bne.es/esp/abinia.htm).
12
Formanpartede Madroolas Universidadesmadrileas:Complutense,Autnoma,Alcal de
Henares, CarlosIII, Rey Juan Carlos,Politcnicay UNED.

13
Este catlogoes accesibledesdenoviembrede 2002
Se ha accedidoa travsde la pginade recursosde intersde la pginaweb de la

Biblioteca Nacional(http://www.bne.es/esp/rec-fra.htm),
dondeestn agrupadospor zonas
geogrficas,segnlos proyectosde cooperacina que cada una de las bibliotecasest
adscrita.
14
59
4.1.9.3. Difusin por Internet

Las
grandes posibilidades que tiene Internet como medio de
comunicacin son indiscutibles y, sobre todo, gracias al desarrollo de

herramientas que han favorecido el acceso a los recursos disponibles,como
las pginas web, capaces de integrar no slo la tecnologa hipertexto, sino
tambin la tecnologa multimedia. Esta versatilidady su capacidad informativa
no han pasado inadvertidaspara los editores de revistasque ven en la red una
forma de dar a conocer sus productos e incluso, una nueva forma de edicin
ms baratay rpida.
En un principio, alrededor de 1995, los editores comenzaron poniendo
en Internet una informacinbsica de sus publicaciones,la que tenan en sus
catlogos tradicionalesy, a veces, comovalor aadido,permitanla consulta de
los sumarios. Actualmente, la presencia de las revistas en Internet es muy
variada, desde las que slo utilizan la red como catlogo comercial a aqullas
que editan versioneselectrnicasntegrasde sus publicacionestradicionales,o
incluso los que editan publicacioneselectrnicaspuras, es decir, aqullas que
han nacido para la red (FernndezSnchez, FerndezMorales;2000) y cuya
estructura ya no es la mera copia de la revista tradicionaleditada en papel.
En este trabajo se ha pretendido analizar el grado de presencia en
Internet de las revistasde la muestray que es, como se ver en el apartado de
resultados, muy variado, desde las que no aparecen, hasta aqullas que
ofrecen la versin ntegra a travs de la red.
Para localizarlas revistasen Internetse ha utilizadoel buscador Google
(www.qooqle.com),que ha sido eficaz para localizar48 ttulos, para el resto se
han utilizado las pginas de los editores. Las direcciones electrnicas de las
revistas se incluyenen el apndiceVI.
En el estudio se han valoradotres aspectosfundamentales:el acceso,el
contenido que se ofrece y los servicios aadidos. Dentro del acceso se ha
60
distinguido entre aqullasque tienen una direccin propia, independientede la

entidad editora, aqullas accesiblesdesde la pgina de la entidadeditora, bien
con n enlace directo a nombre de la revista, bien a travs de un enlace tipo
Revistas o Publicaciones peridicas; y, por ltimo, algunas slo son
accesibles consultandoel catlogode publicacionescorrespondiente.
En relacin con el contenidodisponible,se ha distinguido entre las que
slo ofrecen una referenciabibliogrficabsica,las que permiten la consultade
algn sumario o de todos, las que permiten visualizar algn trabajo a texto
completo, o las que incluso disponen de versin ntegra, distinguiendosi son
gratis o no, y tambin se ha valorado la existenciade pginas de informacin
aadida sobre la revista.
Por ltimo, se destacan servicios que suponen un valor aadido a la
edicin tradicional (MartnezRobledo, 2002), como la suscripcin a travs de
Internet y la inclusin de buscadores de artculos. En el primer caso se
distingue entre las revistas o entidades editoras que incluyen un boletn de
suscripciones elaborado, o indican simplemente una direccin de correo
electrnico. En el segundo caso, se seala qu tipo de buscador existe, si
permite la localizacinde artculos,o son slo ndices de autores o trabajos.
4.2. Anlisisdirecto de la muestra

La sistematizacinde los datos obtenidos tras el anlisis directo de la
muestra se ha realizado siguiendo las pautas explicadas en el apartado
anterior. En primer lugar, se intenta responder a las siguientes preguntas:
quin, dnde, cundo, cunto,y cmo se publica.Es decir, se va a establecer
el tipo de editorial,el lugar dondesta radica,desde cundofuncionay con qu
periodicidad, cmotrabajany quinesforman los comitseditorialesque deben
velar por la calidad de sus publicaciones,y por ltimo, se determinael nivel de
adecuacin de las revistasa las normas internacionalesde edicin.
61
En segundolugar, se estableceel perfil del autor habitual en este tipo de

publicaciones, es decir, en qu tipo de institucintrabaja, dnde y con quin.
Adems se definen las caractersticasde los distintostipos de trabajos que se
publican y su grado de originalidad.
Por ltimo, se analiza la difusintanto nacionalcomo internacionalde las
revistas evaluadas, y se incluye un estudio sobre la presencia de las mismas
en Internet,intentadoponer de manifiestolas diferenciasentre unas y otras, ya
que de algunas slo se ha encontrado una mera mencin en catlogos
editoriales y otras ofrecen incluso textos completos de artculos con archivos
retrospectivos.
4. 3. Descripcin de los modelos nacionalesde evaluacinde revistas
4.3.1. Modelode la Universidadde So Paulo
4.3.1.1. Introduccin
Este modelo de evaluacin de publicaciones peridicas ha sido
desarrollado por Rosaly Favero Krzyzanowskiy M Cecilia Gonzaga Ferreira
(1999), bibliotecarias de la Universidad de So
Paulo, para realizar la
evaluacin de contenidos y forma de las publicacionescientficas y tcnicas

brasileas apoyadas econmicamente por distintos organismos financieros
como la FAPESP15
(Fundacinde Amparo a la Investigacindel Estado de So
Paulo), el CNPq16(Consejo Nacionalde Investigacin)y la FINEP17(Compaa
Financiera de Estudiosy Proyectosde Investigacin).
El modelo se basa en experienciasanteriores,como la llevada a cabo
por G.M. Braga y A. Oberhofer (1982), adaptacin a su vez del modelo
preparado por el grupo de trabajo para la seleccin de revistas tcnicas
latinoamericanasde UNESCOen 1964.
FAPESP:wwwfaesp.br
CNPq: wwwcnrQ.br
17 FINEP:www.finep.qov.br
15
16
62
Krzyzanowski y colaboradoresactuaron sobre un conjunto de revistas

previamente seleccionadaspor los organismosfinancierosantes mencionados,
y clasificadassegn su relevanciapor un grupo de expertos como prioritarias,
importantes, de importanciarelativa y no relevantes. Los criterios de calidad
que aplicaronse agrupanen variosbloques:
calidad de la publicacin
naturalezadel rganoeditor
mbito
inclusin en ndices,y
comparacincon otras revistasdel rea.
Una vez terminada esta fase se pudo organizarel Ncleo Bsicode las
Revistas CientficasCorrientes Nacionalesen 1996, sobre el que se inici el
proceso de evaluacinpropiamentedicho.
El proceso descrito por Krzyzanowskise estructura en seis grandes
apartados:
-
normalizacin
duracin
periodicidad
inclusinen ndices
divisin, y
colaboraciny difusinde contenido
Dentro de cada apartado se enumeranuna serie de aspectosa tener en

cuenta que son debidamente valorados en funcin de una puntuacin
establecida. En el apartado normalizacinse valora el grado de adecuacin
de las revistasa las normas para la edicin de publicacionesperidicas de la
Asociacin Brasilea de Normas Tcnicas (ABNT). En este caso, como se
indic en el apartado4.1.2, se han utilizadolas normas UNE. Se valora, por un
lado, la aparicinde ciertos datos bsicosde identificacinde la publicacin,y
el que stos aparezcanen los lugaresadecuados(cubierta, portada,sumario),
tambin se valora la existencia de normas dirigidas a los autores para
63
ayudarles a presentar bien los trabajos, as como ofrecer sistemticamente

determinados elementos como el ndice de la revista, los resmenes de los
artculos, las palabras clave y la fecha de recepcin yio aceptacin de los
trabajos. Y, sobre todo, se valora la traduccinde algunos de estos elementos
como el ndicey los resmenes.
El segundo apartado tiene en cuenta la antigedad de la revista,
asignando un punto por cada dos aos de vida. La periodicidad se valora en
funcin del nmerode fascculosque se editan el ao, premiandoa las revistas
de ms frecuente aparicin. Adems se valora la puntualidad, puesto que
penalizan las revistasretrasadase irregulares.
La aparicinde revistasen ndices o bibliografasinternacionaleses uno
de los aspectos ms importantes, pues permite que el esfuerzo de los
investigadores llegue a los ms variados lugares, pero este modelo slo tiene
en cuenta este aspecto cuando se menciona, de forma expresa en la
publicacin, los servicios internacionalesde informacin que la recogen. Los
autores contemplarontres fuentes internacionalesy asignan cinco puntos por
cada una de ellas que se mencione.En este trabajose han revisadodoce, pero
como no se suelen mencionarde forma expresaen ninguna publicacin,no se
ha producidoningndesvo en la puntuacintotal.
En el apartado difusin se valora por un lado la forma de distribucin,
premiando a las revistasque se distribuyenpor compra y que, adems, indican
de forma expresa el precio de la suscripcin, y por otro lado se valora la
existencia de colecciones razonablemente completas en las bibliotecas
brasileas pertenecientesal sistema Comut, empleando el Catlogo Colectivo
Nacional de Publicaciones,equivalentea nuestro Catlogo Colectivo Nacional
de PublicacionesPeridicas.
En el ltimo apartado se puntan dos aspectos distintos, por un lado la
publicacin de trabajos escritos en colaboracinentre autores nacionales de
distintas instituciones o que sean de autores extranjeros escritos en
colaboracin o no, y por otro lado, se asignan puntos a los distintos apartados
64
de los que suele constar una revista, premiando especialmentela dedicacin

de una parte importantea la publicacinde artculos,o tipo documentalsimilar.
Como la divisin de contenido vara tanto de unas publicacionesa otras, los
autores del modelo han propuesto dos clasificacionesdistintas, una para el
rea de ciencias exactas y otra para el rea de ciencias humanas, que es la
que se ha utilizadoen este trabajoy se reproducea continuacin.
4.3.1.2. Formulacin y notas
MODELO DE SO PAULO
ftdicadores
[bRMALIZACIN
Peridico engeneral
Leyenda bibliogrfica (1)
-
--
_____
________________
Inclusin(portada,resumen,texto)
Existencia
ISSN
Inclusin (portada,resumen,texto)
Existencia (aunqueno se refleje)
Direccin (2)
Completo
Periodicidad (3)
Explcita
Instruccionesa autores (4) Existencia
Completa (inclusoej. re? bibliog.)
Fascculo
Sumario (5)
Existencia (lenguaoriginal)
Existencia (bilinge)
Re?s. bibliogrficas (6)
Normalizadas (ms de la mitad de los
artculos)
Normalizacinexplcita(ISO, etc)
Artculos
Afiliacin autor (7)
Indicacin incompleta
Indicacin completa
Resumen en el idioma del Inclusin sistemtica
texto
Resumen en otro idioma Inclusin sistemtica
distinto del texto
Resumen bilinge
Inclusin sistemtica
Inclusin en todos los artculos
Descriptores
Inclusin en ms de la mitad de arts.
Fecha de recepcin y/o Inclusin sistemtica
publicacin de los arts.
Tiempo ininterrumpido de Por cada dos aos

existencia (8)
Ifnt
___
02
01
02
01
01
01
01
02
01
02
01
02
01
03
02
02
04
02
01
01
01
65
Intervalo regular de aparicin

01
02
03
04
05
-1
2veces al ao
3 veces al ao
4 veces al ao
6 veces al ao
12 veces al ao
(9)
retrasadas
lnclu.
en biLiogr.
abstracts, resmenes
corrientes impresoso en
CDROM
DIFUSIN
Formas de distribucion (10)
Li
cada servicio extranjero y/o
internacional (si se indica de forma
expresa)
Compra yio permuta

Distribucin gratuita
Existencia de coleccionesA cada biblioteca que posea al
razonablemente completasmenos el 75% de la coleccin
completa
del sistema (11)
COLABORACIN Y DIVlSIOl. DE CONTENIDO
Publicacin de por lo menos 10% de
Autora
(slo se analizan, en este artculos de autores extranjeros yio
caso, los trabajos de tipo escritos en colaboracin
Publicacin del 10 % de artculos
artculos o estudios)
escritos en colaboracinpor autores
de varias institucionesdel pas
Divisin de contenido (12)
Inclusin regular del 75%
Artculos / Ensayos
Inclusin regular del 50%
Inclusin regular
Comunicacin
Inclusin regular
Cartas,
documentos,
registros, relatos
Reseas bibliogrficasInclusin
regular
Entrevistas,
deposiciones,Inclusin regular
etc.
Inclusin regular
Otros
ESCALA DE VALORACIN
N de puntos
Hasta 30
De 31 a 55
De 56 a 80
Ms de 80
66
Desempeo
Dbil
Mediano
Bueno
Muy bueno
-_____
03
01
01
03
05
05
03
02
02
02
01
01
Notas al modelo18:
(1) Leyendabibliogrfica:en el modelono definenclaramenteeste elemento,
s se dice que se utiliz la norma tcnica brasileaequivalente a la norma
ISO que regula las referenciasbibliogrficas.Por los datos que evalan se

puede deducir que se refieren a la norma 150 8:1977 Prsentation de
priodiques, equivalente a la norma espaola UNE 50-101-90
Presentacin de las publicacionesperidicas,que es la que se ha utilizado
en esta evaluacin.Segn esta norma, las publicacionesperidicasdeben
incluir bsicamenteestos datos: ttulo de la revista, nmero del volumen
seguido, si es necesario,de la seccin o serie, el nmero del fascculo,el
nmero internacional normalizado y la fecha de publicacin o periodo
cubierto.
En el modelo se valora de forma independientela aparicin del ISSN,
por lo tanto, entendemoscomo membrete bibliogrficola reunin del resto
de los datos (ttulo de la revista + nmero del volumen yo nmero del
fascculo
fecha) en cubierta yio portada, o en cabecera de sumario,
asignando en este caso un punto. Se asigna dos puntos cuandoestos datos

tambin aparecen en las pginas interiores,junto con el ttulo del trabajo
correspondiente y el nombrede su autor, o al menos en primera pgina de
cada artculo.
(2) Direccin:A falta de ms datos, se entiendeque se refiere a la indicacin
expresa de la direccinpostalde la revista.
(3) Periodicidad: Slo se puntacuandose hace constar en los fascculos. En
el caso de anuarios, en cuyo ttulo aparezcaesta palabra o la de anales,se
entiende que la periodicidad es explcita. En el resto de los casos, se
considera explcita, cuando se indica con la expresin adecuada al periodo
que cubre (trimestral, semestral,etc.), o bien cuando aparece expresado
este periodo con indicacinde los meses que abarca, por ejemplo: enero
18
En adelante,las notasa los modelosse utilizanpara explicarlos criteriosque se han seguido
a la hora de aplicar los indicadoresms complejoso que resultanconfusosen su formulacin

original. No se indica nada cuando la formulacines clara o cuando se siguen los criterios
generales establecidosen el apartado4.1.
67
marzo, o la expresin de la estacin del ao correspondiente,por ejemplo:

invierno.
(4) Instrucciones
a los autores:Se valora, no slo que existan, sino que
incluyan instruccionesque ayuden a los autores a elaborar bibliografas.En
este caso, no se valora ms el que se utilice o recomiendeuna determinada
norma, sino slo el hecho de que se den instruccionesal respecto.
(5) Sumario: En el modelo original pone resumen,pero se entiende que se
refieren al sumarioo ndice, puestoque la valoracinde la existenciao no
de resumen se incluye en el apartado artculos, lugar ms apropiado que
ste, dedicadoa la presentacindel fascculo,como unidad.
Se valora con dos puntos la traduccinde este elemento.
(6) Referencias bibliogrficas: Normalmentelos autores unifican criterios a la
hora de citar bibliografa,pero es muy difcil, a simple vista, saber si se han
ajustado a alguna norma, lo que se ha hecho ha sido comprobarque se dan
los datos bsicos de identificacinde un documento, y en este caso, se
asigna un punto, y dos puntos cuandola publicacinindica expresamentela
norma que se debe utilizar.
(7) Afiliacin del autor: Se consideraindicacincompletade afiliacin cuando
aparece la direccinpostal o electrnicadel autor, e incompletacuandoslo
aparece el cargo y el lugarde trabajo.
(8) Tiempo ininterrumpido de existencia: Se valora con un punto cada dos
aos de existencia. En el caso de publicacionesen las que ha habido
interrupciones, se ha optado por establecer una penalizacin de un punto
por cada dos aos completosen los que no haya salido al mercado, que se
restan a la puntuacinfinal obtenidacon la asignacinde puntos por aos
reales de aparicinen el mercado. Por ejemplo, una publicacin aparecida
hace diez aos y que no haya sido publicadadurante dos aos, tendr tres
puntos, cuatropor los ocho aos de edicin,menosuno de penalizacin.
68
(9) Intervalo de aparicin: La asignacin de puntos segn el modelo no

plantea problemas, lo difcil es saber si la revista cumple o no con la
periodicidad establecida, lo que es necesario porque hay que restar un
punto si no se cumple. Para comprobarel grado de cumplimientode cada
ttulo se ha recurridoa los ficherosde entradade las distintas bibliotecasen
las que se han localizadolas revistas,y se siguen los criterios establecidos
en el apartado4.1.4.
(10)
Distribucin: Se asigna un punto a las publicaciones de difusin
gratuita, aqullas que no mencionande forma expresa cmo se distribuyen

y a las que slo se difunden por donacin o permuta. Se asignan tres
puntos a las que indicanel precio en el fascculo.
(11)
Existencia en colecciones razonablemente completas del sistema:
En el trabajo de Krzyzanowski,para comprobarla existenciade colecciones

en las bibliotecasutilizaronel CatlogoColectivoNacional de Publicaciones
Peridicas19,que agrupa las coleccionesdel sistema Comut20,formado por
un total de 217 bibliotecas.
En Espaa, el equivalente es el Catlogo Colectivo de Publicaciones
Peridicas (CCPP),pero lamentablementeno se actualiza desde 1990. Por
eso, para este trabajo, se ha utilizado adems el catlogo REBIUN, que
recoge los datos de las colecciones de las bibliotecas universitarias
espaolas. Como gran parte de stas estn incluidas en el CCPP, para
hallar el nmero final de bibliotecas que tenan un ttulo de revista
determinado, no ha habido ms remedio que cotejar los resultados y
eliminar las bibliotecas duplicadas. Adems, al tratarse de revistas
especializadas en derecho, se han incluidolos datos del Catlogo Colectivo
de BibliotecasJurdicas,formadocon los fondos de las bibliotecasde todos
los rganos judiciales que pertenecen al Consejo General del Poder
Disponibleen: http://www.ibict.br
El sistemaComutes un programade intercambiobibliogrficocreado en Brasil en 1980 por
el Ministeriode Educaciny Culturacon el fin de facilitar el acceso a la informacinexistente
en las bibliotecasprincipalesdel pas
19
20
69
Judicial, organismoencargado del mantenimientode este catlogo,que es

accesible por Internetdesde noviembrede 2002.
Un fallo frecuente es lo mal que estn hechas las notaciones, sobre
todo, falta la puntuacin final, lo que impide saber si una coleccin est
cerrada o no. Adems, y sobre todo en el caso de REBIUN, tampoco es
fcil determinar cuntas bibliotecas dependientes de un organismo
disponen de la revista analizada, ya que unas instituciones facilitan los
datos desglosadospor sedes y otras solo facilitan una notacin referidaa la
sede principal.
Teniendo en cuenta estos inconvenientesse ha optadopor lo siguiente:
Asignar un punto por cada cinco bibliotecasque contienen un mismo
ttulo. No podemos conocer exactamente cuntas colecciones

completas hay, pero lo lgico es pensar que, al menos, una de cada
cinco coleccioneslo est.
Contar como nica cada institucin, independientementede las
suscripciones que tenga repartidaspor sus sedes. Es, por ejemplo,el

caso de las universidades,cada una supone un punto, tenga o no
ms suscripcionesen las distintasfacultades.
De esta forma se ha evitado tambin que la puntuacin por este
concepto se dispare y se desequilibre el modelo, ya que nuestro sistema
bibliotecario cuenta con ms de 1.100 bibliotecasy el brasileocon 217.
Las puntuaciones asignadas van de un punto a un mximo de 21,
distribuidos de la siguienteforma:
70
1 a 5 bibliotecas:1 punto
6 a 10 bibliotecas:2 puntos
16 a 20 bibliotecas:4 puntos,etc...
(12)
96a100:2opuntos
ms de 100: 21 puntos21
Divisin de contenido: No todas las revistasdividen su contenidode la
misma forma, por lo que hay que adaptar cada caso a la tabla propuesta.
Para hallar el porcentajededicadoa cada tipo de trabajo, se ha optado por
contar el nmero de pginas, en vez del nmero de trabajos, porque hay
secciones muy difciles de contabilizar, como las dedicadas a recopilar
legislacin o jurisprudencia. Adems hay revistas que publican muchos
trabajos de muy poca entidad y, al contrario, revistas que publican muy
pocos artculospero que son verdaderostrabajosde investigacin.
Para el clculo de este indicador, ha habido que hacer una adaptacin
del sumario de cada una de las revistas a la divisin del contenido
propuesta por el modelo, lo que no ha estado exento de dificultad, dada la
gran variedad de denominaciones que hemos encontrado. En lneas
generales las equivalenciasque se hanestablecidoson las siguientes:
Divisin segn el modelo So Paulo
Artculos / Ensayos
Seccionesequivalentes
Artculos,
estudios,doctrina...
Comunicacin
ponencias,
Notas,comunicaciones,
comentarios de jurisprudencia...
Cartas, documentos,registros,relatos
Documentacin,
crnicas,referencias
legislativas y de jurisprudencia...
Reseas bibliogrficas
Bibliografas,
recensiones, crtica de
libros...
Entrevistas, deposiciones
Otros
Entrevistas,
declaraciones...
editoriales,
Indices,
noticias,
necrolgicas...
La revistaque mspresenciatieneen el sistema,de todaslas analizadas,es la Revistade

AdministracinPblica,incluidaen loscatlogosde 106bibliotecas
21
71
En los casos en que hay varias secciones que encajan en una misma
categora, se ha optado por no duplicar puntuaciones, con el objeto de no
premiar la excesivafragmentacinde sumariosen los que aparecen secciones,
en muchos casos, difcilmentejustificables.
4.3.2 Modelodel InstitutoColombianoColciencias
Colciencias es el Instituto Colombianopara el Desarrollode la.Ciencia y
la TecnologaFranciscoJos de Caldas, organismopblico creado en 1968,
adscrito al DepartamentoNacionalde Planeacin.
Su labor principal es promover el avance cientfico y tecnolgico,
creando condiciones favorables para fomentar la investigacin. Tambin se
encarga de consolidar el Sistema Nacional de Ciencia y Tecnologa,
fomentando las relaciones entre los distintos sectores implicados, como la
universidad, la comunidadcientficay el sector privadocolombiano.
Inherente a estas actividadesse encuentrala difusin de los resultados
de las investigacionesque se realiza a travs de las publicacionescientficas.
Por eso Colcienciasllev a cabo un procesode evaluacinde las publicaciones
seriadas, a escala nacional. El objetivo era, una vez conocido el nivel de
calidad de las publicacionescolombianas,establecer las condicionesbsicas
de produccin,es decir, establecerunos niveles mnimosde calidad exigibles.
El trabajo de evaluacin fue una de las fases del estudio sobre las
publicaciones seriadas colombianas(Gmez Morales, 1999) que se desarroll
en las siguientesetapas:
1. Convocatoriapblica nacionalde apoyo a publicacionesseriadascientficas
2. Evaluacin de las publicaciones participantes, realizada con los datos
proporcionados por los editoresde las revistas, revisando los ejemplaresde
72
las cinco ltimas ediciones22 y consultando fuentes de informacin

secundarias locales para analizar la difusin
3. Propuestade un modelode escalafnde las publicaciones
4. Creacin de un ndice electrnico de publicaciones seriadas cientficas
colombianas23
El modelo Colciencias distingue entre la evaluacin de la produccin
cientfica y la evaluacin de una publicacinseriada como producto editorial,
pero fundamentalmente atiende este segundo aspecto. Tiene en cuenta
mltiples variables agrupadas en cuatro apartados que analizan la calidad
editorial (puntualidad,arbitraje, antigedad...),la normalizacin(adecuacina
las normas tcnicas colombianas), la visibilidad nacional y la visibilidad
internacional. Para cada apartadoexiste un indicadorque toma como valor del
O al 1, y cuya puntuacinse obtieneaplicandolas siguientesfrmulas:
1. Funcinde calidad editorialde una publicacinseriada:
C
1/100 [25 PNR+ 5AR/ARM
10 SPR/SPRM
15 NA/NAM
5 ARB
5 FOR+
10 DPL + 125 CONINT/CONINTM+ 125 CONCOAM]
Las variablessignifican:
PNR: Puntualidadde la publicacin
AR: Antigedadde la revista y ARM: nmero de aos de la revista ms
antigua de la muestra.
NA: Artculos originales e inditos y NAM: nmero mximo de artculos
originales dentro de la muestra.
ARB: Arbitraje
FOR: Formatode evaluacin
SPR: Suscriptoresparticularesde la revista y SPRM: nmero mximo de
suscriptores de una revistade la muestra
22
No se aclara qu se entiendeporedicin,no se sabe si se refierena un volumeno a un ao.
En este estudiose hablasiemprede aos.

Se puedeconsultaren: http://www.colciencias.qov.co/pscc
23
Se ha detectado un error en la frmula original, ya que si se mantiene as, la puntuacin

mxima posible sera de 105/100 puntos. Se ha corregido la desviacin multiplicandolas
variables CONINTy coA por 10,en vez de por 125,comose ver msadelante.
24
73
DPL: Depsito Legal

CONINT: Contribucionesinternacionalesy CONINTM: nmero mximo de
contribuciones internacionalesen una revista de la muestra
COA: Coautoras internacionalesy COAM: nmero mximo de coautoras
internacionalesen una revista de la muestra
2. Funcinde normalizacinde una publicacinseriada:
N= 1/100(10 FER
10 GUAS + 20 RR + 10 IRR / IRRM + 10 PC
20 INDN + 10 LOC + 10 NTC/ NTCM]

FER: Fechade recepcinde artculos
GUAS: Guasde presentacinde artculos
RR: Resmenes
IRR: Idiomasde los resmenesy IRRM: nmeromximo de idiomasen que
aparecen los resmenesde las revistasde la muestra
PC: Palabrasclave
INDN: Publicacinde ndices retrospectivosperidicos
LOC: Localizacinde los autoresde los artculos
NTC: Norma tcnica colombiana946 y NTCM: puntuacin mxima por este
concepto
3. Funcinde visibilidad nacionalde una publicacinseriada
VN= 1/100 [10 CISSNR+ 25 FSN / FSNM + 5 ER / ERM + 15 SPN / SPNM
+155,N/SINM+5CNJ/CNJM+5DNC/DNCM+2OUIN/UINM]
CISSNR: Cdigo ISSN
FSN: Fuentes secundariasnacionalesque resean la publicaciny FSNM:
nmero mximo de fuentes nacionales que resean una publicacin del
programa
ER: Tirada y ERM: mayortirada de la muestra
74
SPN: Suscripcionesparticulares nacionalesy SPNM: nmero mximo de

suscriptores nacionalespara una revistade la muestra
SIN: Suscripcionesinstitucionalesnacionalesy SINM: nmero mximo de
suscriptores institucionalesnacionalespara una revistade la muestra
CNJ: Canje y CNJM: nmero mximo de canjes de las revistas de la
muestra
DNC: Donativosy DNCM: nmero mximo de donativos de las revistasde
la muestra
UIN: Unidades de informacin nacionales y UINM: nmero mximo de
unidades de informacin nacionales en que est una publicacin del
programa
4. Funcinde visibilidadinternacional
Vl= 1/100 (10 CISSNR+ 25 FSI / FSIM + 5 ER / ERM + 20 SPI / SPIM + 20
SIl / SIIM + 20 UlI / UIIM]
CISSNR: Cdigo ISSN
FS1: Fuentes secundarias internacionales que resean la publicacin y
FSIM: nmero mximo de fuentes internacionales que resean una
publicacin del programa
ER: Tiraday ERM: mayortirada de la muestra
SPI: Suscripcionesparticularesinternacionalesy SPIM: nmero mximo de
suscriptores internacionalespara una revista de la muestra
SIl: Suscripcionesinstitucionalesinternacionalesy SIIM: nmero mximode
suscriptores institucionalesinternacionalespara una revista de la muestra
UlI: Unidadesde informacininternacionalesy UIIM: nmero mximo de
unidades de informacin internacionalesen que est una publicacin del
programa
Una vez analizadaslas frmulas con detalle y en funcin de los datos
que se han obtenido, ha habidoque modificaralguna de ellas. En concreto,en
el primer indicadorla frmula tiene un error, ya que si una revista obtuvierala
puntuacin mxima en todas las variables, la suma total de puntos sera
75
105/100. Se ha corregido la desviacin multiplicandolas variables CONINT y

COA por 10, en vez de por 125.
Se ha cambiadotambin la variable relativa al nmero de suscripciones
particulares, porque las revistas no han facilitado ese dato, por tanto se ha
sustituido por el nmero total de suscripcionesde cada revista. La frmula
queda as:
1. C=1/100[25PNR+5AR/ARM+I5NA/NAM+5ARB+5FOR+
10 SR/SRM
10 DPL + 10 CONINT/CONINTM 10 COAICOAM]
donde SR es: suscripciones a la revista y SRM el nmero mximo de

suscripciones en el programa.
El indicador referido a la normalizacinqueda igual, el nico cambiose
refiere al valor que puede tomar la variable relativaa la adecuacin a la Norma
Tcnica Colombiana.En el modelo originalesta variable toma valores que van
del O al 14. En este trabajo, al hacer la adaptacin a la norma UNE
correspondiente, esta variable toma valores del O al 18 que son los aspectos
que se han estudiado,y como sigla se usa NT (norma tcnica) en vez de NTC
(norma tcnica colombiana).
En el tercer indicador, relativoa la visibilidad nacional se tiene en cuenta
el nmero de donaciones que hace cada revista, pero, como se explic en el
apartado 4.1.9.1, las editoras tienen dificultad en facilitar este dato, por lo tanto,
al desaparecer de la frmula la variable Donacin, se ha aumentado la
puntuacin que puede tomar la variable Canje.
Adems, en el tercer y cuarto indicador,relativos a la visibilidad de una
publicacin seriada, se valoran por separado las suscripcionesparticularesde
las suscripcionesinstitucionales.Los datos que nos han facilitado los editores
nos permiten distinguir las suscripciones nacionales de las internacionales,
pero no las particularesde las institucionales, de forma que hemos unificado
76
esta variable en ambos casos y hemos utilizado las siglas SN (suscripciones

nacionales) y SI (suscripcionesinternacionales).Las frmulasquedan as:
VN= 1/100 [10 CISSNR+ 25 FSN / FSNM + 5 ER / ERM + 30 SN / SNM +
1OCNJ/CNJM+2OUIN/UINM]
Vl= 1/100 [10 CISSNR + 25 FSI / FSIM + 5 ER / ERM
40 SI / SIM +
20 UlI/ UIIM]
4.3.2.2. Formulaciny notas
MODELO COLCIENCIAS(Versinadaptada)
C= 1/100 [25 PNR + 5 AR/ARM+ 15 NNNAM + 5AF

DPL + 10 CONINT/CONINTM+ 10 COA/COAM]
Puntualidad (PNR) Es puntual
Es impuntual
Antigedad (1)
N de aos de la publicacinseriadaanalizada(AR)/ N de
aos de la publicacinseriadams antiguaen el programa
(ARM)
Artculos originales N de artculosoriginalese inditosde la publicacinseriada
e inditos
analizada (NA)/ N mximode artculos originalese inditos
dentro del programa(NAM)
Arbitraje (ARB)
No existe arbitraje
0
Arbitraje a travs del ComitEditorial
1
Arbitraje a travs del ComitEditorialy evaluadores
2
externos
Formatos de
Tiene formato de evaluacinpara artculos
1
evaluacin (FOR) No tiene formatode evaluacin
O
Suscriptoresde la N de suscriptoresde la publicacinseriada analizada(SR) /
revista
N mximode suscriptoresdentro del programa(SRM)
Depsito legal
Est al da con el DepsitoLegal
1
(DPL)
No est al da con el DepsitoLegal
O
Contribuciones
N promediode contribucionesinternacionalesde la
internacionales(2) publicacin seriadaanalizada(CONINT) / N mximode
contribuciones internacionalesen el programa(CONINTM)
Coautoras
N promediode coautorasinternacionalesde la publicacin
internacionales
seriada analizada(COA)/ N mximode coautoras
77
2. LA FUNCINDENORMALIZACINDE UNA PSC

N= 1/100[10 FER + 10 GUIAS + 20 RR + 10 IRR / IRRM + 10 PC + 20 INDN+ 10
LOC + 10 NT! NTM]__________________________________
1
Incluye fecha de recepcin
Fecha de
O
recepcin de
No incluyefecha de recepcin
artculos (FER)
1
Tiene guas (= instruccionesa los autores)
Guas de
presentacin de
O
No tiene guias
artculos (GUIAS)
1
Resmenes (RR) Publica resmenes
O
No_publica_resmenes
N de idiomasde los resmenesde la publicacinseriada
Idiomas de los
analizada (IRR) / N mximode idiomasen el programa(IRRM)
resmenes
1
Publica palabras-clave
Palabras-clave
O
No publica palabras-clave
(PC)
1
Publica ndicesretrospectivos
ndices
retrospectivos
O
peridicos (INDN) No publica indices retrospectivos
1
Indica la localizacinde los autores de forma precisa
Localizacin de
(lugar de trabajoy cargo)
autores de
O
artculos (LOC)
No indicala localizacinde los autores de forma
precisa
Norma tcnica
Puntuacin relativaa la presentacinde la publicacinseriada
UNE 50-101-90 analizada (entre Oy 18 puntos) (NT) La puntuacinmxima
Presentacin de (NTM18)
las publicaciones
peridicas (3)
3LA FUNCIONDE VISIBILIDADNACIONALDE UNA PSC
VN= 1/100[IOCISSNR+25FSN/FSNM+5ER/ERM+3OSN/SNM+
IOCNJ!
CNJM +20 UIN /UINM1
Tiene ISSN
Cdigo ISSN
No tiene ISSN
N de fuentes secundariasnacionalesque reseanla publicacin
Fuentes
seriada analizada(FSN) / N mximo de fuentes nacionalesque
secundarias
nacionales que resean una publicacinseriadadentro del programa(FSNR)
resean la
publicacin (4)
Tirada
N de ejemplaresque edita la publicacinseriadaanalizada(ER)
/_n_mximo_dentro_del_programa_(ERM)
Suscripciones
N de suscripcionesnacionalesde la publicacinseriada
analizada (SN) / n mximode suscripcionesdentrodel
nacionales
programa (SNM)
N canjes de la publicacinseriadaanalizada(CNJ)/ N mximo
Canje
de_canjes_del_programa(CNJM)
N de unidadesde informacinnacionalesque reciben la
Unidades de
informacin
publicacin seriadaanalizada(UIN)/ n mximo de unidadesde
informacin del programa(U1NM)
nacionales (5)
___
78
4. LA FUNCINDEVISIBILIDAD INTERNACIONALDEUNA PSC

VI=1/1 00[10CISSNR+25FSI/ FSIM+5ER /ERM+40SISIM+20UlI/UIIM]
Cdigo ISSN
Tiene ISSN
(CISSNR)
No tiene ISSN
Fuentes
N de fuentessecundariasinternacionales(FSI) i n mximode
secundarias
fuentes internacionalesque reseanuna publicacinseriada
internacionales dentro del programa(FSIM)
que reseanla
publicacin (6)
Tirada
N de ejemplaresque edita la publicacinseriada(ER) no
mximo dentro del programa(ERM)
Suscripciones
N de suscripcionesinternacionalesde la publicacinseriada
internacionales (SI) n mximode suscriptoresinternacionalesdentrodel
programa (SNM)
Unidades de
N de unidadesde informacininternacionalesque recibenla
informacin
publicacin (UII) i n mximode unidadesde informacin
internacionales internacionalesdentrodel programa(UIIM)
(7)
Notas al modelo:
(1) Antigedad: Se cuentan los aos reales de edicin, es decir, a la
antigedad total, le restamoslos aos en los que no se ha publicado.
(2) Contribuciones internacionales: En el modelo original contabilizan las
contribuciones por edicin, en este caso se cuenta con toda la muestra
analizada, es decir, las contribuciones publicadas en los nmeros
correspondientesa tres aos.
(3) Normalizacin: En este trabajo se ha utilizado la norma UI4E 50-101-90
Presentacin de las publicacionesperidicas,equivalente a la norma ISO
8-1977. Se ha valorado la aparicin en determinados lugares de la
publicacin de los siguientesdatos:
79
En cubierta (y/o portada)25:

Ttulo de la revista + no vol. yio fascculo + ISSN + fecha de la
publicacin = 4 puntos
En sumario:
Ttulo de la revista + no vol. yio fascculo ISSN + fecha de la
publicacin = 4 puntos
En pginas interiores:
(Ttulo de la revista + fecha + n vol, y/o fascculo + n de pginas
del artculo)26+ (titulo del artculo+ autor)27= 6 puntos
En el lomo:
Ttulo de la revista + n vol, y/o nmero de fascculo + pginas +
fecha
4 puntos
La puntuacinmxima por este conceptoes, por tanto, de 18 puntos.
(4) Fuentessecundarias nacionales:Las publicacionesse han buscadoen

siete fuentesde informacinnacionales.
25
Se consultatambin la portada porquelo mencionanen la norma colombianay son lugares
equivalentes. No se utiliza, sin embargo, el anverso de portada porque no se mencionaen la

norma UNE. Se valora el que la informacinest reunidaen la cubiertao en la portada, no el
que aparezcanunosdatos en un lado y otros en otro.
La informacincntenidaen el primerparntesisdebe veniren todas la pginas,si no es as,
pero aparece reunida en primera pgina de cada artculo, se asigna un punto por todo el
concepto.
26
27
Se puntaigual aunqueun dato vengaen pginapar y otro en pgina impar.
80
(5) Unidades de informacin nacionales: Por unidad de informacin se

entiende biblioteca. La publicacin ms visible por este concepto est
incluida en los catlogosde 106 bibliotecasnacionales.
(6) Fuentessecundariasinternacionales:Las publicaciones
se han buscado
en once fuentes de informacininternacionalesy la revista ms visible por
este conceptoest presenteen ocho.
(7) Unidades de informacin internacionales: La publicacinms visible por
este conceptoest incluidaen los catlogosde diez bibliotecasextranjeras.
4.3.3 Modelo del Instituto Mexicano CONACYT
Conacyt28es el Consejo Nacionalde Ciencia y Tecnologa de Mxico.
Fue creado por ley en diciembrede 1970 asignndolecomo misin principalel
fomento del desarrollo cientfico y la modernizacin tecnolgica del pas,
mediante la formacin de recursoshumanosy la elaboracin de proyectosde
investigacin y de difusinde la informacincientficay tecnolgica.
La formacinde profesionalesse llevaa cabo mediante la asignacinde
becas-crdito destinadas a ayudar a estudiantes que cursan estudios en
Mxico y en el extranjero.Tambin estn realizando u importante esfuerzo
econmico para conseguir la repatriacinde investigadores mexicanos que
actualmente trabajanfuera de su pas.
Todas estas actividades deben ir acompaadas de un sistema de
divulgacin que d a conocer a todos el alcance de las investigaciones
desarrolladas. La forma ms inmediata de difundir los resultados de las
investigaciones cientficas es la publicacin de artculos en revistas
especializadas; por eso el CONACYT subvenciona la edicin de revistas
mexicanas que cumplen ciertos criteriosde calidad,criterios cuyo cumplimiento
28
http:Ilwww.conacyt.mx/
81
se vigila mediante el desarrollo de un modelo de evaluacin de revistas

cientficas que se lleva aplicandodesde 1993.
Desde entonces se realiza un seguimiento de lo que denominan
revistas emergentes,que son aqullasque se consideranimportantespara su
especialidad y que quieren mejorar beneficindosede las ayudas econmicas
del CONACYT. Una vez que las revistas aprueban la evaluacin, pasan a
formar parte del ndice de Revistas Mexicanasde Investigacinen Ciencia y
Tecnologa29,y se revisan peridicamentepara que no bajen sus niveles de
exigencia.
El
modelo de evaluacin de revistas cientficas aplicado por el
CONACYT agrupa los indicadoresen cinco bloques que analizan (Bazdresch,

1999):
-
contenido
arbitraje
contribuciones
edicin y distribucin,y
criterios formales
La primera exigencia del modelo es que la revista dedique ms del 75
por ciento de su contenido a la publicacinde artculos o estudios, es decir, a

trabajos de investigacin.
En el segundobloque los indicadoresanalizanel sistema de arbitraje, es
decir, el modo de seleccinde trabajos.Valoran que el comit editorial o similar
de la revista est formado por personas de varias instituciones y, sobre todo,
de diversos pases, considerandonegativo que el director de la revista sea el
mismo que el de la institucineditora. Valorantambin la evaluacin annima,
la existenciade evaluadoresexternos y el que sean dos o ms las personas
que revisencada trabajo.
Se puedeconsultara travs de Interneten la direccin:

http://www.conacyt.mxldaic/index.
html
29
82
Adems, se da importanciaal porcentajede trabajos aceptados,frente al

total de recibidos.
De las contribuciones, lo que se analiza es el grado de endogamia,
valorando positivamenteque, al menos el 60% de los autores sean ajenos a la
institucin editora. Y se considera negativo el que se incluyan memorias
completas de jornadas o congresos.
Los indicadores relacionadoscon la edicin y la distribucin de las
revistas tienen en cuenta que las mismas tengan una antigedad de ms de
cinco aos, que se editen dos o ms nmeros al ao con puntualidad,y
consideran negativo la edicin de nmeros dobles. Adems se valora que se
distribuyan tanto nacionalcomo internacionalmente.
Por ltimo se analizan aspectos formales de indudable inters, como la
inclusin de resmenes, de palabras-clave, de fechas de aceptacin y/o
recepcin de originales, de las direcciones de los autores, de sumario,
instrucciones a los autores,datos de identificacinen portada y contraportada,
as como la mencinexpresade inclusinen fuentesextranjeras.
El cuestionarioque se ha adaptadoes el que CONACYT est aplicando
en el ao 2002-2003,y que nos ha sido enviado directamentedesde all por
don RicardoAlcaraz Garca, Jefe del Departamentode Revistas Cientficasy
Tecnolgicas del CONACYT,cuyo originalse incluye como apndiceVII.
Como este modelo no asigna puntuaciones,se ha adaptado a las
necesidades de este trabajo, asignando un valor a todos y cada uno de los
indicadores propuestos.El resultadoes el siguiente:
83
Modelo CONACYT(adaptado)
1 /5% de artculos(1)
NOO puntos
Comit editorial
Multiinstitucional
Multinacional
punto1
punto 1
2 puntos
Ambos
Si el director de la revista es el directorde la institucin...
Resta 1 punto
SI 1 punto
NO O puntos
SI 1 punto
Evaluadoresexternos (2)
Evaluacin annima
N de evaluadorespor original
NOO puntos
Dos o ms
menos
Porcentaje de aceptacinde originales 1-33%
1 punto
O puntos
2 puntos
34-66%
1 punto
67-100%
0 puntos
Endogamia: al menos 60% de autoresajenos a
SI
NO
1 punto
O puntos
Si se incluyenmemoriascompletasde congresoso jornadas Resta 1 punto

Edicin y Distribucin
Antigedad mnima: 5 aos (3) De 5 a 35 aos
De36a75
76 en adelante
Anual
Periodicidad (4)
Semestral o cuatrimestral
Resto
Puntualidad
Si se editan nmerosdobles...
ipuntQ__
2 puntos
3 puntos
O puntos
1 punto
2 puntos
SI 1 punto
NOO puntos
Resta 1 punto
SI
1 punto
Hay distribucinnacional(5)
NO Opuntos
Hay distribucininternacional
SI 1 punto
NO O puntos
84
Incluye resumende los artculosen un idioma
l1
NOO puntos
Incluye resumende los artculosbilinge(6)
Incluye palabras-clave
SI 2 puntos
NOO puntos
SI 1 punto
NO Opuntos
SI 1 punto
NOO puntos
SI 1 punto
NOO puntos
SI 1 punto
NO Opuntos
Incluye fecha de recepciny/o aceptacinde artculos

Incluye la direccininstitucionalde los autores
Incluye sumario del fascculo
Membrete bibliogrficoal inicio del artculo()
SI 1 punto
NO O puntos
Incluye instruccionesa los autores
SI 1 punto
NOO puntos
Datos de portada:ttulo de la revista, Incluye todos los datos 2 puntos
fecha, issn y vol/n(8)
Incluye algunos
1 punto
No incluyeninguno
O puntos
Datos de contraportada:nombre(s) Incluye todos los datos 2 puntos

del o los
1 punto
editores, comit editorial y/o consejo Incluye algunos
editorial y
No incluye ninguno
permisos legales.(9)
O puntos
Mencin expresa de inclusinen fuentesextranjeras
SI 1 punto
NOO puntos
Notas al modelo:
(1) Contenido cientfico: Se ha tenido un criterio amplio, como en el
modelo Latindex, que considera contenido cientfico tanto artculos,
como comunicaciones,estados del arte, revisiones,etc, es decir, todos
aquellos trabajos firmados que puedan aportar algo a la comunidad
cientfica.
85
(2) Evaluacinexterna:Se valora el procedimientode evaluacinannimo,
en el que participanevaluadoresexternos, y cada trabajo es revisado

por dos o ms personas.
(3) Antigedad:Las revistas con una antigedad inferior a cinco aos no
reciben puntuacin,aunque esta muestraest formada por revistascon,
al menos,tres aos de antigedad.
(4) Periodicidad: Este modelo no evala revistas anuales; en este trabajo
si se han incluido,pero no se les asigna puntuacinpor este concepto.
(5) Distribucin: Se consideraque hay distribucinnacional o internacional
cuando las revistasjustifican tener suscriptoresen uno u otro mbito.
(6) Resmenes: El modelovalora la inclusin de un resumen en espaol y
otro en ingls, en este caso se tiene en cuenta la existencia de un
segundo resumen en idioma distinto, ya que en Espaa hay otros
idiomas oficiales,ademsdel espaol.
(7) Membrete bibliogrfico: El modelo original valora la inclusin de
colofn. Este elemento actualmentese incluye en pocas publicaciones,
y, menos an, en las peridicas,por eso hemos consideradointeresante
sustituir este elemento,y valorar la inclusin de membrete bibliogrfico
completo, al menos,al inicio de cada artculo, ya que este elemento se
recomienda en las normas internacionalesde edicin de publicaciones
peridicas y es de gran utilidada la hora de identificarseparatas.
(8) y (9) Normalizacin: Es estos casos, se conceden dos puntos cuando
los elementos citados aparecenjuntos en la portada, contraportada,o
elementos que las sustituyen; y se concede un punto si no aparecen
todos los datoso stos no estn reunidosen el mismo sitio.
86
4.3.4. Modelo del National ResearchCouncil de Canad

El Consejo Nacional para la InvestigacinCientfica Canadiensees el
principal organismo de investigacin en ciencia y tecnologa de su pas.
Colabora con empresas,universidadesy otros organismosde investigacinde
todo el mundo. Est muy comprometidocon la labor de difusin, por lo que se
ha convertido en un importante centro editor de revistas y monografas de
calidad.
Su labor como editor de revistascientficascomienzaen 1929 y, desde
entonces, ha diseado diversos mtodos de gestin editorial con el fin de
obtener productosde calidad30
Llevados por esta preocupacin,en 1980 se unieron el Advisory Board
on Scientific Publication (ABOSP) del National Research Council of Canada,
con el Natural Sciences and EngineeringResearchCouncil (NSERC), con el
objetivo de desarrollarcriterios para la evaluacinde publicacionescientficas
de Canad, para ser aplicados, sobre todo, a las once revistas publicadaspor
el NRCC y las 40-45 revistas cientficas apoyadas econmicamentepor el
NSERC. El trabajo concluy en 1981 con la distribucin entre la comunidad
cientfica de Canad de un informe resumen (National..., 1981) que pudiera
servir de ayuda en futuros planes de publicacin.
Para los responsablesde este estudio, la calidad de una revista se mide
tanto por la calidad del contenido cientfico, como por la calidad tcnica, es
decir, por su presentacinformal. El modelo se basa en la aplicacin de 16
indicadores agrupadosen tres bloques.Son los siguientes:
La polticade edicinactual se puedeconsultaren:

http:Ilpubs.nrc-cnrcqc.ca/cqi-bin/rp/rp2custe?pubpolicy[consulta:septiembre2003]
87
1. Indicadoresrelacionadoscon la calidadcientfica
1.1. Cualificacinprofesional,normasy formasde actuacinde los editores
1.2. Efectividaddel procedimientode revisinde originales
1.3. Inclusinde los mejorestrabajos de los mejores investigadores
1.4. Opinionesescritasde los principalesinvestigadoresen el campo
1.5. Porcentajesde aceptacinde originales
1.6. Discusionesimpresasde artculosde revistas
2. Indicadoresque reflejan el uso y aceptacinde la revista por la comunidad
cientfica
2.1. Nmerode suscripcionesde bibliotecas
2.2. Otrosdatos de suscripcin
2.3. Datosde citas de revistas
2.4. Porcentajede autoresextranjeros
2.5. Coberturapor los ndicesde indizaciny resumen
2.6. Prestigiohistrico
3. Indicadoresrelacionadoscon la calidad de edicin
3.1. Calidaddel ejemplarpara editar
3.2. Calidadde la impresin
3.3. Velocidadde publicacin
3.4. Habilidaden la gestiny la edicin
El primer bloque de indicadores valora sobre todo la eficacia del
procedimiento de revisin de originales, que se traduce en la eleccin de
trabajos de calidad. Para ello, lo importante es contar con un equipo de
direccin competente.Incluyenen este apartado un indicadorque se obtendra
por la valoracinde la publicacinhecha por los principalesinvestigadoresen
la materia.
El siguiente grupo de indicadores intenta medir la aceptacin de la
revista entre los investigadores, analizando la difusin de la misma por el
nmero de suscripciones,por el nmero de servicios de difusin en que se
halla, e incluso por su antigedad.
88
Proponen tambin un anlisis de citas, pero slo es posible realizarlo

con revistas incluidas en el Journalof Citation Report,que no recoge ninguna
de las revistasque se analizanen este trabajo.
Los ltimos indicadoresmiden la calidad de impresin del ejemplary la
habilidad del equipo gestor valorando, sobre todo la puntualidad.
Curiosamente, no se tiene en cuenta el grado de adaptacin a las normas
internacionalesde edicinde publicacionesperidicas.
Una de las dificultadesque presenta la aplicacinde este modeloes que
no trabaja con puntuaciones, sino que elabora un informe para cada
publicacin. Para este trabajo hemos utilizado la versin elaborada por Elea
Gimnez Toledo en su trabajo Evaluacin de revistas cientficas: anlisis
comparativo de tres modelos (1998), que ha establecidouna puntuacinpara
cada uno de los 17 indicadoresque propone.En este trabajoy, en funcinde la
informacin de que se dispone,se han podidoaplicar 20 indicadores.
4.3.4.2. Formulacin y notas
Modelo del NRCC(adaptado)
Consejo de redaccin
Normas a los autores
Sistema de evaluadoresexternos
Procedimientode evaluacinannimo
Nmero de evaluadorespor original
Porcentaje de manuscritosaceptados
Discusiones impresasde artculos(2)
No tiene
S tiene
No tiene
S tiene
No tiene
S tiene
No tiene
Es annimo
No es annimo
Dos o ms
Menosdedos
Entre 1 y 33%
Entre 34y67%
Entre68ylOO%
Tiene seccinespecfica
No tiene seccin especfica
1
O
1
O
1
O
1
O
1
O
2
1
O
1
O
89
Indicadores de uso y aceptacin de la revista por la comunidad cientfica

Presencia en bibliotecasnacionalesode bibliotecasnies. que tienen la revista/
Promedio de bibliotecasnles. que tienen las
(3)
revistas analizadas(4578)
N de bibliotecasext. que tienen la revista /
Presencias en bibliotecas
Promedio de bibliotecasext. que tienen las
extranjeras
N de suscripcionesnacionales/ Promediode
Suscripciones nacionales(4)
suscripciones nacionalesde las revistas
analizadas (59621)
N de suscripcionesextranjeras/ Promediode
Suscripciones extranjeras
suscripciones extranjerasde las revistas
analizadas (3923)
Trabajos de autores de
N de trabajos de autoresde instituciones
extranjeras / Promediode trabajos de autoresde
instituciones extranjeras(5)
instituciones extranjerasde las revistas
analizadas (572)
Autores de institucionesextranjeras N de autoresde institucionesextranjeras/
Promedio de autores de institucionesext. de las
Cobertura por partede los servicios N de serviciosde indizaciny resumenque
recogen la revista / N total de serviciosde
de indizaciny resumen (6)
indizacin y resumenexaminados(18)
N de aos de la revista / Promediode ao de
Prestigio histrico
1 revi
43)
Mala
Buena
Calidad de la impresin
Mala
Velocidad en la publicacin(= cumplimientode Cumple la periodicidad
No cumple
periodicidad)
Buena
Habilidad en la gestin y en la edicin (8)
Mala
O
1
O
1
O
1
O
Notas al modelo:
(1) Editor cientfico: En el indicador 1.1. deI modelo original se valorala
profesionalidad y dedicacin del equipo de direccin y redaccin; en este
trabajo lo nico que se puede puntuares la existenciade un editor cientfico
y de un consejode redaccino similar,siempre que lo hagan constaren los
ejemplares, as como la existencia de normas para los autores, cuya
redaccin es tarea del editor cientfico.
90
(2) Seccinde discusiones:El indicador1.6. recomiendala inclusinde una

seccin especfica destinada al debate de artculos publicados. Es una
prctica ms frecuente en el campo de la ciencia y la tecnologa que en el
caso de las cienciassocialesy, menosan, en las humanidades.
(3) Presencia en bibliotecas
nacionales: El indicador 2.1. propone
contabilizar las suscripciones que de cada revista tienen las bibliotecas

gubernamentales, universitariaso especializadas.Este dato no lo pueden
facilitar las editoras, por lo que hemospropuestoel anlisis de la presencia
de
cada revista en distintas bibliotecas consultando los principales
catlogos colectivosespaoles:el de la BibliotecaNacional (CCPP)y el de

la Red de BibliotecasUniversitarias(REBIUN).
La puntuacinse obtiene dividiendo el nmerode bibliotecas en que est
incluida la revista analizadaentre el valor medio de bibliotecas en las que
estn las revistas,de la muestra.
(4) Suscripciones nacionales: El indicador 2.2. propone contabilizar por
separado las suscripcionesvoluntariasde las obligatorias,las personalesde
las institucionalesy las nacionalesde las extranjeras, pero con los datos
que han facilitado las editoras,slo se han podidoelaborardos indicadores:
suscripciones nacionalesy suscripcionesinternacionales.
La puntuacin se obtiene dividiendo el nmero de suscripciones de la
revista analizada entre el valor medio del conjunto de revistas de la
muestra. En este caso, como no todas la revistashan facilitado este dato,,el
promedio se obtiene dividiendoentre 46, que es el nmero de revistasque
han contestadoel cuestionarioenviado.
(5) Colaboraciones extranjeras: El indicador 2.4. se ha dividido en dos, se
contabiliza por un lado el nmero de trabajos realizados por, al menos, un
autor extranjero, y por otro, el nmero de autores extranjeros, ya que se
considera que la presencia de este tipo de trabajos es un indicador del
prestigio de una publicacin.
91
La puntuacinse obtienedividiendoel nmerototal de autoreso trabajos,

que seandeltipo artculoso estudios,presentesen la revistaanalizada,por
el valormediodel conjuntode la muestra.
(6) Cobertura: El indicador2.5. punta segn el nmero de serviciosde
indizacin o resmenesque recogenla revistaanalizada.No distingueentre
servicios nacionaleso extranjeros.En este trabajo se ha rastreadola

presenciade las revistasen 16 servicios,incluidosdirectorios,repertorioso
bases de datos espaolesy extranjeros.La puntuacinse obtiene,por
tanto, dividiendoel nmerode serviciosen los que est la revistaanalizada
entre 16,quees el nmerototal de serviciosrevisados.
(7)
Calidad de la edicin: El indicador3.1. se refiere a la calidad del

proceso,de edicin,que debedar lugara un productoformalmentebueno.
Es muy subjetivode valorar,ya que no aplicannormasconcretas,comoen
el caso de otros modelosen los que se valorael grado de adecuacina
normas internacionalesde edicin.En general,toda la muestratiene un
buen nivel tanto de edicin, como de impresin,que se valora en el
indicador3.2.
()
Habilidad: El indicador3.4.que midela habilidaden la gestiny edicin,

es tambin muy subjetivo y se pueden tener en cuenta varios factores,
como la calidad formal y puntualidad,que ya se han valorado.Por eso lo
que se ha tenido en cuenta en este caso es la respuestaal cuestionarioque
se envi a las editorialessolicitando determinadainformacin. Las revistas
que no hancontestado,no recibenpuntuacinpor esteconcepto.
92
4.3.5. Modelo del proyectoLATINDEX

Latindex31es el sistema regionalde informacinen lnea para revistas
cientficas de Amrica Latina, el Caribe, Espaa y Portugal. Fue creado en
1995 con la misin de facilitar el accesoa este tipo de publicacionesy de
elevar su calidad, gracias a la cooperacin de los pases implicados.
Actualmente forman parte del sistema los siguientes pases: Argentina, Brasil,
Chile, Colombia, Costa Rica, Cuba, Ecuador, Espaa, Mxico, Puerto Rico,
Portugal, Uruguay,Venezuelay Nicaragua.
Como resultado de esta cooperacin se han elaborado ya tres
importantes productos de difusin, el directorio, el catlogo y el ndice. El
Directorio, creado en 1997, recoge ms de 12.000 revistas cientficas, de las
que ofrece datos relativos a la entidadeditora, temtica,distribuciny difusin.
El
Catlogo, accesible desde marzo de 2002, incluye informacin
complementaria de revistas que han sido prviamente evaluadas siguiendo

unos criterios de calidad editorial, aprobados por Latindex en la reunin de
Lisboa, celebrada del 14 al 16 de febrero de 2001. El ndice est accesible
desde febrero de 2003 y lo que ofrece es la posibilidad de acceso directo a
unas 750 revistasconsultablesen lnea.
El modelo de evaluacindel grupo Latindex consta de 33 parmetros
divididos en dos grandes bloques. El primer bloque incluye los ocho primeros
parmetros, llamados bsicos, que son requisitos imprescindibles que una
revista debe cumplir para que pueda ser evaluada. Es decir, son requisitos
previos a la evaluacin.Las revistas que cumplenestos ocho criterios bsicos
pasan a ser evaluadas aplicndoseleslos otros 25. stos se dividen, a su vez,
en tres bloques:
-
Parmetrosrelativosa la presentacinde la revista.
Parmetrosrelativos a la gestiny polticaeditorial
Parmetrosrelativos a las caractersticasde los contenidos
31
Informacinen: http://www.latindex.org
93
Todos ellos estn claramente definidos y no plantea especiales

problemas su comprensiny aplicacin.El cumplimientode cada parmetrose
valora con un punto. Para que una revista pueda ser incorporadaal catlogo
Latindex debe cumplir al menos 18 de esos 25 parmetros. La lista completa
de los criteriosde calidadeditorial Latindex,aprobadosen la reuninde Lisboa,
celebrada en febrero de 2001, se incluyecomo apndiceVIII.

Modelo LATINDEX
!nd!9resy
puntos (para todos:_51-1punto, NO=0puntc?L_ -____
rfrcfii
h2qiraq
S / No
Mencin del cuerp; editorial
S / No
Contenido cientfico(40%)
(1)
Antigedad (mnimade un ao)
S / No
Identificacin de los autores
S / No
Lugar de edicin
S / No
Entidad editora
S / No
Mencin del director
S / No
Mencin de la direccin de la revista
S / No
Presentacin_dela revista
Cubierta/portada con informacincompleta:ISSN,ttulo, vol., n,
fecha_y_membrete_bibliogrfico
Mencin de periodicidad
Tabla de contenido:ndiceo sumario
Membrete bibliogrficoal inicio del artculo
Membrete bibliogrficoen cada pgina
Miembros del comit editorial o consejode redaccin
S / No
S / No
S / No
S / No
S / No
S / No
Afiliacin institucional de los miembros del comit editorial o S / No

consejo de redaccin
S / No
Afiliacin de los autores
94
Fecha de recepciny aceptacinde or., nales (ambas)

ISSN
Si/No
Definicin del objetivo,coberturao pblicoal que se dirige
Si/No
Hace constarel sistemade arbitraje
Si/No
Evaluadores externos
Si/No
Autores externos a la editora de la revista (al menos el 50%) Si/No
(=endogamia)
Apertura editorial (al menos 1/3 de los miembrosde los comits Si/No
ajenos a la editora)
Est incluidaen algnserviciode informacin
Si/No
(tanto_si_lo_menciona_la_revista_como_si_no)
Cumplimientode la periodicidad
Si/No
Contenido original (al menos el 40% de
originales)
Instruccionesa los autores
Si/No
Indica normas para la elaboracin de las referenciasSi/No

bibliogrficas
Exige originalidad
Si/No
Incluye resumenen el idiomadel trabajo (2)
Si/No
Incluye resmenesen dos idiomas
Si/No
Palabras clave en el idiomadel trabajo
Si/No
Palabras clave en dos idiomas
Si/No
Notas al modelo:
(1) Contenido cientfico: Para calcular el porcentaje de espacio que cada
revista dedica a sus distintosapartados,se ha optado por contar el nmero
de pginas, en vez del nmero de trabajos, porque hay secciones muy
difciles de contabilizar, como las dedicadas a recopilar legislacin y
jurisprudencia. Adems, como se indic en la explicacin al modelo So
Paulo, hay revistasque publicanmuchostrabajosde muy poca entidady, al
contrario, revistas que publican muy pocos artculos pero que son
verdaderos trabajosde investigacin.
95
(2) Resumen en el idioma del trabajo: Se ha asignado un punto por este

concepto a todas las revistas que incluyen un resumen, est escrito en el
idioma de trabajoo en otro.
4.4. Normalizacin de los modelos de evaluacin de revistas
Aunque todos los modelos seleccionados presentan un planteamiento
similar, ya que estn destinadosa lograr el mismo objetivo: la evaluacin de
calidad de un gran conjuntode revistas, los resultadosque se obtienentras su
aplicacin sorprenden por su diversidad; por lo tanto, se hace necesario
elaborar un sistema que permita la comparacinentre todos ellos y as poder
explicar las diferenciasobservadas.
El diferente comportamientode estos modelos ya ha sido puesto de
manifiesto en los trabajos realizados por Gimnez Toledo (1998 y 1999) y
Gimnez Toledo y Romn Romn (2000) en los que se ha descrito
detalladamente el objeto de estudio y la metodologade cada uno de ellos,
comparando el nmero de indicadores que cada uno utiliza para analizar los
aspectos principalesde la evaluacin de revistas, pero no se ha establecido
una base comn entre todos ellos que permita saber a ciencia cierta el peso
que cada uno otorga a los diferentes aspectos estudiados. Para ello se ha
realizado un proceso de normalizacin de sus distintas formulaciones,
siguiendo estas etapas:
1. Identificaciny clasificacinde todos los indicadoresempleados
2. Clculo y unificacinde las puntuacionestotales mximas
3. Nueva formulacinde los modelos
4.4.1. Identificacin y clasificacinde todos los indicadoresempleados
El primer problemaen el estudio comparadosurge porque cada modelo
agrupa los indicadorespropuestosen distintosapartadosy, en algunos casos,
se observa cmo un mismo indicador est incluido en varios, por ejemplo, el
96
poseer ISSN es un indicador de difusin en el modelo Colciencias, de

normalizacin en el de So Paulo y de gestiny poltica editorial en el modelo
Latindex.
Por lo tanto, y para evitar ambigedadesen el proceso de comparacin,
lo primeroque se ha hecho ha sido extraer todosy cada uno de los indicadores
y, una vez identificados,se han agrupadoen cuatro apartados: normalizacin,
gestin editorial, contenido cientfico y difusin, unificando el criterio de
clasificacin.
Para identificar los que pertenecenal apartado normalizacinse han
utilizado las principales normas internacionalesde edicin de publicaciones
peridicas. Para el resto se ha utilizadoel criterio mayoritarioentre los modelos
analizados y, en caso de duda, se ha optado por tomar una decisin personal
basada en la lgica. Por ejemplo, el indicadorantigedadde la revistatiene
un apartado propio en el modelo de la universidad de So
Paulo, es una
caracterstica bsica en el modelo Latindex, un indicador de uso y

aceptacin para el National Research Council de Canad y un elemento de
calidad editorial para los modeloscolombiano y mexicano; en este caso, se
ha optadopor la ltimaopcin que es la mayoritaria.
El indicador ISSN que, como se ha comentado antes, aparece en tres
apartados diferentes, se ha optado por incluirlo en el apartado gestin
editorial, ya que su tramitacin y obtencin depende por completo de la
entidad editora; una vez que se tiene se deben preocupar de reflejarlo en las
partes correspondientessegn las normas internacionales,y, a posteriori,es
tambin un elementoque facilita la difusinde la publicacin,ya que, al tenerlo,
es ms fcil de encontrary de resear.
Una vez identificados y clasificadostodos los indicadores,el resultado
se reflejaen el cuadro 1:
97
Cuadro1. Selecciny clasificacin

de indicadores
Normalizacin
Fechade recepcin
y/o aceptacin
de artculos
Resmenesen un idioma
Resmenesen doso msidiomas
Palabras-clave
en un idioma
Palabras-clave
en doso msidiomas
Localizacinde autores(Slonombre)
...ocalizacin
de autores(Nombrey direccin)
Referenciasbibliogrficas
normalizadas
Exigenciaexplcitade normalizacin
Membretebibliogrfico
en cubiertay/o portada
Id. id.en sumario
Id. id.en primerapginade artculo
Id. id.en todaslaspginas
id. id.en lomo
Datosde contraportada:
comits,permisos
Seasde la revista
Instruccionesa los autores
Inclusinde sumario
Inclusindesumariobilinge
Publicacinde ndicesretrospectivos
Periodicidadexplcita
Mencinexpresadelcuerpoeditor
Afiliacinde los miembrosde loscomits
Mencinexpresadellugarde la entidadeditora
Mencinexpresade la entidadeditora
Mencinexpresadel nombredeldirector
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X32
X33
X
X
X
X
X
X
X
X
X
X
X
X
...
32
X
X
X
X
X
X
X
El modeloColciencias
agrupatodosestosdatosen un nicoindicador,asignandode Oa 18puntos,segnel nmerode elementosquese resean.
El modeloSoPauloagrupatodosestosdatosen un nicoindicador,
cuyapuntuacinvarade 1a 2 puntos,segnlos elementos
que se resean.
ElmodeloLatindexpuntaporestemismoconceptoen dosapartados,el de caractersticas
generalesy el de presentacin
de la revista.
_________________
Definicin de objetivos
Antigedad de la revista
Puntualidad
Exigencia de determinadaperiodicidad
Sistema de arbitrajeexplcito
Evaluacinannima
Evaluacinpor el consejoeditor
Evaluacinpor evaluadoresexternos
Tienen formatode evaluacin
Nmero de sscripciones
Depsito Legal
ISSN
Consejo de redaccin
Apertura Comiteditorial multinacional
editorial
Comiteditorial multiinstitucional
Calidad del ejemplar
Habilidaden la gestin
36
X
X
___________________
X
X
X
X
X
X
X
X
X
X
X
X
x
X
X
X
X
X
Xib
x
x
x
Este indicador,en el modeloSo Paulo,no suma puntuacin,slo la resta en caso de incumplimiento.

El modeloLatindexvalorala aperturaeditorial,es decir, que se incluyaa consejerosajenos a la editora,en general.
X
X
Contenido cientifico
Publicacinde artculosinditos
Exigenciade originalidad
Porcentajede espaciodedicadoa artculos
Divisindecontenido
Inclusinde seccindiscusiones
de artculos
Nmerode autoresextranjeros
Nmerode trabajosinternacionales
Coautorasinternacionales
Coautorasnacionales
Porcentajede autoresexternosa la revista
____________
_____________
38
_____________
X
X
_____________
X
X
X
X
X
X
X
X
X
X
X
Difusion
Formasde distribucin
Admisinde canjes
Tirada
Suscripcionesnacionales
Suscripcionesinternacionales
Fuentessecundarias
nacionales
Fuentessecundarias
internacionales
Unidadesde informacin
nacional
internacional
______________
X
X
X
X
X
X
X
X
X
X
X
X
X4
X37
El
agrupa
estos
indicadores
uno
solo.
El modelo
modeloLatindex
NRCCagrupa
estos
indicadores
enen
uno
solo.
Elmodelo
Paulo
slo
tiene
cuenta
las
fuentes
que
indican
forma
expresa
los
fascculos.
El
modeloSo
Conacyt
slo
tiene
enen
cuenta
las
fuentes
que
sese
indican
dede
forma
expresa
enen
los
fascculos.
Lo primeroque llama la atencines la gran cantidad de indicadoresque

se han extrado, sesenta y cuatro, de los que slo son comunes en los cinco
modelos, los cuatro siguientes:
-
Incluir instruccionespara los autores
Puntualidad41
La inclusin en serviciosde informacininternacionales.
El nmero de elementoscomunesa cuatro modelos se eleva a nueve,

comunes a tres modelos son siete, a dos modelos son 16, y propios de uno
solo son 28. Aunque la mayora de los modelos estudian, en general, los
mismos aspectos,sin embargola eleccinfinal de indicadoreses muy variada
y las coincidenciasno son muchas:como se ha visto, 28 indicadores,un 43 por
ciento, slo aparecenen un modelo.
El recuento del nmero de indicadoresque cada modelo propone para
analizar cada uno de los cuatro aspectos fundamentalesse presentan en el
cuadro 2
Cuadro 2. Nmeroy porcentajede indicadorespormodelo
Colciencias 12
387
258
97
258 31 100
Conacyt
10
147
375
83
125 24 100
N.R.C.C.
95
10
476
143
Latindex
21
568
846
216
108
41
286 21 100
447
1O8 37 100
Hay que tener en cuentaque el modeloSo Paulo,slo puntade forma negativalos
inclu mplimentos
42 Cuatroindicadores,en este modelo,se analizanen un nico paso.
Cincoindicadores,en este modelo,se analizanen un nico paso.
Dos indicadores,en este modelo,se analizanen un nicopaso.
Estemodelorepite dos de los ndicadores
46 Dos indicadores,en este modelo,se analizanen un nico paso.
Cuatroindicadores,en este modelo,se analizanen un nico paso.
lo
En el apartadonormalizacinhay una gran diferencia en el nmerode

indicadores que propone cada modelo, van desde los veintiuno del modelo
Latindex a los dos del modelo del National Research Council de Canad. El
resto de los apartados estn ms equilibrados. En gestin editorial es el
modelo canadiense el que ms hincapi hace, con diez indicadores, y el de
So
Paulo el que menos, con cuatro indicadores.En contenidocientficohay
an menos diferencias, Latindexes el que ms indicadorespropone, cuatro,y

el de Conacyt, con dos, el que menos. En difusin el que ms aspectos
studia es el modelocolombiano,con ocho indicadoresy Conacyt y So Paulo,
los que menos,con tres.
4.4.2. Clculo y unificacin de las puntuaciones totales mximas.
Como no a todos los indicadoresse les asigna la misma puntuacin hay
que intentar calcular el peso que cada uno tiene en los diferentes modelos y
hacerlo de forma que permitael anlisis individualizadopor modeloy el anlisis
comparado entre todos ellos. Para ello, lo primero que se ha hecho es calcular
la puntuacin mxima que admite cada modelo, sumando las puntuaciones
mximas que se asignan a cada indicadory sumndolostodos. En el caso de
indicadores en los que los diseadores del modelo no han previsto una
puntuacin mxima,se ha tomado la mximaasignadaen la muestra analizada
en este trabajo. Por ejemplo,es el caso, entre otros, del indicadorantigedad
en el modeloSo Paulo, que asigna un punto por cada dos aos de publicacin
de las revistas, en este caso, hemos tomado la puntuacin mxima de esta
muestra, 74 puntos obtenidos por las dos revistas ms antiguas, cuya vida es
de 149aos.
Las puntuacionesmximasde cada modeloson las siguientes:
Colciencias: 4 puntos
So Paulo: 166 puntos
Latindex: 33 puntos
NRCC: 67 puntos
Conacyt: 30 puntos
102
Estas puntuacionesse han asimilado a
100y se ha calculado el valor
porcentual que un punto suponeen cada uno de los modelos.Los valores son
stos:
1 puntoen elmodelo Colciencias= 25 por ciento
1 puntoen elmodelo So Paulo = O60por ciento
1 puntoen elmodelo Latindex= 303 por ciento
1 puntoenel modelo NRCC = 15 por ciento
1 puntoen elmodelo Conacyt= 333 por ciento
Con estos valores se han calculadode nuevo las puntuacionesmximas
asignadas a cada indicador. De esta forma los datos que se obtienen son
comparables entre s y permiten establecer definitivamente qu apartados
tienen ms peso en cada modeloy compararestos datos entre todos ellos. Los
valores as calculadosde cada indicadorse reflejanen el cuadro 3.
103
Cuadro3. Puntuacin
porcentual
de losindicadores
Normahzacion
Fecha de recepciny/o aceptacinde artculos
Resmenes en un idioma
Resmenes en dos o ms idiomas
Palabras-claveen un idioma
Palabras-claveen dos o ms idiomas
Localizacin de autores(Slo nombre)
Localizacin de autores(Nombrey direccin)
Referencias bibliogrficasnormalizadas
Exigencia explcitade normalizacin
Membrete bibliogrficoen cubierta y/o portada
id. Id. En sumario
id. Id. En primerapginade artculo
id. Id. En todas las pginas
Id. Id. En lomo
Datos de contraportada:comits,permisos
Seas de la revista
Instrucciones a los autores
Inclusin de sumario
Inclusin de sumario bilinge
Publicacin de ndices retrospectivos
Periodicidad explcita
Mencin expresa del cuerpo editor
Afiliacin de los miembrosde los comits
Mencin expresa del lugar de la entidadeditora
Mencin expresade la entidadeditora
Mencin expresadel nombredel director
25
6125*
75*
25
25
06
12*
2l4*
12
016*
118*
06
06
303
303*
606*
3103*
606*
303
303
333
3133*
666*
333
333
303
303
666
12
25
333
303
303
666
...
48
50
25
06
12
06
06
303
303
303
06
303
303+303
303
303
303
303
15
Las puntuacionesmarcadascon asteriscoson excluyentesentre s

Latindexcontabilizaeste indicadoren caractersticasbsicasy en presentacinde la revista
El modeloresta un punto (333%), si el directorde la revista es el mismo que el de la institucineditora
15
333
3133
Gestion Editorial
Definicin de objetivos
Puntualidad
Exigencia de determinadaperiodicidad
Sistema de arbitrajeexplcito
Evaluacinannima
Evaluacinpor el consejoeditor
Evaluacinpor evaluadoresexternos
Nmero de suscripciones
Depsito Legal
ISSN
Consejo de redaccin
Apertura Comiteditorial multinacional
editorial
Comiteditorial multiinstitucional
Calidad delejemplar
Habilidad en la gestin
51
125
625
444
*
303
303
303
77
15
10
333
666
15
333
15
333
15
15
333
666
3
303
125
125
125
25
25
25+25
303
12
Restanun punto (06%) las publicacionesimpuntuales

Restan
52
un punto (333%) cuandose abusade la edicinde nmerosdobles
Latindex contabilizaeste indicadoren difusinnacionaly en difusininternacional
303
3
303
15
15
15
333
333
coMe,iidocintfic
Publicacinde artculosinditos
Exigenciade originalidad
Divisindecontenido
Inclusinde seccindiscusiones
de artculos
Coautorasnacionales
Porcentajedeautoresexternosa la revista
Dufusuon
Formasdedistribucin
Admisinde canjes
Tirada
Fuentessecundarias
nacionales
Fuentessecundarias
internacionales
nacional
internacional
375
303
303
303
78
25
25
18
3
333
15
147
156
303
333
18
25
125+125
75
10
625
625
5
5
203
1 14
0,9
12
126
Latindexcontabiliza
esteindicadoren difusinnacionaly en difusininternacional
303
35
64
333
333
333
Con estosvaloresse puedecomprobarel pesoque cada indicadrtiene

en el cmputo total de cada model y se pueden tambin analizar las
difrncisentreells.Si tomamoslos cutroindicadoresque son comuesa
los cinc modelos podemosobservar claramenteestas diferencias.Las
instruccinesa los autorespuedensuponerun 333 por cientode la puntuacin
total en el modeloConacyt
y sloun 12 por ienten el modelode So Paulo.
En el indicadorque valora la antigedadde la revista encontramosunas
diferenciasnotables,que van del444 por cientoen el modelode So Pauloa
un 125por cientoen el modelocolombiano,
que,.por
l c,ntrario,
valorams la
puntualidadque cualquierotro,con un 625 por cito frentea un 15 porciento
en el modelocanadiense,indicadorque,en el melo deSo Paulono suma
puntuacinalguna,slola restaen casode incuniplimiento.
El cuarto indicadorcomnes la presenci n fuehtessecundariasde
carcterinternacional.Eneste caso,el modelodla universidaddeSo Paulo
le asignaun 12 por cientodel psototaly el modelocanaense sloun O9por
ciento, teniendoademsen cuentaque este porcntajese asignaen conjunto
a la presenciatantoen fuentesde carcternacionlcomointernacional.
Sumando ls porcentajespor: bloques, obtenemos los siguientes
resultados55.
Cudro 4. Pesporcentualpor bloquesde anlisis
Modelos
So Paulo
Colciencias
Conacyt
N.R.C.C.
Latindex
NormalizacinGestineditorial ContenidocientficoDifusin Total
12
25
40
3
64
49
21
13
26
100
100
43
7
32
12
45
10
22
21
43
3
100
100
100
Se hanredondeado
losdecimales
parafacilitarsutratamiento.
107
El modeloque ms pesootorgaa los aspectosligadosa la normalizacin

es
Latindex. En gestineditoriales el de la universidadde So Pauloel que
destaca,debido,sobretodo,a la granimportancia
que se le da a la antigedad
de las publicaciones.
En contenidocientficoes el modelocanadienseel que
ms sefija.Y en difusindestacael modelocolombiano,seguidode cercadel
canadiense.En las siguientesfiguras se puedenver de forma grficaestas
diferencias:
O Normalizacin
1
Gestin Editorial
O ContenidoCientfico
O Difusin
Figura 2. Distribucin
de la puntuacin
en el modeloSo Paulo
El modelode la universidadde So Pauloda mayorimportanciaa la

gestin editorial,que suponecasila mitadde la puntuacintotal, y la difusin
pasa a segundoplano.
108
Normalizacin.
,Gestin
Editoril.
ontenido dei tifico
rDDIfusln
Figura3 Distribucin
de Japuntuacinen el modeloColciencias
En el modeloColcienciasse observaclaramentecmo se da ms
importancia a la difusin que a los dems aspectos,de hecho en su
formulacin
dbtin dos puntos,uno por difusinnacionaly
otro por difusininternacional,
de un totalde cuatropuntos.
D Normalizacin
El Gestin
Editorial
OContenido
Cientfico
lJDifusin
Figura4.Distrjbucj6nde la puntuacinenel.modeloConacyt
Este modelo,como el de la universidadde So Paulo,destacalos
aspectosrelacionados
cn la gestinditorial,peroen segundolugary tambin
109
dndole gran importancia, valora los aspectos relacionados con la

normalizacin.
O Normalizacin
GestinEditorial
o ContenidoCientfico
O Difusin
Figura 5 Distnbucinde la puntuacinen el modeloNRCC

El modelocanadiense,comoel colombiano,
valoramsla difusin,pero
en el restode los aspectosse comportajusto al revs,siendoen estecaso la
normalizacinel aspectomsdescuidado.
Fiura 6.Distribucin
de la puntuacinen el modeloLatindex
110
El
modelo Latindex prima tos aspectos relacionados cn la
normalizacin, que queda a mucha distancia del resto, y apenas le da

importancia a los aspectos relacionadoscon la difusin.
4.4.3. Nueva formulacinde los modelos

Con los datos obtenidos tras este anlisis, se ha elaborado una nueva
formulacin de tos modelos para poder aplicarlos de nuevo y con facilidad a
cada una de las revistas. Para ello se han seleccionadolos indicadoresjunto
con el porcentajemximo de puntuacin que cada uno puede tomar, segn
qued reflejadoen el cuadro3.
Se reproducena continuacinlos impresos que se han diseado para
tomar los datosde las revistasy analizar su puntuacin.
111
Modelo So Paulo normalizado

MODELOSOPAULONORMALIZADO
Ttulo de iaevistaII
MJL
Criterios
Puntuaciones
Puntuacin
de
mximas
revista
la
Normalizacin
Fecha de recepciny/o aceptacin
de
artculos
Resmenesen un idioma
Resmenesen doso msidiomas
Localizacinde autores(Slonombre)
Localizacinde autores( Nombrey direccin)
Referenciasbibliogrficas
normalizadas
Exigenciaexplcitade normalizacin
Membretebibliogrficoen cubiertayio portada
O6
12
24
1 2
O6
1 8
O6
O6
1 2
O6
Seas de la revista
Instruccionesa losautores
Inclusinde sumario
Inclusinde sumariobilinge
Periodicidadexplcita
12
O6
O6
O6
Total Normalizacin
GestinEditoral
de la revista
444
Puntualidad
*56
Exigenciade determinada
periodicidad
3
ISSN
12
Total Gestineditorial
Contenido cientilico
Antigdad
Divisinde contenido
Coautorasnacionales
78
18
3
Total Contenidocientfico
Difusin
Formasde distribucin
Fuentessecundariasinternacionales
nacional
18
12
126
Total Difusin
TOTAL
56
Se restaunpunto(=O6)
a lasrevistas
impuntuales.
112
Modelo Colciencias normalizado

MDELOCOLCIENCIAS
Jtulodearavista:IjjI!ILi
jJ1IPuntuacioIu
naciongJ
mximas
$IIlT revisJIIJ
Normalizacin
25
Fecha de recepciny/o aceptacinde

artculos
Localizacinde autores(Nombrey direccin)
Membrete bibliogrficoen cubiertay/o portada
id. id. en sumario
id. d. en primerapginade artculo
id. id. en todas las pginas
d. Id. en lomo
Publicacin de ndicesretrospectivos
625
75
25
25
25
25
5
Total Normalizacin
Gestin Editorial
i25
625
1 25
Puntualidad
Evaluacinporel consejoeditor
Evaluacin por evaluadoresexternos

1 25
1 25
Nmero de suscripciones
25
Depsito Legal
25
ISSN
2525
Total Gestin editorial
Contenidc
Publicacinde articulos inditos
Nmero de trabajosinternacionales
Coautoras internacionales
Total Contenido
375
25
25
cientfico
Difusin
Admisin de canjes
Tirada
Fuentes secundariasnacionales
Fuentes secundariasinternacionales
Unidades de informacinnacional
Unidades de informacininternacional
25
1 25+1p2558
75
10
625
625
5
5
Total Difusin
TOTAL
Lo contabilizan dos veces, en difusin nacional y en difusin internacional

id. id.
113
Modelo Conacytnormalizado
)n y/o aceptacinde
artculos
Resmenesen dos o ms idiomas
Localizacinde autores(Nombrey direccin)
Membrete bibliogrficoen cubiertayio portada
id. id. en primerapginade artculo
Datos de contraportada:comits,permisos
1-
333
666
333
333
666
333
666
...
333
333
Inclusin de sumario
*59
TotalNormalizacin
Gestin Editorial
10
333
Antigedad_de
la revista
Puntualidad
Exigenciade determinada
periodicidad
Evaluacinannima
666
333
333
333
Evaluacinporevaluadores
externos
Nmerode evaluadores
pororiginal
Porcentajede manuscritosaceptados
Apertura Comiteditorialmultinacional
editorial
666
333
333
Comit editorialmultiinstitucional
.,UIILeIIIUU
L.IeIIL

Porcentaje de autoresexternosa la revista
R.J
3,33
3,33
Total Contenido
cientfico
Suscripciones nacionales
Suscripciones internacionales
333
333
333
Total Difusin
TOTAL
Si el directorde la revistaes el mismoqueel de la institucin

editorase restaun punto(333)
114
Modelo National Research Council de Canad normalizado.

MODELO
NRCCNORMALIZADO
________
Ttulodelarevista:
Criterios
_____
_________
_______
____
___
Puntuaciones1 Puntuacins
mximas 1de la revista.
_________
Normalizacin
Instruccionesa losautores
Mencinexpresadel cuerpoeditor
1 5
5 1
Total Normalizacin
Gestion Editorial
Antigedadde la revista
Puntualidad
Evaluacinannima
Evaluacinporevaluadores
externos
Nmerode evaluadores
pororiginal
Porcentajede manuscritos
aceptados
Consejode redaccin
Calidad delejemplar
Habilidaden la gestin
715
1 5
15
115
1 5
3
15
i5
15
1 5
Contenido cient :0
inclusinde seccindiscusiones
de artculos
15
15
15
Total Contenidocientfico
)sin
Suscripciones_nacionales
Fuentessecundarias
nacionales
Fuentessecundarias
internacionales
nacional
internacional
_____--
________
21
___________
12
115
3
6
Total Difusin
TOTAL
115
Modelo Latindexnormalizado
MDELOLATINDEX
NORMALIZADO
Titulo de la revista:
Criterios
Puntuaciones
Puntuaciones
mximas
de
la revista
Normalizacin
Fecha de recepcinyio aceptacinde

artculos
Palabras-claveen dos o ms idiomas
Localizacin de autores (Slo nombre)
Localizacin de autores (Nombrey direccin)
Exigencia explcitade normalizacinbibliogaf.
Membrete bibliogrficoen cubiertay/o portada
id. d. en primerapginade artculo
id. id. en todas las pginas
Seas de la revista
Inclusin de sumario
Periodicidad explcita
Mencin expresadel cuerpoeditor
Afiliacin de los miembrosde los comits
303
______________
______________
303
606
303
606
303
606
303
303
303
303
303
303
303
303
303+303
303
303
Mencin expresadel lugar de la entidad

editora
Mencin expresade la entidad editora
303
303
Total normalizacin
GestinEditorial
Definicindeobjetivos
Antigedaddelarevista303
Puntualidad
Sistemadearbitrajeexplcito
Evaluacinporevaluadoresexternos
ISSN
Apertura Comiteditorialmultinacional
editorialComiteditorialmultiinstitucional
_____303
_____
03
______________
03
303
____
______________
303
Publicacin de artculos inditos
303
Exigencia de originalidad
303
Porcentaje de espaciodedicadoa artculos
303
Porcentaje de autoresexternosa la revista
Total Contenido cientfico
303
Total Difusin
TOTAL
116
- _____________
______________
___________
303
Total ( estin editorial
Difusion
Fuentes secundariasnacionales
Unidades de informacinnacional
Unidades de informacininternacional
______________
______________
______________
303

Gomez Del Pulgar Rodriguez de Segovia, Gloria

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Gomez Del Pulgar Rodriguez de Segovia, Gloria

Încărcat de

Drepturi de autor:

Formate disponibile

D. GLORIA GMEZ DEL PULGARRODRGUEZDE SEGOVIA. con D.N.l.

A que su tesis doctoral con el ttulo: Calidad de las

CALIDADDE LAS REVISTAS

A mis hos Sergioy Natalia,

Escribo. Escriboque escribo.

1.1. La evaluacinde lasrevistascientficas4

4.3. Descripcinde los modelosde evaluacinde revistasformulados

5.2.2. Resultadosde la aplicacindel modelodel Instituto

Resultadosde la evaluacintras la aplicacinde los modelos

5.3.1. Resultadosde la aplicacindel modelode la Universidadde

the productionof new knowledge(...) ls not really complete until it

has been transmittedto sorne others, so that it is no longer one mans

la que se puede fijar el nacimientode las revistas cientficas1por la necesidad

como los contenidosde las revistas, libros y bibliotecas(Popper, 1972,

Laevaluacin de las revistas cientficas

hecho ms que crecer, a pesar de las dificultades,fundamentalmentede tipo

evaluacin de las revistascientficasen un gran nmerode pases. Pero, qu

evaluacin de las revistas tiene entidad propia. La revista es un producto

Finalmente, los organismos de financiacin obtienen datos que les

1.2. Laevaluacinde revistascientficasen Norteamrica

No se puede iniciar el repaso de la historia de los trabajos sobre

Citation mdcx(ScienceCitationndex,SocialScienceCitation ndexy Arts and

Las observacionesde Bradforddeterminaronque, cuandose analizaun determinadocampo

del conocimiento,hay un pequeoncleode publicacionesperidicasque recogenun gran

interesados en conocer el impacto de determinadaspublicaciones (Lazarev,

Posteriormente,Crespi (1997) realiza,un estudiobasadoen la opininde

los encuestadosque clasificaranlas revistaspor cuatro aspectos diferentes:su

Social ScienceCitationndex.En 1998 se llev a cabo un estudio parecidoen

colaboradores (2001) las han analizado utilizando distintos criterios:

evaluacin por pares, inclusinen basesde datos interncionales,puntualidad,

En Taiwan se han realizado varios estudios relacionados, sobre todo,

indicadores de calidad extrnsecos: basados en el cumplimiento de las

indicadoresde calidad intrnsecos:que analizanfundamentalmenteel grado

unas encuestas entre expertos para que seleccionaran el ncleo bsico de

en: revistas prioritarias, importantes,de importancia relativa o no relevantes.

elaborado por el grupo de cienciometra del Instituto Colombiano para el

Laevaluacin de revistascientficasen Espaa

setenta por parte del personal ligado al Consejo Superior de Investigaciones

utilizado fundamentalmentetres tipos de criterios,como seala Delgado Lpez

El siguiente trabajo localizadoes el de Mndez y colaboradores(1978)

internacionales de edicin de revistas. Despus estudian su difusin

1986) en el que se presenta el anlisis de las 306 revistas que en 1984 se

igual formato en todos los fascculos

datos bsicos en cubierta y sumario (ttulo de la revista, nmero del

nombre y direccin de la editorial

nombre y direccinde la distribuidora

Nacionalidadde los miembrosdel comity/o consejode redaccin

productividad(nmerode artculospor ao)

caractersticasde los trabajos (originales,traducciones,de revisin,etc.)

distribucingeogrficade las revistas

presencia en bases de datos internacionales

artculos de autores extranjeros

La difusin internacionalera, en general, muy escasa y se constat en

incumplimientode las normasinternacionalesde publicacinde revistas

irregularidaden las fechas de publicacin

predominiode editores institucionales,poco preocupadospor la explotacin

trabajo de Informacin y Documentacin de la Comisin Nacional de la

editores y directores.El estudio se completacon un anlisis (Ruiz Prez, 1989)

136 aspectos normativos incluidos en normas ISO y en

recomendaciones de organizaciones internacionales.Este mismo modelo ha

al., 1992)en los que se utilizan distintoscriterios de anlisis (adecuacina las

que se presentaen el trabajo de Garcadel Toro y Faura (1998) en el que se

proponer una metodologa vlida para el anlisis de este tipo de