O fator de impacto do ISI e a avaliao da produo cientca: aspectos conceituais e metodolgicos

Letcia Strehl
Mestre em comunicao em informao pela UFRGS E-mail: leticia@bc.ufrgs.br

INTRODUO O
No Brasil, atualmente, a crescente demanda por nanciamento de atividades cientcas tem tornado necessrio o estabelecimento de critrios mais exigentes do que aqueles at ento utilizados na avaliao de pesquisadores e instituies. No caso especco da avaliao da excelncia acadmica de um pesquisador, para a qual durante muito tempo foi utilizada como critrio a quantidade de trabalhos publicados, verica-se um consenso de que os parmetros devero contemplar ainda a qualidade das publicaes produzidas. Alm da tradicional avaliao por pares, Meadows (1999, p. 89) destaca que uma forma de avaliar a qualidade de uma publicao consiste em vericar o nvel de interesse dos outros pela pesquisa. O mtodo mais simples para obter esta medida se d por meio da quantidade de citaes dessa pesquisa na bibliograa ulterior. Este modo de avaliao de qualidade feita a partir do impacto das publicaes na comunidade cientca denominado no ramo da bibliometria* e da cientometria** como anlise de citaes, ou estudo de citaes, e tem se difundido mundialmente no mbito das agncias de fomento de pesquisa. Dentre os vrios indicadores bibliomtricos formados a partir de dados de citaes, destaca-se ainda que a identicao do nmero de referncias feitas a um conjunto especco de trabalhos que se deseja qualicar , possivelmente, um processo to relevante de avaliao da atividade de pesquisa, quanto operacionalmente difcil de ser aplicado em agncias de fomento. Essas
*

Resumo
Aborda os conceitos e os mtodos relacionados com o uso do fator de impacto (FI) do Institute for Scientic Information para avaliao da produo cientca publicada em peridicos. Resgata a histria do FI, desde sua formulao inicial at tornar-se objeto de inmeras investigaes sobre as diferenas nos valores do indicador nas vrias reas do conhecimento. Destaca que as variveis que apresentam a maior inuncia sobre o FI so a densidade e o ritmo de obsolescncia dos peridicos. Trata das abordagens sincrnicas e diacrnicas de medir a obsolescncia da literatura, como o ndice de citao imediata, a meia-vida das citaes e o estudo da idade de referncias citadas. Conclui com reexes sobre o sistema de avaliao cientca brasileiro e o papel do SciELO na formulao de indicadores bibliomtricos. Palavras-chave Avaliao da produo cientca; Fator de impacto; Institute for Scientic Information (ISI); Densidade dos artigos; Ritmo de obsolescncia da literatura.

Impact factor od ISI and evaluation of scientic production: conceptual and methodological aspects Abstract
This paper deals with concepts and methods concerning the use of the Impact Factor (IF), as dened by the Institute for Scientic Information (ISI), on the evaluation of scientic production published in specialized journals. The history of IF is discussed from its rst formulation up to the moment when it became the subject of a large amount of investigations regarding the differences among the values for different knowledge areas. It is emphasized that the main variables affecting IF are journal density and their obsolescence rate. The synchronous and diachronous approaches used to measure obsolescence are discussed, such as the immediacy index, half-life of citations and citation age. As a conclusion, the Brazilian system for scientic evaluation is analyzed, as well as the SciELO role on the formulation of bibliometric indicators. Keywords Evaluation of scientic production; Impact factor; Institute for Scientic Information (ISI); Literature density; Literature obsolescence rate.

Bibliometria o estudo dos aspectos quantitativos da produo, disseminao e uso da informao registrada. Desenvolve padres e modelos matemticos para medir esses processos, usando seus resultados para elaborar previses e apoiar tomadas de deciso (TAGUE-SUTCLIFFE, 1992, p. 1). Cientometria o estudo dos aspectos quantitativos da cincia como uma disciplina ou atividade econmica. A cientometria um segmento da sociologia da cincia, sendo aplicada no desenvolvimento de polticas cientcas. Envolve estudos quantitativos das atividades cientcas, incluindo a publicao e, portanto, sobrepondo-se bibliometria (TAGUESUTCLIFFE, 1992, p. 1).
**

Ci. Inf., Braslia, v. 34, n. 1, p.19-27, jan./abr. 2005

19

Letcia Strehl

dificuldades se devem principalmente grande quantidade de documentos envolvidos nessas situaes e as conhecidas inconsistncias dos ndices de citaes e bibliograas. Tendo em vista estas limitaes, os dados de citaes categorizados por peridicos e publicados em forma de indicadores no Journal Citation Reports (JCR) do Institute for Scientic Information (ISI) passaram a ser usados como parmetro de avaliao de pesquisadores e instituies. So publicados anualmente no JCR trs indicadores, por ttulo de peridico: a ndice de citao imediata (immediacy index), a meia-vida das citaes (cited HalfLife) e, nalmente, o ndice bibliomtrico mais conhecido e utilizado, o fator de impacto (impact Factor). mpact Factor medida que o fator de impacto (FI) foi se estabelecendo como critrio de avaliao de publicaes nas mais diversas instncias, foi crescendo igualmente o nmero de pesquisas que passaram a investig-lo sob variadas formas e, invariavelmente, a critic-lo como indicador de influncia das publicaes. Huth (2001, p.16) afirma que o FI representa os resultados finais de um conjunto complexo de variveis. As pessoas que consultam o FI no podem desconsiderar esta complexidade. Considerando estas questes at ento mencionadas e o fato de alguns comits do Conselho Nacional de Desenvolvimento Cientco e Tecnolgico (CNPq) e da Coordenao de Aperfeioamento de Pessoal de Nvel Superior (Capes) j estarem utilizando o FI, pretende-se neste artigo discutir os elementos fundamentais para a compreenso do sentido deste indicador, destacando os principais tpicos tratados nas pesquisas que fomentam uma intensa discusso no mbito da cincia da informao.

oramentos. Em contrapartida, editores de peridicos acompanham a evoluo das medidas de impacto, pois desejam publicar artigos importantes (precisam ser atrativos para os autores) e, conseqentemente, captar os recursos das bibliotecas. Nas agncias de fomento, os responsveis pela elaborao das polticas cientcas so uma audincia assdua do ndice publicado pelo ISI devido necessidade de avaliao dos pesquisadores com parmetros objetivos, identicando as instituies que melhor correspondam s metas e objetivos por eles denidos. Nesse ponto, retornando ao incio do processo, esse interesse dos rgos nanciadores acaba realimentando a necessidade de uso do FI por parte de autores, bibliotecrios e editores. Toda essa histria comeou em 1955, quando o princpio do FI foi pela primeira vez expresso no clssico artigo de Eugene Gareld, publicado na Science. Sobre as caractersticas dos ndices de citaes, o autor destacou: Este tipo de obra particularmente til para pesquisas histricas, quando tentam avaliar a signicncia de um trabalho particular e o seu impacto na literatura e no pensamento de um dado perodo. Deste modo, um fator de impacto pode ser mais representativo do que a conta absoluta do nmero de publicaes de um cientista. Contudo, foi no incio da dcada de 60 que, na prtica, o FI foi utilizado como instrumento de avaliao de qualidade das publicaes. Gareld e Irving H. Sher (1963) criaram naquele perodo o Journal Impact Factor, com o objetivo de desenvolver um mtodo de seleo dos peridicos a serem indexados no ento recm-publicado Science Citation Index (SCI). Envolvidos com a tarefa de avaliao de peridicos, Garfield e Sher perceberam a existncia de um pequeno, mas importante, grupo de peridicos de reviso para os quais, se fosse considerado de forma absoluta o nmero de citaes a eles atribudas, no seria includo no SCI. Desse modo, foi verificado que a composio de um ndice que leve em considerao o nmero citaes s poderia ser utilizado como critrio para a comparao de peridicos de forma normalizada (GARFIELD, 1999). Assim, o FI de determinado peridico (tabela 1) foi denido como a razo entre o nmero de citaes feitas no corrente ano a itens publicados neste peridico nos ltimos dois anos e o nmero de artigos (itens fonte) publicados nos mesmos dois anos pelo mesmo peridico ( (Journal Citation Reports, 1998).
Ci. Inf., Braslia, v. 34, n. 1, p.19-27, jan./abr. 2005

A ORIGEM DO FATOR DE IMPACTO

Pode-se dizer que, em reas cujos assuntos estudados independem, de um modo geral, de questes regionais e que, portanto, os peridicos internacionais constituem o principal veculo de divulgao de resultados de pesquisa, o FI do ISI considerado um elemento determinante no processo de gerao e difuso do conhecimento cientco, tendo em vista sua inuncia no cotidiano de autores, bibliotecrios, editores e administradores da cincia (TODOROV; GLNZEL, 1988; HUTH, 2001). Os autores consideram o valor do indicador para identicar os peridicos que podem acarretar maior prestgio ao seu trabalho. Os bibliotecrios vem o FI como um parmetro para seleo dos ttulos de maior interesse para os cientistas quando precisam alocar os recursos de seus limitados
20

O fator de impacto do ISI e a avaliao da produo cientca: aspectos conceituais e metodolgicos

TABELA 1 Exemplo de clculo do fator de impacto: peridico Nature 1998

Peridico: Fator de Impacto: N. de citaes recebidas em 1998 para os artigos publicados em: Nature 28,833 1996 1997 96+97 N. de artigos publicados em 1996 1997 96+97 Clculo: Citaes recebidas/Nmero de artigos 52.504/1.821 = 28,833 27.999 24.505 52.504 885 936 1.821

1989) e acabou motivando a realizao de inmeras estudos sobre as possveis causas dessas diferenas. Nessas investigaes, muitas variveis foram analisadas como estando relacionadas com o FI: o tamanho dos peridicos (ROUSSEAU; VAN HOOYDONK, 1996; STREHL, 2003), o nmero de autores por artigo (AMIN; MABE, 2000), a data inicial de publicao dos peridicos (DHAWAN; PHULL; JAIN, 1980), a circulao dos peridicos (PERITZ, 1995), o tamanho das reas de pesquisa (HUTH, 2001; COLE; COLE, 1973), entre tantas outras. Contudo, quanto ao efeito do ritmo de obsolescncia da literatura e da densidade dos artigos sobre o indicador que os resultados so mais contundentes. Desse modo, as duas sees subseqentes destinam-se a tratar dessas variveis, mencionando seus aspectos fundamentais.

Fonte:Journal Citation Reports (1998, p. 14)

Com o passar do tempo, os valores do FI passaram a interessar no apenas queles que precisavam selecionar as revistas a serem indexadas no SCI, mas tambm a uma comunidade mais ampla, como se destacou anteriormente. Nesse instante, o ISI passou a publicar o indicador anualmente, criando, em 1975, o Journal Citation Reports (JCR). Com a difuso do uso do FI, vericou-se que os valores do indicador que caracterizam as vrias reas do conhecimento diferem grandemente (gura 1). Esse fato tornou evidente que a avaliao de publicaes cientcas com essa medida s poderia ser feita no mbito das disciplinas especcas (MACROBERTS, MACROBERTS, FIGURA 1 Valores mdios de FI por reas do conhecimento
Matem tica e Cincias da Com putao Cincias Sociais Cincia dos Materiais e Engenharia Cincias Biolgicas Ecologia Cincias da Terra Qum ica e Engenharia Qum ica Fsica Farm cia e Toxicologia Medicina Clnica Neurocincias Biocincias bsicas 0 0,5

O EFEITO DO RITMO DE OBSOLESCNCIA DA LITERATURA NAS DIFERENAS DE FI DAS REAS DO CONHECIMENTO

Retornando histria do FI, destaca-se que Gareld (1972) fez minuciosa anlise da distribuio cronolgica dos itens citados em cada edio anual do SCI, de modo a estabelecer a forma como deveria ser calculado o indicador. De acordo com os dados que obteve, um artigo tpico mais freqentemente citado durante os dois anos subseqentes sua publicao. O autor observou que de 21% a 25% das referncias correspondem a trabalhos publicados nos trs ltimos anos, ou so ainda mais recentes.

1,5 FI 1998

2,5

3,5

Fonte: AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct. 2000.

Ci. Inf., Braslia, v. 34, n. 1, p.19-27, jan./abr. 2005

21

Letcia Strehl

Todavia, essa proporo de citaes a referncias recentes depende da rea em que os trabalhos so publicados. Isso se deve ao fato de que as reas apresentam taxas diferenciadas de obsolescncia. Em outras palavras, podese dizer que o tempo de pertinncia dos conhecimentos produzidos varia de acordo com o ritmo de atualizao de cada um dos diversos ramos do saber, apresentando invariavelmente reexo na idade das referncias citadas nas publicaes. Segundo Sancho (1990), a obsolescncia pode ser denida como a diminuio da utilizao da informao no decorrer do tempo, podendo ocorrer por alguma das seguintes causas: a) a informao vlida, mas foi substituda por outra mais moderna; b) a informao vlida, mas em um campo cientco de interesse decrescente; c) a informao no mais considerada vlida. Para Line e Sandison (1974), o aspecto central do conceito de obsolescncia reside, necessariamente, na relao existente entre uso e tempo. Os autores armam que existem duas maneiras de investigar as vrias formas de manifestao do tempo sobre o uso da literatura. So elas denominadas: estudos sincrnicos e estudos diacrnicos. Basicamente, pode-se dizer que a abordagem sincrnica consiste na anlise da idade das referncias citadas (ou dos materiais utilizados em uma biblioteca, por exemplo) em um dado momento. No enfoque diacrnico, tem-se uma congurao diversa, pois um grupo particular de itens estudado a partir de sucessivas observaes realizadas em diversas datas*. Como pode ser observado na literatura, os estudos sincrnicos so realizados mais freqentemente do que os diacrnicos, pois so mais fceis de conduzir. Na verdade, os estudos diacrnicos emergiram apenas na dcada de 60 com a publicao do SCI, tendo em vista a impossibilidade do acompanhamento das citaes feitas na literatura sem o auxlio deste tipo de ndice (STINSON; LANCASTER, 1987).

Alm do SCI, o ISI criou outros instrumentos importantes para a medida do ritmo de obsolescncia de modo diacrnico, quando passou a publicar no JCR dois indicadores que representam* duas caractersticas importantes da literatura relacionadas com esse fenmeno. So elas: a) a velocidade com que os novos conhecimentos so incorporados literatura, medida pelo ISI por meio do ndice de citao imediata; b) o ritmo de envelhecimento da literatura, representado a meia-vida das citaes (MV). O ndice de citao imediata corresponde ao nmero de vezes que um artigo corrente** de um peridico especco citado durante o ano em que foi publicado (tabela 2). Esse ndice representa a rapidez com que um trabalho citado, sendo que, quanto menor o tempo transcorrido da publicao de um documento e sua citao em outros, maior ser o seu valor. TABELA 2 Exemplo de clculo do ndice de citao imediata: peridico Nature 1998
Peridico: ndice de imediatez: N. de citaes recebidas em 1998 para artigos recebidos em 1998 N. de artigos publicados em 1998 Cculo: Citaes feitas a artigos correntes/ Nmero de artigos correntes 5.828/980 = 5,947 Nature 5,947 5.828 980

Fonte:Journal Citation Reports (1998, p. 15)

Como se pode perceber com os dados das tabelas 1 e 2, os perodos considerados pelo ISI para contar as citaes feitas aos artigos para o clculo do FI e do II so bastante prximos. Como o prprio Gareld (2000) esclarece, isso ocorre porque no s o II, mas tambm o FI colocam em destaque os ttulos que publicam pesquisas correntes, de fronteira. Ao analisar a relao entre os valores de FI e de II, Tomer (1986) constatou que peridicos que apresentam altos II tendem a ter tambm valores altos de FI. Da amostra analisada, 80% dos peridicos comprovaram esta correlao. O principal aspecto da obsolescncia da literatura a meia-vida das citaes. O termo meia-vida das citaes teve origem no conceito fsico de meia-vida dos materiais
4 5

Dada a inuncia do aumento natural da literatura com o passar do tempo, existe uma tendncia a considerar que os resultados obtidos com mtodos diacrnicos sejam mais corretos do que os alcanados com o uso de abordagens sincrnicas. Entretanto, comparando os resultados obtidos em investigaes realizadas com os dois mtodos, Stinson e Lancaster (1987) observaram que as medidas de obsolescncia obtidas com estudos sincrnicos so to precisas quanto as alcanadas com abordagens diacrnicas.
*

Cabe destacar que o FI tambm um indicador diacrncio.

Para o JCR artigos correntes so aqueles publicados no ano de cobertura do JCR.

22

Ci. Inf., Braslia, v. 34, n. 1, p.19-27, jan./abr. 2005

O fator de impacto do ISI e a avaliao da produo cientca: aspectos conceituais e metodolgicos

radioativos. O conceito foi transposto para a rea de cincia da informao pela primeira vez por Burton e Kleber em 1960, para expressar o perodo em que uma pesquisa alcana a metade de sua vida til. Em 1970, Brookes idealizou um mtodo de medida da meia-vida dos peridicos cientcos, que foi logo em seguida adotado sem qualquer ajuste pelo ISI da seguinte forma: a MV o tempo (em anos) para que 50% das citaes recebidas por um peridico apaream na literatura (JCR, 1998) (tabela 3). TABELA 3 Exemplo de clculo da meia-vida das citaes
Peridico citado: Meia-vida das citaes: Percentual cumulativo das citaes recebidas em 1998 para artigos publicados em : 1998/2,02 1993/46,23 Clculo: A meia-vida integral - a soma do nmero de anos a partir do ano atual at o ano em que for registrado menos de 50% das citaes. A frao de meia-vida - usando os dados acima: A subtrair de 50% a percentagem imediatamente abaixo deste valor, B subtrair 50% do valor imediatamente acima de 50%; C- dividir os valores obtidos em A pelos valores obtidos em B, arredondando na primeira casa decimal. 1997/10,53 1992/52,94 1996/20,25 1991/58,27 1995/30,02 1990/63,91 1994/38,53 1989/67,77 Nature 6,6

Alm de medir a obsolescncia, a meia-vida concebida como um indicador da inf luncia dos peridicos, mesmo que menos difundido do que o FI. Como representativa de impacto, a MV se estabelece tendo em vista que uma caracterstica marcante de publicaes importantes no s o fato de serem altamente citadas, mas serem citadas durante um perodo de tempo mais longo do que outras publicaes (MEADOWS , 1999, p. 97). Fazendo-se essas consideraes sobre estes dois indicadores diacrnicos do ISI, d-se seguimento ao tratamento das questes relacionadas com o estudo da obsolescncia, mas considerando agora resultados obtidos com mtodos sincrnicos. Para ilustrar essa abordagem, citam-se a seguir alguns dados (HAMILTON, 1991)* sobre a idade das publicaes referenciadas nas diversas reas do conhecimento (gura 2).
*

Fonte: Journal Citation Reports (1998, p. 16)

Esses dados provocaram uma srie de debates sobre o signicado dos altos percentuais de artigos publicados e nunca citados (HAMILTON, 1990; SCIENCE, CITATION, AND FUNDING, 1991). Entre as discusses, verica-se como sendo o principal motivo de preocupao o estabelecimento de sistemas de promoo acadmica pautados no nmero de trabalhos produzidos por pesquisador. Segundo alguns analistas, esse tipo de sistema encoraja a divulgao de resultados de pesquisa de forma fragmentada, colocando em risco a qualidade das publicaes. Detalhes sobre a contenda podem ser lidos nas referncias de Hamilton (1990) e nas cartas ao editor agrupadas sob o ttulo Science, citation, and Funding (1991).

FIGURA 2 Proporo de artigos indexados** pelo ISI de trabalhos no citados nos primeiros cinco anos aps sua publicao, por rea
Fsica Cincias Biolgicas Medicina Tecnologia Engenharias Artes e hum anidades
Fonte: HAMILTON, David. Research papers: whos uncited now. Science, Washington, v. 251, n. 25, p. 25, jan. 1991. Nessas estatsticas esto todos os tipos de artigos publicados em peridicos indexados pelo ISI, inclusive a chamada marginalia (os resumos de trabalhos apresentados em eventos, os editoriais, os obiturios, as cartas aos editores etc.), que por sua natureza apresenta grande probabilidade de nunca ser citada. A marginalia no considerada como artigo fonte para o clculo do FI, do II e da MV. Deste modo, as informaes veiculadas por Hamilton no podem ser analisadas de forma absoluta, mas servem com um parmetro geral.
**

36,7 38,8 41,3 43,6 46,4 55,5 56,2 58,2 72,3 74,7 98

Ci. Inf., Braslia, v. 34, n. 1, p.19-27, jan./abr. 2005

23

Letcia Strehl

Na denio da forma sincrnica de medir a obsolescncia, tem-se que, quanto maior o nmero de referncias recentes citadas nos artigos de um dado peridico, maior o ritmo de obsolescncia das informaes por ele veiculadas e vice-versa. Utilizando-se essa abordagem, ca ainda mais evidente a relao existente entre obsolescncia e FI. Se o clculo do indicador feito com base nos dados das citaes feitas aos artigos nos trs primeiros anos aps a publicao, as reas como as cincias sociais e humanidades e os setores da cincia aplicada, como as engenharias e a computao, que apresentam altssima proporo de trabalhos que no so citados nos cincos primeiros anos aps sua publicao (gura 2), tero conseqentemente impacto muito menor (gura 1) do que as publicaes das disciplinas de cincias biolgicas e fsica, que geralmente so citadas assim que publicadas. Quando informaes de igual natureza so analisadas, mas focalizando subreas de uma nica grande disciplina, vem-se novamente as mesmas diferenas, mesmo que em menor proporo. o caso, por exemplo, de duas subreas da fsica: a fsica atmica, molecular e qumica e a fsica da matria condensada (STREHL, 2003; HAMILTON, 1991). Nessa comparao, observa-se que, dos artigos que tratam sobre o primeiro assunto, apenas 9 % no so citados nos cinco primeiros anos aps sua publicao, e seu impacto mdio de 1,7. No caso da fsica da matria condensada, tm-se valores proporcionalmente muito

inferior para estas duas variveis: o ndice de no citao corresponde a 19% e o FI a 1,3*. Aplicando-se essa anlise de maneira a vericar a inuncia das diferenas de nvel de obsolescncia nos valores de FI de ttulos especcos de peridicos, obtm-se resultados ainda mais esclarecedores, como mostra a gura 3. Esses dados apresentados por Gmez e Bordons (1996, p. 25) mostram que o clculo do impacto tendo como referncia os dois ltimos anos aps a publicao de um artigo contempla 28% das citaes feitas ao Journal of Virology e somente 8% das citaes atribudas ao IEEE Transactions on Communications. Desse modo, observa-se que o FI do primeiro ttulo 6,4 vezes superior ao segundo. Se fosse considerado um perodo de cinco anos para a realizao do clculo, a diferena de valores de FI cairia para 3,7. Cabe salientar que os ttulos selecionados pelos autores ocupam o primeiro lugar do ranking de FI de suas subreas (virologia e telecomunicaes). Espera-se mostrar, com essa descrio, que existe grande diculdade para utilizao do FI para avaliar publicaes de ramos distintos do conhecimento. Entretanto, o dimensionamento dessas diculdades no pra por aqui. Alm da obsolescncia, Gareld (1997; 1999) aponta
Estes dados consideram apenas os peridicos que publicam resultados completos de pesquisa, excluindo os peridicos de reviso e as comunicaes rpidas.
*

FIGURA 3 Distribuio anual das citaes feitas aos artigos publicados em peridicos de disciplinas cientcas distintas

18 16 14 12 10 8 6 4 2 0

1994

1993

1992

1991

1990

1989

1988

1987

1986

1985

J. Virol.

IEEE T. Telc

Fonte: GMEZ CARIDAD; Isabel, BORDONS CANGAS, Mara. Limitaciones en el uso de los indicadores bibliomtricos para la evaluacin cientca. IN: POLITICA Cientica. Madrid: Comission Internacional de Ciencia Y Tecnologa, 1996. v. 46, p. 26.

24

Ci. Inf., Braslia, v. 34, n. 1, p.19-27, jan./abr. 2005

O fator de impacto do ISI e a avaliao da produo cientca: aspectos conceituais e metodolgicos

ainda a densidade como uma varivel fortemente correlacionada com os valores de FI, como mostra a seo seguinte.

A DENSIDADE COMO FATOR INDICATIVO DO POTENCIAL ABSOLUTO DE CITAES

A densidade de uma publicao denida como o nmero mdio de referncias citadas nos artigos de um dado peridico (GARFIELD, 1999). J em 1965, a incidncia de referncias em publicaes seriadas foi exaustivamente analisada por Price em seu artigo clssico intitulado Network of Scientic Papers. Nesse estudo, foi vericado que, em mdia, um artigo contm aproximadamente 15 referncias bibliogrcas; destas, cerca de 12 so de outras publicaes seriadas e trs correspondem a citaes de informaes publicadas em livros, teses, relatrios ou manuscritos. Em estudo mais detalhado, Narin*, citado por Macroberts e Macroberts (1989), observou que o nmero mdio de referncias citadas por artigos varia de acordo com a rea do conhecimento e, o mais importante, que o nmero de citaes feitas aos artigos varia de forma proporcional densidade. As diferenas entre as disciplinas representadas na gura 1 deste artigo, cujo foco o FI, foram identicamente obtidas por Narin com os dados de densidade e citaes: as reas de engenharia, tecnologia e matemtica caracterizam-se por citar poucas referncias por artigo e, em mdia, por receberem poucas citaes, apenas entre cinco e seis. Psicologia e biologia compem o segundo grupo, apresentando entre 8 e 10 referncias e citaes por publicao. O grupo seguinte constitudo de astronomia, geologia, fsica, qumica e medicina clnica, todas caracterizadas por publicarem artigos com 12 a 15 referncias e por receberem em mdia o mesmo nmero de citaes. Finalmente, tem-se o campo da pesquisa biomdica com nmero superior de referncias e citaes: entre 18 e 20 por publicao. Outros dados que conrmam o relacionamento existente entre FI, densidade e obsolescncia so obtidos por Moed et alii (1985) e merecem uma leitura aprofundada para os interessados no assunto. Encaminhado este artigo para suas concluses, destaca-se que, segundo Gareld (1997), existem muitos mitos sobre o FI. A correlao do indicador com um sem-nmero de variveis feita na literatura , para o autor, nada mais do que especulao. Na realidade, as nicas variveis realmente assumidas por Gareld como correlacionadas
NARIN, F. Evaluative bibliometrics: the use of publication and citation analysis in the evaluation of scientic activity. Cherry Hill: Computer Horizons, 1976.
*

com o impacto do ISI so o nmero de referncias recentes por artigo e a densidade, pois, para ele, elas correspondem medida mais precisa do potencial de citao de cada rea. Independentemente dessa convico do criador do FI, as pesquisas continuam, e a complexidade do signicado e das implicaes do uso do indicador na avaliao da produo cientca so sempre rearmadas.

CONSIDERAES FINAIS: REFLEXES SOBRE A AVALIAO NO CONTEXTO BRASILEIRO

A avaliao da atividade cientca sempre constituiu tarefa difcil. Em tempos em que os diversos ramos do saber mesclam seus objetos, teorias, mtodos e tcnicas para produzir novas formas de ver a realidade, o desao parece inimaginvel. Em contrapartida, os parmetros quantitativos complementares s avaliaes por pares, geralmente deduzidos de dados de produtividade cientca, tm sido afetados grandemente pelas modicaes trazidas pelas tecnologias da informao. a era dos arquivos abertos, dos bancos de pr-prints e publicaes eletrnicas, pr modicando os meios pelos quais so divulgados resultados de pesquisa. Na via oposta desta realidade, est o sonho de muitos administradores da cincia em localizar uma medida simples e objetiva da performance acadmica (ADAMS, 2002). Entretanto, nos tradicionais centros de produo cientca, essa iluso tem sido substituda pelo investimento constante em investigaes sobre indicadores e caractersticas das publicaes produzidas em contextos especcos. So exemplos de instituies que desenvolvem estes tipos de avaliao a National Science Foundation dos Estados Unidos*, The Centre for Science and Technology Studies (CWTS**) e a Hungarian Academy of Sciences***. No caso brasileiro, a diculdade inerente a esse processo avaliativo acentuada pela falta de polticas cientcas nacionais; avaliadores precisam qualicar a produo intelectual a partir de padres presumidamente absolutos de qualidade acadmica. Mesmo que eles realmente existam, so difceis de quanticar em larga escala e no resolvem a questo da prioridade cientca. O sistema de avaliao cientca brasileiro padece pela falta de informao sobre as caractersticas das publicaes nacionais e pela proliferao de artigos publicados em
* ** ***

http://www.nsf.gov/ http://www.cwts.nl/scripts/index.pl http://www2.mta.hu/index.html

Ci. Inf., Braslia, v. 34, n. 1, p.19-27, jan./abr. 2005

25

Letcia Strehl

peridicos que no passam do primeiro fascculo. As reas que produzem conhecimentos de interesse regional dispem, em sua maioria, de canais de pouca tradio para divulgar seus resultados de pesquisa. As diculdades, basicamente de ordem nanceira, enfrentadas por editores cientcos no Brasil (STUMPF, 1994) so as principais razes para explicar a falta de publicaes solidamente estabelecidas. Em 1998, a implementao da biblioteca virtual SciELO (Scietific Electronic Library Online)* ampliou as perspectivas das publicaes nacionais no que se refere aos vrios aspectos envolvidos na realidade editorial, desde a preparao e disseminao at a avaliao de publicaes (PACKER, 1998). Dentro da linha seguida no artigo, destaca-se particularmente que a parte da metodologia SciELO que se dedica avaliao tem avanado na produo de dados sobre as caractersticas de nossas publicaes brasileiras. As estatsticas sobre o uso dos peridicos, a categorizao das informaes feitas aos e nos artigos indexados no SciELO, juntamente com a avaliao de qualidade de publicaes feita no Programa Qualis da Capes**, tm contribudo no apenas para a identicao do conhecimento produzido no Brasil, mas tambm para a denio de seu impacto nas comunidades cientcas. Todavia, a produo recente de dados sobre as publicaes brasileiras e a formulao de indicadores bibliomtricos deve ser acompanhada da conscincia sobre a capacidade limitada de apreenso da realidade desse tipo de instrumento de avaliao. A necessidade de formao dessa conscincia exemplicada a partir das discusses feitas sobre o FI nas sees anteriores deste artigo, quando se demonstrou a existncia de complexa rede de fatores associados forma como o ISI calcula o impacto dos peridicos. Considera-se que a demanda pelo aperfeioamento do processo avaliativo da atividade de pesquisa decorrente do crescimento e do amadurecimento da cincia brasileira requer no somente o desenvolvimento de critrios rigorosos, mas, ainda, de parmetros sensveis s caractersticas do conhecimento produzido nas diversas reas do saber. Caso contrrio, as possibilidades de estabelecimento de condies injustas de avaliao ampliam-se e tornam-se obstculo para o avano cientco nacional. Artigo recebido em 15/03/2005 e aceito para publicao em 15/08/2005.
* **

REFERNCIAS ADAMS, D. The couting house. Nature, v. 415, p. 726-729, Feb. 2002. AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in publising, Amsterdam, n. 1, p. 1-6, Oct. 2000. BROOKES, B. C. The growth, utility, and obsolescence of scientic periodical literature. Journal of Documentation, London, v. 23, n. 4, p. 283-294, Dec. 1970. BURTON, R. E.; KLEBER, R.W. The half-life of some scientic and technical literatures. American Documentation, v. 2, n. 1, p. 18-22, Jan. 1960. COLE, Jonathan; COLE, Stephen. Measuring the quality of scientic research. In: _________. Social stratication in science. Chicago: The University of Chicago Press, c1973. cap. 2, p. 21-36. DHAWAN, S. M.; PHULL, S. K.; JAIN, S. P. Selection of scientic journal: a model. Journal of Documentation, London, v. 36, n. 1, p. 2432, Mar. 1980. GARFIELD, Eugene. Citation analysis as a tool in journal evaluation: journals can be ranked by frequency and impact of citations for science policy studies. Science, Washington, v. 178, n. 4060, p. 471-479, Nov. 1972. _________. Citation indexes for science: a new dimension in documentation through association of ideas. Science, Washington, v. 122, n. 3159, p. 108-111, July 1955. _________. Citation indexing: its theory and application in science, technology, and humanities. New York: Wiley & Sons, 1979. _________. Dispelling a few common myths about journal citation impacts. The Scientist, v. 11, n. 3, p. 11, Feb. 1997. Disponvel em: <http://www.the- scientist.com/yr1997/ feb/comm_970203.html>. Acesso em: 27 dez. 2001. _________. Journal impact factor: a brief review. Canadian Medical Association Journal, v. 161, n. 8, p. 979-980, Oct. 1999. Disponvel em: <http://www.cma.ca/cmaj/vol-161/issues-8/0979.htm>. Acesso em: 9 jul. 2001. _________. Use of Journal Citation Reports and Journal Performance Indicators in measuring short and long term journal impact. Croatian Medical Journal, Lengerich, v. 41, n. 4, p. 368-374, 2000. Disponvel em: < http://www.cmj.hr/2000/4104/02.pdf >. Acesso em: 16 out. 2004. _________; SHER, I. H. New factors in the evaluation of scientic literature through citation indexing. American Documentation, New York, v. 14, n. 3, p. 195-201, July 1963. GMEZ CARIDAD, Isabel; BORDONS CANGAS, Mara. Limitaciones en el uso de los indicadores bibliomtricos para la evaluacin cientca. In: POLITICA Cientica. Madrid: Comission Internacional de Ciencia Y Tecnologa, 1996. v. 46, p. 21-26. HAMILTON, David. Publishing by and for? the numbers. Science, Washington, v. 250, n. 4986, p. 1331-1332, Dec. 1990. _________. Research papers: whos uncited now. Science, Washington, v. 251, n. 25, p. 25, Jan. 1991.

A base de dados do SciELO est disponvel em: http://www.scielo.br http://qualis.capes.gov.br/

26

Ci. Inf., Braslia, v. 34, n. 1, p.19-27, jan./abr. 2005

O fator de impacto do ISI e a avaliao da produo cientca: aspectos conceituais e metodolgicos

HUTH, Edward J. Authors, editors, policy makers and the impact factor. Croatian Medical Journal, Lengerich, v. 42, n. 1, p. 14-17, 2001. JOURNAL of citation reports. Philadelphia: Institute for Scientic Information, 1998. LINE, M. B.; SANDISON, A. Obsolescence and changes in the use of literature with time. Journal of Documentation, London, v. 30, n. 3, p. 283-350, Sept. 1974. MACROBERTS, M. H.; MACROBERTS, B. R. Problems of citation analysis: a critical review. Journal of the American Society for Information Science, Washington, v. 40, n. 5, p. 342-349, 1989. MEADOWS, A. J. A comunicao cientca. Braslia: Briquet de Lemos, 1999. viii, 268 p. MOED, H. F. et al. The applications of bibliometric indicators: important eld and time dependent factors to be considered. Scientometrics, Amsterdam, v. 8, n. 3/4, p. 177-203, 1985. PACKER, Abel Laerte. O SciELO: uma metodologia para publicao eletrnica. Cincia da Informao, Braslia, v. 27, n. 2, p. 109-121, maio/ ago. 1998. PERITZ, Bluma C. On the association between journal circulation and impact factor. Journal of Information Science, v. 21, n. 1, p. 63-67, 1995. PRICE, Derek J. de Solla. Networks of scientic papers: the pattern of bibliographic references indicates the nature of the scientic research front. Science, Washington, v. 149, n. 3683, p. 510-515, July 1965. ROUSSEAU, Ronald; VAN HOYDONK, Guido. Journal of production and journal impact factors. Journal of the American Society for Information Science, v. 47, n. 10, p. 775-780, July 1996. SANCHO, Rosa. Indicadores bibliometricos utilizados en la evaluacion de la ciencia y la tecnologia: revision bibliograca. Revista Espaola de Documentacin Cientica, v. 13, n. 3/4, p. 842-865, 1990. [SCIENCE, citation and funding: letters]. Science, Washington, v. 251, n. 5000, p. 1408-1409, Mar. 1991. STINTON, E. R.; LANCASTER, F. W. Synchronous versus diachronous methods in the measurement of obsolescence by citation studies. Journal of Information Science, v. 13, p. 65-74, 1987. STREHL, Letcia. Relao entre algumas caractersticas de peridicos de fsica sticas dicos fsica e seus fatores de impacto. Orientao Ida R.C. Stumpf. 2003. Dissertao (Mestrado em Comunicao e Informao)- Programa de Ps-graduao em Comunicao e Informao da Universidade Federal do Rio Grande do Sul, Rio Grande do Sul, 2003. Disponvel em: <http://143.54.1.39:4505/ ALEPH/J761SA1I7AQ5BPJB51Q21QDX8RMR1UPT9ALA821KUNPB69 8XTB-02399/ le/service-0?P01=000369234&P02=0016&P03=TAG>. Acesso em: 15 nov. 2004. STUMPF, Ida Regina Chitto. Revistas universitrias : projetos inacabados. 1994. Tese (Doutorado em Comunicao)- Curso de Ps-Graduao em Cincias da Comunicao da Universidade de So Paulo, So Paulo, 1994. TAGUE-SUTCLIFFE, J. An introduction to infometrics. Information Processing & Management, Oxford, v. 28, n. 1, p. 1-3, 1992. TODOROV, R.; GLNZEL, W. Journal citation measures: a concise review. Journal Information Science, Amsterdam, v. 14, p. 47-56, 1988. TOMER, Christinger. A statistical assessment of two measures of citation: the impact factor and the immediacy index. Information Processing & Management, Oxford, v. 22, n. 2, p. 251-58, 1986.

Ci. Inf., Braslia, v. 34, n. 1, p.19-27, jan./abr. 2005

27