Arq Bras Cardiol volume 71, (n 4), 1998

Paes AT Conferncia Itens essenciais em bioestatstica

Itens Essenciais em Bioestatstica

ngela Tavares Paes
So Paulo, SP

Provavelmente, desde o sculo XVII 1, as cincias da sade vm recorrendo estatstica como instrumento para a anlise de fenmenos biolgicos. Neste longo perodo, muitos conceitos e mudanas surgiram nos dois campos do conhecimento. Por um lado, os estatsticos comearam a desenvolver tcnicas, motivados principalmente pela sua aplicao, por outro, os mdicos passaram a dar nfase mensurao como estratgia de anlise cientfica e, assim, a medicina progressivamente sofisticou suas anlises quantitativas. Nas ltimas dcadas, esta progresso foi vertiginosa apoiada pelo crescimento da atividade cientfica em todos os campos e pela revoluo tecnolgica representada particularmente pelos computadores eletrnicos. Estimulada pelos desafios das cincias da sade, a estatstica respondeu to vigorosamente que uma nova disciplina, a bioestatstica, emergiu em seu meio, organizando um referencial terico prprio e gerando uma grande variedade de conceitos, mtodos e tcnicas de anlise. Para ser abordado, este universo to vasto requer, inequivocamente, um estudo por partes, o que se busca neste artigo com a seleo de alguns itens para discusso.

Nvel descritivo (p-value)

Na grande maioria dos artigos cientficos as concluses so baseadas nele; atualmente so raros os que no o utilizam; pesquisadores so vidos para o revelarem, mas afinal o que o valor do p? O valor do p ou p-value conhecido na estatstica como nvel descritivo e est associado ao que chamamos de testes de hipteses 2. Portanto, para falar sobre isso necessrio uma breve introduo aos principais conceitos. Podemos definir como hipteses questes levantadas relacionadas ao problema em estudo e que, se respondidas, podem ajudar a solucion-lo. O papel fundamental da hiptese na pesquisa cientfica sugerir explicaes para os fatos. Uma vez formuladas as hipteses, estas devem ser comprovadas ou no atravs do estudo com a ajuda de testes estatsticos. Num teste estatstico so formu-

Instituto Dante Pazzanese de Cardiologia So Paulo Correspondncia: ngela Tavares Paes Laboratrio de Epidemiologia e Estatstica Av. Dr. Dante Pazzanese, 500 04012-180 So Paulo, SP Recebido para publicao em 9/6/98 Aceito em 11/7/98

ladas duas hipteses chamadas hiptese nula (H0) e hiptese alternativa(H1). Hiptese nula aquela que colocada prova, enquanto que hiptese alternativa aquela que ser considerada como aceitvel, caso a hiptese nula seja rejeitada. A grosso modo, nos problemas mais simples da rea mdica, a hiptese nula est associada uma igualdade entre mdias ou propores que podem indicar a no associao (independncia) entre fatores de interesse. Por exemplo, num estudo sobre fatores de risco para doenas cardiovasculares, uma hiptese nula poderia ser a proporo de doentes cardiovasculares entre hipertensos igual proporo entre no hipertensos ou a chance da doena a mesma para hipertensos e no hipertensos. Isto implicaria em dizer que no existe associao entre hipertenso e doena cardiovascular. Outro exemplo, desta vez considerando igualdade de mdias, pode ser descrito por um estudo sobre tempo de recuperao de pacientes transplantados. Supondo que desejamos comparar trs procedimentos cirrgicos diferentes, uma possvel hiptese seria o tempo mdio de recuperao o mesmo nos trs procedimentos cirrgicos, ou seja o tipo de procedimento cirrgico no influencia no tempo de recuperao do paciente. Todo teste de hiptese possui erros associados a ele. Um dos mais importantes chamado erro do tipo I que corresponde rejeio da hiptese nula quando esta for verdadeira. No exemplo da doena cardiovascular, a probabilidade do erro do tipo I seria a probabilidade de concluir que h associao quando na verdade no h, ou seja, concluir uma associao que no existe (que devida ao acaso). No exemplo do tempo de recuperao, o erro do tipo I corresponderia a dizer que o tipo de procedimento cirrgico influencia no tempo de recuperao quando na realidade o tempo mdio o mesmo nos trs procedimentos. A probabilidade do erro do tipo I chama-se nvel de significncia e expressa atravs da letra grega . Os nveis de significncia usualmente adotados so 5%, 1% e 0,1%. Formalmente, o nvel descritivo (p) definido como o menor nvel de significncia () que pode ser assumido para se rejeitar H 0, porm esta interpretao no simples at mesmo para os estatsticos. Considerando, de maneira muito generalizada, que os pesquisadores ao rejeitarem a hiptese nula costumam dizer que existe significncia estatstica ou que o resultado estatisticamente significante, poderamos definir o nvel descritivo (p) como a probabilidade mnima de erro ao concluir que existe significncia estatstica. 575

Paes AT Itens essenciais em bioestatstica

Arq Bras Cardiol volume 71, (n 4), 1998

importante ressaltar que o nvel de significncia () um valor arbitrado previamente pelo pesquisador, enquanto que o nvel descritivo (p) calculado de acordo com os dados obtidos. Fixado e calculado o p, a pergunta : ser que posso dizer com segurana que o resultado estatisticamente significante?. Para responder esta questo necessrio avaliar se a probabilidade de erro aceitvel ou no, isto , se o valor do p pequeno o suficiente para concluir que existe significncia estatstica dentro de uma margem de erro tolervel. Mas saber o que pequeno ou grande depende do nvel de significncia adotado, portanto a deciso do pesquisador sempre estar baseada na comparao entre os dois valores. Se o valor do p for menor que o nvel de significncia () deve-se concluir que o resultado significante pois o erro est dentro do limite fixado. Por outro lado, se o valor de p for superior significa que o menor erro que podemos estar cometendo ainda maior do que o erro mximo permitido, o que nos levaria a concluir que o resultado no significante pois o risco de uma concluso errada seria acima do que se deseja assumir. Segue abaixo um esquema que resume a regra de deciso descrita. p-value < rejeito H 0 diferena

mais valioso e informativo expressar as concluses atravs do valor exato do p em vez de apenas menor ou maior que o nvel de significncia () fixado.

Intervalos de confiana
Mdias, medianas, modas so chamadas estimativas pontuais pois correspondem a um nico valor que estima caractersticas de um grupo sob estudo. Existem tambm as estimativas por intervalos que so expressas por um limite inferior e um superior entre os quais acredita-se estar o verdadeiro valor do parmetro. Por exemplo, num estudo em pacientes hipertensos pode-se dizer que a presso arterial (PA) mdia 87, 5 variando de 85,7 a 89,3 (intervalo de confiana = [85,7; 89,3]). Uma das utilidades dos intervalos dar a idia da disperso ou variabilidade das estimativas. Um intervalo muito grande indica que a estimativa calculada no to acurada quanto outra com intervalo menor, ou seja, quanto maior a amplitude do intervalo menor a confiabilidade da estimativa. Existem vrios mtodos para expressar intervalos, sendo exemplos o valor mximo e o valor mnimo e os intervalos de percentis, como o intervalo 25% - 75%. O mais conhecido e talvez o mais correto seja o intervalo de confiana 3 que permite incorporar uma probabilidade de erro. Esta probabilidade de erro inferida a partir de um conhecimento do modelo de distribuio de freqncias do fenmeno estudado. O modelo que mais habitualmente se ajusta ocorrncia de fenmenos biolgicos o de distribuio normal, cujo intervalo de confiana envolve para sua construo o conhecimento da varincia (que permite o clculo do desvio padro). Os intervalos podem ser construdos com diferentes coeficientes de confiana, sendo em geral mais utilizados os intervalos de confiana de 95% ou 99%. A cada coeficiente corresponde um valor crtico da distribuio, que uma medida de distncia da estimativa pontual que se expressa em unidades de desvios padro. Abaixo descrevemos informalmente a frmula geral dos intervalos de confiana.

p-value > no rejeito H 0 igualdade p-value resultado estatisticamente significante A grande vantagem de se utilizar o nvel descritivo a possibilidade de quantificar a significncia, ou seja, no lugar de uma resposta do tipo sim ou no temos a informao de quanto. Considere os exemplos da tabela abaixo: p-value resultado no significante

----------- | ------------------- | ------------------- | -----------

Resposta usual (*) ou p < 0,05 n.s.

p-value p=0,0002 e p=0,048 P=0,085 e p=0,987 IC = estimativa pontual + valor crtico da distribuio * desvio padro da estimativa

Note que no 1 exemplo os dois resultados so significantes, porm o valor de 0,0002 expressa uma significncia muito maior do que 0,048. Alm disso, este ltimo valor muito prximo ao nvel usual de 5%, o que pode causar dvidas ou ressalvas na tomada de deciso. No 2 exemplo temos dois resultados no significantes. O 2 valor (0,987) praticamente no expressa significncia estatstica nenhuma pois o erro de quase 100%. J o 1 (0,085) embora no seja significante ao nvel de 5% um valor bastante indicativo. Portanto, muito 576

Quando se constri um intervalo de confiana para se descrever a variabilidade de uma medida, o desvio padro utilizado o desvio padro da medida em questo. Quando se constri um intervalo de confiana para valores possveis para uma estimativa pontual, por exemplo, uma mdia, o desvio padro utilizado uma estimativa de desvio padro para uma suposta srie de medidas de mdias. Este um caso especial de desvio padro que recebe o nome de erro padro da mdia. Exemplos:

Arq Bras Cardiol volume 71, (n 4), 1998

Paes AT Itens essenciais em bioestatstica

Intervalo de confiana de 95% (Valor crtico 2) PAD mdia 87,53 Estimativa pontual = mdia [85,72 Estimativa pontual valor crtico x erro padro 89,34] Estimativa pontual + valor crtico x erro padro

Intervalo de confiana de 95% (Valor crtico 2) % hipertensos 23,15% Estimativa pontual = proporo [19,85% Estimativa pontual valor crtico x erro padro 26,45% ] Estimativa pontual + valor crtico x erro padro

comum em artigos mdicos os valores de medidas estarem expressos na forma de mdias mais ou menos desvio padro, como por exemplo 87,54,8. A reao natural do leitor subtrair e somar este valor e interpretar como limites de intervalo de confiana. Porm, este clculo corresponde a se criar um intervalo de confiana de 65%, correspondente ao valor crtico de 1 desvio padro, e leva a um intervalo muito menor do que o habitual intervalo de confiana de 95%, cujo valor crtico de aproximadamente 2. Alm de informar sobre a variabilidade/disperso de estimativas pontuais, os intervalos de confiana podem tambm expressar a significncia estatstica dos testes referentes s comparaes. Por exemplo, num teste de comparao de duas mdias, um intervalo de confiana para a diferena entre as mdias que contm o valor zero indica que a diferena no significante, ou seja, que no existe diferena entre as mdias. J em uma comparao de propores em que se deseja estimar o risco relativo, a ausncia de significncia se d quando o intervalo para o risco relativo contm o valor 1, pois isto indica que as duas propores podem ser iguais. Exemplos:
Comparao entre duas mdias mdia 1 53,4 45,9 mdia 2 62,8 47,2 dif. -9,4 -1,3 IC 95% p/dif. [7,6 ; 11,2] [-3,3 ; 0,30] Obs. no contm o valor 0 (mdias diferentes) contm o valor 0 (mdias iguais)

94

92

90

88

95% CI PAM

86

84
N = 144 188 148

Ate' 55 anos

55 a 70 anos Faixa etria

Mais de 70 anos

Grfico I - Comparao entre trs grupos de idade em relao presso arterial mdia. Fonte: Instituto Dante Pazzanese de Cardiologia pacientes submetidos cirurgia cardaca entre 1993 e 1994

co para comparar as trs mdias indicaria que no existe diferena entre os dois primeiros grupos e que pacientes do 3 grupo tem PA mdia maior que nos outros dois. Podemos analisar tambm atravs de grficos, intervalos de confiana para riscos relativos. Neste caso, costumase traar a linha que passa pelo valor 1 e so considerados significativos os riscos relativos correspondentes aos intervalos que no cruzarem com esta linha, isto , que no contiverem o valor 1. O exemplo a seguir baseado em um estudo cujo objetivo identificar fatores de risco para impotncia sexual em pacientes cardiopatas 4. Observe que, entre as variveis

Estimao de risco relativo odds ratio 2,13 1,25 IC 95% p/odds [ 1,58 ; 2,68 ] [0,48 ; 2,02] Obs. no contm o valor 1 (h risco) contm o valor 1 (no h risco)
1,8

1,6

Uma maneira bastante eficiente de resumir resultados de comparaes de mdias analisar os intervalos de confiana graficamente. O exemplo a seguir refere-se comparao entre pacientes de trs faixas etrias (at 55 anos, 55 a 70 anos e mais de 70 anos) com relao PA diastlica mdia. Note que entre os dois primeiros grupos existe uma grande superposio dos intervalos enquanto que o intervalo correspondente ao grupo dos pacientes com mais de 70 anos no se sobrepe, ou seja, o limite inferior deste intervalo ainda maior que o limite superior dos demais. Isto implica que provavelmente um teste estatsti-

1,4

Diabetes
1,2

IAM prvio

Dislipidemia
0,8

Hipertenso Tabagismo

0,6

0,4 0 1 2 3 4 5 6

Grfico II - Avaliao dos fatores de risco para impotncia sexual.

577

Paes AT Itens essenciais em bioestatstica

Arq Bras Cardiol volume 71, (n 4), 1998

investigadas, apenas os intervalos referentes a diabetes e infarto agudo do miocrdio prvio no passam pela linha do 1, ou seja, a influncia desses fatores na chance de impotncia sexual considerada significante a um nvel de 5%.

Relevncia clnica x significncia estatstica

No se pode acreditar cegamente em tudo que os testes estatsticos mostram 5. O que o mdico deve se perguntar ao interpretar os resultados de uma pesquisa os resultados obtidos so relevantes do ponto de vista clnico?. Muitas vezes um resultado estatisticamente significante pode no ser clinicamente importante. Por exemplo, um teste de comparao de mdias pode detectar uma diferena de 2mmHg na PA como sendo altamente significante apesar desta diferena no ter nenhuma implicao clnica. Portanto, a importncia em termos biolgicos no deve ser julgada pelos estatsticos, mas sim pelos profissionais da rea em que a pesquisa est sendo feita. A figura a seguir 6 mostra cinco tipos de resultados, expressos em termos de intervalos de confiana, que exemplificam diferentes situaes. A linha horizontal cheia corresponde ao valor que, se presente no intervalo, indica que o resultado no estatisticamente significante - intervalo de confiana da diferena incluindo o valor zero. Por exemplo, num teste estatstico que compara duas mdias, o intervalo referente diferena entre elas no deve conter o valor zero. A linha pontilhada representa o valor a partir do qual a diferena considerada importante na prtica. No exemplo da PA, o mdico pode optar por considerar relevante apenas as diferenas acima de 5 ou 10mmHg. Assim, so considerados estatisticamente significantes os intervalos que no cruzam com a linha cheia. No entanto, somente aqueles que ultrapassam o limite da relevncia clnica (linha horizontal pontilhada) que devem ser de fato considerados relevantes. Desta forma podemos analisar as cinco situaes representadas na figura. A situao (a) mostra um resultado considerado definitivamente importante, pois alm de significante, todo o intervalo est acima do que considerado clinicamente relevante. A situao (b) corresponde a um resultado que estatisticamente significante mas cujo intervalo cruza com a linha da relevncia, ou seja, no se pode afirmar com certeza que o resultado seja relevante mas este possivelmente um resultado importante. O 3 caso (c) traduz um dos erros mais freqentes em pesquisas na rea mdica. Mostra um resultado que apesar de significante do ponto de vista estatstico, no tem relevncia clnica nenhuma pois o limite superior do intervalo ainda inferior ao valor considerado importante. Muitas vezes isto no levado em considerao pelo clnico que toma concluses baseadas nos resultados estatsticos sem avaliar a real importncia da diferena detectada. Os dois ltimos casos correspondem a resultados no significantes. Como j foi observado no item anterior intervalos com grande amplitude correspondem a estimativas pouco precisas. Isto acontece na situao (d) que mostra 578

Intervalos de confiana e as cinco possveis interpretaes sobre significncia estatstica e importncia prtica 6 .

um intervalo bastante impreciso. Isto torna o resultado inconclusivo pois o verdadeiro valor pode estar tanto abaixo do valor estatstico quanto acima do clnico. J o ltimo caso representa um resultado que chamamos de verdadeiro negativo, pois ambas as concluses coincidem. Por outro lado, existe tambm a situao inversa. Um resultado que no seja estatisticamente significante pode ser muito importante, no devendo ser desconsiderado. O exemplo abaixo corresponde a um estudo que examinou complicaes ps-operatrias em trs tipos de interveno cirrgica para uma patologia congnita rara das vias hepticas 7. O teste de comparao de mdias indicou que no havia diferena significante, porm pode-se notar que o procedimento do tipo C registra uma freqncia de ocorrncia de complicaes muito menor que a dos outros grupos. Provavelmente, uma eventual diferena significante entre os grupos no pode ser registrada devido ao pequeno nmero de observaes, mas por se tratar de doena rara no resta ao investigador a opo de aguardar um maior nmero de casos para uma reanlise de seus dados. Seria insensato, e provavelmente antitico, ignorar as evidncias disponveis de superioridade da interveno do tipo C. Ainda que os resultados tenham sido obra do acaso como sugere a anlise estatstica, ao mdico compete orientar sua prtica de acordo com os conheci-

1.2 1.0

Incidncia de complicaes

.8 .6 .4 .2 0.0 -.2 -.4

N= 34 7 7

Tipo de interveno

Arq Bras Cardiol volume 71, (n 4), 1998

Paes AT Itens essenciais em bioestatstica

mentos que dispe, ainda que se mantenha alerta para eventuais mudanas luz de novas evidncias. Portanto, no se deve fechar os olhos para um resultado que no seja significativo, preciso levar em conta tambm a importncia do objeto que est sendo estudado.

O tamanho da amostra
Uma pergunta muito freqente em estudos na rea qual deve ser o tamanho da minha amostra?. Esta uma questo delicada e muitas vezes polmica. Considere o seguinte exemplo: se nos fosse perguntado quanto de dinheiro preciso levar para as minhas frias? a resposta imediata seria depende. Depende do lugar que deseja ir, quanto tempo pretende ficar, quantas pessoas, qual o meio de transporte e, claro, entre outros detalhes, qual o dinheiro disponvel. Da mesma forma, arbitrar um tamanho adequado de amostra envolve conhecimento da natureza das medidas realizadas, do plano de anlise, do nvel de erro aceitvel para estimativas etc. H com freqncia uma nfase excessiva ao clculo do tamanho de amostra em detrimento da concepo cuidadosa de um plano amostral 8, que so as estratgias a serem adotadas para garantir que a amostra a ser estudada seja representativa do universo real do fenmeno a ser estudado. Os vcios 9 de seleo, de deteco, de exposio, de informao ou de memria no sero prevenidos por qualquer definio de tamanho de amostra, mas sim por um plano amostral cuidadoso. O tamanho da amostra vai depender da viabilidade de coleta de dados, que envolve principalmente tempo, custos e disponibilidade de casos para serem estudados. Isto no significa que o clculo de tamanho de amostra seja dispensvel. O que desejamos salientar aqui que ele deve ser utilizado como planejamento, isto , como parte de um estudo bem delineado onde ele no substitua o compromisso do investigador de analisar a representatividade dos casos estudados, seja qual for o nmero a ser observado. Uma das vantagens de se calcular corretamente o tamanho da amostra a possibilidade de economia. Por exemplo, um estudo bem planejado pode, a partir de uma amostra no muito grande, obter as mesmas concluses de um estudo que envolveu uma amostra muito maior por no ter sido previamente planejado. Entretanto, o clculo do tamanho da amostra no garante um resultado significante 10. conveniente planejar o tamanho da amostra para que se possa ter amostras grandes o suficiente para detectar diferenas importantes (amostras muito pequenas podem deixar que diferenas importantes passem desapercebidas). Por outro lado, amostras exageradamente grandes alm de elevar o custo do estudo, podem tornar diferenas clinicamente irrelevantes em estatisticamente significativas. Para o planejamento do tamanho da amostra o investigador precisa estabelecer algumas definies como: tipo de estudo que pretende realizar (ex. estudo de prevalncia, ensaio clnico, coorte, caso-controle); o tipo de medida que

deve utilizar (ex. medidas contnuas, categorizadas, prevalncia, incidncia); o tipo de anlise (ex. diferenas entre mdias, diferena entre propores, clculo de risco); a margem de erro que pode assumir para o estudo (ex. o nvel de significncia e o poder do teste estatstico que pretende aplicar). Estes conceitos podem ser melhor esclarecidos na homepage do Laboratrio de Epidemiologia e Estatstica (www.lee.dante.br) que apresenta um servio que calcula tamanhos de amostra para alguns dos desenhos de pesquisa mdica/biolgica mais freqentes, alm de oferecer textos de apoio para compreenso de cada item envolvido no clculo e referncias bibliogrficas para orientarem interessados num estudo autnomo.

Que tcnica estatstica utilizar?

Imagine a seguinte situao: um paciente chega ao consultrio mdico e j na recepo preenche uma ficha sobre os principais sintomas que o levaram ao consultrio. A recepcionista registra os dados no computador e depois de alguns segundos devolve ao paciente uma receita com o nome dos medicamentos que ele deve usar, sem sequer ter sido examinado pelo mdico. Isto s seria possvel se existisse um tratamento padro associado a cada diagnstico que tornasse desnecessrio qualquer exame complementar sobre caractersticas do paciente (sexo, idade), medicao prvia, outros sintomas, etc. Da mesma forma que a prtica da Medicina no completamente objetiva, a da Estatstica tambm no. No existem receitas prontas para tratar doentes, assim como no existem fluxogramas que indiquem as tcnicas estatsticas que devem ser utilizadas em cada caso. O que existem so prticas comuns que podem ser aplicadas ou no, dependendo das condies do estudo. Por exemplo, um mdico pode optar por um medicamento alternativo no lugar de um mais comum, devido s condies do paciente (pode ser um paciente idoso cujo medicamento no recomendado). Portanto, o que pretendemos ressaltar que cada caso deve envolver uma anlise particular, assim como em um exame clnico, de forma que a escolha da tcnica seja feita com critrio e cuidado.

Concluses
Where shall I begin, please your Majesty? asked the White Rabbit. Begin at the begining and go on till you come to the end: then stop. Said the King of Hearts. Lewis Carol. Alice in Wonderland: Alices evidence. A interdisciplinaridade da cincia moderna convida, seno exige, que profissionais de diferentes filiaes acadmicas colaborem para a produo do conhecimento. Em cincias da sade, mdicos e estatsticos precisam buscar conciliar seus conhecimentos para uma colaborao adequada 11. O presente artigo um modesto esforo neste 579

Paes AT Itens essenciais em bioestatstica

Arq Bras Cardiol volume 71, (n 4), 1998

sentido. Longe de se propor como referencial didtico, busca tentativamente sugerir uma agenda preliminar de tpicos para uma uniformizao conceitual. A escolha dos itens abordados no foi aleatria, mas fruto do que nos sugerem alguns anos de convivncia com profissionais de

sade. Foram preteridos itens relativos s estratgias de anlise (por exemplo, os testes estatsticos mais utilizados em estudos mdicos), mas como ensina em parbolas de contos infantis o matemtico Lewis Carol, comecemos pelo comeo.

Referncias
1. Graunt J - Natural and political observations mentioned in a following index, and made upon bills of mortality. In: Wilcox WF (ed) - Natural and Political Observations Made upon Bills of Mortality by John Graunt. Baltimore: Johns Hopkins Press, 1937. Matthews DE, Farewell VT - Using and Understanding Medical Statistics. New York: Karger, 1988: 17-19. Intervalos de confiana. In: Fonseca JS, Martins GA - Curso de Estatstica. So Paulo: Atlas, 1982: 162-75. Izukawa, NM - Impotncia sexual arteriognica em pacientes portadores de arterosclerose das artrias coronrias. So Paulo, 1997 (dados originais, processamento fictcio para criao de exemplo). Feinstein AR - Why clinical epidemiology. Clin Research 1973; 20: 821-5. Armitage P, Berry G - Statistical Inference. In: Statistical Methods in Medical Research. 3rd ed. Oxford: Blackwell, 1994: 98-9. 7. Herman P - Litase intra-heptica primria: resultados do tratamento cirrgico e anlise dos fatores prognsticos. Tese de Doutorado apresentada FMUSP em 1997. (dados reais, processamento fictcio). 8. Hulley SB, Gove S, Browner WS, Cummings SR - Choosing the study subjects: specification and sampling. In: Hulley SB, Cummings SR - Designing Clinical Research. Baltimore: Williams Wilkins, 1988: 18-29. 9. Rothman KJ - Modern Epidemiology. Boston: Little Brown, 1986: 83-94 1984: 77-82. 11. Feinstein AR - Stochastic significance, consistency, apposite data, and some other remedies for the intellectual pollutants of statistical vocabulary. Clin Pharmacol Ther 1977; 22: 113-23. 10. Vieira S - Metodologia Cientfica para a rea de Sade. So Paulo: Sarvier,

2. 3. 4.

5. 6.

580