Psicologia: Teoria e Pesquisa 2007, Vol. 23 n. especial, pp.

099-107

Validade dos Testes Psicolgicos: Ser Possvel Reencontrar o Caminho?

Luiz Pasquali1 Universidade de Braslia
RESUMO Desde o trabalho de Cronbach e Meehl dos meados do sculo passado, o conceito de validade dos testes em Psicologia e Educao vem perdendo o seu sentido original. Embora os autores quisessem precisamente salvar esse conceito, a introduo do modelo da rede nomolgica, concebida dentro da viso do positivismo lgico veio, na verdade, destruir o conceito de validade, originalmente concebido por Kelly na dcada de 1920 e, depois, por Cattell. O conceito de validade, nalmente, foi totalmente descaracterizado com a denio do mesmo dada pelo grande psicometrista Samuel Messick, em 1989. Parece fundamental que esse conceito seja redescoberto para salvar as bases da Psicometria. A exposio procura mostrar as confuses que o modelo da rede nomolgica introduziu em Psicometria e tentar recuperar o verdadeiro signicado de validade no contexto das medidas em cincias psicossociais, em particular, em Psicologia e Educao. Palavras-chave: validade; rede nomolgica; psicometria.

The Validity of the Psychological Tests: Is It Possible to Find the Way Again?
ABSTRACT Since the work of Cronbach and Meehl of mid last century, the concept of validity of the tests in Psychology and Education has been loosing its original meaning. Despite the intention of the authors to precisely save this concept, the introduction of the model of the nomological network, conceived within the framework of the logical positivism, was in fact decisive to destroy the concept of validity as originally conceived by Kelly in the 1920s and later on by Cattell. The concept of validity was nally completely mischaracterized with the denition given by the great psychometrist Samuel Messick in 1989. It seems to be fundamental that this concept is rediscovered in order to save the bases of Psychometry. The present article will try to show the confusion that the nomological network model brought to Psychometry and also to try to recuperate the real meaning of validity within the context of the measures in psychosocial sciences, especially in Psychology and Education. Key words: validity; nomological network; psychometry.

A Confuso do Conceito Validade

A verdade surge mais facilmente do erro do que da confuso (Francis Bacon, 1869)

Ouve-se com mais freqncia ultimamente que um dado teste psicolgico que pode ser vlido numa situao no o em outra. Ou, ainda, que tal teste tem tal validade e um outro, uma outra. Inclusive, que existem nveis diferentes de magnitude de validade de um teste. Este modo de falar sobre a validade dos testes psicolgicos , pelo menos, confuso. Para tornar essa situao mais maluca, veio o grande psicometrista Samuel Messick (1989, p. 13) dizendo o seguinte: Validity is an integrated evaluative judgment of the degree to which empirical evidence and theoretical rationales support the adequacy and appropriateness of inferences and actions based on test scores or other modes of assessment (validade um julgamento avaliativo integrado do grau em que evidncia emprica e racionalizaes tericas apiam a adequao e propriedade de inferncias e aes baseadas em escores de teste ou outros modos de avaliao). Este modo de entender e denir a validade dos testes, que
1 Endereo: LabPAM, Instituto de Psicologia, Universidade de Braslia, Campus Universitrio Darcy Ribeiro, ICC sul, Bloco A, Braslia, DF, Brasil 70910-900. E-mail: labpam@unb.br

considerado o modo moderno de entender validade, inclusive assumido pela American Psychological Association (APA, 1985), tornou o tema um verdadeiro zoolgico. Na verdade, voc vai encontrar na literatura tradicional e atual sobre o tema, especialmente a norte-americana, um elenco sem m de expresses ou tipos de validades que um teste pode ter. Vejamos alguns deles: 1) Validade de construto (construct validity): o teste mede um atributo ou qualidade que no operacionalmente denido; (Cronbach & Meehl, 1955). 2) Validade de contedo (content validity): o teste constitui uma amostra representativa de um universo de contedo (Cronbach & Meehl, 1955; Haynes, Richard, & Kubany, 1995), alm de ser relevante (Messick, 1989). 3) Validade de critrio (criterion-oriented validity): o teste prediz um critrio externo (Cronbach & Meehl, 1955). 4) Validade preditiva (predictive validity): variedade da validade de critrio, em que este medido temporariamente depois de obtidos os dados do teste (Cronbach & Meehl, 1955). 5) Validade concorrente (concorrent validity): variedade da validade de critrio, em que este medido simultaneamente coleta dos dados do teste (Cronbach & Meehl, 1955). 6) Validade aparente (face validity): consiste em se ter peritos revendo os contedos de um teste para ver se eles so apropriados em sua cara (Mosier, 1947, 1951).

99

L. Pasquali 7) Validade generalizvel (validity generalization): a informao dos escores do teste deve ser generalizvel sobre populaes e tempo (Mosier, 1947, 1951; Messick, 1989). 8) Validade discriminante (discriminant validity): um teste tem validade discriminante se mostrar correlao nula com um teste que mede um trao independente de personalidade (Campbell & Fiske, 1959). 9) Validade convergente (convergent validity): um teste tem validade convergente se mostrar correlao alta com um teste que mede um trao de personalidade teoricamente relacionado ao que o teste mede (Campbell & Fiske, 1959); 10) Validade incremental (incremental validity): a questo de se uma medida particular aporta poder explicativo sobre e alm de outra media para predizer um critrio relevante (Bryant, 2000). 11) Validade fatorial (factorial validity): um tipo de validade de construto em que testes so submetidos anlise fatorial para vericar se possuem varincia comum (caso em que se diz que esto cobrindo o mesmo construto) (Guilford, 1946). 12) Validade lgica (logical validity): um teste julgado vlido por peritos (Cronbach, 1949). 13) Validade emprica (empirical validity): Cronbach (1949). 14) Validade conseqencial (consequential validity): os aspectos sociais dos escores dos testes devem ser levados em conta (Messick, 1989). 15) Validade intrnseca (Intrinsic validity): Gulliksen (1950). 16) Validade substantiva (Substantive validity): validade baseada em bases racionais ou tericas (Messick, 1989). 17) Validade estrutural (structural validity): as respostas devem ser internamente consistentes sobre diferentes partes do teste (Messick, 1989). 18) Validade externa (external validity): os escores do teste devem se correlacionar com outras medidas ou variveis de fundo (Messick, 1989) ou a medida pode ser generalizada atravs de vrias situaes (Emory, 1985; Lnnqvist & Hannula, s/d ). 19) Validade interna (internal validity): so as validades de critrio, de contedo e de construto (Emory, 1985; Lnnqvist & Hannula, s/d ). 20) Validade de hiptese (hypothesis validity): uma medida tem validade de hiptese se, em relao a outras variveis, ela se comporta como dela se espera (Weber, 1990). 21) Validade indireta (indirect validity): o mesmo que validade de hiptese (Janis, 1965). 22) Validade posditiva (posdictive validity): o oposto de validade preditiva (Haynes & cols., 1995). 23) Validade curricular (curricular validity): constitui uma extenso da validade de contedo e consiste em vericar o aumento da aprendizagem (se se descobre que h aumento de aprendizagem em dois testes com validade de contedo, ento se verica validade curricular). 24) Validade diferencial (differential validity): validade de uma bateria de testes avaliada pela capacidade de predizer diferenas no desempenho em dois ou mais critrios. 25) Validade cruzada (cross validity): conrmar a validade dos resultados a partir de um novo exame com estudo emprico feito com uma segunda amostra independente. 26) Validade de grupos mistos (mixed-group validity): duas amostras com formatos diferentes no trao ou diferentes probabilidades em expressar dado comportamento so comparadas. 27) Validade mltipla (multiple validity): um teste tem validade mltipla quando estiver atrelado a uma amostra vasta de critrios. 28) Validade ecolgica (ecologial validity): o quanto um instrumento psicolgico mede fatores espaciais, temporais e situacionais do campo de aplicao. 29) Validade sinttica (synthetic validity): validade de teste complexo ou de uma bateria de testes baseada no fato de que vrios fatores foram representados num nico escore composto. 30) Validade condicional (conditional validity): a validade do teste depende do uso que dele se faz. 31) Validade incondicional (unconditional validity): a validade do teste depende do construto sendo medido e no do uso que dele se faz. 32) ? Voc est convidado a acrescentar outros tipos de validade, se quiser utilizar sua criatividade ou sobrar espao! Quer dizer: parece que perdemos o rumo! Isso, porque se reduziu a validade de um instrumento de medida a um julgamento sobre as condies de obteno de uma dada medida (o escore no teste), a utilidade e os usos que se fazem ou se podem fazer da mesma. Ela j no mais um parmetro objetivo de instrumento. Assim, validade signica tudo o que diz respeito aos testes psicolgicos e, conseqentemente, no explica mais nada. Tomar a expresso validade como um guarda-chuva para tudo que diz respeito aos testes psicolgicos torna esse conceito, pelo menos, confuso, dizem Borsboom, van Heerden e Mellenbergh (2003). Esses autores insistem em que essa extenso do conceito validade nos desenvolvimentos tericos recentes no ajudou na claricao da semntica da validade. De fato, essa mistura no conceito encerra diferentes problemas, ou seja, - Questo ontolgica: O que signica para um teste dizer que vlido? Isso signica perguntar: O que faz a proposio Escores no teste X medem o atributo Y verdadeira? - Questo epistemolgica: Como podemos saber se um teste vlido? - Questo metodolgica: Como podemos investigar se um teste vlido? - Questo tica: Quando e como deveramos utilizar os escores de um teste? Infelizmente, a primeira questo, que aparece como a mais fundamental na discusso do que seja validade dos testes psicolgicos, a que praticamente no tem recebido ateno na literatura sobre o assunto. Parece, ento, que a inteno de Messick de integrar os diferentes aspectos de validade dos testes psicolgicos, de fato introduziu confuso, misturando alhos e bugalhos. Borsboom, Mellenbergh e van Heerden (2004, p. 1) colocam muito bem esse problema ao armarem:
O conceito de validade com o qual os tericos esto interessados parece estranhamente divorciado do conceito que pesquisadores tm em mente quando colocam a questo da validade. Isso se deve a que, no sculo passado, a questo da validade evoluiu da questo de se a gente mede o que se pre-

100

Psic.: Teor. e Pesq., Braslia, 2007, Vol. 23 n. especial, pp. 099-107

Validade dos Testes Psicolgicos ligam mesma varivel construto. Nossa conana nessa identicao depende do montante de suporte indutivo que possumos para as regies envolvidas da rede. No necessrio que se faa uma comparao observacional direta das duas operaes camos contentes com uma prova intra-rede indicando que as duas operaes produzem estimativas da mesma quantidade denida pela rede. Assim, os fsicos cam satisfeitos ao falar da temperatura do sol e da temperatura de um gs numa temperatura ambiente de quarto, mesmo que as operaes de testagem sejam no-sobrepostas, isso porque tal identicao faz sentido terico. Esses princpios fundamentais podem, mnima e esquematicamente, ser representados na seguinte estrutura (Figura 1):

tende medir (Cattell, 1946; Kelly, 1927) para a questo de se relaes empricas entre escores de um teste se emparelham com relaes tericas numa rede nomolgica (Cronbach & Meehl, 1955) e, nalmente, para a questo de se interpretaes e aes baseadas em escores de testes so justicadas no somente luz de evidncia cientca, mas com respeito a conseqncias sociais e ticas do seu uso (Messick, 1989).

A rede nomolgica Para melhor enquadrar a problemtica dos testes psicolgicos, vamos vericar o que exatamente signica esta histria da rede nomolgica, inventada por Cronbach e Meehl (1955), e que domina hoje o campo da validade dos testes psicolgicos. Esses autores tambm introduziram o conceito de validade de construto no contexto dos testes psicolgicos. Inclusive, eles armaram que esse tipo de validade exige um novo enfoque cientco. De fato, dizem eles, que a compreenso do que seja tal conceito est ligada ao que chamaram de rede nomolgica (nomological network). Para introduzir essa problemtica, os autores estabeleceram seis princpios fundamentais, quais sejam: 1) Falando cienticamente, para tornar claro o que algo seja signica estabelecer as leis em que ele ocorre. Chamaremos a esse sistema interlaceado de leis que constitui a teoria, de rede nomolgica. 2) As leis numa rede nomolgica podem relacionar a) propriedades ou quantidades observveis entre elas mesmas; ou b) construtos tericos a observveis; ou c) diferentes construtos tericos entre eles mesmos. Essas leis podem ser estatsticas ou determinsticas. 3) Uma condio necessria para se admitir cienticamente um construto consiste em que ele deve ocorrer numa rede nomolgica, onde, pelo menos, algumas de suas leis envolvem observveis. Construtos admissveis podem estar bem longe da observao, i., uma derivao longa pode intervir entre os nomolgicos que denem implicitamente o construto, e os (derivados) nomolgicos de tipo a. Estas ltimas proposies permitem predies sobre eventos. O construto no reduzido s observaes, mas apenas combinado com outros construtos na rede para se fazerem predies sobre observveis. 4) Aprender mais sobre um construto terico uma questo de elaborar a rede nomolgica na qual ele ocorre, ou de aumentar a preciso dos componentes. Pelo menos na histria inicial do construto, a rede ser limitada e o construto ter ainda poucas conexes. 5) Um enriquecimento da rede, tais como acrescentar um construto ou uma relao teoria, justicado se tal gerar nomolgicos que so conrmados pela observao ou se ele reduz o nmero de nomolgicos exigidos para predizer as mesmas observaes. Quando observaes no se enquadram na rede como ela se apresenta no momento, o cientista tem certa liberdade em escolher onde modicar a rede. Isto , pode haver construtos alternativos ou formas diferentes de organizar a rede que, por enquanto, so igualmente defensveis. 6) Podemos dizer que operaes que so qualitativamente muito diferentes sobrepem-se ou medem a mesma coisa, se as suas posies na rede nomolgica as
Psic.: Teor. e Pesq., Braslia, 2007, Vol. 23 n. especial, pp. 099-107

Construto A

Construto B

Observvel a

Observvel b

Figura 1. Rede nomolgica.

A rede nomolgica relaciona construtos com construtos (A e B), observveis com observveis (a e b), construtos com observveis (A e a; B e b). Essas relaes podem ser de covarincia (estatsticas: ligaes em curvas) ou de causalidade (determinsticas: ligaes em setas). Ademais, um construto admissvel unicamente se ele pode ser inserido numa rede nomolgica e ele se torna recomendado se for til para predizer observaes. Dessa forma, um construto isolado no tem signicado e, portanto, no faz sentido, porque ele adquire sentido em relao a outros construtos. Essa a conversa (interpretada) de Cronbach e Meehl (1955). Na ilustrao da Figura 1, o que existe de real a relao, empiricamente vericada, entre observvel a e observvel b. Esses dois observveis no so idnticos, mas esto relacionados, esto correlacionados. Se eles so diferentes, ento eles devem estar signicando coisas diferentes, ainda que relacionadas. Para explicar tal ocorrncia preciso inventar dois construtos diferentes, mas relacionados, que justiquem porque os dois observveis esto relacionados. Assim, se os dois construtos inventados so diferentes, mas esto relacionados e o mesmo ocorre com seus observveis, isso valida a relao entre os observveis, porque ocorre um emparelhamento entre a rede terica dos construtos e a rede emprica dos observveis. uma circularidade muito conveniente para provar a validade dos testes psicolgicos via construtos. De fato, esses tais construtos so simplesmente um espelho virtual da relao entre os observveis. Judd, Kidder e Smith (1986) ilustram isso como na Figura 2, onde h um fator A associado a trs outros fatores (B, C, D) na

101

L. Pasquali rede terica (lado esquerdo da Figura), tendo como espelho as respectivas medidas empricas (lado direito da Figura). rede nomolgica entenderia construto unicamente no contexto epistemolgico, no mximo, quando no o entende como puro rtulo sem nenhuma consistncia de realidade. Ele est ali unicamente para dar signicado relao que existe entre os observveis. Dessa forma, se entendido como realidade epistemolgica, o construto no se constitui apenas como um rtulo sem concretude prpria, mas uma realidade, somente que se expressa como uma representao e, portanto, totalmente dependente do seu observvel. Mas, nesse caso, a seta que vai do construto para o observvel, como na Figura 1, injusticvel, porque ela deveria ser direcionada ao contrrio, porque no o construto que causa o observvel e, sim, o observvel que causa o construto. S para adiantar, esse modo de pensar se contrape frontalmente viso da psicometria atual da Teoria de Resposta ao Item, por exemplo, que arma exatamente o oposto dessa concepo assim entendida de rede nomolgica (veja tambm Da Silva, 2005). Ento, o que signica agora dizer que o teste vlido se de fato mede aquilo para o qual ele foi feito para medir? Claro, ele mede o construto; mas o construto foi inventado a partir do observvel (do escore do teste) e, assim, bvio que ser medido por este. Parece uma tautologia, que soa quase como uma safadeza. O conceito ou a percepo do gato corresponde ao gato fsico. Certo! Mas, o gato percepo que justica, valida o gato fsico ou ser este que valida sua percepo? Num contexto epistemolgico, bvio que o gato fsico que valida a percepo do gato, porque esta simplesmente uma representao mental do gato fsico e ela deve corresponder a este gato fsico para ser legtima. Mas, os construtos de que fala a Psicometria e a Psicologia em geral sero tambm apenas representaes mentais ou sero eles processos ou realidades em si, sem serem puras representaes? a eterna briga entre a viso materialista e dualista do ser humano, que sorrateiramente surge de novo nessa viso da rede nomolgica. Infelizmente, a soluo desse problema constitui uma questo losca e no emprica. E, dessa forma, ela vai continuar a ser um problema enquanto houver pesquisadores que pensam de forma diferentes sobre o tema. Sintetizando: O conceito construto pode ser entendido de trs formas, ou seja: 1) Construto um rtulo, que representa uma classe de comportamentos (como, inteligncia representando ou resumindo todos os comportamentos chamados de inteligentes), sem nenhuma consistncia de realidade. 2) Construto um conceito, que representa alguma realidade observvel (comportamento). Assim, ele uma realidade epistemolgica, dependente de uma realidade observvel. 3) Construto uma realidade psquica, independente e preliminar ao observvel que o representa; assim, construto uma realidade ontolgica e, conseqentemente, deve ser entendido em si mesmo e no em referncia a observveis. No caso dos testes psicolgicos, poder-se-ia aduzir a balbrdia do conceito de validade a que levou a viso positivista, materialista, subentendida na rede nomolgica, para desacreditar essa viso, que se tornaria uma tentativa frustrada. Contudo, no caso da viso dualista, em que existem os processos psquicos independentes, ca o grave problema de saber o que eles so e quais so as leis que regem esses processos, isto , a teoria psicolgica. E esta est longe de ser uma realidade minimamente consensual em seus detalhes entre os psiclogos. Ento, parece que estamos

C B A

c b

D Fatores
Rede nomolgica

d Medidas
Relaes empricas

Figura 2. Correspondncia entre fatores da rede nomolgica e padro emprico das relaes das medidas.

Parece honesto se poder perguntar qual a natureza ontolgica desses construtos ou fatores? Poder-se-ia, em princpio, dar duas respostas a essa questo, dentro da inteleco de rede nomolgica. A primeira seria dentro do positivismo lgico que, alis, fundamenta a histria da rede nomolgica e que Suppe (1977) mostrou ter fracassado , dizendo que a pergunta impertinente, porque os construtos adquirem signicado pela relao que um tm com o outro, sem com isso implicar que eles existam na realidade. Assim, se dissermos que raciocnio dedutivo se relaciona positivamente com raciocnio abstrato e negativamente com agressividade, o que esse raciocnio dedutivo? Resposta: ele algo que se relaciona positivamente com algo e negativamente com outro algo, sendo estes algos simplesmente termos de uma relao terica. No nal das contas, construtos so simplesmente rtulos embutidos numa rede terica. Parece, ento, que nalmente eles so artefatos estatsticos, necessrios para explicar as covarincias entre os observveis. Uma segunda resposta poderia ser dada dentro de um contexto epistemolgico. Aqui, a prpria palavra construto j deixa entrever o que se pretende signicar com construto. Ela vem de construir. Mas, construir a partir de qu? Ser ela apenas uma representao mental de uma realidade observvel ou seria ela uma realidade mental independente do observvel? Se for o primeiro caso, ento construto constitui apenas uma representao e, com isso, se insere num contexto puramente epistemolgico, de conhecimento, e assim ele de fato construdo pelo sujeito conhecedor e no pela natureza. Se, contudo, construto for concebido como a segunda alternativa, ento ele uma realidade em si e, com isso, ele se insere num contexto ontolgico, uma realidade construda pela natureza. Parece claro que a posio dos defensores da

102

Psic.: Teor. e Pesq., Braslia, 2007, Vol. 23 n. especial, pp. 099-107

Validade dos Testes Psicolgicos num mato sem cachorro! Minha opinio de que devemos desenvolver honestamente a teoria psicolgica, descobrindo e no inventando as leis que governam os processos psquicos, e deixar de lado subterfgios ou palavres como a tal da rede nomolgica. Alis, a histria de aceitar um construto que explica fenmenos observveis tem sido corriqueira em qualquer empreitada cientca, inclusive na Fsica e na Biologia. Em Biologia, o gene era aceito como construto mesmo antes de sua descoberta recente. Em Fsica, a gravidade (G) continua sendo elusiva, mas ningum duvida da sua existncia (Da Silva, 2005). Incongruncias da rede nomolgica Cronbach e Meehl (1955, p. 290) diziam:
Validao de construto ocorre quando um investigador cr que seu instrumento reete um construto particular, ao qual esto ligados certos signicados. A interpretao proposta gera hipteses testveis especcas, que constituem o meio pelo qual se conrma ou desconrma a armativa.

Carmines e Zeller (1979, p. 23) explicam: Fundamentalmente, a validade de construto diz respeito ao tanto que uma dada medida se relaciona com outras medidas consistentes com hipteses teoricamente derivadas com respeito aos conceitos (ou construtos) que esto sendo medidos. Isso parece signicar que a validade de construto diz respeito ao quanto relao existente (vista, observada: a correlao) entre duas medidas (de observveis) consistente com hipteses teoricamente deduzidas sobre os construtos sendo medidos por elas. Ou seja, se tenho duas medidas (a e b; veja Figura 1) que se apresentam relacionadas (na verdade, s isso que tenho como dado emprico), ento elas so consistentes se puder supor que os dois construtos (A e B) que elas medem foram denidos como correlacionados. Vamos procurar entender melhor essa histria, utilizando o dilema da validade de construto de Brown e Burrows (1992), adaptado de McGraw (1982) e analisado na Figura 3.
Outros fatores afetando o construto A 5 1

Quero validar o instrumento que mede o observvel a, que constitui uma medida do construto A (relao 3), utilizando a relao que existe (tida como j validada) entre a medida do observvel b como medida do construto B (relao 2). Ento digo o seguinte: O construto A se relaciona ao construto B (premissa terica: relao 1). A medida a se correlaciona medida b (dado emprico: relao 4). A medida b mede o construto B (hiptese conrmada). Conseqentemente, a medida a mede A (hiptese: relao 3) porque se relaciona medida b que mede B (hiptese conrmada: relao 2), dado que este construto est correlacionado ao construto A. Isto , a mede A assim como b mede B. Parece difcil ver a lgica desse silogismo. A base da argumentao se fundamenta na correlao que existe entre a e b, supondo que A e B tambm estejam correlacionados, e que a relao 2 seja empiricamente vericada verdadeira. Vamos analisar essa histria em dois momentos: a) a validade da relao 2 e b) a validade da concluso de que se relao 2, ento relao 3. a) A validade da relao 2: b mede B Como se pode estabelecer empiricamente que a relao 2 (b para B) seja verdadeira, isto , vlida? Se a resposta for: do mesmo modo que se estabeleceu a validade da relao 3 (a para A), isto , trabalhando uma relao entre medida c e construto C. Obviamente, esse argumento leva a uma seqncia ou reduo ad innitum e , por conseguinte, invivel. Ento, como nalmente estabelecer empiricamente validada uma relao de medida com seu construto, que possa servir de base para o silogismo acima apresentado? Aqui entra aquele argumento indutivista que j Hume (1739/1888) e Popper (1972) mostraram que no funciona. O argumento o seguinte: A evidncia com respeito relao 3 aumenta com o aumento de estudos. Zeller e Carmines (1980, p. 82) explicam essa histria da seguinte forma:
A validade de construto no se estabelece com a conrmao de um nico estudo em diferentes ocasies ou pela con rmao de muitas predies num nico estudo. Ao contrrio, a validade de construto idealmente requer um padro de descobertas consistentes envolvendo diferentes pesquisadores por um perodo signicativo de tempo e com respeito a uma variedade de variveis diversas e teoricamente relevantes. Somente se e quando essas condies foram atendidas, pode-se falar com conana da validade de construto de uma medida particular.

Construto A
3

Construto B
2

Observvel a
4

Observvel b
6 Outros fatores afetando o observvel b

Figura 3. Ilustrao da validao de construto (adaptada de McGraw, 1982 e Brown & Burrows, 1992). Psic.: Teor. e Pesq., Braslia, 2007, Vol. 23 n. especial, pp. 099-107

Assim, agindo como esses autores sugerem, a gente vai acumulando evidncias sobre a validade de construto de uma dada medida at que, no m do mundo, a gente tem a certeza absoluta dessa validade! E se nesse processo ocorrer evidncia negativa, qual a conseqncia sobre a validade da medida? Carmines e Zeller (1979) dizem que isso pode ocorrer por vrias razes, quais sejam,

103

L. Pasquali 1) A medida no tem validade de construto. Nesse caso, a medida simplesmente falsa e deve ser abandonada como medida do construto de interesse. 2) A rede nomolgica que serviu para gerar as predies empricas est incorreta. Nesse caso, a rede terica est errada e preciso rev-la. 3) O procedimento para testar as hipteses teoricamente derivadas est incorreto. Nesse caso, ou a medida (o teste) foi mal construda ou as anlises estatsticas foram mal feitas. Assim, tanto a medida quanto as anlises tm que ser revistas. 4) Falta de validade de construto ou de preciso de alguma(s) outra(s) varivel(eis) na anlise. Isto , um dado construto vem sempre associado a outros construtos. Nesse caso, foi feita uma relao entre construtos que, de fato, no se relacionam. H, portanto, falha na parte terica da rede nomolgica. Isso muito bonito. Mas, duas coisas: primeiro, os estudos que vo dando resultados positivos, isto , apoiando a hiptese de validade de construto, vo aumentando a probabilidade de certeza dessa validade. Agora, acontece que, aps ter aumentado essa probabilidade, um resultado negativo ocorre. O que acontece com essa probabilidade? Ela diminuiu ou acabou? Se o resultado negativo resulta de uma pesquisa bem conduzida, esse resultado constitui a morte da hiptese, porque uma regra bsica, de qualquer pesquisa cientca, que um nico resultado negativo torna a hiptese invlida, por mais resultados positivos que tenha tido anteriormente. Trata-se da regra da conrmao emprica (Pasquali, 2005a). Em segundo lugar, mesmo que esse proposto processo funcionasse, tratar-se-ia de validao de um teste e no de validade do teste. Validade constitui uma propriedade de algo, enquanto validao constitui uma atividade do cientista para vericar tal propriedade. Esta se insere num processo epistemolgico, de conhecimento, enquanto aquela se insere num campo ontolgico, da realidade da propriedade e do algo em questo. As duas coisas so importantes; mas, uma no a outra, porque uma fala do que se trata, enquanto a outra fala do como fazer. A validade parece ser um conceito bastante simples, se entendida como a propriedade de um teste estar de fato se referindo a (representando) um construto, enquanto que validao j se apresenta bastante mais complexa, porque se trata de provar cienticamente a validade do instrumento. Neste ltimo contexto, uma teoria como a da rede nomolgica til, sobretudo quando operacionalizada como zeram Campbell e Fiske (1959) com a sua validade convergente-discriminante. Apenas que os construtos em jogo no so conceituados pela rede nomolgica; eles so preliminares e denidos em termos da teoria substantiva psicolgica e, ento, entrosados numa rede nomolgica. b) A validade da relao se 2 e 1 e 4, ento 3 O modelo de validao de construto arma que se as relaes 1, 2 e 4 forem verdadeiras, ento segue que a relao 3 tambm o . Entretanto, todas essas relaes postuladas no modelo da rede nomolgica so expressas como correlaes, isto , em termos de covarincia. Agora, acontece que a covarincia nunca perfeita, ou seja, a correlao nunca 1. Suponha, por exemplo, que as correlaes propostas entre as variveis da rede nomolgica sejam todas de 0,70, que representam correlaes muito expressivas. Obviamente, trata-se das correlaes que expressam as covarincias com respeito s relaes 1, 2 e 4, porque a relao 3 aquela que voc quer demonstrar empiricamente. Em outras palavras, voc est postulando que - rAB = 0,70 - rBb = 0,70 - rab = 0,70. Pergunta-se: rAa = ? Veja isso ilustrado na Figura 4.

rAB = 0,70

rab = 0,70

a B

rbB = 0,70

b
Figura 4. Correlaes entre construtos e observveis.

Dessa situao, poderiam surgir vrias possibilidades para a correlao entre a medida a e seu suposto construto A, duas das quais esto ilustradas na Figura 5.

A
raA = 0,70

B b

A
B b

A
raA = 0,00

a
Figura 5. Correlao entre a medida a e o construto A.

Mesmo salvando todas as correlaes postuladas, a correlao entre a e o construto A tanto pode ser alta (parte A da Figura) quanto nula (parte B da Figura). Dessa forma, o silogismo que argumenta em prol da validade de construto

104

Psic.: Teor. e Pesq., Braslia, 2007, Vol. 23 n. especial, pp. 099-107

Validade dos Testes Psicolgicos da medida a constitui, no mximo, uma prova circunstancial de tal validade. Isto , no prova nada. Como, ento, entender a validade de construto de um teste psicolgico? Vamos discorrer um pouco sobre esse problema. Reencontrando o conceito de validade Entende-se por teste psicolgico um conjunto constitudo de comportamentos que o sujeito deve exibir. Ele um teste se todos os comportamentos envolvidos no conjunto se referem mesma coisa, a questo da unidimensionalidade. Ademais, alguns sujeitos podem ser capazes de executar todos os comportamentos envolvidos, outros sujeitos, apenas alguns dos comportamentos e outros, ainda, nenhum dos comportamentos. Por que isso ocorre? Porque o sujeito que executa todos os comportamentos tem mais daquela mesma coisa que o sujeito que executa apenas alguns comportamentos ou nenhum deles. Se isso for verdade, ento aquela mesma coisa deve ser a) uma realidade, porque os comportamentos envolvidos no teste so reais, b) aquela mesma coisa a causadora das respostas dos sujeitos e c) aquela mesma coisa deve variar entre diferentes sujeitos, uma vez que, sendo a causa dos comportamentos, ela produz diferenas nos comportamentos dos sujeitos. Vamos especificar um pouco essas trs afirmaes, substituindo aquela mesma coisa pelo seu sinnimo, ou seja, construto. Na tentativa de reencontrar o verdadeiro conceito de validade de construto, os autores holandeses Borsboom, Mellenbergh e van Heerden (Borsboom & cols., 2003; Borsboom & cols., 2004), vm fazendo um trabalho fundamental. A presente exposio se inspira nesses pesquisadores, bem como de trabalhos anteriores do presente autor (Pasquali, 1999, 2004). Veja, tambm, Jos Aparecido da Silva (2005), embora este autor tenha predileo por interpretao biolgica dos construtos psicolgicos. A base da argumentao consiste em se entender que validade constitui uma propriedade do instrumento de medida e que no tem nada a ver com a idia de que ela consistiria num julgamento sobre o signicado dos escores de um teste, retomando, assim, o sentido original que Kelly (1927) quis dar a esse conceito, ao armar que um teste vlido quando mede aquilo que supostamente deve medir. Antes de continuar, gostaria de lhe propor uma questo: Voc construiu um metro, feito de ferro, para medir o comprimento das coisas. Voc mediu um pedao de pau e conseguiu uma medida do mesmo. Em seguida, voc esquentou o metro e foi medir novamente o pedao de pau e conseguiu outra medida dele, agora, porm, ela era bem diferente da primeira. Pergunta: O metro, na segunda vez que voc o utilizou, j no est mais medindo comprimento? Sendo sensato, talvez a sua resposta seja: sim, ele est ainda medindo comprimento, no entanto est medindo errado! Muito bem, ento o metro continua medindo aquilo para o qual ele foi feito para fazer, isto , medir comprimento. Isto validade. Mas, ele est medindo errado? De acordo, mas continua medindo comprimento, no entanto, o est fazendo erradamente porque o metro, com o calor, cou descalibrado. Por que cou descalibrado? Porque houve a presena de
Psic.: Teor. e Pesq., Braslia, 2007, Vol. 23 n. especial, pp. 099-107

fatores perturbadores no uso do instrumento (o calor). Mas a presena de fatores perturbadores corriqueira em qualquer empreitada cientca (as chamadas variveis estranhas ou confounding variables). De qualquer forma, o instrumento ser calibrado ou no, questo de preciso, no de validade, porque ele continua medindo aquilo para o qual ele foi construdo. Assim, continua sendo verdadeiro que o metro mede comprimento (validade), embora na prtica ele o faa erradamente (preciso). Dessa forma, validade responde a se algo verdadeiro ou falso, enquanto que preciso responde a se algo est correto ou errado. A primeira questo diz respeito a um problema ontolgico e a segunda a um problema psicomtrico (de mensurao) ou metodolgico. No caso dos testes psicolgicos, os dois problemas so relevantes e importantes, mas um no o outro. Assim, conclui-se que os parmetros de validade e preciso so caractersticas do instrumento de medida, do teste, e no da medida feita de um objeto. Esta ltima convel e legtima se o instrumento que a produziu for vlido (pertinente, relevante) e preciso (calibrado). Quem garante a qualidade da medida a qualidade do instrumento. E a validade do instrumento diz respeito exclusivamente pertinncia do instrumento com respeito ao objeto que se quer medir; a questo da referncia. Agora, acontece que referncia supe que dois objetos sejam reais, porque, se um deles no o for, ento a relao ctcia, dado que ela feita entre uma realidade e uma racionalizao (fantasia, inveno). o que fazem, ao que parece, os positivistas quando falam de rede nomolgica. O posicionamento aqui assumido tem implcita a aceitao de uma viso losca e, por isso, empiricamente no demonstrvel, sobre o que seja Psicologia e, com isso, o que seja um ser humano. Trata-se da viso dualista, que considera o ser humano um ente ontolgico heterogneo, especicamente composto de elementos do que Popper (1972) chamou de primeiro e segundo mundos; ou seja, de corpo e mente, sendo estes muito distintos entre si, mas perfazendo uma composio e no um agregado (veja Pasquali, 2005a). Essa posio dualista do ser humano tomada, dado que a viso monista (materialista) no explica a contento o ser humano e, especicamente, no caso dos testes psicolgicos, leva s incongruncias discutidas anteriormente. Ademais, ela se coaduna perfeitamente com a teoria psicomtrica atual da Teoria de Resposta ao Item (TRI , veja Pasquali, 2005b). Voltando aos testes psicolgicos. Um teste, ento, um conjunto de estmulos comportamentais, ou seja, de comportamentos, nalmente, porque os estmulos pretendem produzir comportamentos. Assim, um teste um conjunto de comportamentos observveis. Agora, o psiclogo no est especicamente interessado em vericar componentes ou aspectos anatmicos, siolgicos ou genticos desses comportamentos, nem fatores ecolgicos e nem mesmo fatores culturais que entram no aparecimento de tais comportamentos. Todos esses fatores so relevantes no comportamento humano, mas eles so do interesse do bilogo, do eclogo ou de socilogo. O que, ento, o psiclogo procura entender desses comportamentos? O psiclogo procura entender os comportamentos com referncia a processos psquicos, os famosos construtos, estes entendidos como realidades ontolgicas e no como racionalizaes inseridas numa rede nomolgica. Dessa forma, para entender o comportamento, o

105

L. Pasquali psiclogo deve entender o seu referente, o processo psquico, que se constitui como causa do comportamento, para satisfazer o ditado dos romanos de scire est per causas scire (conhecer se faz conhecendo as causas). O fato de que esses processos psquicos sejam minimamente conhecidos (isto , praticamente desconhecidos) no invalidam sua presena, muito menos sua utilidade cientca. Dessa forma, se um teste a mede um construto A, ento ele deve se referir a este construto especicamente e no porque o teste se correlaciona com outro teste b que mede o construto B que, por sua vez, se correlaciona com o construto A. Assim, a validade de um teste deve ser entendida como ilustrado na Figura 6. de construto ainda poderia signicar alguma coisa, em duas situaes, a saber: 1) O teta que o teste mede est mal denido. Para resolver este problema, temos que vericar duas coisas: a) rever a teoria que dene o teta em questo e b) vericar a funo de informao do teste fornecida pela TRI. 2) O trao latente que um dado teste mede validamente numa situao, no se aplica numa outra situao de seleo, por exemplo. Mas este no um problema psicomtrico de validade dos testes e, sim, um problema de psicologia organizacional. Esta deve vericar se um dado trao latente ou no pertinente no contexto de uma dada seleo. Para isso existe a prossiograa do cargo.

Referncias
American Psychological Association (1985). Standards for educational and psychological testing. Washington: American Psychological Association, Inc. Bacon, F. (1869). Novum organum. Em J. Spedding, R. L. Ellis & D. D. Heath (Orgs.), The works of Francis Bacon. Vol. VIII (pp. 179-203). Boston: Taggard and Thompson. Borsboom, D., van Heerden, J. & Mellenbergh, G. J. (2003). Validity and truth. Internal Report. Department of Psychology, University of Amsterdam. Borsboom, D., Mellenbergh, G. J. & van Heerden, J. (2004). The concept of validity. Psychological Review, 111(4), 10611071. Brown, K. & Burrows, C. (1992). What is validity? A prologue to an evaluation of selected health status instruments. National Centre for Health Program Evaluation, Report 1. Bryant, F. B. (2000). Assessing the validity of measurement. Em L. G. Grimm & P. R. Yarnold (Orgs.), Reading and understanding more multivariate statistics (pp.99-146). Washington: American Psychological Association. Campbell, D. T. & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56, 81-105. Carmines, .G. & Zeller, R. A. (1979). Reliability and validity assessment. New Park: Sage Publications. Cronbach, L. J. (1949). Essentials of psychological testing. New York: Harper. Cronbach, L .J. & Meehl, P. (1955). Construct validity in psychological tests, Psychological Bulletin, 52, 4, 281-302. Da Silva, J. A. (2005). Inteligncia: Resultado da gentica, do ambiente ou de ambos? So Paulo: Editora Lovise. Emory, C. (1985). Business research methods The Irwin Series in Information and Decision Sciences (3 ed.). Illinois: Homewood. Guilford, J. P. (1946). New standards for test evaluation. Educational and Psychological Measurement, 6, 427-439. Gulliksen, H. (1950). Intrinsic validity. American Psychologist, 5, 511-517. Haynes, S. N., Richard, D. C. S., & Kubany, E. S. (1995). Content validity in psychological assessment: A functional approach to concepts and methods. Psychological Assessment, 7(3). 238-247. Hume, D. (1888). Treatise of human nature. Vol. I. Oxford: Claredon Press. (Trabalho original publicado em 1739)

Figura 6. Ilustrao da concepo dualista do ser humano do teste.

O construto (trao latente, teta) se posiciona como o objeto que o teste quer medir, isto , ele o aquilo que o teste pretende medir. Ento, ele o referente, em funo do qual a qualidade do teste deve ser avaliada. Conseqentemente, as respostas ao teste (o escore no teste, o observvel, o tau) no criam o construto, antes, pelo contrrio, o escore no teste que depende do construto. Quando se diz que um teste valido, estamos assumindo uma posio ontolgica de que o atributo sendo medido existe e afeta o resultado do procedimento de medida (Borsboom & cols., 2004). Assim, o construto o referencial para os resultados de um teste. Se estes so reais, ento o referencial tambm deve ser real. Do contrrio ca estranho se dizer, por exemplo: o teste X mede inteligncia, mas inteligncia no existe. As duas armaes no podem ser simultaneamente verdadeiras. Uma delas falsa. Como os resultados do teste X so reais, ento o construto medido existe.

Comentrio Final
Validade diz respeito ao instrumento e no ao uso que se faz dos seus escores. Assim, no faz sentido dizer que um teste com validade de construto vlido numa situao, e no o em outra. Esse modo de falar faz sentido somente no contexto da teoria clssica dos testes, em que imperava a validao dos testes via critrio, em que a validade do teste realmente dependia da estabilidade do critrio. Assim, se o critrio mudasse de status, o teste que o predizia perdia a validade. No caso da validade de construto, no existe esta histria de validade condicionada do teste, porque o critrio aqui o teta. Assim, o teste no prediz um teta, ele representa ou modela comportamentalmente o trao latente. Como se supe que o trao latente no mude de uma situao para outra como muda um critrio, ento o teste que afere validamente o tal teta, o far assim em qualquer situao. O problema da validade condicionada com respeito a testes com validade

106

Psic.: Teor. e Pesq., Braslia, 2007, Vol. 23 n. especial, pp. 099-107

Validade dos Testes Psicolgicos

Janis, I. L. (1965). The problem of validating content analysis. Em H. D. Lasswell, N. Leites & cols. (Orgs.), Language of politics. Cambridge: MIT Press. Judd, C., Kidder, L. & Smith, E. (1986). Research methods in social relations (6 ed.) New York: Rinehart and Winston. Kelly, E. L. (1927). Interpretation of educational measurements. New York: Macmillan. Lnnqvist, A. & Hannula, M. (s/d.). Validating performance measures with the nomological network . Retirado em 22/09/2006 de http://www.tut./units/tuta/teta/mittaritumi/ julkaisut/bryssel.pdf McGraw, J. E. (1982). Dilemmatics. The study of research choices and dilemmas. Em J. E. McGraw; J. Martin & R. A. Kukla (Orgs.), Judgment Calls in Research (pp.69-102). Berverly Hills: Sage. Messick, S. (1989). Validity. Em R. Linn (Org.), Educational measurement. (3. ed., 13-103). New York: American Council on Education and Macmillan Publishing Company. Mosier, C.I. (1947). A critical examination of the concepts of face validity. Educational and Psychological Measurement, 7, 191-205.

Mosier, C.I. (1951). Problems and designs of cross-validation. Educational and Psychological Measurement, 11, 5-12. Pasquali, L. (1999). Instrumentos psicolgicos: Manual prtico de elaborao. Braslia: LabPAM / IBAP. Pasquali, L. (2004). Psicometria. Teoria dos testes na psicologia e na educao (2 ed.). Petrpolis: Editora Vozes. Pasquali, L. (2005a). Delineamento de pesquisa em cincia. Vol. I: A lgica da pesquisa cientca. (mmeo). Pasquali, L. (2005b). Teoria de resposta ao item TRI. Manual para iniciantes. Braslia: INEP. Popper, K. R. (1972). A lgica da pesquisa cientca. So Paulo: Editora Cultrix. Suppe, F. (1977). The structure of scientic theories. Urbana: University of Illinois Press. Weber, R. P. (1990). Basic content analysis (2 ed.). Newbury Park: Sage Publications. Zeller, R. A. & Carmines, E. G. (1980). Measurement in the social sciences: The link between theory and data. Cambridge: Cambridge University Press.

Psic.: Teor. e Pesq., Braslia, 2007, Vol. 23 n. especial, pp. 099-107

107