31

Os resultados que se seguem decorrem de anlises estatsticas de todos os dados

oriundos do processo de avaliao dos Testes Psicolgicos. No total, foram recebidos 111
Testes Psicolgicos, enviados ao CFP em funo da Resoluo CFP n 025/2001, no perodo
de janeiro de 2002 a maro de 2003. A partir de 26 de maro de 2003 at maio de 2004,
atendendo Resoluo CFP n 002/2003, foram recebidos mais 23 testes. Durante esse
tempo, 28 testes no foram contemplados nas anlises porque foram retirados do sistema
de avaliao, pois no eram testes; a editora responsvel deixou de publicar; ou simples-
mente porque o processo de avaliao ainda no havia sido concludo, no podendo ser
inseridos nos dados reportados neste relatrio.
Assim, este relatrio est fundamentado em uma amostra de 106 testes psicolgicos
listados no anexo 1 - Relao dos testes psicolgicos utilizados na amostra.
Foram realizadas as seguintes anlises estatsticas: descritivas, consistncia interna dos
itens do formulrio de critrios mnimos e correlaes, todos embasados nas informaes
preenchidas no formulrio de Avaliao da Qualidade de Testes Psicolgicos (Anexo 1 da
Resoluo CFP n 002/2003). Os detalhes dos resultados so apresentados a seguir.
Descrio Geral dos Testes Psicolgicos
(Parte A do formulrio de Avaliao da Qualidade de Testes Psicolgicos)
Tabela 2: Quantidade dos testes favorveis e desfavorveis, de acordo com a
natureza do teste
Natureza do Teste Psicolgico
Total
No-projetivo Projetivo
Avaliao
Final
Desfavorvel
Favorvel
Freqncia
Percentual
39
36,8%
12
11,3%
51
48,1%
Freqncia
Percentual
57
44,3%
8
7,5%
55
51,9%
Total
Freqncia
Percentual
86
81,1%
20
18,9%
106
100%
V - Resultados
lvaro Jos Lel, Audrey Setton de Souza, Gislene Maia de Macedo,
Jos Carlos Tourinho e Silva, Maurcio Miranda Sarmet, Regina Snia Gattas Fernandes do
Nascimento, Ricardo Primi e Rodrigo Barroso Vasconcelos
32
Tabela 3: Distribuio dos 106 Testes Psicolgicos analisados, por requerente,
neste relatrio
Requerente Freqncia Percentual
CEPA 33 31,1
Vetor 26 24,5
Casa do Psiclogo 25 23,6
LabPAM 6 5,7
CETEPP 5 4,7
Livro Pleno 3 2,8
Cognio 3 2,8
Terceira Margem 1 0,9
EDITES 1 0,9
LAMP/PUC Campinas 1 0,9
Gohmes 1 0,9
EDITORIAL PSY 1 0,9
Total 106 100,0
No total, foram analisados 106 testes, editados por nove editoras, dois laboratrios e um
pelo prprio autor.
Quanto s editoras, observamos que a grande maioria dos testes que chegaram para
avaliao so da CEPA (31%), Vetor (24%) e Casa do Psiclogo (24%). As demais editoras
apresentaram um nmero inferior a 6% relativo a cada.
Ao fazer a correlao entre a aprovao do instrumento e a editora, encontramos os
seguintes resultados:
Entre os testes da editora CEPA, em um total de 33 testes, 31 (94%) foram avaliados
como desfavorveis e 2 (6%), favorveis.
Da Casa do Psiclogo, entre os 25 testes recebidos, 17 (68%) foram aprovados e os
demais (32%) foram considerados desfavorveis.
Da Vetor, entre os 26 testes recebidos, 16 (61%) receberam parecer favorvel e os
demais (38%), desfavorvel.
Das demais editoras, observou-se que, algumas vezes, a porcentagem era muito eleva-
da, seja como favorvel ou como desfavorvel, mas essa porcentagem ca comprometida
em funo do nmero restrito de testes relativo a cada uma delas.
V - Resultados
33
Publicao dos Manuais no Brasil
Tabela 4: Data da ltima publicao do manual no Brasil
Data da ltima pu-
blicao do manual
no Brasil
Freqncia Porcentagem Porcentagem vlida
At 1980
De 1981 a 1985
De 1986 a 1990
De 1991 a 1995
De 1996 a 2000
A partir de 2001
7
5
1
11
39
37
6,6
4,7
0,9
10,4
36,8
34,9
7
5
1
11
39
37
Total 100 94,3 100
Dados faltosos 6 5,7
Total 106,00 100,00
Na Tabela 4, possvel observar que seis manuais no apresentam data de publicao.
Entre os restantes, percebemos que a maioria (36,8%) foi publicada entre os anos 1996
a 2000, seguida pelos ltimos anos, ou seja, a partir de 2001 (34,9%). Entre 1986 a 1990,
temos somente a publicao de um teste. No geral, podemos dizer que a maioria dos testes
tm uma publicao bastante recente e que, na dcada de 1980, temos o menor nmero
de publicaes, talvez por ter sido uma dcada em que se deu pouca importncia aos Tes-
tes Psicolgicos.
V - Resultados
34
Classicao das Variveis que os Testes Psicolgicos
pretendem medir
Grco 1: Classicao das variveis que o teste pretende medir de acordo
com a avaliao nal do CFP
Inteligncia Habilidades especficas Psicomotricidade
Classificao das variveis que o teste pretende medir
Avaliao Final Desfavorvel Avaliao Final Desfavorvel Avaliao Final Favorvel Avaliao Final Favorvel Total Total % % % f f f
Funes neuropsicolgicas Personalidade
100
75
50
25
0
19,6
90,9
25,5
19,6
25,5
22,6
7,8
0
3,8
7,8
14,5
11,3
37,3
30,9
34
Os nmeros do Grco 1 indicam a porcentagem de avaliao favorvel, desfavorvel e
totais por varivel.
Grco 1: Classicao das variveis que o teste pretende medir de acordo
com a avaliao nal do CFP (continuao)
Motivao Atitudes Interesses Valores
Avaliao Final Desfavorvel Avaliao Final Desfavorvel Avaliao Final Favorvel Avaliao Final Favorvel Total Total % % % f f f
Outros Total
100
75
50
25
0
2
0
0,9
3,9
1,8
2,8
9,8
1,8
5,7
17,6
0 0 0
29,1
23,6
100 100 100
V - Resultados
35
Quanto s variveis que o teste pretende medir (Grco 1), encontramos 34% dos
instrumentos que se destinam avaliao da personalidade; 25,5%, medio da inteli-
gncia; 22,6%, a habilidades; 11,3%, avaliao das funes neuropsicolgicas; e 3,8%, para
psicomotricidade. Encontramos apenas um teste para avaliar motivao (que no est em
condies de uso) e nenhum para medida de valores. Destacamos que, entre os 27 testes
para avaliao de inteligncia, a maioria (62,9%) foi considerada favorvel, enquanto 37%
dos testes foram avaliados como desfavorveis. Para a avaliao de habilidades especcas,
temos 14, entre os 24 testes apresentados (58,3%), que esto apropriados para utilizao.
Entre os testes para avaliao de funes psicomotoras, no encontramos nenhum
apropriado para utilizao. Dos 12 testes destinados avaliao de funes neuropsico-
lgicas, 8 (66,6%) esto apropriados para utilizao. J entre os testes (36) destinados
avaliao da personalidade, 19 (52,7%) foram considerados inadequados para a utilizao,
enquanto 17 (47,3%) esto em condies de uso. Finalmente, entre os 6 testes para avaliar
interesses, apenas 1 (16,6%) foi considerado favorvel, enquanto os outros 5 (83,3%) no
esto adequados para utilizao. Ressaltamos que essas classicaes, como as do item
anterior, foram realizadas exclusivamente pelas informaes contidas no manual.
reas de Aplicao
Tabela 5: Relao entre a avaliao nal dos Testes Psicolgicos e suas respectivas
reas de aplicao
Avaliao nal
desfavorvel
Avaliao nal
favorvel
Total
F % F % F %
rea de
aplicao
Psicologia Clnica 32 62,70 44 80,00 76 71,70
Psicologia Escolar ou Educa-
cional
36 70,60 30 54,50 66 62,30
Neuropsicologia 9 17,60 11 20,00 20 18,90
Psicologia Forense 2 3,90 7 12,70 9 8,50
Psicologia do Trabalho e das
Organizaes
28 54,90 29 52,70 57 53,80
Psicologia do Esporte 0 0 0 0 0 0
Social/Comunitria 2 3,90 2 3,60 4 3,80
Psicologia do Trnsito 2 3,90 15 27,30 17 16,00
Psicologia Hospitalar 6 11,80 7 12,70 13 12,30
Outros 4 7,80 5 9,10 9 8,50
N 51 100,00 55 100,00 106 100,00
Total 51 100,00 55 100,00 106 100,00
V - Resultados
36
A rea de aplicao de um instrumento foi classicada apenas pelas informaes conti-
das no manual. Portanto, se algum utilizou um teste para outro propsito, mesmo que por
informaes de outra literatura, estas no foram consideradas.
A leitura da Tabela 5 indica-nos que, quanto rea de aplicao, a maioria dos testes
so destinados s reas mais tradicionais da Psicologia, ou seja, rea clnica (71,7%), segui-
da da rea escolar (62,3%) e da Psicologia do Trabalho (53,8%). As demais reas concentram
menor nmero de instrumentos. Contudo, ainda que restrita, j apresenta uma quantidade
signicativa de instrumentos destinados Neuropsicologia (18,9%), Psicologia do Trnsito
(16,0%), Hospitalar (12,3%) e Forense (8,5%). Para a rea social, encontramos um nmero
reduzido de provas (3,8%). Cabe salientar que, entre os testes recebidos, nenhum se dizia
destinado Psicologia do Esporte.
A distribuio relativa a ser desfavorvel ou favorvel, em geral, apresenta-se muito se-
melhante, com pequenas excees, a saber, uma quantidade maior de testes favorveis em
relao aos desfavorveis nas reas da Neuropsicologia e da Psicologia do Trnsito, possi-
velmente por se tratar de instrumentos mais recentes.
Caractersticas Gerais do Manual
Tabela 6: Caractersticas gerais do manual
Avaliao Final Caractersticas gerais do manual
Natureza do Teste
Psicolgico
Total
No-
projetivo
Projetivo
F % F % F %
Desfavorvel
Fundamentao terica 23 59,00 12 100,00 35 68,60
Estudos de preciso brasileiros 14 35,90 1 8,30 15 29,40
Estudos de validade brasileiros 14 35,90 1 8,30 15 29,40
Sistema de correo e interpretao
dos escores brasileiro
30 76,90 8 66,70 38 74,50
Informaes sobre a aplicao 38 97,40 12 100,00 50 98,00
Informaes sobre a correo 38 97,40 11 91,70 49 96,10
Informaes sobre como interpretar
os resultados do teste
30 76,90 12 100,00 42 82,40
Indicao da literatura cientca rela-
cionada ao instrumento
18 46,20 11 91,70 29 56,90
Indicao da populao alvo 28 71,80 11 91,70 39 76,50
N 39 100,00 12 100,00 51 100,00
Total 39 100,00 12 100,00 51 100,00
V - Resultados
37
Avaliao nal Caractersticas gerais do manual
Natureza do Teste
Psicolgico
Total
No-
projetivo
Projetivo
Favorvel
Fundamentao terica 47 100,00 8 100,00 55 100,00
Estudos de preciso brasileiros 46 97,90 7 87,50 53 96,40
Estudos de validade brasileiros 47 100,00 8 100,00 55 100,00
Sistema de correo e interpretao
dos escores brasileiro
47 100,00 8 100,00 55 100,00
Informaes sobre a aplicao 47 100,00 8 100,00 55 100,00
Informaes sobre a correo 47 100,00 8 100,00 55 100,00
Informaes sobre como interpretar
os resultados do teste
44 93,60 8 100,00 52 94,50
Indicao da literatura cientca rela-
cionada ao instrumento
45 95,70 8 100,00 53 96,40
Indicao da populao alvo 46 97,90 8 100,00 54 98,20
N 47 100,00 8 100,00 55 100,00
Total 47 100,00 8 100,00 55 100,00
Como podemos observar na Tabela 6, os manuais dos testes que no foram conside-
rados favorveis apresentam muitas lacunas de informao fundamental, enquanto os
favorveis apresentam muito mais informaes. Observamos, por exemplo, que apenas um
dos testes projetivos, entre os considerados desfavorveis, apresentam estudo de preci-
so e um estudo de validade no Brasil, como tambm apenas 23 dos testes no-projetivos
apresentaram fundamentao terica. Entre os testes favorveis, encontramos praticamen-
te 100% em todas as informaes.
Nota-se, tambm, que todos os testes projetivos, independentemente da avaliao
nal, possuem informaes sobre a fundamentao terica, aplicao e interpretao dos
resultados.
V - Resultados
38
Requisitos Tcnicos
(Parte B do formulrio de Avaliao da Qualidade de Testes Psicolgicos)
Fundamentao Terica
Tabela 7: Apresentao da Qualidade da Fundamentao Terica, considerando a
avaliao nal para testes projetivos e no-projetivos
Avaliao
Final
Qualidade da
Fundamentao Terica
No-
projetivos
Projetivos Total
F % F % F %
Desfavo-
rvel
Nvel C (insuciente) *
Nvel B (suciente) **
Nvel A (excelente a bom) ***
18
19
2
46,20
48,70
5,10
1
8
3
8,30
66,70
25,00
19
27
5
37,30
52,90
9,80
Total 39 100,00 12 100,00 51 100,00
Favorvel
Nvel B (suciente) **
Nvel A (excelente a bom) ***
26
21
55,30
44,70
3
5
37,50
62,50
29
26
52,70
47,30
Total 47 100,00 8 100,00 55 100,00
*: As informaes so insucientes ou no contm as informaes sobre o constructo que se pretende medir, do
procedimento de mensurao e das principais reas de aplicao.
**: Contm sumariamente essas informaes.
***: Descrio muito clara e documentada do constructo que se pretende medir, do procedimento de mensurao e
das principais reas de aplicao.
Quanto fundamentao terica apresentada nos manuais, encontramos a seguin-
te distribuio: entre os 51 testes considerados desfavorveis, 19 (37,3%) apresentaram
uma fundamentao terica considerada insuciente (nvel C), sendo 18 no-projetivos e
apenas um projetivo; 27 (52,9%) apresentaram informaes sucientes (nvel B), sendo 19
no-projetivos e 8 projetivos; enquanto 5 (9,8%) testes obtiveram uma avaliao excelente
nesse aspecto, dos quais 3 so projetivos e 2, no-projetivos.
Entre os 55 considerados favorveis, encontramos: 52,7% avaliados com o nvel B, ou
seja, apresentam informaes sucientes, dos quais 26 so no-projetivos e 3, projetivos;
47,3% obtiveram o nvel A (excelente a bom), dos quais 21 so no- projetivos e 5 so pro-
jetivos.
V - Resultados
39
Estudos de Validade e Preciso
Tabela 8: Quantidade de estudos de preciso e validade relacionados com a
avaliao nal e a natureza do Teste Psicolgico
Avaliao
nal
Estudos de Preciso e Validade
Teste
No-
Projetivo
Teste
Projetivo
Total
F % F % F %
Desfavor-
vel
Preciso
Equivalncia
(formas paralelas)
2 5,10 0 0 2 3,90
Consistncia interna 9 23,10 0 0 9 17,60
Estabilidade
(teste-reteste)
8 20,50 0 0 8 15,70
Preciso de avaliadores 0 2 16,70 2 3,90
Coecientes so calcu-
lados para diferentes gru-
pos de sujeitos
2 5,10 0 0 2 3,90
Total 39 100,00 12 100,00 51 100,00
Validade

Validade de contedo 8 20,50 0 0 8 15,70
Correlao com outros
testes ou validade con-
vergente-discriminante
9 23,10 1 8,30 10 19,60
Diferenas entre grupos 5 12,80 0 0 5 9,80
Matriz multitrao-multi-
mtodo
0 0 0 0 0
Anlise fatorial (explora-
tria ou conrmatria) /
consistncia interna
2 5,10 0 0 2 3,90
Delineamentos
experimentais
2 5,10 0 0 2 3,90
Outros 0 0 0 0 0
Concorrente 5 12,80 0 0 5 9,80
Preditiva 3 7,70 0 0 3 5,90
Total 39 100,00 12 100,00 51 100,00
V - Resultados
40
Avaliao
nal
Estudos de Preciso e Validade
Teste
No-
projetivo
Teste
Projetivo
Total
F % F % F %
Favorvel
Preciso
Equivalncia
(formas paralelas)
7 14,90 1 12,50 8 14,50
Consistncia interna 39 83,00 2 25,00 41 74,50
Estabilidade
(teste-reteste)
20 42,60 3 37,50 23 41,80
Preciso de avaliadores 10 21,30 6 75,00 16 29,10
Coecientes so calcu-
lados para diferentes
grupos de sujeitos
8 17,00 1 12,50 9 16,40
Total 47 100,00 8 100,00 55 100,00
Validade

Validade de contedo 16 34,00 3 37,50 19 34,50
Correlao com outros
testes ou validade con-
vergente-discriminante
29 61,70 5 62,50 34 61,80
Diferenas entre grupos 28 59,60 7 87,50 35 63,60
Matriz multitrao-multi-
mtodo
1 2,10 0 0 1 1,80
Anlise fatorial (explora-
tria ou conrmatria) /
consistncia interna
22 46,80 1 12,50 23 41,80
Delineamentos
experimentais
4 8,50 2 25,00 6 10,90
Outros 0 0 0 0 0 0
Concorrente 27 57,40 5 62,50 32 58,20
Preditiva 2 4,30 0 0 2 3,60
Total 47 100,00 8 100,00 55 100,00
Quanto aos estudos de preciso e validade, encontramos os seguintes delineamentos
de pesquisas realizadas no Brasil:
Preciso: encontramos 23 estudos de preciso entre os testes desfavorveis. Destes,
a maior parte de consistncia interna (nove referncias) e de estabilidade teste-reteste
(oito referncias), sendo esses estudos, principalmente, relativos aos testes no-projetivos.
Os nicos estudos de preciso dos testes projetivos considerados desfavorveis foram dois
estudos de concordncia entre avaliadores.
Validade: 35 estudos de validade foram encontrados para os testes que no foram
aprovados. Entre os testes no-projetivos, 23,1% so estudos de correlao com outros tes-
V - Resultados
41
tes; 20,5%, de estudos de validade de contedo; 12,8% so estudos para avaliar diferenas
entre grupos; 5,1%, anlises fatoriais; e 5,1%, delineamentos experimentais. Para os testes
projetivos no aprovados, encontramos apenas uma citao de estudo de validade (cor-
relao). No que se refere validade preditiva ou concorrente, temos 12,8% pesquisas de
validade concorrente e 7,7% de validade preditiva, todos atribudos a testes no-projetivos.
De um modo geral, podemos dizer que foram poucos os estudos de validade e preciso
para os 39 instrumentos desfavorveis no-projetivos, e ainda maior a carncia para os 12
projetivos considerados desfavorveis.
J encontramos um quadro muito diferente para os 47 testes no-projetivos e oito pro-
jetivos considerados favorveis.
Preciso:
Testes no-projetivos: dentre estes, os mais citados nos manuais so os estudos de
consistncia interna, em 83% dos testes favorveis. Em seguida, encontramos 42,6% de
estabilidade teste-reteste. Com quantidade menor de referncias, 21,3%, encontram-se os
estudos de concordncia entre avaliadores e 14,9% de pesquisas de equivalncia (formas
paralelas).
Testes projetivos: 75% dos estudos de preciso de concordncia entre avaliadores,
seguidos de estudos de estabilidade (37,5%), e depois de estudos de consistncia interna
(25%).
Validade:
Testes no-projetivos: entre os 47 testes considerados favorveis, encontramos
61,7% dos estudos de diferenas entre grupos, 59,6% de estudos de correlao, 46,8% de
anlises fatoriais, 8,5% de desenhos experimentais e 2,10% de estudos de matriz multitra-
o-multimtodo. Alguns dos instrumentos apresentam mais de um estudo de validade.
Entre os estudos, encontramos 57,4% referncias a estudos de validade concorrente e
apenas 4,3% de validade preditiva.
Testes projetivos: dos testes projetivos favorveis, 87,5% apresentam, para eviden-
ciar sua validade, delineamentos de comparao entre grupos; 62,5%, estudos de correla-
o com outros testes ou validade convergente-discriminante; 37,5%, estudos de validade
de contedo; 25%, delineamentos experimentais; e 12,5%, estudo fatorial.
V - Resultados
42
V - Resultados
Qualidade dos Estudos de Validade
Nvel D
(insuciente) *
Nvel C
(insuciente) **
Nvel B (suciente) ***
Nvel A
(excelente a
bom) ****
F % F % F % F % F %
Desfavorvel
Validade de con-
tedo
5 38,50 1 50
Correlao com
outros testes ou
validade conver-
gente-discrimi-
nante
8 61,50 1 50
Diferenas entre
grupos
3 23,10 1 50
Matriz multitra-
o-multimtodo
Anlise fatorial
/ consistncia
interna
Delineamentos
experimentais
2 15,40
Outro
Concorrente 4 30,80 1 50,00
Preditiva 2 15,40
N 36 100,00 13 100,00 2 100,00
Favorvel
Validade de con-
tedo
10 37,00 9 32,10
Correlao com
outros testes ou
validade conver-
gente-discrimi-
nante
15 55,60 19 67,90
Diferenas entre
grupos
10 37,00 25 89,30
Matriz multitra-
o-multimtodo
1 3,70
Anlise fatorial
consistncia
interna
10 37,00 13 46,40
Delineamentos
experimentais
1 3,70 5 17,90
Outro
Concorrente 12 44,40 20 71,40
Preditiva 2 7,10
N 27 100,00 28 100,00

Tabela 9: Qualidade dos estudos de validade
*: No tm estudos de validade.
**: Tm pelo menos um estudo de validade, mas com data superior a 20 anos.
***: Tm pelo menos um estudo de validade com data inferior a 20 anos.
****: Tm pelo menos dois estudos de validade com data inferior a 20 anos.
Avaliao
Final
Tipos de
estudo
43
Esses resultados mostram que, nas pesquisas brasileiras, observa-se que os estudos
de correlao com outros testes e diferenas entre grupos (categorizados como validade
de constructo) so mais comuns, independentemente do Teste Psicolgico ser projetivo
ou no-projetivo. Outro dado importante que a anlise fatorial mais freqentemente
empregada nos estudos com testes no-projetivos e a diferena entre grupos, nos testes
projetivos.
Considerando-se, de um modo geral, os estudos de validade, encontramos apenas 3,9%
dos instrumentos desfavorveis que apresentaram estudos de validade considerados su-
cientes (nvel B), ou seja, h pelo menos um estudo de validade com data inferior a 20 anos,
25,5% receberam nvel C (no tm estudos de validade), porm 70,6%, entre os 51 desfavo-
rveis, apresentaram pelo menos um estudo de validade, mas com data superior a 20 anos
(nvel C).
Entre os instrumentos favorveis, 49% apresentaram estudos de validade considerados
sucientes (nvel B), e 51% instrumentos foram avaliados com o nvel A, apresentando pelo
menos 2 estudos, podendo ser considerados bons ou excelentes.
Tabela10: Qualidade dos estudos de preciso
Qualidade dos Estudos de Preciso
Avaliao nal Tipos de Estudos
Nvel D
(insuciente) *
Nvel C
(insuciente) **
Nvel B
(suciente) ***
Nvel A
(excelente a
bom) ****
F % F % F % F %
Desfavorvel
Equivalncia 1 8,30 1 20,00
Consistncia
interna
6 50,00 3 60,00
Estabilidade 5 41,70 3 60,00
Preciso de
avaliadores
1 20,00
Total 34 100,00 12 100,00 5 100,00
Favorvel
Equivalncia 6 13,60 2
Consistncia
interna
32 72,70 9 100,00
Estabilidade 18 40,90 5 55,60
Preciso de
avaliadores
13 29,50 3 33,30
Total 1 100 1 100 44 100,00 9 100,00
*: No h evidncias.
**: H evidncias, mas os estudos foram realizados h mais de 20 anos.
***: H evidncias de preciso, mas alguns esto abaixo de 0,60 ou tm coecientes altos, mas no foram calculadas
para vrios grupos.
****: H evidncias de preciso e em vrios grupos.
V - Resultados
44
Quanto a estudos de preciso, encontramos, entre os desfavorveis, 5 instrumentos que
apresentam o nvel B (suciente, ou seja, evidncia de preciso, mas com alguns resultados
abaixo de 0,60), 12 com nvel C, ou seja, apresentam estudo, mas este superior a 20 anos,
e 34 que tm o nvel D, ou seja, no apresentam evidncia de preciso.
Entre os testes favorveis, encontramos 74 estudos de preciso, correspondentes a 44
instrumentos e 19 estudos para 9 instrumentos, avaliados com nvel A nesse requisito, ou
seja, testes que apresentam evidncias de preciso com mais de um grupo.
De acordo com a Tabela 10, observa-se, tambm, que, dos testes desfavorveis
analisados, 23,5% possuem estudos de preciso, mas foram realizados h mais de 20 anos,
e 15,7% apresentaram estudos de preciso satisfatrios (nvel B).
Estudos de Padronizao
Tabela 11: Sistema de correo e interpretao dos escores obtidos nos estudos
referenciados norma ou em outros sistemas
V - Resultados
Avaliao
nal
Desfavo-
rvel
Sistema de
Correo e Interpretao
Qualidade do Sistema de Correo e Interpretao dos Escores
Obtidos nos Estudos
Sistema Referenciado Norma e Outro Sistema
Nvel D
(Insuciente)*
Nvel C
(Insuciente)**
Nvel B
(Suciente)***
Nvel A
(Excelente a
Bom)****
F % F % F % F %
Referen-
ciado
norma
Caractersticas da amostra de
padronizao
4 16,70 7 46,70 6 54,50 1 100,00
Comparao de caractersticas
sociodemogrcas
Nmero de sujeitos do estudo de
padronizao
4 16,70 14 93,30 9 81,80 1 100,00
Outro
sistema
Embasamento terico do sistema 7 29,20 2 13,30 2 18,20
Embasamento terico baseado
em estudo de validade
5 20,80 1 9,10
N 24 100,00 15 100,00 11 100,00 1 100,00
45
Avaliao
nal
Sistema de
Correo e Interpretao
Qualidade do Sistema de Correo e Interpretao dos Escores
Obtidos nos Estudos
Sistema Referenciado Norma e Outro Sistema
Nvel D
(Insuciente)*
Nvel C
(Insuciente)**
Nvel B
(Suciente)***
Nvel A
(Excelente a
Bom)****
F % F % F % F %
Favorvel
Referen-
ciado
norma
Caractersticas da amostra de
padronizao
39 81,30 6 85,70
Comparao de caractersticas
sociodemogrcas
1 2,10 1 14,30
Nmero de sujeitos do estudo de
padronizao
42 87,50 4 57,10
Outro
sistema
Embasamento terico do sistema 5 10,40 1 14,30
Embasamento terico baseado
em estudo de validade
5 10,40 1 14,30
N 48 100,00 7 100,00
*: No h estudo, ou h, mas insuciente.
**: H estudos, mas as datas de realizao so superiores a 15 anos.
***: Referncia norma: a amostra tem um nmero razovel de sujeitos e relata as caractersticas do
grupo de referncia, permitindo uma apreciao da questo de representatividade.
Outro sistema: pelo menos um estudo de validade sustentando as interpretaes.
****: Referncia norma: seleo aleatria de sujeitos, diversas normas em funo da idade, sexo,
escolaridade, nvel cultural e/ou outras caractersticas relevantes, N>= 1000.
Outro sistema: vrios estudos de validade sustentando as interpretaes.
A Tabela 11 apresenta a distribuio dos testes na nota que avalia a qualidade do
sistema de correo e interpretao dos escores. Como esse sistema pode ser ou no refe-
renciado norma, a tabela divide os instrumentos, fazendo essa diferenciao. Como dito
anteriormente, os sistemas referenciados norma, mais comuns nos testes no-projetivos,
quanticam atributos psicolgicos comparando os resultados do sujeito com resultados de
grupos normativos. J existem testes que no usam esse sistema e apiam-se, basicamente,
nos estudos de validade como uma parte dos testes projetivos.
O que podemos observar que, entre os testes reprovados, 24 foram avaliados com o
nvel D, ou seja, no h estudos, e 15 com nvel C, isto , h, mas so insucientes. Entre os
referenciados norma, 4 apresentaram caractersticas da amostra e 4, as caractersticas da
amostra com esse nvel de avaliao. Entre os que no so referenciados norma, 7 ou no
apresentaram embasamento terico do sistema, ou apresentaram, mas so insucientes, e
5 apresentam embasamento terico baseado em estudos de validade insucientes, ou no
apresentaram esses estudos .
Com nvel C, tambm considerado insuciente por haver estudos, mas as datas de reali-
zao serem superiores a 15 anos, encontramos 15 testes, dos quais 7 so nvel C pelas ca-
V - Resultados
46
ractersticas da amostra de padronizao e 14 esto com o nmero de sujeitos da amostra
de padronizao inadequado. Entre os que no so referenciados norma, encontramos 2
com problemas no embasamento terico do sistema.
Nenhum dos testes desfavorveis apresentou comparao de caractersticas sociode-
mogrcas.
Nos nveis C e D, apenas pudemos encontrar instrumentos considerados reprovados.
Obtiveram nvel B (referncia norma: a amostra tem um nmero razovel de sujeitos e
relata as caractersticas do grupo de referncia, permitindo uma apreciao da questo
de representatividade; outro sistema: pelo menos um estudo de validade sustentando as
interpretaes) 11 testes desfavorveis e 48 favorveis.
Entre os desfavorveis, referenciados norma, encontramos 6 que relatam as caracters-
ticas da amostra de padronizao e 9 que apresentam o nmero de sujeitos do estudo de
padronizao adequados. Entre os testes referenciados a outros sistemas, encontramos 2
que apresentam embasamento terico e 1 com embasamento terico baseado em estudo
de validade (pelo menos um estudo de validade sustentando as interpretaes).
Quando observamos o desempenho, nesse quesito, dos testes favorveis, encontramos,
com o nvel B (referncia norma: a amostra tem um nmero razovel de sujeitos e relata
as caractersticas do grupo de referncia, permitindo uma apreciao da questo de repre-
sentatividade; outro sistema: pelo menos um estudo de validade sustentando as interpre-
taes), 39 testes que apresentam caractersticas da amostra de padronizao e 42 testes
com nmero de sujeitos adequados, e um deles com comparao de caractersticas socio-
demogrcas. Entre os que no so referenciados norma, encontramos 5 com embasa-
mento terico e 5 com embasamento terico baseado em estudos de validade.
Poucos instrumentos obtiveram o nvel A. Destes, inclusive, temos alguns que foram
considerados desfavorveis. Distribuem-se da seguinte maneira: um desfavorvel, com ca-
ractersticas da amostra nvel A, e um com nmero de sujeitos do estudo de padronizao
tambm nvel A (estes dois indicadores podem referir-se ao mesmo instrumento). Entre os
referenciados a outro sistema de correo e interpretao, no encontramos nenhum teste,
entre os desfavorveis.
Na Tabela 11, observa-se que mesmo os testes considerados desfavorveis apresentam,
em algum nvel, estudos de padronizao referenciados norma ou a outro sistema. Note-
se, no entanto, que, dos 51 testes desfavorveis, 47% no possuem ou possuem estudos de
padronizao, mas so insucientes (nvel D).
V - Resultados
47
Tabela 12: Nmero de sujeitos dos estudos de padronizao pela natureza do teste
Tamanho da amostra
Natureza do teste
Total
No-projetivo Projetivo
Menor que 299 sujeitos
Freqncia
Percentual
6
9,80
2
22,20
8
11,40
Entre 300 a 999 sujeitos
Freqncia
Percentual
26
42,60
4
44,40
30
42,90
Entre 1000 a 5000 sujeitos
Freqncia
Percentual
25
41,00
3
33,30
28
40,00
Maior que 5000 sujeitos
Freqncia
Percentual
4
6,60
0
0,00
4
5,70
Total
Freqncia
Percentual
61
100,00
9
100,00
70
100,00
Um dos quesitos para avaliar a adequao dos estudos normativos a quantidade de
sujeitos que estes apresentam. Para vericar esse item, realizamos um levantamento dessa
condio ou exigncia para um bom estudo.
Ao observar a Tabela 12, encontramos os seguintes dados:
Dos 70 testes, 11,4% apresentaram estudos com menos de 300 sujeitos. Entre 300 e 999
sujeitos, 42,9% dos instrumentos apresentaram o nmero de sujeitos dentro dessa faixa
amostral. Entre 1000 sujeitos at 5000, 40% dos testes apresentaram essa referncia. Com
mais de 5000 sujeitos, encontramos 5,7% referncias, todas relativas a testes no-projetivos.
A diferena entre o nmero de sujeitos entre os testes projetivos e no-projetivos
esperada, uma vez que muito trabalhoso realizar pesquisa com instrumentos projetivos, j
que necessitam quase sempre de aplicaes individuais e, muitas vezes, bastante demora-
das, precisando de um bom preparo por parte do prossional para aplicar tais instrumentos.
Em resumo, dos manuais que apresentaram informaes sobre o tamanho da amostra
no estudos de padronizao, 83,6% de testes no-projetivos e 77,7% de projetivos utiliza-
ram, em suas pesquisas, de 300 a 5000 sujeitos.
V - Resultados
48
Estudos de Validade, Preciso e Padronizao por Perodos
Nas Tabelas 13, 14 e 15, esto dispostos os dados de 66 testes que informaram, em
seus manuais, as datas referentes ao estudo de validade, 62 que apresentaram as datas
referentes ao estudo de preciso e 68 que apresentaram as datas referentes ao estudo de
padronizao.
Essas tabelas indicam que, at 1984, existiam poucos estudos de validade, preciso
e padronizao (16,7%, 17,7% e 19,1%, respectivamente). De 1985 a 1995, o nmero de
estudos de validade, preciso e padronizao indicados nos manuais foram ainda menores
(10,6%, 12,9% e 10,3%, respectivamente).
De 1996 a 2004, perodo de oito anos, observa-se maior preocupao em inserir as
informaes dos estudos de validade, preciso e padronizao nos manuais (72,7%, 69,3%
e 70,6%, respectivamente). A situao era bastante diferente, ao se observar o perodo
de 1972 (data que consta como sendo a da primeira publicao de Teste Psicolgico na
amostra analisada) a 1995 (22 anos), quando havia pouca informao nos manuais sobre
os estudos de validade, preciso e padronizao (27,3%, 30,6% e 29,4%, respectivamente).
Esses dados, bem como os de estudo de validade, fazem-nos pensar que a comunida-
de cientca vem incorporando, cada vez mais, a necessidade de realizar pesquisas com
os Testes Psicolgicos, havendo maior exigncia de instrumentos adequados para uso.
Por outro lado, o avano da tecnologia, a familiaridade com computadores e programas
de aplicao de estudos estatsticos podem, tambm, ter facilitado a incorporao dessa
maior exigncia, resultando na realizao de estudos de Psicometria que incrementam a
qualidade dos instrumentos de Avaliao Psicolgica.
V - Resultados
49
Tabela 13: Perodos de execuo dos estudos de validade por tipo de teste
Perodo
Natureza do teste
Total
No-projetivo Projetivo
At 1984
Freqncia
Percentual
9
15,80
2
22,20
11
16,70
1985-1988
Freqncia
Percentual
2
3,50
0
0,00
2
3,00
1989-1995
Freqncia
Percentual
4
7,00
1
11,10
5
7,60
1996-2000
Freqncia
Percentual
19
33,30
4
44,40
23
34,80
Total
Freqncia
Percentual
57
100,00
9
100,00
66
100,00
Tabela 14: Perodos de execuo dos estudos de preciso por tipo de teste
Perodo
Natureza do teste
Total
No-projetivo Projetivo
At 1984
Freqncia
Percentual
9
16,70
2
25,00
11
17,70
1985-1988
Freqncia
Percentual
2
3,70
1
12,50
3
4,80
1989-1995
Freqncia
Percentual
4
7,40
1
12,50
5
8,10
1996-2000
Freqncia
Percentual
19
35,20
0
0,00
19
30,60
Aps 2000
Freqncia
Percentual
20
37,00
4
50,00
24
38,70
Total
Freqncia
Percentual
54
100,00
8
100,00
62
100,00

V - Resultados
50
Tabela 15: Perodos de execuo dos estudos de padronizao pela natureza do teste
Perodo
Natureza do teste
Total
No-projetivo Projetivo
At 1984
Freqncia
Percentual
12
20,70
1
10,00
13
19,10
1985-1988
Freqncia
Percentual
2
3,40
0
0,00
2
2,90
1989-1995
Freqncia
Percentual
3
5,20
2
20,00
5
7,40
1996-2000
Freqncia
Percentual
19
35,80
4
40,00
23
33,80
Aps 2000
Freqncia
Percentual
22
37,90
3
30,00
25
36,80
Total
Freqncia
Percentual
58
100,00
10
100,00
68
100,00
Anlise de Consistncia Interna do Formulrio de
Avaliao dos Testes
Um ponto importante que pode trazer informaes sobre a qualidade do processo e
avaliao refere-se consistncia do instrumento usado para avaliar os testes. O formu-
lrio de avaliao coleta vrias informaes sobre os testes, sendo algumas mais objeti-
vas, como, por exemplo, se o manual relata estudos de validade, mas h , tambm, outras
menos objetivas, como a valorao se a fundamentao terica excelente, suciente ou
insuciente. Pode-se questionar se todas essas informaes formam um conjunto coeren-
te que, quando agregadas, passam a indicar nveis crescentes de qualidade que, quanto
maiores, maior a chance de o instrumento em anlise ser considerado favorvel. Para isso,
vericamos a consistncia interna dos principais indicadores selecionados do instrumento,
descritos na Tabela 16.
V - Resultados
51
Tabela 16: Indicadores do formulrio, selecionados para anlise de consistncia
interna, e estatsticas descritivas para os 106 testes analisados
Aspecto avaliado Itens do Formulrio Mdia
Desvio
Padro
1. Qualidade geral do
manual
Item A16 1(insuciente) a 4 (excelente a bom). * 3,03 0,80
2. Qualidade geral do ins-
trumento
Item B1 1(insuciente) a 4 (excelente a bom). * 3,57 0,57
3. Qualidade da fundamen-
tao terica
Item B3 1(insuciente) a 4 (excelente a bom). * 3,11 0,68
4. Qualidade dos estudos
de validade
Item B5.5 1(insuciente) a 4 (excelente a bom). 2,46 1,21
5. Qualidade dos estudos
de preciso
Item B6.3 1(insuciente) a 4 (excelente a bom). 2,30 1,03
6. Qualidade do sistema de
correes
Item B7.6 1(insuciente) a 4 (excelente a bom). 2,48 0,93
7. Caractersticas gerais das
informaes do manual
Item A15 Variando de 0 (nenhuma informao) a 1 (100%
das informaes) em razo do nmero de itens de informao
presentes no manual que so indagados nesse indicador.
Nos testes estrangeiros, considerou-se uma proporo de 12
itens, e, nos testes brasileiros, 9 itens.
0,81 0,21
8. Quantidade de estudos
de validade
Item B5 Variando de 0 (nenhum estudo) a 1 (100% dos tipos
indagados) em razo da diversidade de estudos de validade no
Brasil.
Esse indicador representa uma proporo de 9 possveis tipos de
evidncia (correlao com outros testes, diferena entre grupos
etc.).
0,20 0,19
9. Quantidade de estudos
de preciso
Item B6 Variando de 0 (nenhum estudo ) a 1 (100% dos tipos
de evidncia de preciso) em razo da diversidade de estudos
de preciso no Brasil.
Esse indicador representa uma proporo de 5 possveis indica-
dores, dos quais 4 indicam diferentes tipos de evidncia, confor-
me o item B6.1 (equivalncia, consistncia etc.), e indicando se
os coecientes so calculados para diferentes grupos de sujeitos,
como descrito no item B6.2.
0,23 0,22
10. Quantidade de estudos
relacionados ao sistema de
interpretao.
Item B7 Variando de 0 (nenhuma informao) a 1 (100% das
informaes) em razo da qualidade das informaes sobre o
sistema de interpretao. Refere-se ao nmero de respostas sim
aos itens B7.1 - B7.5.
Alm disso, criou-se um indicador associado ao nmero de
sujeitos na amostra de padronizao, obedecendo ao seguinte
critrio: 0,25 para N<299; 0,50 para N entre 300-999; 0,75 para N
entre 1000-5000 e 1 para N>5000.
Esse item, portanto, indica a proporo de 6 itens ligados quali-
dade do sistema de interpretao dos escores.
0,33 0,17
*: Essas variveis possuem trs nveis de avaliao, cujos valores para as anlises variaram de 2 a 4.
V - Resultados
52
Como se observa na Tabela 16, os itens referentes validade, preciso e padronizao
so os indicadores mais baixos na amostra analisada, tanto nos aspectos quantitativos
quanto nos qualitativos. Isso mostra que, em muitos manuais, esses estudos so inexisten-
tes e pouco diversos. Esses so os aspectos mais crticos dos instrumentos, como tem sido
apontado pela comunidade cientca. Em seguida, o indicador referente ao sistema de
correo tambm apresenta baixa pontuao. Os itens com maior pontuao referem-se
qualidade do manual e ao da impresso dos instrumentos. Nesses itens, a mdia situa-se ao
redor do valor suciente.
Tabela 17: Matriz de correlao entre os indicadores
1 2 3 4 5 6 7 8 9 10
1. Qualidade geral do
manual
1,000
2. Qualidade geral do
instrumento
0,593 1,000
3. Qualidade da fun-
damentao terica
0,730 0,447 1,000
4. Qualidade dos estu-
dos de validade
0,685 0,528 0,536 1,000
5. Qualidade dos estu-
dos de preciso
0,571 0,471 0,428 0,814 1,000
6. Qualidade do siste-
ma de correes
0,521 0,489 0,365 0,655 0,697 1,000
7. Caractersticas ge-
rais das informaes
do manual
0,751 0,574 0,619 0,695 0,656 0,535 1,000
8. Quantidade de
estudos de validade
0,610 0,391 0,458 0,729 0,552 0,484 0,599 1,000
9. Quantidade de
estudos de preciso
0,581 0,329 0,479 0,634 0,768 0,505 0,619 0,635 1,000
10. Quantidade de
estudos de relacio-
nados ao sistema de
interpretao
0,507 0,487 0,447 0,447 0,446 0,581 0,519 0,346 0,428 1,000
V - Resultados
53
Tabela 18: Correlao item-total dos indicadores do instrumento
Indicadores Correlao item-total
Alfa de Cronbach se o item for
deletado
1. Qualidade geral do manual 0,772 0,845
2. Qualidade geral do instrumento 0,608 0,861
3. Qualidade da fundamentao
terica
0,610 0,860
4. Qualidade dos estudos de
validade
0,841 0,846
5. Qualidade dos estudos de
preciso
0,792 0,845
6. Qualidade do sistema de cor-
rees
0,695 0,854
7. Caractersticas gerais das infor-
maes do manual
0,796 0,869
8. Quantidade de estudos de
validade
0,693 0,872
9. Quantidade de estudos de
preciso
0,714 0,870
10. Quantidade de estudos rela-
cionados ao sistema de interpre-
tao
0,593 0,875
Como pode ser observado na Tabela 17, as correlaes entre os indicadores so, na sua
maioria, de moderadas para altas. A mdia das correlaes entre os itens foi de 0,55. A me-
nor foi de 0,323 e a maior, de 0,81. Isso se reete nos altos ndices de correlao itemtotal
mostrados na Tabela 18. Como resultado dessa associao entre os itens, observamos um
alto coeciente de consistncia interna do instrumento de 0,93 (Alfa de Cronbach). Confor-
me a Tabela 18, todos os itens foram importantes para a consistncia da escala, j que a
eliminao de qualquer um deles acarretaria a diminuio do Alfa.
V - Resultados
54
Nota Global de Qualidade dos Testes Psicolgicos Avaliados
Foi calculada uma nota para cada instrumento (ESC_G), considerando os dez itens avalia-
dos descritos na Tabela 16. Essas notas variam de 0 a 10 e indicam o nvel global de qualida-
de, levando em conta os 10 itens descritos, isto , para cada teste, somaram-se os pontos ob-
tidos nos 10 indicadores, compondo-se uma nota global indicativa da qualidade. Na Tabela
19, esto dispostas as estatsticas descritivas gerais, calculadas para os 106 testes analisados.
Como pode ser observado, as notas variaram de 2,69 a 8,88, com mdia 5,8.
Tabela 19: Estatsticas descritivas da Nota Global de Qualidade dos testes
N Mnimo Mximo Mdia Desvio
Padro
ESC_G 106 2,69 8,88 5,80 1,65
Foi calculada, tambm, a correlao entre essas notas e a avaliao nal do instrumento.
Os testes desfavorveis receberam a pontuao zero, e os favorveis, 1, na varivel referente
avaliao nal. A correlao entre a Nota Global de Qualidade e a avaliao nal foi de
0,88 (N=106, p < 0,001).
Pode-se concluir, ento, que os indicadores do formulrio possuem alta coerncia e,
quando agregados, compem uma escala que indica a qualidade dos instrumentos, asso-
ciando-se avaliao nal da condio de favorvel. De fato, uma anlise ROC indica que,
se utilizado o ponto de corte 5,78, pode-se identicar 100% dos testes favorveis, com uma
proporo de falsos positivos de aproximadamente 6%
V - Resultados