Sunteți pe pagina 1din 63

Fidelitatea si validitatea.

Caracteristicile psihometrice
n msurarea psihologic

Dragos Iliescu
I. FIDELITATEA
Vom vorbi despre...
Definitie
Problematica fidelitatii
Tipuri de fidelitate
Modalitati de masurare
Eroarea Standard de Masurare / de
Predictie
Corecii pentru (lips de) fidelitate
Fidelitatea: Definitie
n orice msurare a fidelitii, referirea se face la consistena i
reproductibilitatea unei observaii (cot, scor, not) sau set de observaii
(distribuia scorurilor). Dac cu acelai instrument de msur se fac
determinri n timpi succesivi i de fiecare dat se ajunge la aceleai valori,
spunem c am obinut o msurare cu o fidelitate mare.

Prin fidelitate se nelege fineea cu care testul msoar constructele sale


componente, respectiv gradul de exactitate i lipsa greelilor de msurare.

Fidelitatea indic utilizatorului gradul n care poate avea ncredere n


rezultatele testului.

Fidelitatea este gradul n care scorurile testului sunt consistente sau


repetabile, adic gradul n care ele nu sunt afectate de erorile de msur
(APA Standards, 2014).
Fidelitatea: Problematica
Asadar, fidelitatea vorbeste despre
exactitate
lipsa de eroare
repetabilitate
...

In teoria clasica a testarii (CTT), rezultatul unei masurari psihologice


este definit drept:

True score = Observed score + Error

Deci, cu cat eroarea este mai mica, cu atat scorul observat (masurat in
mod efectiv) este mai corect, mai apropiat de realitate (scorul
adevarat)
Fidelitatea: Masurare
Pentru determinarea fidelitii, sunt posibile mai multe proceduri i se
pot folosi metode diferite de evaluare sau chiar de msurare ale
acesteia.

masurare: (empirical correlational methods, multiple measurement)


test-retest
forme echivalente

estimare: (multivariate methods, single measurement: internal


consistency)
split-half
Cronbachs alpha
Guttmans lambda
Kuder Richardsons KR-20 & KR-21
Fidelitatea: Test-retest
metoda foarte puternica, de masurare a fidelitatii (nu estimare)

se administreaza acelasi test de 2 ori, la o oarecare distanta intre administrari


distanta este dependenta de tipicul testului (aptitudini generale, aptitudini
specifice, personalitate etc.)

probleme:
esantioane mici, de obicei
esantioane necontrolate, de obicei (dropouts)
efectele invatarii (mai ales la distante de retest mici si la anumite tipuri de teste)
efectele dezvoltarii/evolutiei (mai ales la distante de retest mari)

se raporteaza:
rtt, coeficientul de corelatie intre seturile de date obtinute in test si retest
distanta de retest (2 saptamani, 5 zile etc.)
Fidelitatea: Forme echivalente
metoda foarte puternica, de masurare a fidelitatii (nu estimare)

probleme
este posibila doar la acele teste unde exista forme echivalente
efort foarte mare pentru autor sa genereze forme echivalente
echivalenta nu este niciodata perfecta

se raporteaza:
rab, coeficientul de corelatie intre seturile de date obtinute cu Forma A si
Forma B

Exemplu:
TTCT, Torrance Tests for Creative Thinking, Verbal & Figural, Forms A and B
Fidelitatea: Split-half
metoda mai slaba, de estimare a fidelitatii (nu masurare)

metoda:
se imparte testul in 2 subteste, esantionand itemii sai
esantionarea poate fi facuta ori aleator, ori dupa o regula,
de obicei itemi pari vs. impari

se raporteaza
rxy, coeficientul de corelatie intre cele 2 subteste, de obicei r par-
impar
Fidelitatea: Consistenta interna
metoda mai slaba, de estimare a fidelitatii (nu masurare)
cea mai populara metoda de raportare a fidelitatii
coeficientul Alpha, (Lee Cronbach)
coeficientii KR 20 si KR 21 (Kuder & Richardson)
coeficientii Lambda (1-6) ai lui Guttman, 3 este similar cu Alpha-Cronbach

metoda:
multivariata
se raporteaza media deviatiilor fiecarui item de la valoarea medie, la deviatia
scorului total
NU UITATI SA INVERSATI ITEMII SCORATI INVERS!!!

se raporteaza
/ x /KR20/KR21=[0.00-1.00]
praguri (Bernstein & Nunnaly): .70 / .90
Fidelitatea unor metode de
evaluare diferite
in aceasta evaluare de obicei metodele sunt impartite in
calitative vs. cantitative
observatie
acord interevaluatori, de obicei pe acelasi behavioral sample
= .05 - .25

interviu
acord interevaluatori
= .05 - .50

test/chestionar
toate metodele discutate
= .50 - .90
Cum variaza fidelitatea testelor?
De obicei fidelitatea
unui test creste odata
cu numarul de itemi

Spearman-Brown
prophecy (demonstratia
clasica: Guilford, 1954)
true variance increases
more rapidly than error
variance
rnn = n x rtt / (1+ (n-1) rtt )
Alte forme de fidelitate
(metode calitative)
Fidelitatea estimarilor pentru mai multi
evaluatori (reliability ratings across judges)
acord inter-evaluator

ICC: Intraclass Correlation Coefficient


ICC: problema
ICC: problema (grafic)
Corecia pentru (lipsa de) fidelitate
correction for attenuation
regression dilution
disattenuation

rid a correlation coefficient from the


weakening effect of measurement error
(Jensen, 1998)

rxy(corr) = rxy / sqrt (rxx * ryy)


Unde aplicm corecii
(de-atenuri?)
PREDICTOR CRITERIU

Cauza Efect

Variabila independenta Variabila dependenta

Ex: Inteligenta (GMA) Ex: Performanta profesionala

Ex: Constiinciozitate Ex: Accidente de munca (-)

Ex: Extraversie Ex: Eficienta in vanzari


Fidelitatea: Wrap it up
In concluzie:
fidelitatea se poate masura sau estima
metodele de masurare sunt mai puternice decat cele de
estimare
indicele de fidelitate e cuprins intre 0 si 1
operam cu praguri de .70 si de .90 pentru fidelitate, atunci cand
o aplicam unor probleme de masurare

Insa fidelitatea nu are un sens direct in masurare


daca ne intoarcem la ecuatia din CTT (Observed score = True
score + Error), cum este relationata fidelitatea cu Error Term?
prin intermediul conceptului de Standard Error of Measurement
SEM: Standard Error of
Measurement
Eroarea de msurare standard (se) se calculeaz potrivit
Formulei (1), unde se = eroarea de msurare standard,
sx = abaterea standard, rtt = coeficientul de fidelitate.
se = sx (1- alpha)

Atunci cand in locul fidelitatii consistenta interna se


foloseste fidelitatea test-retest, masura se numeste SEP:
Standard Error of Prediction

Intervalul de confidenta de 90% (+ - SEM): intervalul in


care pica scorul real al subiectului, cu o probabilitate de
90%
SEM: Exemplu

Scala staninelor are o medie de 5 i o abatere standard de 1.96

Fidelitatea unui test este rtt= .70

se = 1.96 (1- .70) = 1.07

Scala QI are media de 100 si abaterea standard de 15

Fidelitatea unui teste este rtt= .95

se = 3.35
SEM: la ce ne foloseste?
Estimarea erorii de masurare
la fidelitati sub .70, se creste foarte mult si scala nu
mai poate fi utilizata pentru decizii majore
la fidelitati de peste .90, se scade la un nivel la care
putem spune ca se poate lucra coerent cu scala

Probleme de comparatie
comparatia scorului unui individ cu scorul altui individ
comparatia scorului unui individ cu un prag
Test de inteligenta: cu 90%
confidence interval pentru rtt=.50, .
70 si .95
Chestionar de personalitate: NPQ
(Ce ar fi daca fidelitatile ar fi la .50)
Chestionar de personalitate
(contd.)
Chestionar de personalitate
(contd.)
Chestionar de personalitate
(contd.)
Test de aptitudini (Performanta
aritmetica): confidence interval pentru
rtt=.50 (cu rosu) si pentru rtt=.75 (cu gri)
Test de aptitudini (Vanzari):
confidence interval pentru rtt=.50
(cu rosu) si pentru rtt=.90 (cu verde)
Concluzie
A measurement cannot be valid if it is not
reliable

Fidelitatea este considerata o conditie a


validitatii
II. Validitate
Vom vorbi despre...
Definitie
Tipuri de validitate
Validitatea de construct
Validitatea de criteriu
Validitatea metodelor (in general)
Validitatea: Definitie
Concepia actual despre validitate spune c aceasta reprezint un corpus
complex i integrat de demonstraii i cunotine tiinifice care
examineaz variabilele psihologice msurate de test (AERA, APA,
NCME, 2014).

Aceste demonstraii ne parvin ntr-o varietate de forme, iar nelegerea


validitii unui test necesit examinarea lor atent.
Forme de validitate outdated
Surse de validitate

Validitatea este conceptul central pe care se bazeaz masurarea


psihologica, att n cazul aptitudinilor ct i al personalitii.
Ea ne permite formularea de aseriuni privind gradul de dezvoltare al unei
caracteristici care ne intereseaz sau emiterea de predicii n ceea ce privete
comportamentul viitor al persoanei evaluate.
Validitatea: Surse de validitate
Validitate de continut (content validity):
construct validity (verificare a operationalizarii)
face validity
translation validity

Validitate de criteriu (criterion-related validity)


validitate predictiva (predictive validity): prezice ce ar trebuie sa prezica
validitate concurenta (concurrent validity): distinge intre grupuri intre
care ar trebui sa distinga
validitate convergenta (convergent validity): coreleaza cu alte
operationalizari ale conceptului (sau masuri ale acestuia)
validitate discriminanta/divergenta (discriminant/divergent validity):
operationalizarea diferentiaza fata de alte concepte similare
Validitatea: clarificari / exemple
n linii generale, validitatea exprim gradul n care un test msoar ceea ce i
propune s msoare.

La aceast calitate se mai poate aduga i o alta, dac testul poate fi utilizat n
luarea unor decizii corecte.

Cu alte cuvinte (exemplu), dac noi cunoatem performanele unei persoane la un


test (predictor), ct de precis vom putea estima ce performane profesionale va
obine?

Validitatea poate fi definit n termeni operaionali ca i corelaia dintre predictor i


criteriu (de ex. performanele profesionale ale unui eantion de indivizi).

Rezultatul este cunoscut ca i coeficient de validitate.


Un test poate avea mai muli coeficieni de validitate, n funcie de numrul de
dimensiuni profesionale (calitatea muncii, disciplina, categoria profesional etc.)
care coreleaz cu el.
Validitatea de continut /
construct
Pune probleme legate de gradul n care dimensiunile msurate sunt
cu adevrat relevante pentru conceptul pe care se concentreaz
testul

construct underrepresentation: daca sunt prezente toate


dimensiunile relevante (daca nu s-au pierdut unele care trebuiau sa fie)

construct irrelevance: daca nu sunt prezente dimensiuni nerelevante


(care contribuie la eroare, dpdv al constructului evaluat)
Exemple: construct
underrepresentation &
irrelevance
Personalitate:
masuram sociabilitate si responsabilitate; este testul valid (de construct)?
masuram extraversie si stabilitate emotionala; este testul valid (de
construct)?

Sociabilitate:
masuram fluenta verbala, numarul de glume pe care il poate face; este
valid? (include toti indicatorii relevanti)

Usurinta aritmetica:
masuram capacitatea de a transpune o problema matematica in ecuatie,
de a face calculele si de a explica verbal semnificatia rezultatului la care
s-a ajuns; este valid? (surprinde constructul corect?)
Validitatea de construct (contd.)
Care este perioada asociata cu filosoful Epicur?
a. 341-270 BC
b. 331-232 BC
c. 280-207 BC
d. Nici una din aceste optiuni

Cand s-a nascut fondatorul Microsoft, William Gates?


a. 1949
b. 1953
c. 1957
d. Nici una din aceste optiuni

Care din urmatoarele enunturi sunt corecte cu referire la ANOVA?


a. A fost inventata de Fisher in 1914
b. A fost inventata de Fisher in 1920
c. A fost inventata de Pearson in 1920
d. Nici una din aceste optiuni
Validitatea de construct (contd.)
... pe ce ne bazam?
cand putem hotari ca dimensiunile incluse sunt cele corecte, cele care trebuie sa
fie acolo?

Exemplu: ce dimensiuni de personalitate, din urmatoarele, ati include intr-un test


care sa fie cat mai scurt (3-8 dimensiuni)
Dominana - Flexibilitatea
Independena - Orientarea spre competiie
Amiabilitatea - Orientarea spre status
Autocontrolul - Perseverena
Internalitatea - Dorina de nvare
Extraversia - Sociabilitatea
Stabilitatea emotionala - Deschiderea spre noutate
Constiinciozitatea - Responsabilitatea
Tonusul psihic - Psihotismul

intotdeauna se pune si problema


potrivirii cu obiectivele, a adecvarii la situatie (de ex. pentru personalitate clinic vs.
nonclinic)
Validitatea de construct (contd.)
concluzie preliminara:
pune problema constructiei (=de construct) corecte a predictorului nostru (testul):
ai acoperit complet si corect aria empirica a conceptului?
1. ai dimensiuni straine de concept?
2. iti lipsesc dimensiuni importante care tin de fapt de concept?
3. felul in care dimensiunile se agrega corespunde felului in care teoria prescire agregarea
lor?

metoda:
(1) & (2) se trateaza prin recurs la teorie si se probeaza validitatea de construct
demonstrand ca in testul-tinta conceptul respectiv este tratat asa cum o teorie sau
model anume prescrie
(3) se trateaza empiric & statistic:
analiza factoriala exploratorie (EFA), care reproduce coerent ce zice teoria (de ex. extrage
numarul corect de factori, itemii au tiparul corect de saturatii)
analiza factoriala exploratorie (EFA), cu rotatie Procrustes
analiza factoriala confirmatorie (CFA): the data fits the model? / goodness of fit measures

se raporteaza:
text, blabla, nu exista un coeficient de validitate de construct
Corectitudinea dimensiunilor,
Ex.: TABP
Type A Behavior Pattern
Tiparul comportamental de tip A (=
personalitate de tip A)

un conglomerat de comportamente care


tind sa apara impreuna si care, atunci
cand sunt prezente, maximizeaza riscul de
somatizare a stresului ocupational si de
dezvoltare a unor afectiuni coronariene
Corectitudinea dimensiunilor,
Ex.: TABP
Nerbdarea (IMP)

Furia (ANG)

Sentimentul Lipsei de timp (TU)

Implicarea n munc (WI)

Insatisfacia legat de serviciu (JD)

Competitivitatea (COM)
Corectitudinea dimensiunilor,
Ex.: TABP (contd.)
Daca am introduce si alte dimensiuni, am putea extinde plaja diagnostica a
testului
De exemplu:
Perseverena
Dominana
Angajamentul in sarcina
Flexibilitatea (-)
Absorbirea in munca (intr-o activitate)
Internalitatea (LOC)
Efortul compensator
Mndria pentru propria perfomana
Preferina pentru dificultate
Autocontrolul i autodisciplina
Orientarea spre status
Orientarea spre competiie
Fixarea de scopuri ambitioase

Dar: este asta valid?


Validitatea de construct: wrap it
up
trebuie pastrata balanta intre:
validitatea pentru o sarcina specifica
validitatea principiala legata de constructul
focal

validitatea de construct se judeca


intotdeauna teoretic, prin apel la teoriile
care marcheaza teritoriul stiintific respectiv
Validitatea de criteriu: explicatie
un indicator al faptului ca testul poate fi utilizat ca predictor
pentru un anumit comportament (criteriu)
ca urmare a existentei acestui tip de validitate putem spune, daca
testul are un scor mare, ca X e probabil si cand testul are scor mic,
ca X este improbabil (sau X e probabil)

validitatea de criteriu spune ce predictii sunt valide deci


cum se interpreteaza scorurile testului

de principiu este corelaional la nivel comportamental,


ns se admit i alte indicii, de exemplu experimentale sau
de comparaie inter-grupuri
Validitatea de criteriu
Principiu
cat mai voluminos corp de cunostinte despre
felul in care se comporta o anumita scala sau
test:
in relatie cu anumite criterii
in anumite situatii (ar putea fi generalizabil, in functie
de explicatia teoretica oferita)
de ex. experimentul Sy vs. Do in CPI, explicatia e coerenta,
deci e probabil generalizabila

pe anumite esantioane (ar putea fi generalizabil, in


functie de explicatia teoretica oferita)
de ex. legatura dintre Re si ceasornicari, explicatia e
coerenta, deci generalizabila
de ex. scorurile la STAI-Y pentru adulti in SUA vs. Romania
(desi coerent si aparent generalizabil, s-a infirmat)
Validitatea de criteriu
Metoda
date continue: corelatie intre criteriu si predictor
(validitate predictiva)
se raporteaza drept coeficient de validitate r

grupuri contrastante sau puternic contrastante (validitate


concurenta)
high vs low scorers pe predictor coincid cu high vs. low scorers
pe criteriu
se raporteaza testul T, al semnificatiei diferentei intre doua medii
(p<.01, p<.05, p<.001 etc.)

alte metode, inovative, cum ar fi de ex. metode de


grupare (analiza de cluster, analiza factoriala de tip Q)
Exemplu validare de criteriu:
Scala Do din CPI (1)
Obiectivele scalei

Scala Dominan (Do, Dominance) a fost


dezvoltat iniial n cadrul unui proiect de
studiu al participrii politice (Gough, McClosky
& Meehl, 1951) cu scopul explicit de a
identifica indivizii puternici, dominani, influeni,
cu ascendent asupra celorlali i care preiau
conducerea i i exercit autoritatea
(Megargee, 1972).
Exemplu validare de criteriu:
Scala Do din CPI (2)
Constructia scalei

Scala Do a fost construit prin compararea empiric a conceptului de


dominan cu scorurile obinute de ctre un numr de subieci pe baza unui
set de itemi, construit special n acest scop.

Gough, McClosky & Meehl (1951) au construit un set de itemi care putea
descrie o persoan dominant i au selectat din acesta, pe baza unui procedeu
experimental-comparativ itemii cu puterea cea mai mare de discriminare.

Procedeul este numit peer nomination i const, n forma sa clasic, din aceea
c, ntr-un eantion de subieci care sunt familiarizai unul cu altul (de exemplu
o clas de elevi, un grup de munc), persoanele care compun eantionul sunt
rugate s-i numeasc pe aceia dintre ei care se potrivesc cel mai bine cu un
anumit criteriu.

Ulterior, acestor persoane selectate li se aplic un set de itemi sau un


chestionar i pe baza analizei statistice sunt reinui itemii care au putere de
discriminare.
Exemplu validare de criteriu:
Scala Do din CPI (3)
Cateva studii importante sunt:
Gough (1969b): comparatie de peer-nominated cu normele
nationale
Gough (1969b): comparatie de high si low nominated intre ei
Hase & Goldberg (1967): comparatie auto-evaluare globala si
auto-evaluare cu CPI
Megargee, Bogart & Anderson (1966): validare predictiva
Gough (2003): studiu longitudinal peste 40 de ani, cadeti din
West Point
Dicken (1960): studiu cu Gi vs. Do (arata semnificatia prosociala
a Do)
Gough (1954): studiu cu Sy si Do (militari marsaluind)
Exemplu validare de criteriu:
Scala Do din CPI (4)
4 factori in interpretare

Primul factor este compus n principal din itemi care descriu persoana evaluat drept un
leader, cruia i place s conduc, s vorbeasc n faa altor oameni i care are talent
pentru organizarea i controlarea celorlali. Exemple de astfel de itemi sunt Am un talent
nnscut de a influena oamenii (adevrat), Cred c mi-ar plcea s am putere asupra
altora (adevrat).

Al doilea factor este descriptiv pentru un puternic sentiment al auto-controlului, fiind


compus din itemi precum mi este greu s m concentrez pe activitatea pe care trebuie s
o fac (fals), Renun cu uurin atunci cnd lucrurile devin dificile (fals) i Am greuti mai
mari dect ceilali oameni cu concentrarea (fals).

Al treilea factor ine de controlul i dirijarea celorlali, coninnd itemi precum mi place
s dau ordine i s pun lucrurile la punct, Mi-ar plcea s am autoritate asupra altor
oameni i mi place s planific lucrurile i s stabilesc ce are fiecare persoan de fcut.

Al patrulea factor poate fi descris drept factorul normei sociale; conine doar doi itemi,
ns ambii afirm obligativitatea fiecrei persoane de a participa la activitile grupului sau
naiunii sale i de a se supune consensului comun.
Exemplu validare de criteriu:
Scala Do din CPI (5)
Exemplu validare de criteriu:
Scala Do din CPI (6)
Comportamente asociate

i-a asumat controlul grupului (.33);


A vorbit mult la ntlnire (.33);
A avut mai multe de spus dect oricine altcineva (.32);
A acordat sprijin celui care a avut o idee bun (.32);
A nvat numele tuturor celorlali din grup (.29);

A vorbit doar dac i s-a adresat altcineva nti (-29);


Nu a intrat n conversaie pn nu i s-a pus o ntrebare (-.19);
A dat doar rspunsuri monosilabice la ntrebri personale (-.19);
A ateaptat ca cealalt persoan s aleag tema conversaiei (-.18);
A devenit tcut atunci cnd au intrat oameni noi n ncpere (-.17);
Exemplu validare de criteriu:
Scala Do din CPI (7)
Descrieri din anamneza

Neobinuit de sigur pe sine, se simte n stare s fac fa aproape


oricrei situaii. (.27, .24);
Las o impresie bun, are tehnici interpersonale eficiente. (.24, .20);
Folosete un vocabular vast i variat. (.14, .23);
Plin de haz i de via, face o conversaie interesant. (.16, .26);

Este nesigur pe sine, are ndoieli privind propriile abiliti. (-.22, -.24);
Are multe griji i probleme. (-.18, -.20);
Este reticent i taciturn. (-.19, -.14);
Are dificulti n a-i exprima ideile. (-.16, -.20);
Validitatea de criteriu: Exemple
(2)
dovezi experimentale:
experiment pentru Sy (militari marsaluind)

comparatii intergrupuri:
AMI; motivatie pentru performanta pe esantioane de sportivi,
artisti, someri
CPI, To; toleranta comparata pe esantioane de hipioti,
neonazisti, calugari
SWS, TABP comparat pe esantioane de bolnavi
uneori aceasta abordare iti documenteaza scala (adica aduce la
lumina noi utilizari sau semnificatii):
CPI, Re: ceasornicari, slefuitori de diamante, controlori de zbor etc.
Validitatea predictiva
cea mai puternica, dar si cea mai rara
se bazeaza pe studii longitudinale, care prezic evolutii sau
comportamente pentru populatii largi, pe perioade de timp relativ
lungi

Exemple:
CPI, modelul cuboid, ca predictor al succesului militar: absolventi de
West Point, promotiile anilor 60 si 70
EPQ: studiu longitudinal pe probabilitatea de recidiva a detinutilor
STAXI: studiu longitudinal pe probabilitatea de a avea un accident auto,
studiu pe accidente de munca
SWS: studiu longitudinal pe probabilitatea de a avea un infarct miocardic
Raven: prezice succesul scolar
Validitatea divergenta
Este importanta mai ales in acele conditii in care
conceptul-tinta este foarte aporpiat de alte concepte

Exemplu:
test de depresie
exista comorbiditate intre depresie si anxietate
ar trebui sa demonstram
nu doar ca testul nostru diferentiaza depresivi de nondepresivi
ci si ca nu coreleaza cu teste de anxietate
si ca diferentiaza mai bine intre high si low scorers de depresie decat
intre high si low scorers de anxietate
Validitatea de aspect
o modalitate (gresita) de a infera validitatea de criteriu (sau validitate in general)
este bazata pe itemii scalei sau pe natura problemei

personalitate:
27. Cnd m contrazic cu cineva am tendina s vorbesc mai tare dect de obicei.
86. Clocotete sngele n mine cnd sunt luat de prost.
105. Deseori nu mi pot stpni suprarea i furia.
113. Am deseori tendina s fiu grbit i repezit, chiar i atunci cnd nu e cazul.
115. Se ntmpl des s m enervez prea repede pe cineva.
135. Pot fi uor scos din srite dac sunt agresat.
-30. Dac ceva mi merge ru, nu m enervez pentru mult timp.
-52. Chiar i atunci cnd sunt prea multe lucruri de fcut, prefer s le fac n ritmul
meu.
-60. Chiar dac ceva m scoate din srite, de cele mai multe ori m calmez
repede.
-93. Nu sunt multe lucrurile care reuesc s m irite sau s m enerveze.
-102. n general sunt o persoan linitit i greu de enervat.
-108. Exist o mulime de mici neplceri ale vieii pe care nu le las s m tulbure.
Validitatea trebuie judecata atat
general cat si situational
general:
un test (measuement) care nu a fost validat nu ar trebui utilizat
poate nu au fost culese date de validare exact in situatia care ma
intereseaza, dar faptul ca ele exista, ma face sa am mai multa incredere
exemplu:
un test de persuasiune a fost validat in contextul unui studiu experimental
(elevi care trebuiau sa convinga clasa sa actioneze intr-un anumit fel)
poate fi utilizat pentru a evalua agenti de vanzari?

situational
daca a fost validat pe situatii similare cu cea la care e folosit
daca e UTIL (uneori e evident)
trebuie sa selectez dintr-o clasa de copii pe cei care sunt susceptibili sa faca
sport de performanta, am la dispozitie un test care masoara Extraversie,
Nevrotismul si Psihotismul e valid?
Validitatea metodelor
Evident, validitatea se refera mai degraba la masuratori specifice (de ex. teste
specifice)
mai specific chiar, vorbim de validitatea scorurilor (adica a informatiilor obtinute)

Totusi se vorbeste despre faptul ca unele metode sunt mai valide decat sunt altele
Cum se poate evalua validitatea unei metode?
evident, prin prisma potentialului sau de a genera informatie valida

De principiu, metodele sunt diferite din acest punct de vedere:

Assessment Center (multiple measures) .65


Interviu comportamental .40-.60
Teste de performanta directa (work sample) .54
Teste de abilitate .53
Teste de integritate .51
Chestionare de personalitate .39
Date biografice .38
Referinte .23
Interviu traditional (nestructurat / semistructurat) .05-.19
Metaanaliza:
Robertson & Smith (2001)
+1 PERFECT PREDICTION

.63 Ability and Structured Interview


.60 Ability and Work sample
.54 Work Sample Tests
.51 Structured Interviews
.51 Ability Tests
.41 Job knowledge Tests
.40 Personality Tests
.37 Assessment Centres (criterion = job performance)
.35 Biodata
.26 References
.18 Years Job Experience
.10 Years Education
.02 Graphology
0 RANDOM PREDICTION
-0.01 Age
Validitatea metodelor ca functie
a intinderii
numarul de itemi (de instante comportamentale care sunt esantionate)
determina validitatea, nu doar fidelitatea testului; de aceea un test mai lung
(sau interviu mai lung) este mai valid (presupunand ca este bine construit)
tinand orice alta variabila constanta, testele mai lungi sunt mai valide

pentru GAMA (test de abilitati cognitive), validitatea creste daca este


administrat pentru perioada intreaga (N=270, criteriul performanta academica
la scolari din an terminal al liceului):

1 minut .21
2 minute .30
3 minute .36
5 minute .39
10 minute .41
15 minute .45
20 minute .48
25 minute .51

S-ar putea să vă placă și