Proceduri standardizate

de evaluare
Elaborat de ctre:
Dup cartea Raportul psihologic:
Redactare i Evaluare Karl
Westhoff, Marie-Luise Kluck

Criterii de selecie a procedurilor

standardizate de evaluare
Criteriile de selecie a procedurilor standartizate de evaluare, precum testele i
chestionarele sunt:
1.
Baza teoretic a procedurii
2.
Caracteristicile empirice

3.

Obiectivitate
Fidelitate
Validitate
Norme

Raportul cost-beneficiu pentru ntrebarea specific pus de client

Baza teoretic a procedurii este amplasat ca fiind primul criteriu deorece restul criteriilor
se bazeaz pe ea. Pentru a evalua calitatea bazei teoretice avem nevoie de o
masur care este definiia teoriei date de Guttman (1981) prezentat n urmtorul
slide.
Obiectivitatea, fidelitatea, validitatea i normele sunt caracteristici generale ale unei
proceduri de standartizare de evaluare. n afar de acestea exist i o caracteristic
specific a evaluarii ntr-o situaie dat, care poate face ca o procedur s par mai
mult sau mai puin potrivit i anume este voba de raportul cost-beneficiu.
Dup Cronbach i Glesser (1965) raportul cost-beneficiu pentru o procedur selectat
trebuie s fie mai bun dect cel al aa-numitelor strategii a-priori.

Definiia teoretic a muncii psihologice

Guttman definete urmtoarea cerin cu privire la o teorie:
O teorie este o ipotez privind corespondena dintre un sistem definiional pentru un
univers de observaii i un aspect al structurii empirice a acestor observaii,
mpreun cu raiunea fundamental pentru o astfel de ipotez.
Definiia lui Guttman presupune urmtoarele aspecte definitorii pentru o teorie:
1.
Existena unui sistem definiional pentru universul observaiilor;
2.
Descrierea unui (sau a mai multor) aspect(e) al(e) structurii empirice a
observaiilor;
3.
Existena uneia (sau a mai multor) ipoteze cu privire la corespondena dintre
sistemul definiional i un aspect al structurii empirice a observaiilor;
4.
Existena unui raionament fundamental pentru aceast ipotez.
La nceputul construciei fiecrui test tiinific trebuie s definim ce anume trebuie observat,
universul (posibilelor) observaii. Un criteriu pentru ndeplinirea acestei cerin e este
gradul n care seciunea teoretic din manualul unui test prezint toate definiiile
necesare, astfel nct ali psihologi s poat construi noi teste comparabile. Cu ct
lipsesc mai multe definiii eseniale din sistemul defini ional al universului de
observaii, cu att trebuie s formulm mai multe ipoteze.

Definiia teoretic a muncii psihologice

Aspecte ale structurii empirice a observaiilor nseamn distribuiile datelor,
caracteristicile acestor distribuii, precum i relaiile i diferen ele dintre distribu iile
datelor. O teorie const din cel puin una dar de regul din mai multe ipoteze despre
corespondena dintre sistemul definiional i aspectele structurii empirice a
observaiilor. Ipotezele unei teorii afirm n prealabil distribuiile datelor a teptate de
autori, precum i similaritile i diferenele prevzute ntre aceste distribu ii.
Scorurile obinute de un eantion experimental de persoane crora li se administreaz un
test psihologic urmeaz o anumit curb de distribuie. n general, aceste distribu ii
se vor apropia de o distribuie normal. Teoria unui test prezice forma curbei, abia
atunci se poate determina empiric dac aceast predicie (ipotez) este corect sau
nu. Deseori atenia cercettorilor se concentreaz doar pe acele caracteristici ale
distribuiilor care sunt considerate a fi importante, iar calculele sunt fcute pe baza
unor msuri ale tendinei centrale, precum media, mediana sau modul i a unor
msuri ale variaiei, precum abaterea standart sau variana. n teorie, predic iile
(ipotezele) pot fi emise att cu privire la valorile acestora, ct i la alte caracteristici
ale distribuiilor.
Teoria mai poate prezice ct de bine vor corespunde distribuiile una cu cealalt sau cum
vor fi ele diferite. O alt caracteristic a unei teorii este ceea c prezint un
raionament fundamental.

Funciile teoriilor care stau la baza

procedurilor de evaluare
Funcii
O teorie aferent unei proceduri de evaluare i ofer psihologului evaluator informaiile
cerute despre:

Sistemul definiional al universului observaiilor;

Aspecte ale structurii empirice a observaiilor;

Ipoteze despre corespondena dintre sistemul definiional i aspecte ale

structurii empirice;

Raionamente psihologice fundamnetale pentru aceste ipoteze.

Psihologul evaluator are nevoie de aceste informaii pentru a putea nelege construc ia
procedurii, pentru a o putea folosi i scora i de asemenea pentru a interpreta
rezultatele.
Utilizarea responsabil a procedurilor tiinifice testele psihologice i chestionarele fiind
proceduri tiinifice presupune ca utilizatorii s neleag construcia acestor
proceduri. Pentru aceasta este nevoie de informaie cu privire la toi paii
construciei. n mod normal aceti pai ai construciei i evaluarii testelor sunt indica i
n manualul testului sau chestionarului dar cel mai des este nevoie s le cautm n
diferite literaturi.

Obiectivitatea procedurilor standardizate

Obiectivitate = consistena inter-utilizator n aplicarea, scorarea i interpretarea
procedurilor standardizate de evaluare.
O procedur este mai obiectiv atunci cnd diferii utilizatori experi sunt cngruen i n opiniile
emise cu privire la aplicarea, scorarea i interpretarea acelei proceduri. O procedur
nu poate fi cotat exclusiv la extreme, adic fie obiectiv, fie ne obiectiv. Din
contra, consitena inter-utilizator poate varia de la foarte sczut la foarte ridicat.

Obiectivitatea n aplicare
Probleme posibile n aplicarea procedurilor psihologice standartizate:

Subiecii urmresc scopuri nepotrivite;

Subiecii au ateptari nepotrivite;

Instruciuni neclare

Apariia unor dificulti care nu au fost nc descrise n literatura tiinific

se poate ntmpla ca uneori subiecii s urmreasc scopuri care nu corespund scopurilor
evaluarii sau care chiar sunt contrare acestora. Similar, subiec ii se pot atepta ca o
anume procedur specific, sau ca evaluarea n ansamblul ei , s fie diferit fa de
modul n care ei o resimt n realitate. Ambele situaii pot duce la rezultate complet
nefolositoare.

Msuri pentru creterea obiectivitii n

aplicare
Obiectivitatea poate fi crescut prin:

Explicarea scopurilor i a planului de desfurare a evalurii;

Explicarea rolurilor subiectului, psihologului etc;

ntrebri adresate subiecilor despre ideile lor cu privire la test;

Corectarea ateptrilor nepotrivite;

Precizarea posibilelor dificulti i explicarea modului n care pot fi acestea

gestionate

Acordul asupra modului n care trebuie procedat.

Este foarte important ca la nceputul fiecarei evaluari psihologice, s explicm scopul
acesteia i este nevoie s facem acest lucru chiar dac subiectul a fost informat
anterior cu privire la aceste scopuri de ctre altcineva.

Obiectivitatea n scorare
Criterii pentru scorarea tiinific a pocedurilor psihologice standartizate:
Procedurile psihologice trebuie ntotdeauna scorate n funcie de ultimile dezvoltri
i descoperiri aprute n domeniul teoriei i metodologiei.
Mai mult, scorarea trebuie efectuat:

n funcie de teoria aflat la baza procedurii;

n funcie de considerentele psihometrice ale procedurii;

ntr-un mod care poate fi explicat din punct de vedere logic.

Un test este scorat incorect atunci cind scorrarea se face pe baza manualului testului mai
ales dac testul nu a fost revizuit i informaiile sunt mai vechi.
Sugestiile i instruciunile de scorare a testelor se evalueaz n funcie de
urmtoarele trei criterii:
1.
Corespund cu teoria pe care se bazeaz testul?
2.
Au sens din punct de vedere psihometric?
3.
Pot fi justificate logic?

Obiectivitatea n scorare
Teoria din spatele unui test determin modul n care ar trebui s fie scorat. Instruc iunile de
scorare ale autorilor de teste trebuie sa fie derivate din teorie, sau cel puin nu
trebuie s o contrazic.
De exemplu toate testele de inteligen Wechsler au ca scop msurarea inteligen ei
generale, atunci utilizarea lor pentru scorarea unui profil difereniat nu corespunde cu
teoria care st la baza testului.
Ca urmare toate testele de inteligen Wechsler ce masoar inteligena sunt ridicat corelate
ntre ele ceea ce inseamn c nu se poate determina dac un profil este real sau nu.
O alt problem este interpretarea fals a valorilor critice. Pentru a descrie nivelurile unei
caracteristici psihologice se folosete doar urmtoarea clasificare:
1.
Submediu
2.
Submediu spre mediu
3.
Mediu
4.
Mediu spre supramediu
5.
Supramediu
ntr-un raport psihologic trebuie s descriem categoria n care se nscrie o anumit valoare
obinut, ntr-o modalitate clar i inteligibil pentru cei care nu sunt psihologi. Cele
cinci categorii sunt suficiente pentru acest lucru.

Obiectivitatea n scorare
n toate testele i chestionarele psihologice, autorii specific cel puin ce valori de referin
sunt cuprinse n categoria medie. n majoritatea testelor care opereaz cu scoruri
standardizate, media are o valoare standard de 100 iar intervalul mediu se afl ntre
scorurile standard 90 i 110. dac n urma evalurii se obine valoarea 91 aceasta
poate fi plasat n intervalul sub mediu spre mediu.
Distribuia valorilor pe care le pot lua scorurile unui test are trei categorii:

sub medie: valori mai mici dect valoarea medie minus abaterea standard;

medie: valori situate de la valoarea medie minus abaterea standard la valoarea

medie plus abaterea standard, incluznd limitele inferioare i superioare ( n cazul QI,
de exemplu, 85 i 115 sunt considerate medii);

peste medie: valori mai mari dect valoarea medie plus abaterea standard.

Obiectivitatea n scorare
Pentru clasificarea unei valori obinute la test, determinm poziia limitelor din stnga i
dreapta intervalului de ncredere (CI, confidence inteval) n care se nscrie scorul
real.

Limita inferioar a
CI

Limita superioar a
CI

Clasificarea valorii
obinute la test ca

Sub medie

Sub medie

Sub medie

Sub medie

Medie

Sub medie spre

medie

Medie

Medie

Medie

Medie

Peste medie

Medie spre peste

medie

Peste medie

Peste medie

Peste medie

Obiectivitatea n scorare
n cazul scalelor de miciun, de deschiderea spre experien sau de dezirabilitate social
ele constau parial sau complet din ntrebri n raport cu care subiecii pot nega
unele comportamente care descriu ncalcri minore ale normelor. n realitate
subiecii pot nega aceste violri deoarece: a) nu vor s le recunoasc, adic mint
sau b) chiar nu le-au comis. Testul arat c fiecare persoan testat ar trebui s
recunoasc un anumit numr de nclcri ale normelor.
O greeal este c dac persoanele testate au dat raspunsuri dezirabile la aceste tipuri de
intrebri pot da raspunsuri false i la celelalte intrebri ale testului.
n ceea ce privete problema falsificrii rspunsurilor n chestionare doar o singur
concluie rmne posibil: oricine poate nelege chestionaele i oricine le poate
falsifica.
Singurele noastre opiuni, dac vom recunoate posibilitatea fasificrii sunt: a) nefolosirea
chestionarelor, b) motivarea subiecilor s rspund onest, fiind explicii n legtur
cu toate scopurile i descriind consecinele falsificrii, c) folosirea chestionarelor
numai dac subiecii sunt deja suficient de motivai.

Obiectivitatea interpretrii
Condiii pentru obinerea celui mai inalt nivel de obiectivitate posibil n interpretarea
rezultatelor procedurilor standardizate:
1.
Observarea comportamentului subiectului n timpul testrii, dar i cu puin timp
inainte i dup evaluare. Aceste observaii comportamentale ar trebui prezentate n
seciunea de date a raportului psihologic, nainte de rezultatele procedurii respective.
2.
n seciunea de date a raportului psihologic, rezultatele procedurilor standardizate
trebuiesc intotdeauna raportate n relaie cu:

Procedura,
Momentul de timp al realizrii evalurii (timpul trecut)
Eantionul normativ

n evaluarile individuale, putem merge un pas mai departe. Discutm cu subiectul nainte
de evaluare ne asigurm c motivaia sa este pe ct posibil de crescut. Dup
fiecare procedur l rugm pe subiect s ne spun cum i s-a prut testul, ce
dificulti a ntmpinat i cum l-ea gestionat. Anume n aceste comentarii culegem
informaii decisive despre metodele de lucru ale acetuia.

Fidelitatea procedurilor standardizate

Fidelitatea procedur psihologic ce este cu att mai fidel cu ct rezultatele aplicrii unor
pri diferite ale procedurii sau ale aplicrii aceleiai proceduri n diferite momente de
timp corespund mai mult ntre ele.
1.
Corespondena ntre pri poate indica, dup caz, indicele de consisten intern,
indicele de fidelitate split-half ( metoda njumtirii), sau indicele de fidelitate
calculat prin metoda formelor paralele.
2.
Corespondena dintre scorurile obinute la diferite momente n timp indic fidelitatea
test-retest.

Fidelitatea procedurilor standardizate

Exist trei metode de baz pentru testarea corespondenei dintre prile unei proceduri
psihologice.

Putem testa ct de bine un item corespunde cu ali itemi cu care este grupat
mpreun. Aceast coresponden este numit consisten intern a scalei testului.

Dac este testat corespondena dintre doua jumti ale procedurii, aceasta este
cunoscut sub numele de fidelitate slit-half , iar metoda se numete metoda
njumtirii.

Testarea corespondenei dintre doua teste care masoar acelai construst psihologic
i au fost dezvoltate n acelai mod, ne ofer informaii despre ceea ce se numete
fidelitatea formelor paralele.
Fidelitatea test-retest a unei proceduri indic gradul n care procedura ordoneaz subiec ii
n aceeai ordine n raport cu o anumit caracteristic. Astfel fidelitatea test-retest a
unei proceduri nu este acelai lucru cu stabilitatea unei caracteristici. O
caracteristic este descris ca fiind stabil dac nivelul su rmne acela i de-a
lungul timpului.

Decizia asupra unui tip de fidelitate

Criteriile pentru selecia unui tip de fidelitate sunt:

ntrebarea clientului

ntrebrile psihologice

Teoria care st la baza procedurii.

trebarea clientului definete intenia i obiectivul raportului psihologic. Dup aceasta
alegem un tip anume de fidelitate.

Dac intrebarea cliantului solicit afirmaii despre trecut sau viitor, va trebui ca atunci
cnd selectm variabilele i cnd formulm ntrebrile psihologice s alegem
constructe stabile. Pentru aceste constructe stabile vom alege procedura de
msurare a fidelitii prin test-retest.

Dac ntrebarea clientului solicit afirmaii despre schimbri, ne vom referi n

ntrebrile psihologice la constructe adecvate acestui i vom folosi proceduri care
sunt sensibile la schimbare. Cnd scorm astfel de teste vom avea nevoie de
informaii cu privire la consistena intern a testului.

Evaluarea fidelitii
Informaii necesare pentru evaluarea fidelitii:

Tipul de fidelitate

Modalitatea de msurare a fidelitii (indicatorul de fidelitate)

Valoarea obinut pentru indicatorul de fidelitate

Marimea eantionului

Metoda de extragere a eantionului. (nu exist un eantion perfesct. Teoria care st

la baza testului este cea care determin populaia int i metoda prin care trebuie
s se extrag eantionul din acest univers.)

Validitatea procedurilor standardizate

Validitatea procedur standaridizat ce este cu att mai valid cu ct pot fi meninute
mai multe ipoteze care decurg din teoria privitoare la constructul fundamental
al testului, pe baza susinerii lor prin date empirice
Validitatea de construct, validitate de criteriu, validitate predictiv i validitatea convergent
i li discriminant sunt posibile contribuii la validarea testelor.
n psihologie exist nenumrate metode de evaluare a validitii testelor. Fiecare construct
psihologic este de obicei nsoit de o serie ntreag de ipoteze, iar acestea pot fi
adunate mpreun ntr-o teorie. Cu ct sunt mai multe ipoteze care compun o teorie,
care au fost testate empiric cu succes, cu att mai bun este validitatea de construct
a respectivei teorii.

Comentarii despre mrimea coeficienilor

de validitate
De la Mischel (1968) ncoace, s-a pretins n mod repetat c validitatea de criteriu a
testelor este r=0.30. Aceasta nseamn implicit c este prea mic pentru
utilizarea testelor n scopuri practice.
Contraargumente

Vom ntlni coeficieni de validitate mai mari

Exist erori n formularea teoriilor i n operaionalizarea acestora prin teste, care

duc la micorarea acestor coeficieni

Comportamentul este determinat de muli factori. Ca rezultat, constructele

individuale pot corela de obicei doar ntr-un grad mediu cu anumite aomportamente
care sunt stabilite drept criterii

Utilitatea practic a testelor se bazeaz mai degrab pe benificiile aduse cu sine de

teste, n comparaie cu metodele anterioare (strategiile apriori), i nu pe nivelul
coeficientului de validitate.