Documente Academic
Documente Profesional
Documente Cultură
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Cuprins
1 Introducere .............................................................................................................................. 5
2 Principiile evalurii ............................................................... Error! Bookmark not defined.
2.1 Principiile tehnice ale evalurii ...................................... Error! Bookmark not defined.
2.2 Msuri de asigurare a conformitii cu principiile evalurii ......... Error! Bookmark not
defined.
2.2.1 Validitatea ............................................................... Error! Bookmark not defined.
2.2.2 Credibilitatea .......................................................... Error! Bookmark not defined.
2.2.3 Corectitudinea ......................................................... Error! Bookmark not defined.
2.2.4 Flexibilitatea............................................................ Error! Bookmark not defined.
2.2.5 Transparena ............................................................ Error! Bookmark not defined.
2.3 Importana adecvrii evalurii la nivelul de calificare .. Error! Bookmark not defined.
2.3.1 Nivelul unei calificri n Cadrul Naional al Calificrilor...... Error! Bookmark not
defined.
2.3.2 Nivelul unei sarcini de lucru n cadrul unei probe de evaluare .....Error! Bookmark
not defined.
2.3.2.1 Sistemele taxonomice....................................... Error! Bookmark not defined.
a. Taxonomia lui Benjamin Bloom pentru domeniul cognitiv ... Error! Bookmark not
defined.
b. Taxonomia lui Romiszowski privind cunotinele i abilitile .....Error! Bookmark
not defined.
2.4 Colectarea dovezilor valide............................................ Error! Bookmark not defined.
2.4.1 Numrul i natura dovezilor.................................... Error! Bookmark not defined.
2.4.2 Tipuri de dovezi directe/indirecte ........................... Error! Bookmark not defined.
2.4.3 Eantionarea dovezilor ............................................ Error! Bookmark not defined.
3. Tipuri de evaluare................................................................. Error! Bookmark not defined.
3.1 Funcii i caracteristici ale evalurii............................... Error! Bookmark not defined.
3.2 Evaluarea iniial/diagnostic: alegerea corespunztoare ............ Error! Bookmark not
defined.
3.3 Evaluarea formativ: feedback....................................... Error! Bookmark not defined.
3.4 Evaluarea sumativ: evaluarea n vederea calificrii ..... Error! Bookmark not defined.
3.5 Evaluarea integrat: calificare prin eantionare ............. Error! Bookmark not defined.
3.6 Aplicarea tipurilor de evaluare n contexte diferite de nvare .... Error! Bookmark not
defined.
4 Planurile i programele de evaluare ...................................... Error! Bookmark not defined.
4.0 Introducere n problematica planurilor de evaluare i a programelor de evaluare..Error!
Bookmark not defined.
4.0.1 Planul de evaluare ................................................... Error! Bookmark not defined.
4.0.2 Programul de evaluare............................................. Error! Bookmark not defined.
File code: A2.4.4
Version: 2.0
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
4.1 Elaborarea unui plan de evaluare ................................... Error! Bookmark not defined.
Pasul 1: Stabilirea scopului planului de evaluare............. Error! Bookmark not defined.
Pasul 2: Evaluarea surselor .............................................. Error! Bookmark not defined.
Pasul 3: Stabilirea obiectivelor......................................... Error! Bookmark not defined.
Pasul 4: Stabilirea metodelor de evaluare ........................ Error! Bookmark not defined.
Pasul 5: Specificarea instrumentelor de evaluare............. Error! Bookmark not defined.
Pasul 6: Verificarea planului ............................................ Error! Bookmark not defined.
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
1. Introducere
Acest ghid a fost elaborat pentru facilitarea implementrii metodologiei de certificare a
calificrilor i competenelor n educaia i formarea profesional (EFP), cunoscut i sub
denumirea M4. Metodologia M4 mpreun cu acest ghid fac parte din cadrul metodologic care
a fost creat i parial implementat pe parcursul proiectului multi-anual Phare: nfiinarea
Autoritii Naionale pentru Calificri din Romnia (2004-2006).
Prin comparaie cu ghidul utilizat anterior de ctre centrele de evaluare, acesta este mult mai
consistent. Acest lucru se datoreaz faptului c ghidul a fost elaborat pentru a facilita
formarea profesional a personalului implicat n evaluare. Din acest punct de vedere, acest
ghid reprezint, de fapt, un ghid de evaluare i nu neaprat un ghid care s fie corelat n mod
specific doar cu metodologia M4. Acest ghid abordeaz comprehensiv evaluarea
competenelor i este menit formrii n mod activ a personalului implicat n evaluare n EFP.
Ghidul acoper tematic trei dimensiuni:
Proiectarea evalurii (capitolele 1-7)
Realizarea propriu-zis a evalurii (capitolul 8)
Verificarea intern i extern a evalurii (capitolele 9 i 10).
Motivul pentru care s-a pus n mai mare msur accentul pe proiectarea evalurii este unul
simplu: pn la acest moment, subiectul proiectrii evalurii nu a fost suficient abordat. Prea
adesea i nu numai n Romnia se pornete de la prezumia potrivit creia orice specialist
cu experien ntr-un domeniu poate s evalueze o persoan care dorete s lucreze n
domeniul respectiv. Orice profesor tie cum se realizeaz evaluarea. Am avut parte de
evaluri n trecutul nostru, avem experiene personale, aa nct lucrurile nu ar trebui s fie
foarte dificile. Prin urmare, nu ar fi prea dificil s formulm cteva ntrebri. Nu-i aa?
ns, aceast prezumie se bazeaz pe o interpretare total greit legat de ce nseamn cu
adevrat evaluarea de competene. Proiectarea unor instrumente valide i fidele de evaluare
este un meteug n sine. Succesul n acest domeniu depinde de o bun nelegere a
numeroaselor detalii tehnice. Aceste aspecte tehnice nu sunt dificil de neles, ns
nerespectarea lor are un efect negativ asupra desfurrii propriu-zise a evalurii. Dintr-un
anumit punct de vedere, se poate spune chiar c utilizarea unor instrumente de evaluare care
nu respect principiile tehnice reprezint o risip de timp i de alte resurse.
Pentru a prentmpina interpretrile greite, utilizatorii acestui ghid trebuie s fie, de
asemenea, contieni de faptul c nvarea mecanic a principiilor tehnice nu i va transforma
n buni proiectani de instrumente de evaluare. Proiectarea evalurii este un proces continuu
de luare a deciziilor. El se bazeaz pe analiza cerinelor evalurii, a tipurilor de dovezi i pe
gsirea celei mai eficiente maniere din punct de vedere financiar pentru evaluarea
competenelor la nivelul cerut, prin intermediul celor mai adecvate metode de evaluare, care
s asigure o evaluare valid i fidel a obiectivelor stabilite. nvarea mecanic a principiilor
sau cutarea unei reete nu reprezint abordarea cea mai potrivit. Acest ghid ofer numeroase
File code: A2.4.4
Version: 2.0
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
exemple preluate din domenii diverse. Utilizatorilor acestui ghid li se adreseaz provocarea de
a transfera aceste exemple n propriile situaii i de a construi mai departe pornind de la ele.
De asemenea, trebuie precizat c acest ghid nu se concentreaz pe aspecte exclusiv tehnice.
Evaluarea este un domeniu sensibil, iar etica este fundamental n acest domeniu, n special n
proiectarea i realizarea propriu-zis a evalurii. Etica joac un rol important n multe etape
ale procesului de evaluare. Esenial din acest punct de vedere trebuie s fie abordarea potrivit
creia evaluarea competenelor:
Trebuie s ofere candidailor la evaluare oportunitatea de a-i demonstra competenele
i nu s le plaseze capcane. Evaluarea trebuie s ofere oportuniti valide de calificare;
Deciziile de evaluare trebuie s fie transparente i consecvente, furnizorul de servicii
de evaluare s fie un facilitator i s nu influeneze procesul ntr-o manier negativ;
Este realizat astfel nct societatea n ansamblul ei s aib ncredere n sistem iar
candidaii s fie provocai n a-i demonstra cele mai bune performane.
n mai multe rnduri, n acest ghid utilizatorul este sftuit s continue documentarea asupra
subiectelor pe care le consider de interes. Acest lucru trebuie subliniat nc o dat. Exist
suficiente documente disponibile pe internet care ofer detalii suplimentare. Toate aceste
informaii nu ar fi putut fi incluse n acest ghid, aa nct este stimulat cutarea activ.
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
2. Principiile evalurii
2.1 Principiile tehnice ale evalurii
Practica evalurii de competene n vederea acordrii unei calificri recunoscute n Cadrul
Naional al Calificrilor (CNC), ar trebui s urmeze urmtoarele principii pe care aceast
metodologie intenioneaz s le impun:
1. Metodologia pentru certificarea calificrilor i competenelor se aplic oricrui tip de
evaluare a competenelor organizat n educaia i formarea profesional (EFP) care
conduce la o calificare;
2. Metodologia este centrat pe evaluarea rezultatelor nvrii (final) mai degrab
dect pe o evaluare pentru nvare (formativ);
3. n contexte formale, non-formale sau informale, caracteristicile eseniale ale
evalurii de competene sunt urmtoarele:
este voluntar;
este raportat la standarde: evaluarea se realizeaz prin raportare la criteriile
de performan descrise de standardul ocupaional/standardul de pregtire
profesional;
este asigurat din punct de vedere calitativ;
se supune principiilor tehnice ale evalurii:
i. validitate: evaluarea se bazeaz pe dovezile de competen care provin
din activitile descrise n standardul ocupaional/de pregtire
profesional.
ii. credibilitate (fidelitate): evaluarea folosete metode care conduc la
consecven n obinerea aceluiai rezultat.
iii. corectitudine: evaluarea trebuie s fie corect fa de toi candidaii,
fr discriminare.
iv. flexibilitate: evaluarea trebuie s fie flexibil pentru a se adecva gamei
de contexte n care urmeaz a fi utilizat i nevoilor persoanelor supuse
evalurii.
v. transparen: modalitile de evaluare a dovezilor de competen,
modul de apreciere a rezultatelor evalurii trebuie s fie obiective, iar
candidatul/reprezentanii acestuia s fie informai asupra acestora.
vi. simplitate: procedurile de evaluare trebuie s fie simple, uor de neles
i de aplicat de ctre toate persoanele implicate.
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Pentru descrierea acestor concepte, a fost fcut o alegere pragmatic de utilizare a unei
definiii sau a unei descrieri care s fie uor de neles de ctre oricine. Definiii tiinifice mai
adecvate pot fi regsite n literatura de specialitate n domeniul evalurii sau pe internet. Nu
trebuie dect s introducei termenul care v intereseaz ntr-un motor de cutare i vei avea
parte de o adevrat explozie de informaii.
n urmtoarele tabele, fiecare dintre cel mai des ntlnite principii prezentate mai sus au fost
detaliate.
2.2.1 Validitatea:
Validitatea reprezint msura n care un test msoar ceea trebuie s msoare. Cu alte cuvinte, o evaluare
poate fi considerat valid dac testeaz dovezi ale competenei care decurg din activitile descrise n cadrul
standardului ocupaional/ de pregtire profesional i dac se pot trage concluzii valide pe baza rezultatelor
acestei testri. n contextul de evaluare educaional, se face distincia ntre mai multe tipuri de validitate.
1. Validitatea de faad: n aparen (la prima vedere) testul (item-ul) pare a msura ceea ce
intenioneaz s msoare.
2. Validitatea de construct sau de coninut : pe baza analizei, se confirm prin dovezi faptul c un item
msoar efectiv ceea ce i-a propus s msoare. Calitile care contribuie la validitatea de construct
sunt:
Validitatea criteriului
Validitatea concurent
Validitatea discriminant
Validitatea de faad are o valoare superficial. Ea ofer o indicaie care poate conduce la concluzii greite.
Mai important este stabilirea validitii de construct sau de coninut prin intermediul unei riguroase testri
psihometrice a item-ilor.
Elemente ale validitii de construct care
Msuri de asigurare a validitii evalurii
determin validitatea evalurii
Utilizai numai criteriile din standarde la definirea
1. Validitatea criteriului: Itemii de
ariilor care trebuie testate;
evaluareevaluare acoper aria avut n
Evitai msurarea altor manifestri ale criteriilor fa
vedere/se concentreaz pe criteriile de
de cele avute n vedere;
performan care trebuie testate.
Itemii de evaluareevaluare trebuie s fie independeni
(nici un item nu trebuie s dezvluie rspunsul la
itemii de evaluareprecedeni);
Evitai manifestarea preferinelor individuale prin
tipare de rspuns (n cazul testelor gril);
Itemii de evaluare trebuie s corespund obiectivului
testului;
Evitai subiectivismul legat de evaluare i de genul
candidailor;
Realizai analiza psihometric a punctajelor testelor
acolo unde este necesar, analizai rezultatele testelor.
Validitatea
concurent:
evaluarea
realizat
n
Testai
competenele cerute utiliznd metode diferite
2
care s duc la rezultate similare. Validai astfel
baza aceluiai concept ns cu metode diferite
rezultatele obinute pe parcursul testrii;
de evaluare (testare) conduce la rezultate
similare
Scorul obinut la itemii de evaluare face posibil
3 Validitatea discriminant: evaluarea nu
diferenierea ntre cursanii competeni i cei care nu
msoar ceea ce nu ar trebui s msoare.
sunt nc competeni;
File code: A2.4.4
File name: Ghidul de evauare M4
Author: OM
Version: 2.0
Page: 10 of 45
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
2.2.2 Credibilitatea:
Credibilitatea (fidelitatea) se refer la msura n care rezultatele evalurii reprezint o apreciere exact a
abilitilor candidatului prevzute prin criteriile de evaluare. n alte cuvinte, o evaluare poate fi considerat a
fi credibil sau fidel dac furnizeaz un set substanial de msurtori ale obiectului evalurii independent de
condiiile n care are loc evaluarea - evaluatorul, momentul, instrumentele i auxiliarele de evaluare.
Elemente care determin credibilitatea
Msuri care s asigure credibilitatea evalurii
evalurii
1. Fidelitatea ntre evaluatori: toi corectorii n 1. Oferirea unor instruciuni de punctare lipsite de
ambiguitate;
cadrul unei evaluri specifice corecteaz munca
2. Notarea este precis, fr erori;
tuturor candidailor consecvent i consistent.
3. Notarea este verificat;
4. Utilizarea unor bareme lipsite de ambiguitate;
5. Instruirea evaluatorilor;
6. Evidenierea subiectivismului evaluatorilor i
luarea msurilor de prevenire a manifestrii
acestui subiectivism
Fidelitatea n timp: evaluarea repetat n timp 1. Re-utilizarea planurilor de evaluare/grilelor de
2
specificare a testelor
cu un instrument specific nu influeneaz
2. Utilizarea aceluiai format ca cel anterior (de
rezultatul evalurii
evaluarei al baremului de corectare)
Fidelitatea condiiilor: condiiile de evaluare nu 1. Standardizarea condiiilor de evaluare ntr-o ct
3
mai mare msur
influeneaz rezultatul evalurii
2. Specificarea condiiilor n care ar trebui s fie
organizat evaluarea
3. Verificarea condiiilor nainte de nceputul
evalurii i soluionarea posibilelor riscuri
perturbatoare
Fidelitatea instrumentelor i a auxiliarelor de 1. Specificarea auxiliarelor necesare evalurii;
4
evaluare: instrumentele i auxiliarele de 2. Verificarea disponibilitii auxiliarelor necesare;
evaluare nu influeneaz rezultatul unei 3. Verificarea calitii auxiliarelor necesare.
evaluri n timp.
Aa cum s-a artat mai sus, credibilitatea (fidelitatea) rezultatelor evalurii este determinat de un numr de
factori.
n situaia ideal, nici unul dintre aceti factori nu va influena rezultatul unei evaluri. n situaii reale (de
exemplu, evaluarea la locul de munc), fidelitatea evalurii va fi influenat negativ deoarece aceste condiii
(pe parcursul timpului) nu pot fi controlate 100% de la un loc la altul.
Organismul de certificare este cel care determin gradul de credibilitate (fidelitate) acceptat. n practic, un
grad ridicat (absolut) de credibilitate poate fi obinut numai n condiii controlate de laborator.
File code: A2.4.4
Version: 2.0
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
TEST GRIL
STANDARDIZAT
AUTO
EVALUAREA
FIDELITATE
Sczut
nalt
2.2.3 Corectitudinea:
Corectitudinea reprezint msura n care un test ofer oportuniti egale cursanilor i evit orice tip de
discriminare .
Elementele care determin corectitudinea
Msuri care asigur corectitudinea evalurii
evalurii
Utilizai doar criteriile preluate din standarde pentru a
1. Prejudeci culturale i/sau de gen: Itemii de
defini domeniile care trebuie testate;
evaluare nu discrimineaz minoriti, pe baze
Evitai utilizarea itemilor de evaluare care
culturale sau de gen
discrimineaz minoriti, pe baze culturale sau de gen;
Itemii de evaluaretrebuie s fie neutru construii din
punct de vedere al genului;
Evaluai rezultatele testului obinute sub aspectul
corectitudinii.
Proiectai mijloace alternative valide de evaluare a
2 Dizabiliti
cursanilor cu dizabiliti (de exemplu, cu probleme de
citire) dac competena cerut n conformitate cu
standardul poate fi msurat i ntr-o manier diferit.
2.2.4 Flexibilitate:
Flexibilitatea evalurii reprezint msura n care ndeplinirea criteriilor de competen poate fi msurat n
contexte diferite ntr-o manier valid.
Elementele care determin flexibilitatea
Msuri care asigur flexibilitatea evalurii
evalurii
Proiectanii evalurii contientizeaz contextul
1. Flexibilitatea evalurii: Metodele de evaluare
(posibilitile i constrngerile sub care sunt utilizate
sunt elaborate astfel nct s fie adecvate
obiectivelor urmrite ntr-un context dat fr s metodele de evaluare/testele)
reduc validitatea i/sau fidelitatea rezultatelor
testrii
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
2.2.5 Transparena:
Transparena reprezint gradul de informare al cursanilor cu privire la evaluare
Elementele care determin transparena
Msuri care asigur transparena evalurii
evalurii
1. Transparena obiectivelor evalurii: Candidatul Informai candidaii cu mult timp nainte cu privire la
obiectivul evalurii;
este informat corespunztor cu privire la
Informai candidaii cu privire la maniera de
evaluare.
desfurare a evalurii, tipurile de itemi de evaluare,
numrul de itemi, utilizarea rezultatelor testrii.
Evitai subiectivismul evaluatorilor (stimulai
2 Transparena deciziilor de evaluare: Deciziile
capacitatea acestora);
luate pe baza dovezilor de evaluare sunt
Utilizai instruciunile de punctare;
determinate ntr-un mod lipsit de ambiguitate
Verificai punctarea;
Stabilii dreptul candidailor de acces la rezultatele
testrii.
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
n mod evident, cel de-al treilea i al patrulea rspuns contureaz un numr de procese
mentale care, combinate, rezult ntr-un rspuns logic. Dac obiectivul evalurii ar fi fost
stabilirea faptului c respectivul candidat tie s ofere ndrumri precise unui turist care
dorete s afle cum poate s ajung de la punctul A la punctul B n Bucureti, cel de-al
patrulea rspuns ar fi fost cel mai adecvat.
File code: A2.4.4
Version: 2.0
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Ambele exemple demonstreaz c att ntrebrile ct i prin referire la cel de-al doilea
exemplu interpretarea rspunsurilor sunt legate de standardul la care se raporteaz evaluarea
i sunt corelate cu performanele solicitate care trebuie demonstrate.
Nivelul de performan demonstrat de ctre candidai le solicit capacitatea intelectual.
Capacitatea lor intelectual ar trebui evaluat iar dovezile prezentate ar trebui s fac posibil
realizarea unor deducii/concluzii legate de competenele acestora.
/ Stimul
Evaluarea dovezilor
Este evident c fiecare sarcin/ntrebare sau stimul trebuie s fie proiectate astfel nct
respectivul candidat s poat demonstra un nivel de performan, s rspund la o ntrebare
sau s produc o reacie pe baza creia evaluatorul s poat trage o concluzie logic; ceea ce
nseamn c evaluatorul este capabil s trag concluzii care s indice nivelul de competen al
unui candidat.
Dar ce s-ar ntmpla n cazul n care evaluatorul ar pune numai un numr de ntrebri despre
cum se repar o pan de cauciuc de biciclet sau care sunt principalele componente ale
anvelopei de biciclet? Ar putea atunci evaluatorul s realizeze deducii asupra competenei
unui candidat de reparare eficace a unei pene de cauciuc de biciclet? Cu siguran, dac un
candidat ar fi capabil s rspund la un numr de ntrebri precum cele prezentate mai sus,
evaluatorul ar putea concluziona c respectivul candidat are cunotine (ntr-o oarecare
msur), att timp ct ntrebrilor li s-a dat rspunsul corect. Cu toate acestea, asemenea
rezultate ale testrii nu ofer nici o garanie c respectivul candidat este, de fapt, competent n
repararea unei pene de cauciuc de biciclet.
File code: A2.4.4
Version: 2.0
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Din pcate, de prea multe ori n realitate ne confruntm cu situaia n care sarcinile sau
ntrebrile de evaluare par a fi corecte, dar nu pot fi utilizate pentru a trage concluzii n ceea
ce privete competena. Majoritatea testelor scrise, mai ales cele de tip gril i testele cu
rspunsuri scurte nu depesc nivelul de evaluare a cunotinelor de baz. Nu este nimic n
neregul cu evaluarea cunotinelor de baz, ns ce se ntmpl dac nivelul de competen
solicitat este cel de nelegere sau de analiz? Dac evaluatorii doresc s capete o bun
nelegere a acestei probleme, trebuie s neleag utilizarea sistemelor taxonomice.
Potolea, D., Manolescu, M., Teoria i practica evalurii educaionale, elaborat n cadrul Proiectului pentru
nvmntul rural, Ministerul Educaiei i Cercetrii, Bucureti, 2005
File code: A2.4.4
File name: Ghidul de evauare M4
Author: OM
Version: 2.0
Page: 18 of 45
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
n contextul educaional exist o serie de scheme taxonomice care pot fi foarte utile n
nelegerea nvrii, cunotinelor, abilitilor, competenelor i n evaluarea acestor concepte.
O serie de specialiti n domeniul educaional au construit sisteme taxonomice care ar putea fi
utile n ncercarea noastr de a ajunge la o nelegere asupra acestor aspecte. Printre cei mai
importani specialiti n domeniu se numr: Bloom, Piaget, Bruner, Gagne, Anderson,
Hannah i Romiszowski.
a. Taxonomia lui Benjamin Bloom pentru domeniul cognitiv
Aceast schem a domeniului cognitiv prezint ierarhia n cadrul creia nvm i suntem
capabili s demonstrm abilitile cognitive. Se ncepe de la etapa simpl a cptrii de
cunotine i demonstreaz c cea mai nalt abilitate cognitiv de care dispunem se
regsete n capacitatea de a realiza evaluri cognitive.
Schema taxonomic a lui Bloom este cuprinztoare i detaliat. Detalierea demonstreaz cum
anumite verbe sunt corelate cu abilitile cognitive. Aceste verbe sunt importante pentru
felul n care formulm rezultatele nvrii, elementele de competen sau criteriile de
evaluare.
La ora actual alegerea verbelor care urmeaz a fi utilizate pentru descrierea acestor elemente
n cadrul standardelor ocupaionale i a standardelor de pregtire profesional este lsat la
latitudinea autorilor. Nu exist materiale de ndrumare n acest domeniu. Prin urmare, nu se
poate stabili dac sunt folosite verbele corespunztoare, iar consecina acestui lucru este faptul
c evaluarea abilitilor i a cunotinelor nu se poate realiza la nivelul corect. Practica
demonstreaz faptul c este mult mai uoar evaluarea candidatului n ceea ce privete gradul
de aplicare, nelegere i/sau dobndire de cunotine fa de evaluarea abilitilor acestuia de
analiz, sintez sau evaluare. Aceast poate s reprezinte o explicaie relevant pentru faptul
c angajatorii nu sunt satisfcui de competenele pe care cursanii le-au dobndit, conform
rezultatelor evalurii acestora.
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
nelegere /
know how
Abiliti
Reproductive
Cognitive
Interpersonale
Psiho-motorii
Reactive
Productive
Cognitive
Interpersonale
Psiho-motorii
Reactive
Schema taxonomic trebuie s fie citit orizontal de la stnga la dreapta. Progresul obinut n
procesul de nvare i deprinderea noilor elemente urmeaz aceeai logic. Ca i taxonomia
lui Bloom, schema lui Romiszowski poate fi corelat cu seturi distincte de verbe.
Cunotinele faptice sau fundamentale formeaz baza tuturor tipurilor de nvare.
Demonstrarea cunotinelor fundamentale poate fi realizat solicitndu-le cursanilor s
defineasc, descrie, numeasc etc. (notarea n schema taxonomic pentru acest tip de
cunotine este Kf)
nelegerea / know-how-ul este considerat a reprezenta o form superioar de cunotine. Ea
poate fi demonstrat de ctre cursani solicitndu-le acestora s descrie relaiile existente ntre
obiecte, s explice concepte abstracte, s gseasc corespondene, s disting, s rezume, s
schieze etc. (notarea este Ku).
Abilitile reproductive sunt acele abiliti care sunt realizate n conformitate cu o procedur
fix (de exemplu: vopsirea unui zid cu o pensul cu coada lung, utiliznd un anume tip de
vopsea).
Abilitile productive sunt abilitile care permit o varietate de combinaii de proceduri
pentru ndeplinirea unei sarcini. Specialistul trebuie s aleag care este cea mai
adecvat/eficace combinaie pentru a ndeplini sarcina, ceea ce, n majoritatea cazurilor,
presupune apelarea la creativitate (de exemplu, diagnosticarea cauzelor pentru care maina nu
pornete).
Dup Romiszowski, att abilitile reproductive, ct i cele productive pot fi sub-mprite n
4 tipuri:
Abiliti cognitive: capacitatea de a analiza probleme, de a distinge la nivel intelectual
(notare Rc sau Pc);
Abiliti reactive: capacitatea de a opera cu sentimente, valori i de a exprima atitudini
corecte (notare Rr sau Pr) ;
Abiliti psiho-motorii: capacitatea de a utiliza abiliti fizice, precum vopsirea, aezarea
crmizilor, scrierea de scrisori etc (notare Rpm sau Ppm).
Abiliti interactive: capacitatea de a interaciona cu persoane, precum comunicarea,
cooperarea, oferirea de feed-back, ospitalitate, capacitatea de a realiza prezentri etc. (notare
Ri sau Pi)
File code: A2.4.4
Version: 2.0
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
n acest fel, sistemele taxonomice nu ofer doar informaii necesare pentru nvare, ci sunt
utilizate i pentru a informa autorii de instrumente de evaluare n ceea ce privete tipul de
evaluare i dovezile necesare. Fiecrui element (legat de cunotine sau abiliti) care trebuie
s fie evaluat i se poate asocia un cod taxonomic de ctre organismul de stabilire a
standardelor. Aceast codificare ar putea asigura realizarea tipului corespunztor de evaluare.
Prin tipul corespunztor se nelege: concentrarea pe dovezile cerute, alegerea
instrumentului de evaluare adecvat.
n urmtoarele exemple sunt prezentate un numr de elemente care trebuie s fie evaluate
pentru ca o persoan s obin o calificare. Fiecare element a fost etichetat cu un cod
taxonomic (n conformitate cu sistemul de notare taxonomic al lui Romiszowski). Codul
indic, de fapt, cum ar trebui evaluat elementul respectiv (element de cunotine sau abiliti).
Textul scris cu litere cursive reprezint ceea ce ar cunoate autorul de instrumente de evaluare
dac presupunem c persoana respectiv deine un nivel corect de nelegere a codului
taxonomic dat.
Exemple formulate utiliznd codul taxonomic al lui Romiszowski
Exemplul 1:
Candidatul poate denumi plante
Kf
Evaluarea acestui element trebuie realizat prin intermediul unui test de cunotine, concentrat pe
denumirea corect, care este fie notat direct de ctre candidat sau aleas n mod corect dintr-o list
de alternative. Cele mai adecvate instrumente de evaluare: testul scris (cu rspunsuri scurte/test tip
gril).
Exemplul 2:
Candidatul poate s determine familia de plante pe baza unei liste date de
caracteristici
Ku
Evaluarea acestui element trebuie realizat prin intermediul unui test de cunotine. Cele mai
adecvate instrumente de evaluare: testul scris (cu rspunsuri scurte/test tip gril).
N.B1. Majoritatea testelor de cunotine vor fi utilizate pentru a evalua att cunotine
faptice/fundamentale ct i cunotine care s demonstreze nelegerea / know-how-ul. Autorii
acestui tip de teste consider un exemplu de bun practic aezarea ntrebrilor de cunotine
la nceputul acestor teste. Reproducerea de cunotine de ctre candidat pe parcursul evalurii
este considerat a fi mai uoar dect demonstrarea nelegerii/a know-how-ului.
N.B2. Testarea cunotinelor poate fi realizat, de asemenea, i ntr-o manier integrat! O
manier integrat nseamn ca un candidat s ndeplineasc sarcina de a aranja plantele n
conformitate cu o taxonomie a plantelor i s determine dac acestea sunt ntr-o stare bun sau
proast de sntate, dac aceasta este o cerin a calificrii. Prin urmare, reinei faptul c
testarea cunotinelor poate fi realizat i pe parcursul testrii unei abiliti. ns, dac gama
de cunotine este una foarte variat, trebuie realizat un test de cunotine separat pentru a
asigura prezentarea bazei de cunoatere a candidatului (la nivelul corect) n conformitate cu
cerinele standardului.
File code: A2.4.4
Version: 2.0
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Exemplul 3:
Candidatul tie s vruiasc un zid
Rpm
Evaluarea acestui element trebuie realizat prin intermediul unui test practic concentrat pe artefact
(produs) deoarece principalul obiectiv al evalurii este determinarea abilitii fizice solicitate. Cele
mai adecvate instrumente de evaluare: proiect/produs n laborator sau list de observare/evaluare la
locul de munc.
Exemplul 4:
Candidatul tie s diagnostice o main cu defeciuni
Pc, Pi
Evaluarea acestui element trebuie realizat prin intermediul unui test practic concentrat pe proces
deoarece principalul obiectiv al evalurii este determinarea capacitii candidatului de a face cele
mai adecvate i eficiente alegeri, combinnd proceduri i posibiliti i comunicnd constatrile ntr-o
manier corespunztoare clientului/efului de atelier de lucru. . Cele mai adecvate instrumente de
evaluare: list de observare/evaluare la locul de munc. .
Exemplul 5:
Candidatul tie s elaboreze instrumente de evaluare
Pc
Evaluarea acestui element trebuie realizat prin intermediul unui test practic concentrat pe artefact
(produs) deoarece principalul obiectiv al evalurii este determinarea capacitii candidatului de a
face cele mai adecvate i eficiente alegeri, de a traduce obiectivul evalurii n instrumente de
evaluare i de a adapta instrumentul la situaia cerut lund n considerare cursantul i contextul.
Instrumentul de evaluare: evaluarea de proiect/produs.
Odat ce elementele au fost codate, urmtorul pas este gruparea elementelor cu cod similar i
de a determina dac acestea pot fi evaluate integrat. (Aceast problem va fi abordat n
cadrul capitolului 4).
Exemplele demonstreaz modul n care codurile taxonomice ofer informaii despre maniera
n care ar trebui realizat evaluare i ce tip de dovezi ar trebui s ia n considerare evaluatorul.
Utilizarea codurilor taxonomice n aceast manier explicit nu este o practic obinuit n
Romnia. Acest lucru nu se ntmpl nici n alte ri precum Olanda, Belgia sau Germania.
ns, toi acei specialiti implicai n elaborarea de instrumente de evaluare au beneficiat de o
formare n acest domeniu i pe baza acestei nelegeri sunt capabili s foloseasc diverse
concepte legate de sistemele taxonomice n cadrul unui standard ocupaional sau al
calificrilor corespunztoare fr s li se spun n mod expres acest lucru.
Concluzii
Contientizarea sensului sistemelor taxonomice, a utilitii acestora n elaborarea de
instrumente de evaluare este considerat crucial i ar trebui s fac parte din setul de
instrumente de lucru al oricrui proiectant de instrumente de evaluare. Sistemele taxonomice
ofer un mijloc de a discrimina nivelul de dificultate al sarcinilor de lucru
/ntrebrilor/stimulilor i ofer evaluatorului posibilitatea de a evalua reaciile/rspunsurile
i/sau performanele la nivelul cerut de competen i de a realiza astfel deducii valide n ceea
ce privete competena unui candidat.
File code: A2.4.4
Version: 2.0
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Realizarea unui aprecieri referitoare la ce este fezabil din punctul de vedere al dovezilor
necesare va lua n calcul i:
Costurile pentru strngerea dovezilor. Costuri n ceea ce privete resursele alocate
procesului i timpul necesar profesorilor i cursanilor care, altfel, ar fi putut fi dedicat
nvrii;
Stabilirea costurilor prin raportare la beneficiile ce reies din obinerea unui nivel
ridicat de ncredere;
Existena necesitii de a strnge dovezi despre fiecare dintre competenele dobndite,
sau stabilirea situaiei n care unele devin mai importante dect celelalte;
ntrebare: Ar trebui s fie evaluate toate competenele unui standard?
ntrebare Este fezabil evaluarea tuturor competenelor dobndite de un cursant pe
parcursul procesului de nvare?
Rspunsul la ambele ntrebri nu poate fi un NU categoric. n acelai timp, rspunsul nu
poate fi nici DA. Pentru a formula o astfel de apreciere, trebuie s fie luate n considerare
urmtoarele concepte:
dovezi directe i indirecte, inclusiv controlul contribuiilor i rezultatelor;
eantionarea dovezilor;
dovezi corelate cu unitatea de evaluare.
2.4.2 Tipuri de dovezi directe/directe
Evaluarea competenei se poate baza pe diferite tipuri de dovezi. Din acest punct de vedere,
este util realizarea urmtoarei distincii:
Dovezi directe
Dovezi indirecte
Dovezi directe: dovad obinut n mod expres cu obiectivul de a strnge probe referitoare la
un fapt sau performane, fr a lua n considerare factorii de circumstan.
Dovezi indirecte: dovezi care, fr a ncerca s se demonstreze n mod direct existena unui
fapt, conduc la o concluzie logic potrivit creia acest fapt exist cu adevrat.
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Dac asigurarea calitii dovezilor este luat n considerare, ar trebui s fie clar c este mult
mai probabil ca dovezile directe s fie asigurate calitativ, s aib o valoare mai mare, dat fiind
faptul c dovezile indirecte s-ar putea baza pe presupuneri/deducii discutabile.
n practic, este probabil s se foloseasc o combinaie de dovezi directe i indirecte pentru a
dovedi un fapt (cursantul este/nu este nc competent).
Pentru a nelege aceast problem, este necesar, cu siguran, o parantez:
n mod tradiional, o mare parte din EFP din Europa a fost controlat prin atenia acordat
intrrilor n sistem. n cadrul unui sistem care se bazeaz pe controlul intrrilor, exist grija
de a asigura respectarea unui curriculum aprobat, buna pregtire a profesorilor, adecvarea
echipamentului i materialelor. Principiul urmat este acela potrivit cruia, dac elevii sau
cursanii parcurg un program bine gndit, cu profesori care monitorizeaz progresul obinut,
atunci acetia vor dobndi abilitile i cunotinele pe care programul este gndit s le ofere.
Aceast prezumie, desigur, pornete de la convingerea potrivit creia participarea la un
program bine gndit va conduce n mod invariabil la reuit.
n cadrul unei abordri bazate pe competene, care este introdus n prezent la nivel
european, tendina este clar n sensul punerii unui accent mai mare pe rezultatele
directe. Aceast prezumie pornete de la convingerea potrivit creia testele aplicate
rezultatelor directe pot fi cuprinztoare i vor fi n mod invariabil precise.
Motivul pentru aceast reorientare ctre controlul rezultatelor directe este unul simplu:
controlul att al intrrilor n sistem ct i al ieirilor din sistem este foarte costisitor. Totui, n
cadrul unor programe de nvare robuste bazate pe competene (care sunt dificil de identificat
n prezent i n Europa), se poate regsi un nou combinaie de control al intrrilor, procesului
i ieirilor. Controlul procesului se refer la rolul pe care l-ar putea avea evaluarea formativ
ca mod de evaluare continu. Luai n considerare, din acest punct de vedere, adevratul sens
al nvrii orientate spre elev: individualizat, responsabilitatea de nvare aparine
cursantului, profesorul devine facilitator, curriculumul pe grupe de cursani a disprut,
nvarea are loc ntr-un cadru, standardele sunt eseniale i sunt de nalt calitate, asigurarea
calitii pentru furnizarea de formare i realizarea evalurilor este la cel mai ridicat nivel
(orientat spre sistem).
n general, n Romnia i la nivel european, programele de FPI pun mai mult accentul pe un
curriculum reglementat i pe durata formrii comparativ cu programele FPC pentru aduli. La
cealalt extrem, procedurile de recunoatere a competenelor dobndite n contexte de
nvare non/informale trebuie, evident, s se bazeze n mare parte pe msuri legate de ieirile
din sistem (deoarece intrrile n sistem sunt complet nereglementate).
Metodologia pentru calificri i certificarea competenelor propune ca n toate cazurile, chiar
i atunci cnd nivelul controlului intrrilor n sistem este ridicat, formele de evaluare a unui
individ s fie asigurate calitativ pentru a obine dovezi directe solide care includ controlul
procesului (evaluare formativ asigurat calitativ) i controlul rezultatelor (evaluarea
sumativ/examenul final). n tabelul de mai jos se ofer o imagine de ansamblu asupra
diferitelor tipuri de dovezi. Numrul de x-uri din coloana de AC indic asigurarea calitii
File code: A2.4.4
Version: 2.0
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Legenda AC
xxx
rentabil
xx
mai puin rentabil
x
cel mai puin
rentabil
Dovezi directe
Evaluare sumativ
Evaluare formativ
Test scris
Eseu
Prob practic la locul de munc
Prob practic de laborator
Diplom/certificat
Evaluare colegial
Nivel AC
xxx
xx
xx
xx
xx
xxx
xxx
xx
Dovezi indirecte
Lista de prezen la curs
Evaluarea portofoliului
Auto-evaluare
Scrisoare de recomandare
Nivel AC
x
xx
x
xx
n termeni strici, ANC se preocup doar de evaluarea sumativ. ns, dovezile din
evalurile formative pot fi utile pentru ajungerea la o concluzie cu privire la competena unei
persoane.
Este de ateptat ca punctele de vedere despre natura, adecvarea i eficiena dovezilor s se
modifice n timp, din perspectiva unui numr de factori, incluznd:
schimbrile tehnologice n privina instrumentelor de evaluare (de ex., posibilitile i
costurile comparative ale metodelor electronice de testare, folosirea unui dispozitiv video
pentru a nregistra probe practice etc.);
cercetri cu privire la validitatea diferitelor metode;
experiena practicilor bune i mai puin bune n rndul profesionitilor;
punctele de vedere ale factorilor interesani, incluznd n special Comitetele Sectoriale,
referitor la credibilitatea anumitor metode;
cerinele n continu evoluie de participare la Cadrul European al Calificrilor.
ANC ar trebui s promoveze n mod activ inovaia, revizuirea i rafinarea abordrilor n
vederea strngerii dovezilor de reuit.
2.4.3 Eantionarea dovezilor
Calificrile includ mai multe uniti sau module. Aceti termeni au sens diferit n FPI i FPC.
unitatea 1
unitatea2
modul 1
modul 2
modul X
unitatea 3
unitatea 1
unitatea 2
unitatea X
Calificare FPC
n programele FPI termenul de modul are acelai sens cu unitatea din programele FPC.
Aceast situaie este destul de confuz alinierea la nivel terminologic ar fi cu siguran
foarte util ns aceste componente ale unei calificri reprezint cele mai mici componente
pentru care se poate obine un certificat de calificare parial: certificatul de competen.
Acestea sunt componente care ar trebui evaluate la un nivel sumativ.
Coninutul unei evaluri ar putea de fapt ar trebui s fie acelai dac respectiva calificare
este aceeai. n ambele cazuri este nevoie de dovezi ale competenei. Stabilirea numrului i
tipurilor necesare de dovezi depinde de factorii menionai mai sus, dintre care rentabilitatea
este important, ns i mai important este colectarea tipului de dovezi cerute.
n ambele cazuri ar trebui s se evalueze un eantion reprezentativ de competene dobndite.
Evaluarea fiecrui element de competen sau al fiecrui rezultat al nvrii n cel mai mic
detaliu nu ar avea sens. Evaluarea trebuie s se bazeze pe eantionare.
Dat fiind c n FPI evaluarea formativ se realizeaz deja pe pri ale modulului, cteva
dovezi sunt deja disponibile. Dac dovezile sunt credibile adic la calitatea cerut, dac au
fost obinute n mod transparent, credibil acestea pot fi luate n considerare. n acest caz,
evaluarea sumativ ar putea cpta un caracter generic. n caz contrar, evaluarea sumativ ar
trebui s aib un caracter cuprinztor. Totui, acest lucru nu presupune evaluarea fiecrui
detaliu n parte. Evaluarea sumativ, la rndul ei, trebuie s se bazeze pe eantionare.
La fel se ntmpl i n cazul evalurii sumative la nivel de unitate din programul de FPC.
Acolo unde exist ncredere n controlarea intrrilor n sistem (a se vedea paragraful 3.1.2),
eantionarea performanei ar putea fi mai redus. Acolo unde exist mai puin ncredere n
intrrile n sistem i lipsete controlul procesului, este probabil ca eantionul s fie mai mare.
Concluzii:
n prezentul paragraf, validitatea dovezilor a fost abordat ca fiind absolut necesar pentru a
putea trage concluzii referitoare la competena candidailor.
File code: A2.4.4
Version: 2.0
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Volumul dovezilor trebuie s fie proporional, acestea pot fi directe sau indirecte i ele trebuie
s fie eantionate ntr-o manier consecvent care s demonstreze o relaie direct dintre
evaluarea i unitatea (unitile) de competen acoperite.
3. Tipuri de evaluare
3.1 Funcii i caracteristici ale evalurii
n prezentul paragraf sunt prezentate o serie de funcii ale evalurii n contextul nvrii. n
general, aceste funcii pot fi reprezentate dup cum urmeaz n procesul de nvare:
Evaluare sumativ
Evaluare
iniial/
diagnostic
Evaluare formativ
unitatea de
nvare 1
Evaluarea
final
unitatea de
nvare x
Procesul de nvare
n paragraful urmtor, funciile acestor tipuri de evaluare sunt discutate mai detaliat. Dup
aceast prezentare, tipurile de evaluare sunt proiectate n diferitele contexte de nvare n care
sunt cel mai adesea ntlnite.
3.2 Evaluarea iniial/diagnostic: alegerea adecvat
Evaluarea iniial/diagnostic se folosete pentru a identifica nevoile individuale de
nvare ale cursanilor, abilitile, preferinele i cunotinele anterioare astfel nct s
fie fcute alegerile adecvate i s fie oferit sprijin individual dac este necesar2.
Poate fi neleas ca fiind evaluarea intrrilor n sistem. Furnizorul i cursantul folosesc
aceast ocazie pentru a reflecta asupra celor mai adecvate alegeri privind nvarea, dat fiind
contextul specific, ateptrile i potenialul. ntr-o situaie n care numrul de locuri
disponibile la un curs este limitat, se poate folosi evaluarea iniial/diagnostic pentru a
alege cursanii cei mai potrivii.
n rile n care furnizorii sunt finanai n funcie de rezultate (numrul de cursani calificai),
acest tip de evaluare se folosete pentru a preveni irosirea resurselor, irosirea timpului, att de
ctre potenialul cursant ct i de ctre instituie.
2
Mary Williams, Manual de evaluare elaborat n cadrul proiectului de sprijinire a IPT n Romnia, Phare 2006.
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
ntr-o abordare centrat pe cursant, evaluarea formativ este adesea menionat sub denumirea de evaluare
continu. ntr-o astfel de abordare, distincia dintre evaluarea formativ i evaluarea sumativ tinde s dispar
deoarece o parte a acestei filozofii de nvare se bazeaz pe premisa c progresul n nvare este determinat de
ctre cursant i c fiecare rezultat al nvrii contribuie la calificare. O astfel de abordare solicit intens
furnizorilor asigurarea calitii n practica evalurii, iar profesorilor competene specifice de proiectare a
evalurii. n cadrul sistemului educaional actual din Romnia n EFP, aceast abordare nu este nc fezabil din
mai multe motive, cel mai important fiind acela c flexibilitatea n nvare nu este posibil. Livrarea
curriculumului de ctre profesor determin viteza de nvare a tuturor cursanilor iar evaluarea formativ nu este
nici asigurat calitativ, nici raportat la un standard de referin. .
File code: A2.4.4
File name: Ghidul de evauare M4
Author: OM
Version: 2.0
Page: 30 of 45
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
totui s aib o valoare adugat dac urmeaz uneia sau mai multor evaluri sumative
anterioare pentru un standard/parte a acestuia.
Dac nu exist nicio solicitare de evaluare a standardului n ansamblul su deoarece nu ofer
valoare adugat, atunci nu este necesar nicio evaluare final.
Se obine o valoare adugat dac:
este o cerin justificat, reglementat de organismul de stabilire a standardelor;
evaluarea final se folosete pentru a recunoate competenele dobndite anterior
printr-o evaluare sumativ integrat. n acest caz, examenul final are un caracter
holistic.
ns examenele finale, prin eantionarea rezultatelor nvrii, se folosesc i ca:
Mijloc de asigurare a calitii procesului de evaluare oferit de furnizor. n astfel de
cazuri examenul final trebuie se desfoare n condiii de independen.
Mijloc de asigurare a faptului c nvarea dobndit pe o perioad mai lung de
timp este sustenabil .
Rezumat al funciilor evalurii i caracteristicilor corespunztoare
n paragrafele anterioare s-au prezentat tipurile diferite de evaluare (funcii i caracteristici).
n tabelul urmtor, aceste date sunt reluate pe scurt i se face o distincie ntre caracteristici i
funcii.
Tipul de evaluare
Iniial/
diagnostic
Formativ
Sumativ
Pri din
Examenul
standard sau
final
standardul
n totalitate
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
c
c
c
Holistic
Ghideaz tipul de nvare
Voluntar
x
x
x
x
x
x
x
Dac citii cu atenie tabelul vei vedea c s-au adugat mai multe funcii i caracteristici (de
ex., evaluarea iniial/diagnostic se folosete pentru a stabili dac un candidat ndeplinete
cerinele de acces). ns aceasta este o alt exprimare pentru aprecierea potenialului de
nvare, detaliat din punct de vedere al cerinelor de acces ntr-un program de formare. Este
vorba, ntr-un fel, de semantic.
Tabelul demonstreaz de asemenea faptul c, dei nedezbtute anterior, unele caracteristici se
aplic unuia sau mai multor tipuri de evaluare (de ex., eantionarea). Acesta este unul dintre
elementele ce vor fi abordate ulterior n capitolul 5, unde se prezint itemii de evaluare i
obiectivele evalurii. nainte de aceast prezentare, trebuie menionat c toate tipurile de
evaluare se bazeaz pe/ar trebui s se bazeze pe eantionarea reazultatelor nvrii!
O alt caracteristic ce nu a fost menionat anterior tabelului este caracterul voluntar. ns,
este evident c fr participarea i finalizarea cu succes a evalurii sumative/finale, o
calificare nu poate fi dobndit.
3.6 Aplicarea tipurilor de evaluare n diferite medii de nvare
Cu toate c nu s-au ntreprins cercetri intensive cu privire la aplicarea curent a diferitelor
tipuri de evaluare n EFP, tabelul urmtor indic cum ar putea arta aplicarea tipurilor de
evaluare n Romnia.
Formal
FPI
Bacalaureat
x
x
x
x
x
x
x
x
FPC
furnizori de formare centre de evaluare
x
Contextul de nvare
Nivel EFP 1, 2 & 3
Tipuri de evaluare
Iniial/diagnostic
Formativ
Sumativ
Evaluare final
x
x
x
x
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
se poate folosi pentru a determina gradul de pregtire n vederea evalurii sumative. Faptul c
nu se folosete de obicei n FPC poate fi corelat direct cu durata relativ redus a programelor
de formare i cu costurile pe care furnizorii sunt dispui s le suporte pentru aceast activitate.
Totui, acest lucru nu nseamn c aplicarea evalurii formative nu ar fi util.
Aplicarea evalurii sumative (finale) n toate contextele de nvare: caracteristicile
evalurilor sumative (finale), modul n care sunt organizate, administrate i coninutul unor
astfel de evaluri vor fi determinate de regulile i reglementrile cu privire la diferenele ntre
contextele de nvare i coninutul calificrilor pentru care se dorete calificarea.
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Planificarea
evalurii
Implementarea
evalurii
(metode)
Recomandarea
de mbuntiri
Verificarea
rezultatelor:
1) la nivel de
proces
2) la nivel de
produs
Nu exist un format fix pentru planurile de evaluare i acesta nici nu ar trebui s fie impus
prin reglementri formale. Utilizatorii ar trebui s-i elaboreze propriile planuri i s le descrie
sensul ntr-o manier transparent pentru utilizatorii din propria instituie. Fiecare furnizor de
servicii de evaluare ar trebui s elaboreze un format care s fie utilizat pentru toate calificrile
pentru care respectivul furnizor ofer servicii de evaluare.
4.0.2 Programul de evaluare
Un program de evaluare, aa cum s-a menionat mai sus, reprezint un document disponibil
cursanilor i membrilor personalului de evaluare prin intermediul cruia acetia sunt
informai n legtur cu realizarea propriu-zis a evalurii: cnd i unde are loc
evaluarea (sesiunile de evaluare).
Acesta ar trebui s fie un document complet, ns mai puin tehnic fa de planul de evaluare.
El descrie n termeni clari cnd vor fi evaluai cursanii i n ce mod.
Acest tip de document ar trebui s asigure infomarea corect a tuturor persoanelor implicate
n procesul de evaluare. Elementele care trebuie s fie parte a unui astfel de document sunt:
- o prezentare a sesiunilor de evaluare pentru un program de formare
sau calificare;
File code: A2.4.4
Version: 2.0
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Elaborarea unui plan de evaluare poate fi prezentat ca un proces care const n 6 pai
consecutivi.
Proces repetitiv,
cu un crescut
nivel al detaliilor
6. Verificarea planului
5. Specificarea instrumentelor
4. Stabilirea metodelor
3. Stabilirea obiectivelor evalurii
2. Evaluarea surselor
1. Stabilirea scopului evalurii
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Tipuri de
evaluare
Experien
Tipuri de
candidai
Calificare
parial
Iniial - diagnostic
Faciliti
Formativ
Nivelul unei
calificri
Sumativ
Incluse, da sau nu
Aciune de ntreprins
File name: Ghidul de evauare M4
Page: 39 of 45
Rezultat
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Verificai cerinele:
Verificai pe site-ul web al
ANC.........................
Verificai numerele versiunilor
documentelor curente i titlurile..........
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
evaluarea a ceva, att timp ct obiectivul evalurii nu este clar i dac nu sunt puse la
dispoziie informaii relevante.
Pasul 3: Stabilirea obiectivelor
Deoarece atingerea nivelului de competen este determinat de furnizarea combinaiei juste
de dovezi n ceea ce privete cunotinele, abilitile i atitudinile acumulate la un anumit
nivel de responsabilitate i complexitate, trebuie utilizat un numr de instrumente de evaluare
diferite, ns i mai important, adecvate.
n general, instrumentele de evaluare sunt adecvate pentru a colecta tipuri diferite de dovezi
de competen:
Testele gril cu itemi cu rspuns multiplu sunt eficace n furnizarea dovezilor referitoare
la fapte/cunotine de baz (de exemplu definiii/caracteristici ale unui obiect sau unui
proces);
Testul oral, cu toate c este i el util n a pune la dispoziie dovezi privind cunoaterea
faptelor, permite colectarea de dovezi referitoare la nivelul de nelegere, capacitatea de
nelegere a limbajului etc. (N.B. n cazul n care un test oral este utilizat pentru a examina
capacitatea de vorbire ntr-o limb strin, atunci respectivul test oral este automat
promovat la statutul de evaluare de competen!);
Testele de competen ofer (la modul general) dovezi privind abilitile motrice i
aplicarea cunotinelor necesare: know-how;
Observaiile sunt mai eficace la furnizarea dovezilor privind comportamentul solicitat i
nelegerea procesului/procedurilor/conveniilor.
Obiectivul evalurii
Cunotine de baz
nelegere
Abiliti motrice
nelegerea procesului /
comportamentului
xxx
xx
x
-
Metoda de evalure
2
3
test oral
test de
competene
xx
xxx
xxx
x
x
xx
xxx
xx
x
4
observare
x
xxx
xx
xxx
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
al unui alt tip de evaluare scris (eseu cu rspuns scurt, care nu este prezentat n tabelul de mai
sus).
Ar trebui, de asemenea, s fie clar faptul c utilizarea testului gril pentru a determina dac
cineva este competent n schimbarea unei anvelope de main nu este cea mai potrivit idee.
Pur i simplu, aceasta nu este o manier valid de evaluare a acestui tip de abilitate.
n concluzie: ar trebui s fie absolut clar care este obiectivul evalurii, competenele sau
rezultatele nvrii care trebuie evaluate. Odat ce aceste elemente sunt cunoscute, poate
fi realizat matricea propriu-zis (esena planului de evaluare).
n general, obiectivele sunt constituite de evaluarea cunotinelor, abilitilor i atitudinilor.
Prin citirea criteriilor respective de performan pentru elementul de competen al fiecrei
uniti se obine un indiciu asupra tipurilor de cunotine, abiliti i atitudini solicitate.
Pe baza acestor informaii, se poate realiza o hart mental care s evidenieze aspectele
critice care trebuie evaluate pentru fiecare unitate de competen.
Cunotine: Autorul planului de evaluare trebuie s pun cel puin patru ntrebri referitoare
la criteriile de performan pentru cunotine la fiecare unitate n parte.
1) Pot fi evaluate cunotinele critice n mod suficient prin demonstrarea abilitilor?
2) Dac rspunsul la ntrebare 1 este da, care sunt cunotinele critice care totui trebuie
evaluate ntr-un test dedicat evalurii de cunotine?
3) Ce tip de cunotine critice trebuie s fie evaluate?
4) Acele cunotine care ar urma s fie evaluate separat pot s fie evaluate n combinaie
cu cunotinele corespunztoare unei uniti corelate de competene?
Rspunsul la primele dou ntrebri ar indica maniera n care cunotinele trebuie s fie
evaluate la nivel de unitate. O bun nelegere a gamei de variabile a unitii respective este
necesar n acest caz!
Rspunsul la a treia ntrebare ar oferi informaii referitoare la tipul de evaluare de cunotine
(test gril/cu rspunsuri scurte/eseu/raport/etc.). Sunt necesare cunotine referitoare la gradul
de adecvare al acestor formate de evaluare scrise. Din acest punct de vedere, trebuie luat n
considerare i verificarea nivelului calificrii/unitii (este poate mai util evaluarea
cunotinelor de baz de la nivelurile 1 i 2 de calificare prin intermediul unei examinri
orale). Trebuie s reinei, ns: nu uitai s inei cont de obiectivul evalurii!
Rspunsul la a patra ntrebare ar declana posibilitatea de a combina evaluarea cunotinelor
critice de la nivelul mai multor uniti cu un singur instrument de evaluare (ntr-o singur
component de evaluare sau mai multe, pentru fiecare unitate de competen n parte). Cu
toate acestea, reinei faptul c o astfel de combinare a evalurii de cunotine la nivelul mai
multor uniti poate constitui o problem dac majoritatea candidailor i doresc s fie doar
parial calificai (pentru o anumit unitate) i nu doresc atingerea nivelului de calificare n
ansamblul acesteia.
Rspunsul la aceste 4 ntrebri ar oferi dup aceea autorului planului de evaluare o indicaie
corect asupra numrului i tipurilor de probe de evaluare de cunotine care trebuie elaborate
i utilizate pentru o calificare n ansamblul ei.
File code: A2.4.4
Version: 2.0
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Abiliti: Un proces similar se desfoar n ceea ce privete abilitile eseniale care trebuie
s fie evaluate. ntrebrile crora trebuie s li se gseasc un rspuns n acest caz sunt
urmtoarele:
1) Abilitile critice care trebuie s fie evaluate trebuie n mod necesar evaluate ntr-o
manier autentic (prin evaluare la locul de munc)?
2) Care abiliti critice pentru fiecare unitate n parte ar putea fi evaluate prin utilizarea
unui singur instrument de evaluare?
3) Care abiliti critice din cadrul unor uniti nrudite ar putea fi combinate utiliznd un
singur instrument de evaluare?
4) Pot fi demonstrate atitudinile critice care trebuie evaluate pe parcursul evalurii
abilitilor?
Rspunsul la prima ntrebare indic tipurile de evaluaree de competene necesare (vezi
capitolul 6 pentru exemple).
Rspunsul la a doua ntrebare indic cantitatea de evaluaree de competene organizate pe
fiecare unitate n parte.
Rspunsul la a treia ntrebare poate conduce la o reducere a numrului necesar de evaluaree
de competene. Cu toate acestea, reinei faptul c prin combinarea evalurii abilitilor la
nivelul mai multor uniti pot aprea probleme dac majoritatea candidailor i doresc doar s
fie parial calificai (pentru o anumit unitate) i nu doresc atingerea nivelului de calificare n
ansamblul acesteia
Dac rspunsul la a patra ntrebare este da, ceea ce se va ntmpla n majoritatea cazurilor,
atunci autorul planului de evaluare trebuie s indice acest lucru ntr-o not adresat autorului
de instrumente de evaluare.
Atitudini: Atitudinile critice care trebuie s fie evaluate sunt supuse unui proces similar de
analiz. n mod normal, acest proces nu va duce la o detaliere deosebit, ns atitudinile ar
putea include domenii de cunotine (respect normele de igien i protecie a muncii,
manifest ospitalitate) a cror evaluare ar putea fi la fel de important!
Dup analizarea standardului i alctuirea tabelelor n forma lor iniial, ntregul exerciiu
poate fi acum finalizat prin completarea unui plan pentru calificare n ansamblul acesteia i
prin combinarea tuturor notelor realizate ntr-un document complet.
ntrebrile crora nc trebuie s li se gseasc un rspuns sunt urmtoarele:
a. Sunt candidaii familiarizai cu instrumentele de evaluare alese? Dac nu, dai-le
ocazia s se familiarizeze cu ele i definii-le n planul de evaluare.
b. Trebuie s aib loc o evaluare formativ? Dac aa stau lucrurile, decidei dac ea ar
trebui s fac parte din planul de evaluare.
c. Care este ponderea pe care trebuie s o aib fiecare instrument de evaluare n parte?
(rspuns: vezi mai jos urmtorul exemplu)
d. Planul de evaluare are un caracter eficient din punct de vedere al costurilor implicate?
Analizai eficacitatea costurilor (s nu fi fost elaborate componente inutile ale
evalurii, s nu fie risipite resurse etc.)
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Exemplu
n tabelul urmtor, rezultatele acestei etape sunt ilustrate n cazul evalurii a patru uniti
obligatorii de competen din calificarea formator.
6.
U2 Realizarea activitatilor de formare
1.
2.
3.
4.
5.
U3 Evaluarea participantilor la formare
1.
2.
3.
5.
Pondere:
25%
20%
Proiect
Simulare/Fisa
de observare
30%
Evaluarea competentelor
referitoare la modul de predare si
de evaluare a participantilor la
1.
2.
3.
4.
5.
U1 Pregatirea formarii
Test scris
Intrebari
orale
25%
Pe ultimele patru coloane au fost descrise obiectivele componentelor evalurii pentru aceast
calificare.
Planul de evaluare poate fi descris astfel:
1. Demonstreaz cum vor fi evaluate cele patru uniti de competen;
2. Care este obiectivul evalurii pentru fiecare component a evalurii;
3. Fiecare unitate va fi parte a unui test scris, test oral i a unui proiect;
4. Testele combin cunotinele i/sau abilitile necesare de la nivelul mai multor uniti n
acelai instrument de evaluare;
5. Cum va fi evaluat fiecare obiectiv al evalurii n parte utiliznd 1 metod de evaluare;
6. Unitile 1 i 4 nu sunt evaluate prin intermediul simulrii/observrii directe, n timp ce
celelalte dou uniti sunt evaluate astfel.
File code: A2.4.4
Version: 2.0
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
La final, se rspunde la ntrebarea 3 (vezi mai sus) referitoare la adugarea unor ponderi
relative la rezultatele testrii.
Ultima linie a tabelului este rezervat pentru descrierea ponderii fiecrei componente a
evalurii. Acest factor de ponderare poate juca un rol important n multe planuri de evaluare.
n mod normal, valoarea dovezilor obinute prin msurarea realizat cu instrumente de
evaluare diferite nu va fi aceeai. Dovezile (numeroase) referitoare la cunotine factuale cu
toate c sunt / ar putea fi necesare se vor dovedi n majoritatea proceselor de calificare
inferioare ca valoare fa de abilitile complexe dovedite la un anumit nivel de performan .
Acest lucru este clarificat n tabelul urmtor.
Rezultatul nvrii /
Obiectivul evalurii
1
2
3
4
5
Ponderea relativ
1
test gril
Metoda de evaluare
2
3
examinare oral test de abiliti
x
x
4
observare
x
x
x
x
x
Dat fiind ponderea relativ a fiecrui tip de evaluare, aa cum este aceasta prezentat pe
ultima linie a tabelului, sunt necesare unele calcule pentru obinerea rezultatului final al
candidailor.
Atunci cnd sunt calculate rezultatele finale ale procesului de evaluare din acest exemplu,
rezultatele testului de abiliti vor fi luate n considerare (datorit factorului de ponderare) de
trei ori mai mult fa de valoarea nregistrat, iar rezultatele testului de observare vor fi luate
n considerare de dou ori mai mult.
Metoda de evaluare
Test gril
Examinare oral
Test de abiliti
Observare
TOTAL
Rezultatul obinut
9
8
6
7
Ponderea
1
1
3
2
7
REZULTAT FINAL
Nota final
9
8
18
14
49
Dac nu ar fi fost luat n considerare acest factor de ponderare, atunci rezultatul final ar fi fost
7,5, ceea ce (rotunijit) ar presupune acordarea notei 8. ntr-o perspectiv mai larg, acest fapt
ar conduce la o scdere a valorii certificatelor emise.
n aceast manier, planul de evalure poate fi folosit, de asemenea, la furnizarea de informaii
pentru determinarea compoziiei unui rezultat final al evalurii pe baza unui numr de probe
File code: A2.4.4
Version: 2.0
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Referinta la standard
Unitate
Element
Nr. de
intrebari
1.1
1.2, 1.3
Definitii, recunoasterea
elementelor, caracteristici
10
2.1
Recunoasterea elementelor
2.2
Recunoasterea elementelor
Tipuri de
intrebari
Timp()
Rspuns
scurt
Rspuns
scurt
Puncte
10
10
10
Alegeri
10
Alegeri
10
18
10
12
2.3
Definitii, exemplificare
Rspuns
scurt
3.1, 4.3,
5.1, 6.1
Perechi
Continut
Tipuri de calculatoare,
caracteristici tehnice
Elemente ale sistemului de
calcul, functiile acestora
Elementele suprafetei de
lucru
Elementele componente ale
unei ferestre
Operatiile asupra fisierelor /
directoarelor
Tipurile de aplicatii, tipuri
de documente
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Atunci cnd au fost elaborate toate specificaiile testelor pentru fiecare component a
evalurii, planul de evaluare poate fi considerat complet.
Pasul 6: Verificarea planului
Ultima etap n realizarea planului de evaluare, inclusiv a specificaiilor testelor, o reprezint
verificarea final. Aceast verificare trebuie s se concentreze pe urmtoarele ntrebri cheie:
Planul de evaluare acoper toate elementele critice care trebuie evaluate?
Pot fi evaluate aceste elemente ntr-o manier valid?
Componentele definite pentru evaluare contribuie la o evaluare eficace i eficient?
Atunci cnd rspunsurile la aceste ntrebri sunt considerate a fi satisfctoare, nseamn c sa creat un fundament solid pentru elaborarea testelor propriu-zise.
Cu toate acestea, chiar i la aceast etap se mai pot realiza schimbri n planul de evaluare
dac elaborarea de itemi de evaluare valizi (capitolul 5) pe baza specificaiilor testelor
prezente n planul de evaluare se dovedete a fi un proces mai dificil dect s-a preconizat
iniial.
Modalitatea de elaborare a itemilor de evaluare este descris n urmtorul capitol al acestui
ghid. Dup ce subiectul a fost pe deplin neles, elaborarea instrumentelor de evaluare nu mai
poate constitui un obstacol prea serios, iar acest proces poate ncepe efectiv.
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Element de competen
1
Criterii de
performan
aptitudini
Criterii de performan
cunotine
Unitate de referin:
12345
Criterii de
performan atitudini
respect cerinele alimentare i
de siguran
3 .....
4 ......
x .....
Specificaii: brutrie mic cu vnzare, brutrie industrial
Dac un proiectant de teste de evaluare trebuie s creeze un test sau mai multe teste
(pentru candidai la a doua ncercare sau pentru noi generaii de teste), acesta trebuie
s fie informat cu privire la elementele de competen cheie ce trebuie
folosite/eantionate n vederea evalurii. Aa cum s-a explicat n capitolul anterior,
aceste informaii trebuie incluse n grilele de specificare a testelor. Aspectele cheie
folosite pentru evaluare trebuie s fie reprezentative i s nu exclud, din punct de
vedere al categoriilor, cele mai dificile elemente de competene i criteriile asociate.
Testarea trebuie s se bazeze pe elemente cheie rezonabil eantionate (a se vedea
paragraful 3.1.3)!
File code: A2.4.4
Version: 2.0
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Informaii
publice
Grile de evaluare/specificaiile de
evaluare: coninnd elemente alese de
competen / itemi iniiali de evaluare
entru fiecare test.
Informaii
confideniale
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Concluzii:
Dac un element de competen nu este ambiguu i nu are ca rezultat nenelegeri n rndul
proiectanilor de evaluare, poate fi transferat aproape direct n grila de specificare a testelor
corespunztoare (pentru un test de cunotine sau orice alt tip de evaluare).
Pe de alt parte, dac un element de competen acoper mai multe domenii de evalure i
poate conduce la o testare considerabil a ariilor de cunotine asociat / a altor tipuri de
performane, acesta ar putea fi detaliat n mai multe componente ce pot oferi proiectanilor de
evaluare indicaii clare cu privire la aciunile de urmat.
Ultimul aspect, ns nu cel din urm: este important de reinut c
1. Un item iniial de evaluare nu are caracteristicile unui item de evaluare aa cum este
acesta descris n literatura de specialitate n domeniul testrii.
2. Un item iniial de evaluare nu ofer informaii candidailor evaluai despre coninutul
sarcinii/ntrebrii/performanei de evaluat n sine, care va fi formulat pe parcursul
testrii.
Urmtoarele exemple de gril de evaluare vorbesc de la sine:
Author: OM
Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
U1 Pregatirea formarii
Tipul intrebarii:
1.1,1.2
Identificarea conceptelor
Raspuns scurt
1,2
2.1, 2.3,
2.4,
2.6
Raspuns deschis
2 raspuns deschis
4,5
3.1
Analiza activitati de
formare
Analiza -structurare
activitati de invatare
Analiza si aplicare
6, 7,8
4.1, 4.2
Identificare
1 alegere multipla
1 perechi
1 alegeri
Raspuns scurt
4.3, 5.1,
5.4, 5.6
Analiza -echipamente si
materiale necesare
Raspuns deschis
Intrebarea se refera la
(cunostinte despre si
procesele cognitive
solicitate):
Numarul
intrebarii in
cadrul
testului
Numarul de
intrebari:
Elementul
de
competenta
Unitatea
de
competenta
Relatia cu
Standardul
Ocupational
1p/ntr
ebare
2p
2p
6p
1p
1p
2p
1p
10
2p
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: OM
Date: 29th of July 2009
Exemplul nr. 4 Specificaii ale testelor de evaluare, SO OIVPD Operator Introducere, Validare i Procesare Date
COMPONENTA 1
Referinta la standard
Unitate de
Element de
competenta
competenta
3.3
Definitii, recunoasterea
caracteristicilor
Exemplificare
Recunoasterea elementelor,
caracteristici
Analiza si evaluare
3.3
1.3
1.2
1.1
Referinta la test
Nr. de intrebari
Tipuri de intrebari
Timp()
Puncte
10
SA
20
SA
SA
10
20
MC
SA
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Continut
Dispozitive de stocare, dispozitive de intrare / iesire,
dispozitive de transpunere a datelor
Surse de informare
Tipuri de dispozitive de stocare, denumiri, caracteristici
tehnice
Analiza si evaluarea conditiilor de depozitare
Analiza conditiilor de depozitare, efectele nerespectarii
lor
Author: OM
Date: 29th of July 2009
Cum s construieti itemi de evaluare: gril, rspuns elaborat, de performan i alte formate.
File code: A2.4.4
File name: Draf GuidelinesV8_2
Author: PW
Version: 2.0
Page: 55 of 102
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
5.2.2.1 Alegerea rspunsului: candidatului i se ofer soluia problemei precum i mai multe
soluii alternative (de obicei incorecte), care se numesc i distractori sau rspunsuri de
contrast.
Formatul de item cu alegerea rspunsului se folosete n urmtoarele teste6:
cu alegere multipl
adevrat-fals
asocieri
completarea spaiilor goale
Exemplul 1: item n format cu rspuns selectat ntr-un test cu alegere multipl.
Sunt anse de 80% s ning ast sear. Care este cea mai logic interpretare a acestei
prognoze?
A: Va ninge ast sear
B: Probabil c va ninge ast sear
C: Probabil c nu va ninge ast sear
D: Nu va ninge n 20% din arealul zonei
5.2.2.2 Rspuns elaborat: candidatul trebuie s ofere rspunsul considerat corect.
Formatul rspunsului elaborat se folosete n cadrul urmtoarelor teste7:
completare
rspuns scurt
eseuri
interviu
probe de scriere
observare
raport oral
teste de performan
proiecte
lucrri de cercetare
Exemplul 2: item n format rspuns elaborat ntr-un test de completare.
n ce ora de pe malul Oltului dintre Bucureti i Craiova se afl fabrica ALCO?
_____________________________________________
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
n acest paragraf sunt prezentate mai multe exemple de itemi i cteva reguli cu privire la
acetia.
Asigurai-v c exist o legtur corect ntre ntrebri i rspunsuri:
Exemplul 1: Item: Ce este o edin de echip?
Acest item nu este precis. n baza unei evaluri a rspunsului cerut, ntrebarea a fost
mbuntit: Care este definiia edinei de echip?
Concluzie: Fii precii cnd formulai ntrebri cu rspuns deschis.
Exemplul 2: Precizai caracteristicile aluatului de pine.
Acest item nu este precis. n baza unei evaluri a rspunsului cerut, ntrebarea a fost
mbuntit: Precizai trei caracteristici ale aluatului de pine.
Evitai textul inutil (ntrebrile trebuie s fie eficiente):
Exemplul 3: Sarcina principal a unui formator este:
a de a elabora materialul de formare, materialul pentru evaluare i de a livra
formarea;
b de a elabora sesiunile de formare;
c de a elabora materiale de evaluare i de a livra formarea;
d de a redacta procesul verbal al ntlnirilor de echip.
Itemul ar putea fi scris ntr-un mod mai eficace.
Sarcina principal a unui formator este de a dezvolta:
a materialul de formare, materialul pentru evaluare i de a livra formarea;
b sesiunile de formare;
c materiale de evaluare i de a livra formarea;
d procesul verbal al edinei de echip;
Formularea ntrebrilor:
Exemplul 4: Ce nelegei prin
Itemul solicit o opinie, care ntotdeauna poate fi corect. Poate fi mbuntit dup cum
urmeaz:
Descriei n dou fraze sensul
Sau
Care este definiia
Legtura gramatical dintre varianta corect i alternative:
Exemplul 5: Motivul principal pentru greelile gramaticale:
a nu se acord atenie regulilor gramaticale;
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
b
c
d
5.3.2 Recomandri
5.3.2.1 Construirea itemilor de completat i cu rspuns scurt
Recomandabil:
a specificai foarte clar ce intr n spaiul de completat
b plasai spaiul de completat la finalul itemului, dac acest lucru este posibil.
Evitai
a fraze care s nceap cu spaii de completat
b prea multe opiuni disponibile fr context
c plasai spaiile de completat pe marginea paginii (mai uor de apreciat);
d folosirea acestui tip de itemi pentru nivelurile de calificare inferioare (1 i 2);
e preluarea afirmaiilor direct din texte i materiale de nvare (promoveaz
nvarea pe dinafar/mecanic, nu conduce la o nelegere adecvat).
f fii ateni la indicii neintenionate: un sau o nainte de spaiile de
completat.
g lungimi diferite ale spaiilor de completat
5.3.2.2 Construirea itemilor de tip Adevrat/Fals:
Recomandabil:
a Folosii determinanii specifici cu grij: niciodat, doar, tot/toi, niciunul,
ntotdeauna, ar putea, este posibil, se poate, este probabil, uneori, n general,
cteva, puine.
b Folosii doar cte o idee central n fiecare item
c Folosii cu exactitate limbajul cantitativ
d Creai mai multe propoziii false dect adevrate (60/40). (Persoanele evaluate
sunt tentate s rspund cu adevrat).
Evitai:
a dublele negaii.
b fraze lungi/complexe.
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
c
d
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Potolea, D, Manolescu, M. Teoria i practica evalurii educaionale, elaborat n cadrul Proiectului pentru
nvmntul rural, Ministerul Educaiei i Cercetrii, 2005
File code: A2.4.4
File name: Draf GuidelinesV8_2
Author: PW
Version: 2.0
Page: 62 of 102
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
A. Itemi obiectivi
n privina obiectivitii exist trei direcii ce caracterizeaz procesul de evaluare i anume:
obiectivitatea construciei itemilor cerina structurat i corelat cu un obiectiv
operaional de evaluare;
obiectivitatea notrii evaluatori diferii acord acelai punctaj (not) pentru aceeai
soluie a unui item;
obiectivitatea percepiei sarcinii de ctre evaluatul examinat; evaluati diferii soluioneaz
la fel acelai item.
Tipuri de itemi obiectivi:
a. Itemi de tip pereche solicit evaluatilor recunoaterea unor elemente aflate
ntr-o relaie dat.
Domenii de utilizare
Utilizarea acestor itemi se limiteaz la msurarea informaiilor factuale, bazndu-se pe
asociaii, respectiv pe abilitatea de a identifica relaia existent ntre dou cmpuri. n general
acoper o varietate de domenii cu tipuri de relaii:
principii exemplificri;
reguli exemple;
termeni definiii;
simboluri concepte;
autori opere;
pri componente utilizri;
personaliti realizri deosebite;
date evenimente istorice.
Cerine pentru alctuirea itemilor de tip pereche:
includerea unui numr inegal de premise i rspunsuri;
instruirea evaluatilor pentru ca fiecare rspuns s fie folosit o dat, de mai multe ori sau
niciodat:
utilizarea unui material omogen, respectnd regula de a selecta din acelai domeniu
obiectivele ce vor fi corelate;
premisele i rspunsurile s fie plasate pe aceeai pagin;
pentru a evita furnizarea oricror indicii ce ar conduce evaluatul spre ghicirea
rspunsului corect, coloana rspunsurilor s fie aranjat ntr-o ordine logic(alfabetic,
cresctoare, descresctoare).
b. Itemi cu alegere dual este acea sarcin care probeaz capacitatea evaluatului
de a identifica valoarea de adevr a unei afirmaii, obiectivitatea ei sau raportul
cauz - efect dintre dou afirmaii.
Domenii de utilizare
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Avantaje :
Msoar ntr-un timp relativ scurt un volum semnificativ de rezultate ale nvrii;
Se construiesc rapid i sunt uor de cuantificat;
Prezint o fidelitate mare.
Limite
Dificultatea de a gsi un material omogen semnificativ pentru obiectivele i rezultatele pe
care vrem s le msurm;
Tipul de rezultate ale nvrii ce pot fi msurate se plaseaz la nivelele cognitive
inferioare(excepie ntlnim n cazul identificrii relaiei cauz-efect i a discriminrii
ntre enunurile factuale i cele de opinie);
Acest tip de itemi sunt vulnerabili fa de rspunsurile date la ntmplare. Evaluatul avnd
ansa de 50% de a selecta rspunsul corect;
Identificarea unui enun ca fiind neadevrat nu implic cunoaterea de ctre evaluat a
alternativei adevrate.
Pentru a verifica dac evaluatul deine soluia itemului se elimin inconveniena de mai
sus prin folosirea altei variantei a itemilor cu rspuns dual, aa numita Modificare a
variantei false, unde se cere evaluatilor s schimbe parial enunul pentru ca acesta s
devin adevrat.
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Printre alternativele oferite se gsete una care este corect n raport cu premisa. Celelalte
rspunsuri, n afara celui corect se numesc distractori (alternative incorecte, plauzibile i
paralele).
Domenii de utilizare:
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Sunt folosii n evaluarea unor rezultate ale nvrii care vizeaz nivelurile sczute din
domeniul cognitiv i unele capaciti destul de simple.
Cerine pentru alctuirea itemilor cu rspuns scurt/ de completare:
o rspunsul solicitat s fie scurt i bine definit;
o spaiul liber furnizat trebuie s sugereze dac rspunsul va conine un cuvnt
sau mai multe (propoziii, fraze);
o dac mai multe cuvinte trebuie scrise atunci spaiile libere vor avea aceeai
lungime pentru a nu oferi evaluatilor indicii privind rspunsul;
o unitile de msur vor fi precizate att n ntrebare, ct i dup spaiul liber,
astfel nct un rspuns greit al evaluatului s nu fie urmarea unei erori de
citire sau de nelegere a ntrebrii;
o nu se indic folosirea unui text din manual, deoarece s-ar ncuraja memorarea
i s-ar putea testa alt capacitate dect cea dorit;
o se va evita excesul de spaii albe i formulrile incomplet definite, care cresc
imprecizia.
Avantaje:
se construiesc uor, datorit complexitii reduse a rezultatelor de nvare testate;
existena unui model complet a rspunsului complet faciliteaz construirea lor, iar apariia
unor ambiguiti este limitat;
permit evaluarea unui numr mai mare de concepte, priceperi i capaciti;
solicit un anumit grad de coeren n realizarea rspunsurilor;
se marcheaz destul de uor i relativ obiectiv, dac se elaboreaz un barem adecvat.
Limite:
nu sunt adecvai pentru msurarea capacitilor superioare (rezolvare de probleme,
analiz, sintez);
fa de itemii obiectivi, pentru fiecare zon de coninut avem nevoie de un numr mai
mare de itemi;
uneori, rspunsurile scurte cerute, nu duc la dezvoltarea abilitilor complexe.
B. Itemi semiobiectivi
Itemii semiobiectivi sunt acei itemi prin care evaluatului i se cere s dea un rspuns n
totalitatea lui sau o parte component a unei afirmaii, a unei reprezentri grafice, astfel nct
aceasta s capete sens i valoare de adevr.
Principalele caracteristici ale itemilor semiobiectivi sunt sintetizate de N. Gronlund:
trebuie s aib precizate: obiectivul, enunul i baremul;
rspunsul cerul evaluatului poate fi limitat ca spaiu, form, coninut prin structura
ntrebrii;
libertatea evaluatului de a reorganiza informaia primit i de a formula rspunsul n
forma dorit este redus;
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
eseul liber este adecvat pentru obiective viznd gndirea/ scrierea creativ, originalitatea,
inventivitatea.
c. Rezolvare de probleme
Problema desemneaz antrenarea evaluatilor ntr-o activitate nou, ieit din tiparele obinuite
ale procesului instructiv-educativ, cu scopul dezvoltrii creativitii, gndirii
multidisciplinare, imaginaiei, a capacitii de generalizare etc.
Obiectivele urmrite prin utilizarea rezolvrii de probleme sunt sintetizate astfel:
nelegerea problemei;
obinerea informailor necesare rezolvrii problemelor;
formularea i testarea ipotezelor;
descrierea metodelor de rezolvare a problemei;
elaborarea unui scurt raport despre rezultatele obinute;
posibilitatea de generalizare i de transfer a tehnicilor de rezolvare.
Cerinele de proiectare se pot clasifica n cerine generale i cerine specifice:
Cerine generale:
situaia problem s fie adecvat nivelului de vrst i de pregtire a evaluatilor;
n funcie de natura i de coninutul problemei activitatea se poate desfura individual sau
n grup;
activitatea s fie n concordan cu obiectivele i coninutul disciplinei;
utilizarea n cadrul activitii a unor resurse materiale simple, puin costisitoare i
confecionabile.
Cerine specifice rezultate din natura situaiei-problem:
folosirea unor metode alternative de rezolvare;
obinerea rezultatelor pe ci clare i verificabile;
prezentarea n redactarea final a raionamentelor, calculelor, diagramelor, graficelor care
sunt mai importante i ajut la nelegerea realizrii sarcinilor.
Avantaje:
permite evaluarea cunoaterii metodelor i a capacitilor de alegere a metodei adecvate;
activeaz atitudinea critic i nva pe evaluati s aprecieze metoda cea mai bun de
lucru;
ofer posibilitatea analizei erorilor;
ofer posibilitatea unei interdependene.
Limite:
necesit un timp lung de proiectare;
implic resurse materiale costisitoare;
nu poate fi utilizat curent;
necesit un timp mare de administrare i completare a sarcinii;
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Cnd metoda este utilizat n grup i nu numai atunci se va ine seama de:
abordarea problemei, strategiei grupului pentru rezolvarea sarcinii;
soluia problemei; msura n care problema a fost rezolvat corect;
modul de realizare a sarcinii, s-a folosit o metod adecvat, s-au verificat rezultatele;
generalizarea problemelor;
comunicarea cu evaluatorul;
originalitatea i creativitatea n abordarea rezolvrii.
6.1.2. Probe orale
Sunt considerate o form de conversare prin care evaluatorul urmrete volumul i calitatea
cunotinelor, priceperilor i deprinderilor evaluatilor i capacitatea de a opera cu ele.
Prezinta avantajul ca favorizeaza dialogul, evaluatii avand posibilitatea de a-si argumenta
raspunsul. Evaluatorul poate interveni si el corectand sau completand raspunsul celor
chestionati. In folosirea acestei metode trebuie sa se tina seama de o serie de limite precum:
gradul diferit de dificultate al intrebarilor, emotivitatea evaluatilor, starea afectiva a
evaluatorului, indulgenta sau exigenta exagerate si altele.
Unele dintre caracteristicile probelor orale pot fi percepute ca avantaje cum ar fi:
flexibilitatea i adecvarea individual a modului de evaluare prin posibilitatea de a
alterna tipul ntrebrilor i gradul lor de dificultate n funcie de calitatea rspunsurilor
oferite de ctre evaluat;
posibilitatea de a clarifica i corecta imediat eventualele erori sau nenelegeri ale
evaluatului n raport cu un coninut specific;
formularea rspunsurilor urmrind logica i dinamica unui discurs oral, ceea ce ofer
mai mult libertate de manifestare a originalitii evaluatului, a capacitii sale de
argumentare etc.;
posibilitatea dat evaluatorului de a realiza evaluri de ordin atitudinal sau
comportamental;
stabilirea unei interaciuni optime evaluator - evaluat etc.
Alte caracteristici trebuie vzute ca limite ale acestor probe, dintre care se pot meniona:
diversele circumstane (factori externi) care pot influena obiectivitatea evalurii att
din perspectiva nvtorului, ct i a evaluatului;
nivelul sczut de fidelitate i validitate;
consumul mare de timp, avnd n vedere c evaluatii sunt evaluai individual.
Este una dintre cele mai rspndite metode de evaluare i se poate aplica individual sau pe
grupe de evaluati. Principalul avantaj al acestei metode l constituie posibilitatea dialogului
profesor-evaluat, n cadrul cruia evaluatorul i poate da seama nu doar ce tie evaluatul, ci
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
i cum gndete el, cum se exprim, cum face fa unor situaii problematice diferite de cele
ntlnite pe parcursul instruirii. Cu prilejul examinrii orale, evaluatorul i poate cere
evaluatului s-i motiveze rspunsul la o anumit ntrebare i s-l argumenteze, dup cum tot
el l poate ajuta cu ntrebri suplimentare atunci cnd se afl n impas.
Metoda are ns i unele dezavantaje: ea este mare consumatoare de timp, timp care, adesea,
le lipsete evaluatorilor. Un alt dezavantaj este i acela referitor la dificultatea de a seleciona,
pentru toi evaluatii examinai, ntrebri cu acelai grad de dificultate. Pentru a elimina aceste
dezavantaje se pot stabili anumite restricii cu privire la durata acestor examinri orale, n
funcie de vrst; ntrebrile vor fi stabilite din vreme pentru a fi ct mai uniforme, ca grad de
dificultate, pentru ntregul grup de evaluati supus verificrii, formularea lor fcndu-se clar i
precis, fr ambiguiti. Ca s-i fie mai uor, evaluatorul poate avea n fa, pe durata
examinrii, o fi de evaluare oral.
6.1.3. Probele practice
Se folosesc la unele situatii de evaluare specifice si evalueaza capacitatea evaluatilor de a
aplica in practica unele cunostinte si gradul de stapanire al abilitatilor formate. Ca
forme de realizare amintim: demonstraia, simularea, experientele de laborator, lucrarile
experimentale, desene, schite, grafice.
Ofer posibilitatea evalurii capacitii evaluatilor de a aplica cunotinele n practic, precum
i a gradului de stpnire a priceperilor i a deprinderilor formate. Activitile practice ofer
posibilitatea evaluatului de a-i dezvolta att competenele generale (comunicare,
analiz, sintez, evaluare), ct i pe cele specifice, aplicative (utilizarea datelor, a
instrumentelor de lucru, interpretarea rezultatelor).
Aceasta metoda le permite evaluatorilor s constate la ce nivel i-au format i dezvoltat
evaluatii anumite deprinderi practice, capacitatea de a face (nu doar de a ti). i aceast
metod se realizeaz printr-o mare varietate de forme, n funcie de specificul domeniului de
studiu de la probele susinute de evaluati la educaia fizic, unde exist baremuri precise, la
lucrrile din laboratoare i ateliere unde evaluatii pot face dovada capacitii de a utiliza
cunotine asimilate prin diverse tehnici de lucru: montri i demontri, executri de piese sau
lucrri, efectuarea unor experiene etc.
Observarea sistematic a activitilor i a comportamentului evaluatilor n timpul activitii
este o tehnic de evaluare ce furnizeaz evaluatorului o serie de informaii, diverse i
complete, greu de obinut astfel prin intermediul metodelor de evaluare tradiional.
Observarea este adeseori nsoit de aprecierea verbal asupra activitii/rspunsurilor
evaluatilor.
Pentru a nregistra informaiile de care are nevoie nvtorul are la dispoziie practic o serie
de modaliti:
fia de observaii curente;
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
10
Punctarea itemilor de evaluare prin folosirea unei scale calitative este prezentat n capitolul 7.3
File code: A2.4.4
File name: Draf GuidelinesV8_2
Author: PW
Version: 2.0
Page: 75 of 102
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Exemplu:
3) Descriei patru msuri ce pot fi luate pentru a preveni scurgerea
printr-un acoperi galvanizat afectat de rugin.
Ar fi corect s se acorde un punctaj parial dac respectivul candidat poate descrie corect doar
3 msuri? Rspunsul este, n mod evident, da.
Ultimele dou exemple arat c distribuirea punctelor la nivelul elementelor de rspuns"
cerute sau la nivelul criteriilor este important i c ea trebuie avut n considerare.
Cteva aspecte recomandabile i nerecomandabile cu privire la punctajul itemilor
1. Trebuie s evitai s fii prea generoi cnd punctai itemii de evaluare simpli;
2. Trebuie s fie folosite reguli simple pentru a stabili numrul de puncte pentru fiecare
tip de item lund n considerare nivelul de performan i totalul de
performan/dovezi solicitat;
3. Acordarea unui punctaj parial pentru un item de evaluare i permite candidatului s
demonstreze competena;
4. Pentru a stabili numrul de puncte per item, este recomandabil s luai n considerare
mai nti cte elemente de rspuns i la ce nivel sunt ele necesare pentru a considera
rezolvat cu succes (tipul de) itemul;
5. ncepei cu un punct pentru un item de evaluare simplu (cunotine de baz) i evitai
tipare de punctare prin care acordai procentaje dintr-un numr ntreg;
6. Verificarea mai nti a baremelor ce conin rspunsurile cerute v ajut s evitai
luarea unor decizii care s conduc la calcule complicate ale rezultatelor testului.
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
ntotdeauna un numr de itemi la care candidaii evaluai vor rspunde corect, dar dac toi
candidaii rspund corect la majoritatea itemilor, trebuie s se ridice un evident semn de
ntrebare.
Dac itemii nu sunt niciodatat rezolvai corect, acest lucru ar putea nsemna c exist o alt
problem (itemii sunt prea dificili/neclari).
Analiza punctajelor brute trebuie realizat nainte de transferarea acestora ntr-o scal pentru
a determina rezultatul evalurii, deoarece la acest stadiu nc se poate lua decizia de a
ndeprta anumii itemi sau de a regla punctele per item i de a crete astfel fiabilitatea i
validitatea testului n ansamblu.
Exemplu
candidat
item
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
punctaj
brut
candidat
1
0
0
12
2
1
1
1
1
1
0
1
1
1
1
0
0
1
1
1
1
1
1
1
1
17
punctaj brut
item
1
0
0
1
0
0
1
0
0
1
0
0
1
0
0
1
0
0
1
0
0
13
15
10
16
14
16
17
10
0
0
1
0
0
0
0
0
0
1
0
1
0
0
1
0
1
0
1
0
5
10
0
1
Tabelul de mai sus ar putea fi folosit pentru calcularea i analizarea punctajelor brute ale
candidailor i punctajelor brute per item dac itemii au aceeai valoare. Tabelul a fost
completat doar parial pentru a dezvlui cteva puncte de interes pentru analiz.
Cteva observaii:
1. Candidatul numrul 2 cunoate cu siguran mai bine subiectul dect candidatul
numrul 10.
2. Dac itemul 10 este singurul item la care toi candidaii au rspuns corect, poate fi
pstrat ca atare. ns, dac se ntmpl la fel n cazul la majoritii itemilor, semnele de
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
ntrebare de mai sus trebuie s fie din ce n ce mai evidente: probabil itemii sunt prea
facili, ceea ce are un impact negativ asupra fiabilitii i validitii testului.
3. Itemul 11 trebuie analizat n detaliu, niciun candidat nu a rspuns corect la acesta.
Poate exista o problem: o greeal n formularea itemului, baremul poate fi greit sau
evaluatorul l-a notat incorect. Dac niciunul dintre aceste aspecte nu se confirm,
problemele item-ului pot proveni dintr-o surs mult mai profund. Se poate constata
acest lucru dac specificaiile testului sunt suficient de detaliate i dac se poate realiza
o legtur cu cerinele de evaluare ale standardului pe care se bazeaz testul.
4. i itemul 12 este dubios. Motivaia, n acest caz, este una diferit. De ce candidatul 10,
cu punctajul brut cel mai sczut, este singurul care a rspuns corect la item? Din nou,
itemul n sine trebuie s fie analizat n detaliu pentru a se gsi o explicaie.
Pe baza acestui tip de analiz se poate decide eliminarea itemului 11 sau a oricrui alt item din
test pentru calcularea punctajul brut. Dar, nainte de a se lua aceast decizie, trebuie s se ia n
considerare impactul acestei msuri asupra punctajului tuturor candidailor. n acest sens, se
poate realiza o simpl analiz cuartil. Printr-o astfel de analiz, evaluatorul poate afla dac
eliminarea unui item dintr-un test are un impact negativ asupra punctajului unui candidat
evaluat, care ar putea face diferena dintre a fi declarat admis sau respins.
Analiza cuartil a punctajelor brute
Rspunsuri
Numrul de
corecte
candidai
0 - 25%
1
26 - 50%
1
51 - 75%
4
76 - 100%
4
n acest exemplu, scoaterea itemului 11 ar schimba baza de calcul pentru proporia
punctajului brut. Aceasta ar afecta doar candidatul 5 care a obinut 10 puncte din 20. Acest
punctaj ar trebui schimbat n 10 din 19 sau 10 din 18 (care este semnificaia itemului 12?).
Poate reprezenta diferena dintre a trece sau a pica testul.
Dac itemii dintr-un singur test ar avea valori diferite, analiza ar fi puin mai complicat i ar
necesita folosirea unui program adecvat pentru a analiza punctajele brute (i.e., Microsoft
Excel sau aplicaii specifice de analiz a testului). Tabelul ar avea cel puin nc o coloan
care s conin valoarea fiecrui item.
item
valoare/
punctaj
1
1
2
4
3
2
4
6
5
2
6
6
7
2
File code: A2.4.4
Version: 2.0
numr
candidat
5 6 7
10
punctaj brut
item
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
8
punctaj
brut
candidat
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Exemplu
Exemplu de evaluare cu punctaj brut maxim de 25
Punctajul brut obinut
valoarea rezultatului evalurii pe
o scal cu 10 puncte
0 > 2,5
1
2,5 > 5
2
5 > 7,5
3
7,5 > 10
4
10 > 12,5
5
12,5 > 15
6
15 > 17,5
7
17,5 > 20
8
20 > 22,5
9
22,5 25
10
Fiecare barem trebuie s includ un tabel adecvat aa cum s-a artat n exemplu.
7.3.2. Scale calitative
Construirea i folosirea scalelor calitative reprezint o problematic complet diferit. Ca
regul, este recomandabil evitarea folosirii scalelor calitative n mediul de formare.
Folosirea acestor scale n mediul de lucru (evaluarea la locul de munc folosind teste practice
sau observarea comportamentului n timpul lucrului) poate fi realizat ntr-o manier valid,
ns necesit o investiie substanial n construirea scalelor calitative. Mai mult, este deosebit
de important ca evaluatorii care folosesc aceste scale s fie pregtii corespunztor i s dein
experiena corespunztoare! Adic: s fie instruii n folosirea acestor scale i s aib
experiena i calificarea necesare n domeniul n care evalueaz. n continuare sunt prezentate
argumentele mpotriva folosirii scalelor calitative n mediul de formare, precum i
argumentele n favoarea folosirii acestora n evaluarea la locul de munc.
Orice scal calitativ poate avea 2 sau mai multe categorii. Forma cea mai simpl folosit n
prezent de ctre centrele de evaluare i, uneori, i de ctre centrele de formare este
urmtoarea:
competent
nu este nc competent
Dar ntrebarea major care se ridic este: ce nseamn acest lucru n contextul n care se
folosete scala, adic la nivelul itemului de evaluare? Care sunt motivele/criteriile care stau la
baza punctrii pentru oricare dintre cele 2 categorii? Rspunsul simplu este urmtorul: (nu) a
oferit performana/dovada solicitat.
ns, dac acest tip de scal calitativ se folosete la nivelul fiecrui item de evaluare, se
ridic cinci probleme corelate care trebuie abordate:
1. care este dovada cerut?
2. cum se determin calitatea dovezilor oferite n mod obiectiv?
3. cum se determin competena parial prin raportare la un item?
4. cum se poate preveni subiectivitatea evaluatorului?
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Activitate
Desfoar
activitile
necesare ns
necesit
monitorizare
continu i
instruciuni
Finalizeaz lucrul
n mod eficient i
structurat pentru
un numr limitat
de tipuri diferite
de biciclete. i
cunoate propriile
limite i
acioneaz n
mod
corespunztor.
Nu necesit
monitorizare.
Finalizeaz lucrul
conform
cerinelor, nu face
greeli, poate
repara orice tip de
biciclet i poate
rezolva
majoritatea
problemelor
uzuale ntr-un
mod eficace
Excelen
Lucreaz rapid,
are iniiativ,
rezolv orice tip
de problem
aprut cu privire
la repararea
bicicletelor.
Acioneaz ca un
exemplu pentru
colegi
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Acest aspect are legtur cu credibilitatea punctajelor testelor. Fr a intra n alte detalii
tehnice asupra acestui aspect, se recomand:
a) La folosirea formatului de item cu rspuns multiplu (cu 4 variante) s existe cel puin
20 de itemi de evaluare iar pragul minim de performan s fie crescut la un nivel mai
ridicat, de exemplu: 65%-70%.
b) La fel ar trebui s se ntmple i n cazul testelor cu itemi de tip adevrat-fals: cel
puin 30 de itemi i un prag de 65%-70%.
Analiza punctajelor brute va informa furnizorul de servicii de evaluare asupra capacitii de
discriminare a testelor folosite. Mai multe informaii pe marginea acestui aspect se regsesc n
resursele internet.
Reguli de punctare pentru combinarea rezultatelor testelor i rezultatul final al
evalurii
De obicei, atingerea cu succes a unei uniti de competen/a unei competene se evalueaz
prin folosirea unor metode de evaluare diferite. Pentru a stabili competena, trebuie combinate
rezultatele testelor .
Cel puin un aspect trebuie luat n considerare cnd are loc aceast combinare a rezultatelor
testului. i anume, ponderea relativ a testelor.
Fiecare calificare poate diferi n ceea ce privete importana varietii abilitilor practice prin
raportare la baza de cunotine cerute. i alte diferene pot juca un rol important la acest nivel
abstract, luai n considerare: abilitile de exprimare verbal/comunicare prin raportare la
abilitile tehnice. Tipul de metode folosite pentru a evalua calificarea ar trebui s reflecte
aceste diferene. ns aceasta nu nseamn c rezultatele testelor pentru o singur calificare ar
trebui s fie pur i simplu adugate i mprite la numrul de teste de evaluare pentru a stabili
o medie, care s determine rezultatul final.
Un alt aspect complicat ar putea fi acela c unele rezultate ale testelor sunt exprimate sub
forma unor descriptori calitativi. Luai n considerare testul de performan la locul de munc
ce poate fi evaluat i punctat n modul prezentat mai sus (paragraful 7.3, folosind o scal
calitativ). Rezultatul unui astfel de evaluare ar fi un descriptor din cadrul unei scale. Exist
dou posibiliti de a combina rezultatele pe o astfel de scal cu rezultatele altor teste (de
cunotine) asociate:
1) transferul descriptorilor pe o scal numeric
2) stabilirea nivelului de performan suficient pentru a fi declarat competent.
Exemplu:
Nivelul de orientare/performan a muncii
Scal
Descriptori
Activitate
Desfoar activitile
necesare, dar are
nevoie de monitorizare
continu i instruciuni
Produs
Finalizeaz lucrul
pentru fiecare
component n mod
structurat fr alte
instruciuni, dar
necesit
monitorizare
Valori numerice
Valoare
cantitativ
2
nu este nc competent
Proces
Finalizeaz lucrul n
mod eficient i
structurat pe un numr
limitat de tipuri
diferite de biciclete.
i cunoate propriile
limite i acioneaz n
mod corespunztor.
Nu necesit
monitorizare.
6
competent
Sistem
Finalizeaz lucrul
conform cerinelor, nu
face greeli, poate
repara orice tip de
biciclet i poate
rezolva orice
probleme obinuite n
mod eficace
Excelent
Lucreaz rapid, are
iniiativ, rezolv
orice tip de problem
aprut cu privire la
repararea bicicletelor.
Este un exemplu
pentru colegi.
10
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Opiunea 1:
Dac se folosete opiunea 1 (transferul descriptorilor calitativi ntr-o valoare numeric),
rezultatul se poate folosi i combina cu rezultatele celorlalte teste. Acesta este momentul n
care intervine ponderarea.
Exemplu
S presupunem c exist trei teste pentru unitatea de competen Repararea unei biciclete.
1 test scris (obiectiv: evaluarea cunotinelor de baz)
1 test oral (obiectiv: evaluarea abilitilor de comunicare)
1 test practic la locul de munc (obiectiv: evaluarea abilitilor practice)
Candidatul 1
test scris
test oral
test practic la locul de munc
Rezultat final
punctaj
4
5
8
pondere
20%
20%
60%
100
rezultat final
80
100
480
660 = 6,6 = 66%
Candidatul 2
test scris
test oral
test practic la locul de munc
Rezultat final
punctaj
5
5
6
pondere
20%
20%
60%
100%
rezultat final
100
100
360
560 = 5,6 = 56%
Candidatul 3
test scris
test oral
test practic la locul de munc
Rezultat final
punctaj
8
7
4
pondere
20%
20%
60%
100
rezultat final
160
140
240
540= 5,4 = 54%
Candidatul 1 i 2 ar putea trece dei au obinut punctajul 5 la dou din trei teste. Candidatul
numrul 3, care are rezultate bune la testul scris i la cel oral, dar care nu a trecut testul
practic, ar putea pica.
Dac ponderea relativ nu s-ar lua n considerare aa cum este cazul n cadrul furnizorilor
de FPC la ora actual, unde se folosete media aritmetic candidatul 3 ar trece dei
abilitile sale practice nu sunt deloc suficiente, iar candidatul 2 ar pica.
Ar trebui s fie clar c regulile de punctare pentru combinarea rezultatelor testelor pentru
fiecare calificare n parte trebuie stabilite astfel nct s fie ndeplinite cerinele standardului.
Nu exist o reet pentru stabilirea unor astfel de reguli. Stabilirea lor depinde de standard i
de modul n care este evaluat. Este recomandabil evitarea unei abordri universal valabile.
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Opiunea 2
Dac rezultatul testului practic pe scala calitativ este notat sub forma competent/nu este nc
competent, atunci acesta nu poate fi pur i simplu adugat n sens numeric punctajelor
obinute la celelalte teste (scris i oral, a se vedea mai sus).
n acest caz este necesar stabilirea unei reguli care determin situaia n care un candidat nu
poate fi considerat calificat att timp ct testul practic nu este trecut cu succes.
Combinarea celorlalte teste punctate pe o scal numeric se poate realiza n diferite ponderi
relative, n funcie de importana testelor pentru procesul de calificare n ansamblul su. Sau
se poate stabili o regul conform creia punctajul unui test poate fi luat n considerare doar
dac testul a fost trecut cu succes i fiecare test din cadrul evalurii trebuie s fie trecut cu
succes. n acest ultim caz, ponderarea nu este deloc necesar, ns importana relativ a unui
test n stabilirea competenei poate deveni exagerat sau subestimat.
8. Realizarea evalurii
Principala sarcin a evaluatorilor este de a formula judeci consecvente i la obiect
referitoare la performanele candidailor la evaluare utiliznd acele metode de evaluare care
sunt adecvate scopurilor urmrite. Potrivite, sau pentru a folosi un termen mai precis,
adecvate scopurilor urmrite nseamn c instrumentele de evaluare care se bazeaz pe aceste
metode de evaluare sunt conforme cu toate cerinele tehnice, iar evaluarea poate fi realizat
ntr-o manier obiectiv i neutr (fr discriminri culturale sau legate de gen). Acest aspect
presupune i ca evaluatorul s funcioneze ntr-un sistem de evaluare i s-i ndeplineasc
sarcinile n conformitate cu procedurile n vigoare.
Atunci cnd sunt realizate evaluri, calitatea evalurii, din perspectiva credibilitii, este n
mare msur determinat de ctre evaluatorii nii. Nu are importan ct de bun este
calitatea instrumentelor de evaluare, att timp ct evaluatorul nu este suficient de bine pregtit
sau calificat pentru a performa corespunztor; eforturile depuse n proiectarea instrumentelor
de evaluare sunt irosite.
Evalurile sunt credibile atunci cnd:
1. Condiiile n care are loc evaluarea sunt stabilizate;
2. Procedurile n vigoare sunt respectate;
3. Deciziile referitoare la performanele candidailor la evaluare sunt consecvente;
4. Deciziile referitoare la performane sunt consecvente la nivelul ntregii game de
evaluatori care aplic aceeai evaluare n contexte diferite, n situaii i cu candidai
diferii;
5. Deciziile sunt consecvente n timp;
6. Performana real a candidatului la evaluare este cea evaluat (dovezile aduse sunt
autentice );
7. Deciziile se iau prin raportare la criterii.
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Evalurile se realizeaz ntr-o gam mare de medii: clase, locuri de munc propriu-zise i
orice alt context posibil adecvat n cadrul acestei game. n fiecare dintre situaii, evaluatorul
trebuie s fie capabil s creeze oportuniti care s le permit candidailor la evaluare s
furnizeze dovezile solicitate n cadrul evalurii. Crearea acestor oportuniti n zone care nu
pot fi pe deplin controlate reprezint o art n sine. Ar trebui stabilite procedurile i cerinele
minimale pentru locaiile de desfurare a evalurii de ctre furnizorul de servicii de evaluare
pentru a sprijin evaluatorul n realizarea acestei sarcini.
Mai important este ca evaluatorul s fie capabil s performeze n orice context care se calific
drept adecvat pentru evaluare. Aceast performan poate consta din:
realizarea observrii directe;
realizarea de interviuri;
evaluarea tuturor tipurilor de dovezi;
evaluarea i punctarea performanelor;
oferirea de feedback;
i comunicarea n scris.
n multe cazuri, evaluatorii trebuie s dein suficiente cunotine i experien n domeniul de
evaluare. Aceste performane profesionale ar putea fi considerate drept competene cheie
pentru evaluatori.
Obiectivul acestui capitol (mai specific, al paragrafului 8.1) este de a privi ndeaproape aceste
competene cheie care ar putea veni n sprijinul realizrii sarcinilor evaluatorilor. Orice alte
posibile roluri legate de cerinele/competenele evaluatorilor precum proiectarea de
instrumente de evaluare sau analizarea rezultatelor evalurii au fost abordate n alte seciuni
ale acestui ghid.
O parte substanial a acestor cerine profesionale este legat de conduita profesional.
Desemnarea evaluatorilor are loc pentru a crea oportuniti credibile pentru candidaii la
evaluare de a-i demonstra competenele. Evaluatorii sunt desemnai nu pentru a critica, ci
pentru a aprecia, pentru a oferi un sprijin credibil pe parcursul unui proces!
ntr-o oarecare msur, conduita profesional poate fi perceput ca reprezentnd o ncercare
de meninere a echilibrului pe o frnghie subire: cum poate un evaluator s spijine procesul
de evaluare fr s l influeneze n nicio manier negativ? Rspunsul la aceast ntrebare se
poate regsi ntr-un cod de conduit profesional care const ntr-un numr de probleme
eseniale. Aceste probleme sau atribute au fost prezentate n paragraful 8.2.
n ultimul rnd, ns nu cel din urm, mai sunt i chestiuni etice legate de funcionarea
furnizorilor de servicii de evaluare ca i instituii. Unele dintre aceste aspecte au fost
prezentate n cadrul paragrafului 8.3.
Furnizarea de servicii de evaluare se transform din ce n ce mai mult ntr-o activitate
specializat care este realizat de ctre instituii independente specializate. Din acest punct de
vedere, peste tot la nivel internaional, se nate un nou sector economic. Orice sector
economic care se respect i va dezvolta propriile principii etice i cerinele de calitate
specifice. Din punct de vedere tehnic, un numr de principii care s ghideze aceast etic au
fost deja prezentate. Luai n considerare, din acest punct de vedere, problema validitii i a
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Planificai observarea astfel nct s existe suficient timp pentru realizarea pregtirilor i a
evalurii propriu-zise ntr-un mod corespunztor, i care s v permit s-l pregtii pe
candidat s se simt, de asemenea, n largul su;
Verificai personal ca locaia de desfurare a evalurii s fie sigur i adecvat;
Citii instruciunile de utilizare a instrumentelor de evaluare cerute nainte de nceperea
evalurii;
Familiarizai-v voi niv cu instrumentele de evaluare nainte de nceperea acesteia;
Informai candidatul la evaluare ntr-o manier corespunztoare despre obiectivul
evalurii i punctele pe care le vei avea n vedere pe parcursul evalurii: ce ar trebui s
demonstreze candidatul.
Informai candidatul n legtur cu regulile de desfurare a evalurii.
Dac observarea pe parcursul evalurii este realizat de mai mult de un singur evaluator,
fiecare evaluator trebuie s realizeze observaii independente;
Observaiile trebuie notate pe listele de verificare a observrii corespunztoare;
Observaiile nu trebuie s influeneze sub nicio form sarcinile pe care le ndeplinete
candidatul;
Interveniile sunt permise numai dac apar riscuri legate de sntate sau siguran.
Coninutul acestei seciuni se bazeaz n mare parte pe materialul preluat din ghidul de evaluare utilizat de
ctre SQA, 2008 i Cinop, 2007 (profilul de competen al evaluatorului).
File code: A2.4.4
File name: Draf GuidelinesV8_2
Author: PW
Version: 2.0
Page: 89 of 102
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Orice evaluator trebuie s fie capabil s realizeze interviuri prin raportare la criterii. Din acest
punct de vedere este esenial capacitatea unui evaluator de a adresa ntrebrile astfel nct
candidatul la evaluare s aib suficiente oportuniti de a-i demonstra competena i nu
situaia n care evaluatorul pune cuvintele n gura candidatului.
Pregtiri
Planificai interviul astfel nct s existe suficient timp pentru realizarea pregtirilor i a
evalurii propriu-zise ntr-un mod corespunztor i care s v permit s-l pregtii pe
candidat s se simt, de asemenea, n largul su;
Citii instruciunile de utilizare a instrumentelor de evaluare cerute nainte de nceperea
evalurii;
Familiarizai-v voi niv cu instrumentele de evaluare nainte de nceperea acesteia;
Informai corespunztor candidatul la evaluare despre obiectivul evalurii i punctele pe
care le vei avea n vedere pe parcursul evalurii: ce ar trebui s demonstreze candidatul;
Clarificai rolurile celor implicai pe parcursul evalurii;
Informai candidatul cu privire la regulile de desfurare a evalurii.
Preluai iniiativa;
Meninei iniiativa astfel nct candidatul s fie capabil s-i demonstreze competena;
Utilizai tehnici de intervievare adecvate;
Manifestai o atitudine activ interesat de a auzi/asculta;
Pstrai nscrisurile (dac este posibil, nregistrai) interviului pentru a preveni greelile de
apreciere i disputele referitoare la contribuia adus de ctre candidatul la evaluare.
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
9 Verificarea intern
Verificarea intern reprezint un proces de management al calitii. n acest ghid, acest proces
de management al calitii s-a concentrat pe procesul de evaluare. n practic, desfurarea
procesului de formare trebuie s fie supus i verificrii interne, ns acest aspect se plaseaz
n afara sferei de interes a acestui document.
Din acest punct de vedere, obiectivul verificrii interne l reprezint managementul calitii
procesului de evaluare pentru a se asigura c evaluarea ndeplinete standardele stabilite la
nivel naional.
n cadrul metodologiei pentru certificarea competenelor i calificrilor (M4), au fost abordate
un numr de aspecte legate de verificarea intern: aceasta trebuie s fie facilitat, procesul de
evaluare trebuie s se conformeze cu procedurile i politicile n vigoare, s se promoveze
mbuntirea continu a calitii, iar cteva dintre ariile de aciune ar trebui s se regseasc
n domeniul de interes al verificrii interne.
Din acest punct de vedere, verificarea intern pare a reprezenta o alt cerin suplimentar
care presupune cheltuirea de resurse. Trebuie realizate investiii pentru punerea la punct a
procedurilor i politicilor, trebuie instruit personalul i trebuie dedicat i mai mult timp
gestionrii n mod continuu, timp care nu poate fi folosit pentru oferirea de servicii i
realizarea unor venituri. ns, acest gen de percepie este prea ngust. Atunci cnd verificarea
intern este implementat ntr-o manier consecvent i dedicat, ea va reui s
economiseasc resurse care ar fi altfel irosite. Acest lucru se ctig prin intermediul
verificrii interne.
ns, prin verificrii interne se ivete i un alt pericol: procesul de evaluare ar putea deveni
reglementat prea birocratic. Pentru a evita situaia n care acest pericol se transpune n
realitate, este esenial o nelegere autentic a verificrii interne. Acest ghid ncearc iniierea
acestui proces de nelegere, ns ea nu este suficient. Va trebui subliniat importana
esenial a implementrii i avansrii n cadrul unei abordri de tipul nvm pe msur ce
punem n practic, a nvrii din greeli.
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
La acest stadiu, nu este posibil prezentarea unui standard de referin pentru verificarea
intern, deoarece cerinele din punct de vedere legislativ n acest domeniu nu au fost
precizate. ns, este posibil lmurirea unor aspecte legate de obiectivul evalurii ntr-o
manier mai pragmatic (paragraful 9.1) i prezentarea rolului verificatorului intern
(paragraful 9.2). n ambele paragrafe, sunt prezentate unele exemple de instrumente de
verificare intern. Acestea sunt simple exemple i ele trebuie adecvate n conformitate cu
nevoile furnizorului de servicii de evaluare.
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Da/Nu/Nu se aplic
Da/Nu/Nu se aplic
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Da/Nu/Nu se aplic
Da/Nu/Nu se aplic
Da/Nu/Nu se aplic
Da/Nu/Nu se aplic
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Interne
Externe
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Cerine de autorizare
Cererea local
Oferta local
Procesul de autorizare
Contestaii / plngeri
Reautorizarea serviciilor
3.1
3.2
3.3
3.4
Procesul de evaluare
4.1
4.2
4.3
4.4
4.5
4.6
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Performana specialitilor
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Proiectarea testrii
4.11 Supraveghetor
4.12 Evaluator
Obiective
Gradul de adecvare a instrumentului de evaluare
Calitatea elaborrii instrumentului de evaluare
Corelarea cu standardul
Coninutul reflect competena solicitat
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
autoriti naionale
organisme intermediare
2.1
2.2
2.3
2.4
2.5
4.13
4.14
4.15
4.16
x
x
x
x
4.7
4.8
4.9
4.10
angajatori
conducere
personal
cursani
x
x
x
x
x
x
x
x
x
x
x
x
x
x
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
x
x
autoriti naionale
organisme intermediare
x
x
x
angajatori
x
x
Externe
conducere
Procedura de contestaie
Distribuirea certificatelor
nregistarea certificatelor acordate
Valoarea certificatului pe piaa muncii
personal
4.18
4.19
4.20
4.21
Interne
cursani
Urmtorul pas ar fi acela prin care rezultatele s fie msurate la momentele corespunztoare
cu instrumentele adecvate. Astfel de instrumente (chestionare) vor trebui s fie elaborate att
pentru cursani, ct i pentru personalul furnizorului, conducere, angajatori. Aceeai regul se
aplic i organismelor intermediare care sunt i ele, la rndul lor, direct implicate n
practicarea efectiv a evalurii.
Este recomandabil ca n FPC cursanii i personalul s aprecieze calitatea evalurii imediat
dup ce a fost definitivate rezultatele sesiunii respective de evaluare (imediat dup certificare
i nregistrarea certificatelor, atunci cnd cursanii au ocazia de a-i ridica certificatele).
Cercetrile au demonstrat c nu este indicat aprecierea rezultatelor evalurii de ctre cursani
i personalul implicat n evaluare imediat dup ce a avut loc sesiunea de evaluare, deoarece o
astfel de evaluare a) nu este complet b) se asociaz prea mult la nivel emoional cu procesul
de evaluare de-abia ncheiat.
Un exemplu de chestionar pentru candidaii la evaluare pe baza tabelului prezentat mai sus.
V rugm s completai urmtorul chestionar. Rezultatele vor fi utilizate pentru a
aprecia procesul de evaluare i pentru a oferi informaii care s conduc la
mbuntirea serviciilor pe care pe oferim. Informaiile oferite de dumneavoastr vor
rmne confideniale
Numrul de
nregistrare al
cursantului:
Data sesiunii de
evaluare
4.1
4.2
(completat
Numele evaluatorului
(completat de ctre furnizor)
de ctre
Numele supraveghetorului
furnizor)
(completat
Denumirea evalurii
(completat
Codul
(completat de
de ctre
de ctre
ctre
furnizor)
furnizor)
furnizor)
Ataai urmtoarele valori afirmaiilor de mai jos 1= nesatisfctor, 2=satisfctor ntr-o anumit
maura, 3= satisfctor, 4= mai mult dect satisfctor, 5=excelent
1 2 3 4
5
1
Planificarea acestei evaluri n cadrul procesului de nvare a fost
2
nregistrarea n vederea evalurii s-a desfurat
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
4.3
4.4
4.6
4.7
4.10
3
4
5
6
7
Semntura
Data
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
12
Propunere: nfiinarea organismelor internediare de certificare, cod fiier A4.1, data 12-05-2009, autor: Paul
Weide.
File code: A2.4.4
File name: Draf GuidelinesV8_2
Author: PW
Version: 2.0
Page: 106 of 102
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Coordoneaz
n acest document verificarea extern i monitorizarea sunt considerate sinonime, cu excepia cazului n care
se precizeaz n mod expres diferena.
14
Descrise doar din punctul de vedere al rolului care le revine n ceea ce privete verificarea extern
File code: A2.4.4
File name: Draf GuidelinesV8_2
Author: PW
Version: 2.0
Page: 107 of 102
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Naional pentru Calificri. Odat aprobate, aceste planuri devin parte a sistemului intern de
management al calitii OIC-urilor.
Pe parcursul urmtoarelor paragrafe, sunt prezentate principalele sarcini privind verificarea
extern, din cadrul planului de verificare extern. Acestea sunt:
1. Analiza verificrii externe (cercetare-documentare);
2. Vizitele de verificare extern;
3. Vizitele suplimentare de verificare extern;
4. Vizitele de monitorizare realizate prin eantionare;
5. Verificarea prin eantionare a instrumentelor de evaluare;
6. Rapoartele de verificare extern.
Procesul de verificare extern se bazeaz pe procesul de evaluare a raportului de autoevaluare a furnizorului de servicii de evaluare, urmat de verificarea acestor constatri la faa
locului i, posibil, (prin eantionare) pe monitorizarea de proces i evaluarea de produs.
10.4.1 Analiza verificrii externe (cercetare - documentare)
Obiectivele analizei verificrii externe (cercetrii) sunt urmtoarele:
1. analiza rapoartelor de auto-evaluare;
2. analiza datelor procesului de evaluare;
3. identificarea problemelor ce vor sta la baza vizitelor de verificare extern.
Cercetarea ar trebui s se concentreze n primul rnd pe raportul de auto-evaluare care a fost
pus la dispoziie de ctre furnizorul de servicii de evaluare. Pe lng acest raport, organismul
intermediar de certificare ar trebui s utilizeze i dosarele aflate deja la dispoziie (dosarul de
autorizare, dosarul furnizorului i datele de proces din sistemul de management al
informaiilor) i orice alt documentaie relevant pus la dispoziie de ctre furnizorul de
servicii de evaluare.
Aceste materiale sunt evaluate ntr-o manier structurat utiliznd un standard de referin
pentru aprecierea rapoartelor de auto-evaluare. Acest standard include un numr de indicatori
i criterii de performan.
Standardul de referin necesar nu exist nc. Cu toate acestea, urmtorul exemplu preluat
din sistemul de verificare extern a evalurii n Olanda demonstreaz cum ar putea s arate
un astfel de standard.
Exemplu
Standardul de referin include un numr limitat de standarde referitoare la aspectele care au
fost identificate ca fiind cruciale. n Olanda, aceste standarde (pe scurt) sunt urmtoarele:
1. Conformarea cu prevederile legislative;
2. Implicarea partenerilor sociali n procesul de evaluare;
3. Calitatea personalului care asigur evaluarea;
4. Calitatea instrumentelor de evaluare;
5. Calitatea procesului de evaluare propriu-zis;
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
6. Consecvena sistemului de evaluare (aa cum este acesta descris prin intermediul
procedurilor din manualele de asigurare a calitii evalurii);
7. Datele referitoare la calitatea rezultatelor (nivelul de satisfacie al personalului, al
candidailor la evaluare, al pieei muncii i date referitoare la tipurile de certificate i
candidai calificai n urma evalurii).
Fiecare standard este detaliat prin intermediul unui numr de indicatori. Au fost descrise
criterii care utilizeaz aceti indicatori pentru a determina nivelul de calitate pentru furnizarea
de evaluare prin raportare la standard.
n urmtorul tabel este prezentat o mic parte a standardului de msurare a calitii datelor
rezultate:
Standardul 7: Datele referitoare la calitatea rezultatelor (legate de gradul de satisfacie al candidailor la
evaluare)
Nr: Indicatori referitori la
Dovezi
Sursa dovezilor
gradul de satisfacie al
verificabile
candidailor la evaluare
1
Informaiile furnizate
Verificatorul extern i noteaz constatrile fcute, de Se preia denumirea
referitoare la evaluare
exemplu, furnizorul de evaluare a colectat date
dovezii identificate
referitoare la acest aspect de la un eantion de
care vine n sprijinul
candidai la evaluare preluat din toate calificrile
constatrilor fcute:
evaluate pe parcursul ultimului an. Constatrile
e.g.: vezi fiierul
conduc la concluzia c aceti candidai, n medie, se
chestionar pentru
declar satisfcui pentru acest indicator
candidaii la evaluare
fisier_2009.xls
2
Coninutul propriu-zis
Acelai chestionar realizat de ctre furnizorul de
Ibidem: vezi
al evalurilor
servicii de evaluare a ajuns la concluzia potrivit creia chestionarul pentru
toi candidaii din cadrul tuturor calificrilor s-au
candidaii la evaluare
declarat a fi satisfcui cu excepia candidailor la
fiier_2009.xls
evaluare pentru ocupaia brutar. S-au luat msuri
i: Planul de
pentru mbuntirea coninutului evalurilor realizate mbuntire a calitii
pe anul 2009.
pentru aceast calificare
3
4
Etc.
Etc.
Apoi aceste constatri sunt plasate pe o scar calitativ (vezi mai jos):
Standardul 7: Datele referitoare la calitatea rezultatelor (legate de gradul de satisfacie al candidailor la
evaluare)
Slab
Insuficient
Suficient
Bun
Excelent
Lipsa dovezilor / nu Incomplet sau nc
Este pus la punct un Bun funcionare a
Abordare
se confirm
nu funcioneaz ca
sistem care
sistemului
anticipativ,
un ntreg
funcioneaz n
incluznd
inovativ, exemplu
parametri rezonabili capacitatea de a lua pentru ali furnizori
msuri autode servicii de
corective
evaluare
Furnizorul pretinde Satisfacia este
Furnizorul are o
Majoritatea
Toi candidaii la
a cunoate nivelul
msurat la nivelul
bun capacitate de a candidailor la
evaluare sunt foarte
de satisfacie al
tuturor calificrilor, identifica nivelul de evaluare se declar
satisfcui de
candidailor la
cel puin anual, ns satisfacie al
a fi satisfcui
furnizarea evalurii.
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
evaluare ns nu a
putut oferi nicio
dovad
documentat n
acest sens.
rezultatele
msurrii indic
faptul c sunt
necesare
mbuntiri
substaniale n ceea
ce privete
majoritatea
indicatorilor
candidailor la
evaluare i
majoritatea acestora
se declar a fi
satisfcui pn la
foarte satisfcui
la majoritatea
indicatorilor.
pn la foarte
satisfcui la
majoritatea
indicatorilor i se
depun eforturi n
sensul
mbuntirii.
Se desfoar un
proces de
monitorizare
continu i sunt
luate msuri
transparente n mod
continuu ceea ce are
ca rezultat o
mbuntire
permanent.
Ultima etap este aceea n care constatrile sunt comparate cu rezultatele furnizorilor similari
de servicii de evaluare i se poate trage o linie i decide care sunt condiiile minime pe care un
furnizor de servicii de evaluare trebuie s le ndeplineasc. Odat ce a fost stabilit acest
standard, msurtorile realizate succesiv pe parcursul urmtorilor ani vor releva evoluia
nregistrat de ctre furnizorii de servicii de evaluare.
Unele dintre standarde se refer la aspecte care pot fi verificate prin intermediul analizei
(cercetrii-documentrii), n timp ce alte standarde joac un rol mai important pe parcursul
vizitelor de verificare extern, cnd are loc verificarea practic a constatrilor teoretice.
Constatrile activitilor de cercetare sunt nregistrate n raportul de verificare.
Exemplu
Raportul de analiz pentru verificare extern
Organismul intermediar de
Cluj
certificare
Centrul de Perfectionare in Informatica Cluj
Denumirea
Numr de nregistrare
furnizorului
Gherghescu, Paula Oana
Autor:
Data finalizrii
1.
Raportul de auto-evaluare, versiune final, 03-01-2009;
Datele introduse
2.
Ghid de evaluare, Centrul de Perfectionare in Informatica Cluj, 12-12-2008;
(surse)
3.
Fia de reclamaii 2008, 20-01-2008
Data predrii
Model verificat
4.
Organigram, Centrul de Perfectionare n Informatic Cluj, 12-12-2008;
Auto-evaluarea este predat n conformitate cu planificarea
01-02-2009
Da CL_012_09.doc Auto-evaluarea corespunde cu modelul ANC
reg 012345
CL_012
20-03-2009
DA/ NU
DA/ NU
Nr
1
Indicator
Organizarea intern
Nivel
Dovezi
Remarci
Politicile de personal
Procese de evaluare
etc.
etc.
etc.
etc.
Modelul pentru raportul de cercetare pus la dispoziie n acest ghid trebuie s fie elaborat de o
manier nct din aceast activitate s poat fi trase concluzii obiective i informate, fiind
punctele de plecare pentru vizitele de verificare extern.
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Este necesar s fie elaborate proceduri care s ofere o ndrumare suplimentar (mai detaliat)
pentru a face ca procesul de cercetare s devin mai transparent. Este esenial din acest
punct de vedere elaborarea unui standard de referin pentru verificarea extern a
evalurii iar o cerin primordial o reprezint instruirea personalului organismelor
intermediare de certificare n realizarea acestui tip cercetare i a urmtorilor pai din cadrul
procesului de verificare extern.
Constatrile prezentate n raportul de cercetare trebuie s fie validate la faa locului. Aceasta
este una dintre cele mai importante motivaii pentru realizarea vizitelor de verificare extern.
Standardul de referin pentru verificarea extern trebuie s fie realizat de ctre specialiti cu
o bun nelegere a metodologiei, a procesului i obiectivelor verificrii externe.
Pe lng standardul de referin, procesul de cercetare trebuie s fie organizat eficace i
transparent. Trebuie s fie abordate probleme precum ghidul de realizare a cercetrii,
formatele pentru rapoartele de auto-evaluare, calendare de lucru, formatele pentru rapoartele
de analiz, dosare de furnizor, distribuirea sarcinilor de lucru i problemele corelate.
Din cauza faptului c experiena n domeniu, la acest moment, este minimal, devine necesar
o pregtire extins i o colaborare intens ntre specialiti. Din acest punct de vedere, trebuie
fcut o distincie ntre personalul implicat n asigurarea rolului coordonator la nivel naional
al ANC i personalul organismelor intermediare de certificare.
10.4.2 Vizita de verificare extern
Pregtirea vizitelor de verificare extern se bazeaz parial pe rezultatele cercetrii i parial
pe procedura standard a vizitei de verificare extern.
Fiecare vizit de verificare extern este detaliat ntr-un program de verificare extern.
Furnizorii de servicii de evaluare primesc acest plan cu mult timp naintea vizitei (1 lun).
Acest program ofer o prezentare general asupra:
1. (dac situaia se aplic) problemelor urgente care au nevoie de clarificare;
2. dovezilor pe care verificatorul extern le va analiza pe parcursul vizitei (verificarea
dosarelor de evaluare i a fielor de nregistrare a certificrii);
3. personalului de verificare cu care verificatorul extern ar dori s discute;
4. subiectelor ntlnirii.
Programul detaliaz informaiile referitoare la:
dovezile legate de calificrile deinute de personalul de evaluare;
politica de recrutare a personalului de evaluare;
activitile de dezvoltare profesional a personalului de evaluare;
documentaia privind verificarea intern.
10.4.3 Vizitele suplimentare de verificare extern
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Vizitele suplimentare de verificare extern sunt efectuate dac au fost identificate aspecte
neconforme/neconformiti pe parcursul vizitei de verificare. Aspectele neconforme pot fi
regsite n legtur cu oricare element al standardului de verificare extern.
Exemplu:
Un furnizor de servicii de evaluare declar n raportul su de auto-evaluare c sunt aplicate n
mod regulat chestionare pentru a colecta datele referitoare la gradul de satisfacie a
candidailor la evaluare. Pe parcursul vizitei de verificare regulat organizat la faa locului,
documentele/fiierele justificative nu au putut fi artate sau puse la dispoziia verificatorului
extern. Acest lucru trebuie perceput ca un caz neconformitate grav deoarece, nu numai c
furnizorul nu s-a conformat cerinelor metodologice, ns demonstreaz, de asemenea, i lipsa
nelegerii n ceea ce privete cerinele rapoartelor de auto-evaluare.
De fapt, o astfel de constatare ar trebui s impulsioneze verificatorul extern n sensul
intensificrii procesului de verificare extern, deoarece probabilitatea de a identifica existena
i a altor ne-conformiti/aspecte neconforme este ridicat. Constatrile fcute sunt trecute n
raportul de verificare i sunt stabilite date de efectuare a unor vizite suplimentare de verificare
extern. Aceste vizite se vor concentra pe progresul pe care l-a fcut furnizorul de servicii de
evaluare pentru a se conforma cerinelor.
Exemplul demonstreaz c este de o importan capital nregistrarea constatrilor n urma
vizitelor de verificare externe regulate i a celor suplimentare de verificare extern ntr-o
manier transparent i de necontestat.
Costurile vizitelor suplimentare de verificare extern ar trebui s fie suportate de ctre
furnizorul de servicii de evaluare.
Problema stabilirii caracterului neconform i/sau neconformitii este delicat. Stabilirea
caracterului neconform sau a neconformitii ar trebui s se bazeze pe dovezi i s nu depind
de prerile personale sau observaiile unui singur verificator extern. Sarcina verificatorului
extern nu este de a penaliza furnizorul de servicii de evaluare, ci de a construi o relaie cu
furnizorul respectiv care s promoveze n primul i n primul rnd mbuntirea calitii.
Prin urmare, trebuie puse la punct reguli i proceduri inclusiv o comisie de contestare a
neconformitilor pentru a veni n sprijinul verificatorilor externi. Decizia de efectuare a
vizitelor suplimentare de verificare ar trebui s fie luat la nivelurile de conducere ale OICurilor.
Procedurile i msurile transparente referitoare la vizitele suplimentare de verificare extern
trebuie s fie confirmate de ctre Autoritatea Naional pentru Calificri, inclusiv acele msuri
care s previn producerea unui conflict de interese. Aplicarea acestor msuri ar trebui sa fie
ntotdeauna raportat.
Sanciunea ultim n privina neconformitii o reprezint retragerea autorizaiei.
10.4.4 Vizitele de monitorizare prin eantionare
Organismele externe de monitorizare trebuie s efectueze i vizite de monitorizare. Acestea
pot fi combinate cu vizitele de verificare extern, ns obiectivul vizitelor de monitorizare este
unul cu totul diferit. n cazul n care se ntmpl acest lucru, un verificator extern poate
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
efectua vizita de verificare extern, iar cellalt verificator extern i organizeaz vizita de
monitorizare extern.
Vizitele de monitorizare extern trebuie s se concentreze n mod explicit pe stimularea
mbuntirii calitii prin formularea de observaii referitoare la furnizarea efectiv de
servicii de evaluare de ctre un anumit evaluator sau un numr de evaluatori din cadrul
unui furnizor de servicii de evaluare.
Pe parcursul unor astfel de vizite, trebuie fcute observaii referitoare la:
Calitatea sesiunilor de evaluare;
Calitatea procesului de luare a deciziilor de evaluare;
Evaluarea calitii profesionale a personalului specializat n evaluare;
Oferirea de feedback verificatorului intern pe baza observaiilor fcute.
Intenia organizrii unor astfel de vizite este de a ntri capacitatea instituional i de cretere
a gradului de contientizare n privina mbuntirii calitii n rndurile personalului
nsrcinat cu evaluarea al unui furnizor de servicii de evaluare, pe baza observaiilor directe
fcute.
Trebuie s fie absolut clar ambelor pri (verificatorul extern care efectueaz vizita de
monitorizare i furnizorul de servicii de evaluare) c obiectivul nu este stabilirea aspectelor
neconforme sau a neconformitilor, ci stimularea mbuntirii calitii.
Pe lng observaiile realizate i nregistrate, trebuie s aib loc i dezbateri ntr-o atmosfer
deschis n cadrul crora verificatorul extern poate solicita clarificri i, posibil, s indice
oportuniti de mbuntire acolo unde exist inconsecvene. Personalul furnizorului de
servicii de evaluare, la rndul su, poate solicita clarificri, de exemplu: asupra modalitii de
conformare cu cerinele sau asupra altor aspecte legate de verificarea extern. Din acest punct
de vedere, verificatorul extern i asum un rol de ndrumtor.
Vizitele de monitorizare extern ar trebui s aib ca rezultat stabilirea unor recomandri
realiste asupra crora s se pun de acord ambele pri.
n ultimul rnd, ns la fel de important, trebuie reinut faptul c astfel de vizite ar trebui nu
numai s aib impact n privina creterii capacitii personalului furnizorului de servicii de
evaluare, ns i asupra verificatorilor externi. Le vor permite acestora s participe la
desfurarea propriu-zis a evalurii, s reflecteze pe marginea rolului pe care l joac, asupra
utilitii standardului de referin pentru verificarea extern, s i evalueze propria abordare i
s-i mbunteasc ei nii capacitile.
10.4.5 Verificarea prin eantionare a instrumentelor de evaluare
Obiectivul esenial al verificrii prin eantionare a instrumentelor de evaluare este
determinarea calitii acestor instrumente. n acest moment, nu exist o verificare valid i
credibil aa cum prevede metodologia . Aceast activitate de verificare extern a fost inclus
ca sarcin specific n cadrul procesului de verificare extern deoarece este de o importan
crucial. Dac calitatea instrumentelor de evaluare nu este analizat de ctre specialiti n mod
regulat, pentru a asigura validitatea i credibilitatea acestora, toate celelalte msuri luate
pentru asigurarea i mbuntirea calitii livrrii de servicii de evaluare ar putea deveni
inutile.
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
n acest paragraf este prezentat o schi sumar a acestui tip de activitate care s permit
furnizorilor de servicii de evaluare s neleag cum ar putea Autoritatea Naional pentru
Calificri redefini abordarea actual.
Autoritatea Naional pentru Calificri trebuie s elaboreze o politic care s permit o
manier structurat de realizare a verificrii externe a calitii instrumentelor de evaluare.
Aceast politic ar trebui s includ urmtoarele aspecte:
1) Conformarea calitativ a instrumentelor de evaluare:
a. Pe baza unei strategii de eantionare, OIC selecteaz dosarul de evaluare pentru o
anumit calificare i verific urmtoarele aspecte:
i. Consecvena i transparena planului de evaluare;
ii. Cerinele de format ale instrumentelor de evaluare;
iii. Relaia dintre instrumentele de evaluare i planul de evaluare;
iv. Aprecierea rezultatelor procesului de evaluare.
b. Un numr limitat de instrumente de evaluare. Validitatea i credibilitatea acestor
instrumente ar trebui s fie analizate n detaliu, incluznd:
i. Relaia dintre specificaiile instrumentelor de evaluare i specificaiile
testelor de evaluare;
ii. Relaiile ntre specificaiile testelor de evaluare i itemii de evaluare;
iii. Calitatea itemilor individuali de evaluare;
iv. Punctarea itemilor individuali de evaluare i a testului n ansamblul
su.
2) mbuntirea calitii instrumentelor de evaluare.
Pe baza unei strategii de eantionare, Autoritatea Naional pentu Calificri selecteaz
dosarele de evaluare pentru anumite calificri care sunt oferite de ctre mai muli furnizori
la nivelul ntregii ri sau ntr-o anumit regiune i realizeaz o analiz comparativ
detaliat care s aib ca rezultat evidenierea exemplelor de bun practic.
3) O strategie de eantionare
Ar trebui s fie destul de evident faptul c Autoritatea Naional pentru Calificri i OICurile nu pot verifica n detaliu calitatea fiecrui instrument de evaluare n parte anual sau
de fiecare dat cnd sunt elaborate noi instrumente de evaluare. Costurile pe care le-ar
presupune acest tip de acoperire complet prin verificare sunt pur i simplu prea ridicate.
Este necesar o strategie de eantionare la nivel naional, regional i local. O astfel de
strategie trebuie s ia n considerare urmtoarele elemente:
a. Cum se poate eantiona n vederea identificrii gradului de conformitate la
nivel local;
b. Cum se poate eantiona n vederea mbuntirii calitii la nivel
naional/regional;
c. Implicarea comitetelor sectoriale;
d. Compilarea constatrilor rezultate n urma verificrii externe;
e. Elaborarea unui plan de eantionare pentru urmtorii ani;
f. Rezultat direct: gradul de acoperire prin eantionare pe parcursul unui numr
de ani;
File code: A2.4.4
Version: 2.0
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Author: PW
Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International