Documente Academic
Documente Profesional
Documente Cultură
Ghidul de Aplicare Al Metodologiei M4 PDF
Ghidul de Aplicare Al Metodologiei M4 PDF
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Cuprins
1 Introducere .............................................................................................................................. 5
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
4.1 Elaborarea unui plan de evaluare ................................... Error! Bookmark not defined.
Pasul 1: Stabilirea scopului planului de evaluare............. Error! Bookmark not defined.
Pasul 2: Evaluarea surselor .............................................. Error! Bookmark not defined.
Pasul 3: Stabilirea obiectivelor......................................... Error! Bookmark not defined.
Pasul 4: Stabilirea metodelor de evaluare ........................ Error! Bookmark not defined.
Pasul 5: Specificarea instrumentelor de evaluare............. Error! Bookmark not defined.
Pasul 6: Verificarea planului ............................................ Error! Bookmark not defined.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
1. Introducere
Prin comparaţie cu ghidul utilizat anterior de cǎtre centrele de evaluare, acesta este mult mai
consistent. Acest lucru se datoreazǎ faptului cǎ ghidul a fost elaborat pentru a facilita
formarea profesionalǎ a personalului implicat în evaluare. Din acest punct de vedere, acest
ghid reprezintǎ, de fapt, un ghid de evaluare şi nu neapǎrat un ghid care sǎ fie corelat în mod
specific doar cu metodologia M4. Acest ghid abordeazǎ comprehensiv evaluarea
competenţelor şi este menit formării în mod activ a personalului implicat în evaluare în EFP.
Motivul pentru care s-a pus în mai mare mǎsurǎ accentul pe proiectarea evaluǎrii este unul
simplu: pânǎ la acest moment, subiectul proiectǎrii evaluǎrii nu a fost suficient abordat. Prea
adesea – şi nu numai în România – se porneşte de la prezumţia potrivit cǎreia orice specialist
cu experienţǎ într-un domeniu poate sǎ evalueze o persoanǎ care doreşte sǎ lucreze în
domeniul respectiv. Orice profesor ştie cum se realizează evaluarea. Am avut parte de
evaluǎri în trecutul nostru, avem experienţe personale, aşa încât lucrurile nu ar trebui sǎ fie
foarte dificile. Prin urmare, nu ar fi prea dificil să formulăm câteva întrebǎri. Nu-i aşa?
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
exemple preluate din domenii diverse. Utilizatorilor acestui ghid li se adreseazǎ provocarea de
a transfera aceste exemple în propriile situaţii şi de a construi mai departe pornind de la ele.
În mai multe rânduri, în acest ghid utilizatorul este sfǎtuit sǎ continue documentarea asupra
subiectelor pe care le considerǎ de interes. Acest lucru trebuie subliniat încǎ o datǎ. Existǎ
suficiente documente disponibile pe internet care oferǎ detalii suplimentare. Toate aceste
informaţii nu ar fi putut fi incluse în acest ghid, aşa încât este stimulatǎ cǎutarea activǎ.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
2. Principiile evaluǎrii
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
4. Sunt necesare proceduri prin care să se asigure faptul cǎ performanţa evaluatǎ este cu
certitudine a cursantului care urmeazǎ sǎ primeascǎ certificatul;
Mulţi specialişti în domeniul educaţiei sunt conştienţi de faptul cǎ o serie de principii tehnice
trebuie respectate atunci când este vorba de evaluare. Aceste principii tehnice ar trebui sǎ
conducǎ la - şi respectarea lor ar trebui sǎ aibǎ ca rezultat - o evaluare de bunǎ calitate. Cele
mai bine cunoscute principii tehnice sunt validitatea, credibilitatea, transparenţa,
corectitudinea şi flexibilitatea. Alte principii tehnice sunt mai rar întâlnite, precum: adecvarea
la obiective, congruenţa, potenţialul discriminatoriu (sensibilitatea) şi altele asemenea.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Pentru descrierea acestor concepte, a fost fǎcutǎ o alegere pragmaticǎ de utilizare a unei
definiţii sau a unei descrieri care sǎ fie uşor de înţeles de cǎtre oricine. Definiţii ştiinţifice mai
adecvate pot fi regǎsite în literatura de specialitate în domeniul evaluǎrii sau pe internet. Nu
trebuie decât sǎ introduceţi termenul care vǎ intereseazǎ într-un motor de cǎutare şi veţi avea
parte de o adevǎratǎ explozie de informaţii.
În urmǎtoarele tabele, fiecare dintre cel mai des întâlnite principii prezentate mai sus au fost
detaliate.
2.2.1 Validitatea:
Validitatea reprezintǎ mǎsura în care un test mǎsoarǎ ceea trebuie sǎ măsoare. Cu alte cuvinte, o evaluare
poate fi consideratǎ validǎ dacǎ testează dovezi ale competenţei care decurg din activitǎţile descrise în cadrul
standardului ocupaţional/ de pregǎtire profesionalǎ şi dacǎ se pot trage concluzii valide pe baza rezultatelor
acestei testǎri. În contextul de evaluare educaţionalǎ, se face distincţia între mai multe tipuri de validitate.
1. Validitatea de faţadă: în aparenţǎ (la prima vedere) testul (item-ul) pare a mǎsura ceea ce
intenţioneazǎ sǎ mǎsoare.
2. Validitatea de construct sau de conţinut : pe baza analizei, se confirmǎ prin dovezi faptul cǎ un item
mǎsoarǎ efectiv ceea ce şi-a propus sǎ mǎsoare. Calitǎţile care contribuie la validitatea de construct
sunt:
¾ Validitatea criteriului
¾ Validitatea concurentă
¾ Validitatea discriminantǎ
Validitatea de faţadă are o valoare superficialǎ. Ea oferǎ o indicaţie care poate conduce la concluzii greşite.
Mai importantǎ este stabilirea validitǎţii de construct sau de conţinut prin intermediul unei riguroase testǎri
psihometrice a item-ilor.
Elemente ale validitǎţii de construct care Mǎsuri de asigurare a validitǎţii evaluǎrii
determinǎ validitatea evaluǎrii
1. Validitatea criteriului: Itemii de Utilizaţi numai criteriile din standarde la definirea
evaluareevaluare acoperǎ aria avutǎ în ariilor care trebuie testate;
vedere/se concentreazǎ pe criteriile de Evitaţi mǎsurarea altor manifestǎri ale criteriilor faţǎ
performanţǎ care trebuie testate. de cele avute în vedere;
Itemii de evaluareevaluare trebuie sǎ fie independenţi
(nici un item nu trebuie sǎ dezvǎluie rǎspunsul la
itemii de evaluareprecedenţi);
Evitaţi manifestarea preferinţelor individuale prin
tipare de rǎspuns (în cazul testelor grilǎ);
Itemii de evaluare trebuie sǎ corespundǎ obiectivului
testului;
Evitaţi subiectivismul legat de evaluare şi de genul
candidaţilor;
Realizaţi analiza psihometricǎ a punctajelor testelor
acolo unde este necesar, analizaţi rezultatele testelor.
2 Validitatea concurentă: evaluarea realizatǎ în Testaţi competenţele cerute utilizând metode diferite
baza aceluiaşi concept însǎ cu metode diferite care sǎ ducǎ la rezultate similare. Validaţi astfel
de evaluare (testare) conduce la rezultate rezultatele obţinute pe parcursul testǎrii;
similare
3 Validitatea discriminantǎ: evaluarea nu Scorul obţinut la itemii de evaluare face posibilǎ
mǎsoarǎ ceea ce nu ar trebui sǎ mǎsoare. diferenţierea între cursanţii competenţi şi cei care nu
sunt încǎ competenţi;
File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM
Version: 2.0 Page: 10 of 45 Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
2.2.2 Credibilitatea:
Credibilitatea (fidelitatea) se referă la mǎsura în care rezultatele evaluǎrii reprezintǎ o apreciere exactă a
abilitǎţilor candidatului prevăzute prin criteriile de evaluare. În alte cuvinte, o evaluare poate fi consideratǎ a
fi credibilă sau fidelă dacǎ furnizeazǎ un set substanţial de mǎsurǎtori ale obiectului evaluării independent de
condiţiile în care are loc evaluarea - evaluatorul, momentul, instrumentele şi auxiliarele de evaluare.
Elemente care determinǎ credibilitatea Mǎsuri care sǎ asigure credibilitatea evaluǎrii
evaluǎrii
1. Fidelitatea între evaluatori: toţi corectorii în 1. Oferirea unor instrucţiuni de punctare lipsite de
cadrul unei evaluǎri specifice corecteazǎ munca ambiguitate;
tuturor candidaţilor consecvent şi consistent. 2. Notarea este precisǎ, fǎrǎ erori;
3. Notarea este verificatǎ;
4. Utilizarea unor bareme lipsite de ambiguitate;
5. Instruirea evaluatorilor;
6. Evidenţierea subiectivismului evaluatorilor şi
luarea mǎsurilor de prevenire a manifestǎrii
acestui subiectivism
2 Fidelitatea în timp: evaluarea repetatǎ în timp 1. Re-utilizarea planurilor de evaluare/grilelor de
cu un instrument specific nu influenţeazǎ specificare a testelor
rezultatul evaluǎrii 2. Utilizarea aceluiaşi format ca cel anterior (de
evaluareşi al baremului de corectare)
3 Fidelitatea condiţiilor: condiţiile de evaluare nu 1. Standardizarea condiţiilor de evaluare într-o cât
influenţeazǎ rezultatul evaluǎrii mai mare mǎsurǎ
2. Specificarea condiţiilor în care ar trebui sǎ fie
organizatǎ evaluarea
3. Verificarea condiţiilor înainte de începutul
evaluǎrii şi soluţionarea posibilelor riscuri
perturbatoare
4 Fidelitatea instrumentelor şi a auxiliarelor de 1. Specificarea auxiliarelor necesare evaluării;
evaluare: instrumentele şi auxiliarele de 2. Verificarea disponibilităţii auxiliarelor necesare;
evaluare nu influenţeazǎ rezultatul unei 3. Verificarea calităţii auxiliarelor necesare.
evaluǎri în timp.
Aşa cum s-a arătat mai sus, credibilitatea (fidelitatea) rezultatelor evaluǎrii este determinatǎ de un număr de
factori.
În situaţia idealǎ, nici unul dintre aceşti factori nu va influenţa rezultatul unei evaluǎri. În situaţii reale (de
exemplu, evaluarea la locul de muncǎ), fidelitatea evaluǎrii va fi influenţatǎ negativ deoarece aceste condiţii
(pe parcursul timpului) nu pot fi controlate 100% de la un loc la altul.
Organismul de certificare este cel care determinǎ gradul de credibilitate (fidelitate) acceptat. În practicǎ, un
grad ridicat (absolut) de credibilitate poate fi obţinut numai în condiţii controlate de laborator.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
FIDELITATE
Scǎzutǎ Înaltǎ
2.2.3 Corectitudinea:
Corectitudinea reprezintǎ mǎsura în care un test oferǎ oportunitǎţi egale cursanţilor şi evitǎ orice tip de
discriminare .
Elementele care determinǎ corectitudinea Mǎsuri care asigurǎ corectitudinea evaluǎrii
evaluǎrii
1. Prejudecǎţi culturale şi/sau de gen: Itemii de Utilizaţi doar criteriile preluate din standarde pentru a
evaluare nu discrimineazǎ minoritǎţi, pe baze defini domeniile care trebuie testate;
culturale sau de gen Evitaţi utilizarea itemilor de evaluare care
discrimineazǎ minoritǎţi, pe baze culturale sau de gen;
Itemii de evaluaretrebuie sǎ fie neutru construiţi din
punct de vedere al genului;
Evaluaţi rezultatele testului obţinute sub aspectul
corectitudinii.
2 Dizabilitǎţi Proiectaţi mijloace alternative valide de evaluare a
cursanţilor cu dizabilitǎţi (de exemplu, cu probleme de
citire) dacǎ competenţa cerutǎ în conformitate cu
standardul poate fi mǎsuratǎ şi într-o manierǎ diferitǎ.
2.2.4 Flexibilitate:
Flexibilitatea evaluǎrii reprezintǎ mǎsura în care îndeplinirea criteriilor de competenţǎ poate fi mǎsuratǎ în
contexte diferite într-o manierǎ validǎ.
Elementele care determinǎ flexibilitatea Mǎsuri care asigurǎ flexibilitatea evaluǎrii
evaluǎrii
1. Flexibilitatea evaluǎrii: Metodele de evaluare Proiectanţii evaluării conştientizeazǎ contextul
sunt elaborate astfel încât sǎ fie adecvate (posibilitǎţile şi constrângerile sub care sunt utilizate
obiectivelor urmǎrite într-un context dat fǎrǎ sǎ metodele de evaluare/testele)
reducǎ validitatea şi/sau fidelitatea rezultatelor
testǎrii
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
2.2.5 Transparenţa:
În general, sunt douǎ aspecte ale noţiunii de “nivel” care trebuie permanent avute în vedere.
O distincţie trebuie fǎcutǎ din acest punct de vedere între:
1. nivelul unei calificǎri din Cadrul Naţional al Calificǎrilor;
2. nivelul unei probe de evaluare.
În Cadrul Naţional al Calificǎrilor fiecare calificare a fost definitǎ la un anumit nivel. Aceasta
este una dintre caracteristicile esenţiale ale cadrului în sine. La ora actualǎ, în cadrul
calificǎrilor din România au fost definite cinci niveluri de calificare.
Fiecare nivel este descris printr-o apreciere calitativǎ: descriptorul de nivel. Aceşti descriptori
se referǎ la aspecte precum complexitatea sarcinilor de lucru şi autonomia lucrǎtorilor
calificaţi la acel nivel specific.
Descriptorii au un caracter generic, nu sunt foarte specifici, însǎ trebuie, cu siguranţǎ, sǎ fie
luaţi în calcul la imaginea de ansamblu atunci când se discutǎ realizarea unor proiecte de
evaluare sau desfǎşurarea propriu-zisǎ a evaluǎrii pentru o anumitǎ calificare.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Nu existǎ reguli prescrise în privinţa acestei abordǎri, însǎ o citire atentǎ şi înţelegerea esenţei
descriptorilor de nivel reprezintǎ primul pas atunci când discutăm despre 1) elaborarea unei
strategii de evaluare care include construirea planului de evaluare, a programului şi a
instrumentelor de evaluare şi 2) realizarea propriu-zisǎ a evaluǎrii la diferite niveluri.
Descriptorii de nivel oferǎ, de fapt, informaţii care contureazǎ sfera de acţiune a unei evaluǎri
eficace. Din acest punct de vedere, reflectaţi la urmǎtoarele aspecte privind:
1. Elaborarea unei strategii de evaluare care sǎ includǎ planul, programul şi
instrumentele de evaluare:
File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM
Version: 2.0 Page: 14 of 45 Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Aşa cum s-a precizat şi anterior, nu existǎ reguli prescrise, însǎ în practicǎ se întâmplǎ destul
de des ca evaluarea candidaţilor sǎ se desfǎşoare utilizând proceduri (instrumente de evaluare)
care nu sunt deloc adecvate. Practica, experienţa şi cunoaşterea limitǎrilor şi posibilitǎţilor
oferite de metodele de evaluare sunt cruciale în evaluarea unei calificǎri la nivelul cerut şi în
realizarea alegerilor corespunzǎtoare. Evaluarea trebuie sǎ fie “adecvatǎ obiectivelor” şi sǎ nu
fie realizatǎ pe principiul “măsurii universal valabile”.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Prima întrebare se regǎseşte în categoria “bine de ştiut, candidatul cunoaşte principiile”. Însă
legǎtura cu elementul de competenţǎ care trebuie sǎ fie evaluat nu este adecvatǎ. Nu reflectǎ
sub nicio formǎ nivelul cerut de înţelegere a conceptului. Cea de-a doua întrebare “sondează
în adâncime”: oferǎ candidatului oportunitatea de a oferi dovezile cerute în conformitate cu
standardul.
În mod evident, cel de-al treilea şi al patrulea rǎspuns contureazǎ un numǎr de procese
mentale care, combinate, rezultǎ într-un rǎspuns logic. Dacǎ obiectivul evaluǎrii ar fi fost
stabilirea faptului cǎ respectivul candidat ştie sǎ ofere îndrumǎri precise unui turist care
doreşte sǎ afle cum poate sǎ ajungǎ de la punctul A la punctul B în Bucureşti, cel de-al
patrulea rǎspuns ar fi fost cel mai adecvat.
File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM
Version: 2.0 Page: 16 of 45 Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Ambele exemple demonstreazǎ cǎ atât întrebǎrile cât şi – prin referire la cel de-al doilea
exemplu – interpretarea rǎspunsurilor sunt legate de standardul la care se raportează evaluarea
şi sunt corelate cu performanţele solicitate care trebuie demonstrate.
Într-o formă simplificată, se poate considera cǎ orice evaluare constǎ dintr-un numǎr de
sarcini sau întrebǎri. Acestor sarcini şi întrebǎri trebuie sǎ li se gǎseascǎ o rezolvare/un
rǎspuns. Rǎspunsul respectiv trebuie sǎ indice nivelul de competenţǎ.
Evaluarea dovezilor
Este evident cǎ fiecare sarcinǎ/întrebare sau stimul trebuie sǎ fie proiectate astfel încât
respectivul candidat sǎ poată demonstra un nivel de performanţǎ, sǎ rǎspundǎ la o întrebare
sau sǎ producǎ o reacţie pe baza cǎreia evaluatorul sǎ poatǎ trage o concluzie logicǎ; ceea ce
înseamnǎ cǎ evaluatorul este capabil sǎ tragǎ concluzii care sǎ indice nivelul de competenţǎ al
unui candidat.
Dar ce s-ar întâmpla în cazul în care evaluatorul ar pune numai un numǎr de întrebǎri despre
“cum se reparǎ o panǎ de cauciuc de bicicletǎ” sau “care sunt principalele componente ale
anvelopei de bicicletǎ”? Ar putea atunci evaluatorul sǎ realizeze deducţii asupra competenţei
unui candidat de reparare eficace a unei pene de cauciuc de bicicletǎ? Cu siguranţǎ, dacǎ un
candidat ar fi capabil sǎ rǎspundǎ la un numǎr de întrebǎri precum cele prezentate mai sus,
evaluatorul ar putea concluziona cǎ respectivul candidat are cunoştinţe (într-o oarecare
mǎsurǎ), atât timp cât întrebǎrilor li s-a dat rǎspunsul corect. Cu toate acestea, asemenea
rezultate ale testǎrii nu oferǎ nici o garanţie cǎ respectivul candidat este, de fapt, competent în
repararea unei pene de cauciuc de bicicletǎ.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Din pǎcate, de prea multe ori în realitate ne confruntǎm cu situaţia în care sarcinile sau
întrebǎrile de evaluare par a fi corecte, dar nu pot fi utilizate pentru a trage concluzii în ceea
ce priveşte competenţa. Majoritatea testelor scrise, mai ales cele de tip “grilǎ” şi “testele cu
rǎspunsuri scurte” nu depǎşesc nivelul de evaluare a cunoştinţelor de bazǎ. Nu este nimic în
neregulǎ cu evaluarea cunoştinţelor de bazǎ, însǎ ce se întâmplǎ dacǎ nivelul de competenţǎ
solicitat este cel de înţelegere sau de analizǎ? Dacǎ evaluatorii doresc sǎ capete o bunǎ
înţelegere a acestei probleme, trebuie sǎ înţeleagǎ utilizarea sistemelor taxonomice.
Itemul reprezintă cerinţa, întrebarea la care trebuie să răspundă evaluatul. El este un element
al unei probe de evaluare sau al unui test de evaluare, deci al instrumentului de evaluare. Se
exprimă prin formularea unei întrebări care se integrează în structura unei probe de evaluare.
De fapt, în sensul său real, complet şi adaptat realităţii de evaluare, itemul înseamnă sarcina
de lucru plus răspunsul aşteptat.1
În majoritatea cazurilor în care este luatǎ în discuţie validitatea item-ilor de evaluare, se face
referire la sistemele de codare taxonomice.
Ierarhia unor astfel de scheme ne poate spune câte ceva despre: evoluţie, apariţie,
caracteristici, complexitate, autoritate, responsabilitate etc. Pe baza unei astfel de înţelegeri a
elementelor sau conceptelor şi, mai important, a relaţiilor între astfel de elemente sau
concepte, suntem capabili sǎ acţionǎm mai adecvat în atingerea scopurilor.
Din acest punct de vedere, o structurǎ de calificare poate fi perceputǎ ca fiind o schemǎ
taxonomicǎ care demonstreazǎ rutele de progres şi relaţiile dintre calificǎri. Un alt exemplu de
schemǎ taxonomicǎ este reprezentatǎ de COR (Clasificarea Ocupaţiilor din România).
1
Potolea, D., Manolescu, M., Teoria şi practica evaluării educaţionale, elaborat în cadrul Proiectului pentru
învăţământul rural, Ministerul Educaţiei şi Cercetării, Bucureşti, 2005
File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM
Version: 2.0 Page: 18 of 45 Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
În contextul educaţional existǎ o serie de scheme taxonomice care pot fi foarte utile în
înţelegerea învǎţǎrii, cunoştinţelor, abilitǎţilor, competenţelor şi în evaluarea acestor concepte.
O serie de specialişti în domeniul educaţional au construit sisteme taxonomice care ar putea fi
utile în încercarea noastrǎ de a ajunge la o înţelegere asupra acestor aspecte. Printre cei mai
importanţi specialişti în domeniu se numǎrǎ: Bloom, Piaget, Bruner, Gagne, Anderson,
Hannah şi Romiszowski.
Aceastǎ schemǎ a domeniului cognitiv prezintǎ ierarhia în cadrul cǎreia învǎţǎm şi suntem
capabili sǎ demonstrǎm abilitǎţile cognitive. Se începe de la etapa simplǎ a cǎpǎtǎrii de
cunoştinţe şi demonstreazǎ cǎ cea mai înaltǎ abilitate cognitivǎ de care dispunem se
regǎseşte în capacitatea de a realiza evaluǎri cognitive.
Schema taxonomică a lui Bloom este cuprinzătoare şi detaliatǎ. Detalierea demonstreazǎ cum
anumite verbe sunt corelate cu abilitǎţile cognitive. Aceste verbe sunt importante pentru
felul în care formulǎm rezultatele învǎţǎrii, elementele de competenţǎ sau criteriile de
evaluare.
La ora actualǎ alegerea verbelor care urmeazǎ a fi utilizate pentru descrierea acestor elemente
în cadrul standardelor ocupaţionale şi a standardelor de pregǎtire profesionalǎ este lǎsatǎ la
latitudinea autorilor. Nu existǎ materiale de îndrumare în acest domeniu. Prin urmare, nu se
poate stabili dacǎ sunt folosite verbele corespunzǎtoare, iar consecinţa acestui lucru este faptul
cǎ evaluarea abilitǎţilor şi a cunoştinţelor nu se poate realiza la nivelul corect. Practica
demonstreazǎ faptul cǎ este mult mai uşoarǎ evaluarea candidatului în ceea ce priveşte gradul
de aplicare, înţelegere şi/sau dobândire de cunoştinţe faţǎ de evaluarea abilitǎţilor acestuia de
analiză, sinteză sau evaluare. Aceastǎ poate sǎ reprezinte o explicaţie relevantǎ pentru faptul
cǎ angajatorii nu sunt satisfǎcuţi de “competenţele” pe care cursanţii le-au dobândit, conform
rezultatelor evaluǎrii acestora.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Cunoştinţe Abilitǎţi
faptice/ înţelegere / Reproductive Productive
fundamentale know how Cognitive Cognitive
Interpersonale Interpersonale
Psiho-motorii Psiho-motorii
Reactive Reactive
Schema taxonomicǎ trebuie sǎ fie cititǎ orizontal de la stânga la dreapta. Progresul obţinut în
procesul de învǎţare şi deprinderea noilor “elemente” urmeazǎ aceeaşi logicǎ. Ca şi taxonomia
lui Bloom, schema lui Romiszowski poate fi corelatǎ cu seturi distincte de verbe.
Abilitǎţile reproductive sunt acele abilitǎţi care sunt realizate în conformitate cu o procedură
fixǎ (de exemplu: vopsirea unui zid cu o pensulǎ cu coada lungǎ, utilizând un anume tip de
vopsea).
După Romiszowski, atât abilitǎţile reproductive, cât şi cele productive pot fi sub-împǎrţite în
4 tipuri:
Abilitǎţi cognitive: capacitatea de a analiza probleme, de a distinge la nivel intelectual
(notare Rc sau Pc);
Abilitǎţi reactive: capacitatea de a opera cu sentimente, valori şi de a exprima atitudini
corecte (notare Rr sau Pr) ;
Abilitǎţi psiho-motorii: capacitatea de a utiliza abilitǎţi fizice, precum vopsirea, aşezarea
cǎrǎmizilor, scrierea de scrisori etc (notare Rpm sau Ppm).
Abilitǎţi interactive: capacitatea de a interacţiona cu persoane, precum comunicarea,
cooperarea, oferirea de feed-back, ospitalitate, capacitatea de a realiza prezentǎri etc. (notare
Ri sau Pi)
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
În acest fel, sistemele taxonomice nu oferǎ doar informaţii necesare pentru învǎţare, ci sunt
utilizate şi pentru a informa autorii de instrumente de evaluare în ceea ce priveşte tipul de
evaluare şi dovezile necesare. Fiecǎrui element (legat de cunoştinţe sau abilitǎţi) care trebuie
sǎ fie evaluat i se poate asocia un cod taxonomic de cǎtre organismul de stabilire a
standardelor. Aceastǎ codificare ar putea asigura realizarea tipului corespunzǎtor de evaluare.
Prin tipul corespunzǎtor se înţelege: concentrarea pe dovezile cerute, alegerea
instrumentului de evaluare adecvat.
În urmǎtoarele exemple sunt prezentate un numǎr de elemente care trebuie sǎ fie evaluate
pentru ca o persoanǎ sǎ obţinǎ o calificare. Fiecare element a fost etichetat cu un cod
taxonomic (în conformitate cu sistemul de notare taxonomicǎ al lui Romiszowski). Codul
indicǎ, de fapt, cum ar trebui evaluat elementul respectiv (element de cunoştinţe sau abilitǎţi).
Textul scris cu litere cursive reprezintǎ ceea ce ar cunoaşte autorul de instrumente de evaluare
dacǎ presupunem cǎ persoana respectivǎ deţine un nivel corect de înţelegere a codului
taxonomic dat.
Exemplul 1:
Candidatul poate denumi plante Kf
Evaluarea acestui element trebuie realizatǎ prin intermediul unui test de cunoştinţe, concentrat pe
denumirea corectǎ, care este fie notatǎ direct de cǎtre candidat sau aleasǎ în mod corect dintr-o listǎ
de alternative. Cele mai adecvate instrumente de evaluare: testul scris (cu rǎspunsuri scurte/test tip
grilǎ).
Exemplul 2:
Candidatul poate sǎ determine familia de plante pe baza unei liste date de Ku
caracteristici
Evaluarea acestui element trebuie realizatǎ prin intermediul unui test de cunoştinţe. Cele mai
adecvate instrumente de evaluare: testul scris (cu rǎspunsuri scurte/test tip grilǎ).
N.B1. Majoritatea testelor de cunoştinţe vor fi utilizate pentru a evalua atât cunoştinţe
faptice/fundamentale cât şi cunoştinţe care sǎ demonstreze înţelegerea / know-how-ul. Autorii
acestui tip de teste considerǎ un exemplu de bunǎ practicǎ aşezarea întrebǎrilor de cunoştinţe
la începutul acestor teste. Reproducerea de cunoştinţe de cǎtre candidat pe parcursul evaluǎrii
este consideratǎ a fi mai uşoarǎ decât demonstrarea înţelegerii/a know-how-ului.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Exemplul 3:
Candidatul ştie sǎ vǎruiascǎ un zid Rpm
Evaluarea acestui element trebuie realizatǎ prin intermediul unui test practic concentrat pe artefact
(produs) deoarece principalul obiectiv al evaluǎrii este determinarea abilitǎţii fizice solicitate. Cele
mai adecvate instrumente de evaluare: proiect/produs în laborator sau listǎ de observare/evaluare la
locul de muncǎ.
Exemplul 4:
Candidatul ştie sǎ diagnostice o maşinǎ cu defecţiuni Pc, Pi
Evaluarea acestui element trebuie realizatǎ prin intermediul unui test practic concentrat pe proces
deoarece principalul obiectiv al evaluǎrii este determinarea capacitǎţii candidatului de a face cele
mai adecvate şi eficiente alegeri, combinând proceduri şi posibilitǎţi şi comunicând constatǎrile într-o
manierǎ corespunzǎtoare clientului/şefului de atelier de lucru. . Cele mai adecvate instrumente de
evaluare: listǎ de observare/evaluare la locul de muncǎ. .
Exemplul 5:
Candidatul ştie sǎ elaboreze instrumente de evaluare Pc
Evaluarea acestui element trebuie realizatǎ prin intermediul unui test practic concentrat pe artefact
(produs) deoarece principalul obiectiv al evaluǎrii este determinarea capacitǎţii candidatului de a
face cele mai adecvate şi eficiente alegeri, de a “traduce” obiectivul evaluǎrii în instrumente de
evaluare şi de a adapta instrumentul la situaţia cerutǎ luând în considerare cursantul şi contextul.
Instrumentul de evaluare: evaluarea de proiect/produs.
Odatǎ ce elementele au fost codate, urmǎtorul pas este gruparea elementelor cu cod similar şi
de a determina dacǎ acestea pot fi evaluate integrat. (Aceastǎ problemǎ va fi abordatǎ în
cadrul capitolului 4).
Exemplele demonstreazǎ modul în care codurile taxonomice oferǎ informaţii despre maniera
în care ar trebui realizatǎ evaluare şi ce tip de dovezi ar trebui sǎ ia în considerare evaluatorul.
Concluzii
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Este posibil ca respectivul cursant să ştie multe despre instalaţii, însă întrebarea care se ridică
este dacǎ acel curs a acoperit cunoştinţele şi abilităţile necesare. Care este legătura dintre curs
şi cerinţele ocupaţionale cu privire la meseria de instalator? Chiar dacă răspunsul la ambele
întrebări este satisfăcător, ar merita să reflectaţi mai profund pe marginea cerinţelor
ocupaţionale şi să solicitaţi mai multe dovezi.
Este posibil ca persoana care a lucrat 4 ani într-o brutărie să se fi ocupat de încasări, sǎ fi
lucrat în spaţiul de depozitare sau să fi măturat podeaua. Este posibil ca persoana respectivǎ să
fi învăţat multe despre meseria de brutar pe durata lucrului în brutărie, însă nu existǎ dovezi
obiective care să-i ateste competenţa dacă nu i se oferă posibilitatea de evaluare a respectivei
competenţe.
Pot fi colectate dovezi parţiale prin faptul că persoana respectivǎ a participat într-o anumită
măsură la formări sau a acumulat o anumitǎ experienţă de muncǎ. Dar, atât timp cât dovezile
clare cu privire la performanţă nu au fost evaluate prin raportare la cerinţele unui standard,
întotdeauna se va ridica un mare semn de întrebare şi va persista o lipsă de încredere într-un
proces de certificare ce se bazează pe participarea la un program de formare sau pe
experienţaîn muncă. În ambele cazuri este necesară o formă de evaluare. Recunoaşterea sau
acreditarea competenţelor dobândite anterior reprezintă concepte de evaluare introduse în
ultimii cincisprezece ani pentru a evalua învăţarea realizată în contexte informale şi non-
formale.
Uneori poate părea rezonabilă presupunerea potrivit căreia, dacă o persoană se descurcă într-
un anumit domeniu, este mai probabil să se descurce bine şi în alt domeniu.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Acest tip de judecată (atribuire sau efectul de halo) implică riscuri enorme. Este posibil ca
biologul să lucreze în domeniul manipulării genetice, iar maistrul să fie un fost tâmplar. Însă,
acest tip de aprecieri – mai bine spus, aceste false prezumţii – se fac mai des decât ne-am
închipui.
Ar trebui să fie clar faptul că o calificare trebuie acordată numai în baza unor dovezi conform
cǎrora persoana respectivǎ a atins standardele necesare pentru calificare. Aceste dovezi ar
trebui să fie evaluate şi corelate cu nivelul de performanţă indicat în standard, mai degrabă
decât cu o performanţă relativă (prezumatǎ) a indivizilor. Aceasta înseamnă că evaluările
trebuie sǎ se desfăşoare prin raportare la un standard. Un termen uzual în acest caz este
evaluarea realizatǎ prin raportare la criterii. Acest tip de evaluare se concentrează pe
strângerea de dovezi de competenţă care acoperă criteriile de performanţă.
Deciziile referitoare la numărul şi natura dovezilor de evaluat vor trebui, în mod inevitabil, să
ia în calcul:
¾ Gradul de asigurare a îndeplinirii cerinţelor pentru calificare;
¾ Acurateţea aprecierilor;
¾ Costurile evaluării;
¾ Uşurinţa gestionǎrii procesului de evaluare;
¾ Volumul de dovezi necesare.
Un concept esenţial în acest caz este acela al proporţionalităţii – conform căruia volumul şi,
drept urmare, costurile de colectare a dovezilor de competenţă ar trebui să fie proporţionale
cu necesitatea asigurǎrii faptului că respectiva persoană a îndeplinit cerinţele. Indiferent de
cât de riguroasă este evaluarea, trebuie reţinut faptul că nicio dovadă nu poate reprezenta o
garanţie absolută potrivit căreia un individ dispune de cunoştinţele, abilităţile sau
competenţa necesare şi că va continua să le deţină.
Dacă este extrem de importantǎ existenţa încrederii în competenţa dobândită (de exemplu, în
cazul unui pilot de aeronavǎ), va fi justificatǎ alocarea mai multor resurse şi a unui timp mai
îndelungat pentru strângerea dovezilor necesare decât ar fi în cazul obţinerii unei calificări
care conduce la ocuparea unui loc de muncă sub supraveghere şi sub o continuǎ instruire şi
îndrumare.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Realizarea unui aprecieri referitoare la ce este fezabil din punctul de vedere al dovezilor
necesare va lua în calcul şi:
¾ Costurile pentru strângerea dovezilor. Costuri în ceea ce priveşte resursele alocate
procesului şi timpul necesar profesorilor şi cursanţilor care, altfel, ar fi putut fi dedicat
învăţǎrii;
¾ Stabilirea costurilor prin raportare la beneficiile ce reies din obţinerea unui nivel
ridicat de încredere;
¾ Existenţa necesitǎţii de a strânge dovezi despre fiecare dintre competenţele dobândite,
sau stabilirea situaţiei în care unele devin mai importante decât celelalte;
Evaluarea competenţei se poate baza pe diferite tipuri de dovezi. Din acest punct de vedere,
este utilǎ realizarea următoarei distincţii:
Dovezi directe: dovadă obţinută în mod expres cu obiectivul de a strânge probe referitoare la
un fapt sau performanţe, fără a lua în considerare factorii de circumstanţă.
Dovezi indirecte: dovezi care, fără a încerca să se demonstreze în mod direct existenţa unui
fapt, conduc la o concluzie logică potrivit căreia acest fapt există cu adevărat.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Dacă asigurarea calităţii dovezilor este luatǎ în considerare, ar trebui să fie clar că este mult
mai probabil ca dovezile directe să fie asigurate calitativ, să aibă o valoare mai mare, dat fiind
faptul că dovezile indirecte s-ar putea baza pe presupuneri/deducţii discutabile.
Motivul pentru această reorientare către controlul rezultatelor directe este unul simplu:
controlul atât al intrǎrilor în sistem cât şi al ieşirilor din sistem este foarte costisitor. Totuşi, în
cadrul unor programe de învăţare robuste bazate pe competenţe (care sunt dificil de identificat
în prezent şi în Europa), se poate regăsi un nouǎ combinaţie de control al intrǎrilor, procesului
şi ieşirilor. Controlul procesului se referă la rolul pe care l-ar putea avea evaluarea formativă
ca mod de evaluare continuă. Luaţi în considerare, din acest punct de vedere, adevăratul sens
al învăţării orientate spre elev: individualizată, responsabilitatea de învăţare aparţine
cursantului, profesorul devine facilitator, curriculumul pe grupe de cursanţi a dispărut,
învăţarea are loc într-un cadru, standardele sunt esenţiale şi sunt de înaltǎ calitate, asigurarea
calităţii pentru furnizarea de formare şi realizarea evaluărilor este la cel mai ridicat nivel
(orientată spre sistem).
În general, în România şi la nivel european, programele de FPI pun mai mult accentul pe un
curriculum reglementat şi pe durata formării comparativ cu programele FPC pentru adulţi. La
cealaltǎ extremă, procedurile de recunoaştere a competenţelor dobândite în contexte de
învăţare non/informale trebuie, evident, să se bazeze în mare parte pe mǎsuri legate de ieşirile
din sistem (deoarece intrările în sistem sunt complet nereglementate).
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
În termeni stricţi, ANC se preocupă doar de evaluarea sumativă. Însă, dovezile din
evaluările formative pot fi utile pentru ajungerea la o concluzie cu privire la competenţa unei
persoane.
Calificările includ mai multe unităţi sau module. Aceşti termeni au sens diferit în FPI şi FPC.
unitatea 1
+
unitatea2 modul 1
+ modul 2 modul X
unitatea 3
unitatea 1
+ unitatea 2
+ unitatea X
Calificare FPC
În programele FPI termenul de modul are acelaşi sens cu unitatea din programele FPC.
Această situaţie este destul de confuză – alinierea la nivel terminologic ar fi cu siguranţă
foarte utilă – însă aceste componente ale unei calificări reprezintǎ cele mai mici componente
pentru care se poate obţine un certificat de calificare parţială: certificatul de competenţă.
Acestea sunt componente care ar trebui evaluate la un nivel sumativ.
Conţinutul unei evaluări ar putea – de fapt ar trebui – să fie acelaşi dacă respectiva calificare
este aceeaşi. În ambele cazuri este nevoie de dovezi ale competenţei. Stabilirea numărului şi
tipurilor necesare de dovezi depinde de factorii menţionaţi mai sus, dintre care rentabilitatea
este importantă, însă şi mai importantǎ este colectarea tipului de dovezi cerute.
Concluzii:
În prezentul paragraf, validitatea dovezilor a fost abordatǎ ca fiind absolut necesară pentru a
putea trage concluzii referitoare la competenţa candidaţilor.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Volumul dovezilor trebuie să fie proporţional, acestea pot fi directe sau indirecte şi ele trebuie
să fie eşantionate într-o manierǎ consecventǎ care sǎ demonstreze o relaţie directă dintre
evaluarea şi unitatea (unităţile) de competenţă acoperite.
3. Tipuri de evaluare
În prezentul paragraf sunt prezentate o serie de funcţii ale evaluării în contextul învăţării. În
general, aceste funcţii pot fi reprezentate după cum urmează în procesul de învăţare:
Evaluare sumativă
“unitatea de
învăţare x”
Procesul de învăţare
În paragraful următor, funcţiile acestor tipuri de evaluare sunt discutate mai detaliat. După
această prezentare, tipurile de evaluare sunt proiectate în diferitele contexte de învăţare în care
sunt cel mai adesea întâlnite.
2
Mary Williams, Manual de evaluare elaborat în cadrul proiectului de sprijinire a IPT în România, Phare 2006.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
3
Într-o abordare centrată pe cursant, evaluarea formativă este adesea menţionată sub denumirea de evaluare
continuă. Într-o astfel de abordare, distincţia dintre evaluarea formativă şi evaluarea sumativă tinde să dispară
deoarece o parte a acestei filozofii de învăţare se bazează pe premisa că progresul în învăţare este determinat de
către cursant şi că fiecare rezultat al învăţării contribuie la calificare. O astfel de abordare solicită intens
furnizorilor asigurarea calităţii în practica evaluării, iar profesorilor competenţe specifice de proiectare a
evaluării. În cadrul sistemului educaţional actual din România în EFP, această abordare nu este încă fezabilă din
mai multe motive, cel mai important fiind acela că flexibilitatea în învăţare nu este posibilă. Livrarea
curriculumului de către profesor determină viteza de învăţare a tuturor cursanţilor iar evaluarea formativă nu este
nici asigurată calitativ, nici raportată la un standard de referinţă. .
File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM
Version: 2.0 Page: 30 of 45 Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Evaluarea formativă ghidează procesul de învăţare, ceea ce aduce în mod cert o valoare
adăugată acestuia, eficientizându-l, atât timp cât este aplicatǎ proporţional. Totuşi, este de
reţinut că tipurile de instrumente de evaluare folosite în timpul sesiunilor de evaluare
ghidează tipul de învăţare (efectul backwash sau predarea în vederea testării). În mod
explicit, dacă sesiunile de evaluare formativă se concentrează în special pe progresul în
acumularea cunoştinţelor, procesul de învăţare va căpăta un caracter mecanic (învăţarea „pe
dinafarǎ”). Această situaţie poate fi fatală şi în detrimentul procesului de învăţare dacă
obiectivul constă în dobândirea de abilităţi şi competenţe.
Evaluarea formativă mai are încă două semnificaţii pentru profesor/formator ce trebuie
menţionate:
¾ cea de a ajuta profesorii/formatorii în identificarea materialele de învăţare ce trebuie
clarificate sau predate din nou;
¾ cea de a ajuta profesorii/formatorii în a stabili dacă activităţile de învăţare sau
curriculum-ul trebuie modificate (in timpul orei de curs, înainte de următorul curs sau
înainte ca programul să fie pregătit pentru următoarea generaţie de cursanţi).
O evaluare finală este de fapt o evaluare sumativă. Este o evaluare raportată la un standard
oficial, în ansamblul său, şi acoperă un eşantion de rezultate ale învăţării. Ar trebui
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
totuşi să aibă o valoare adăugată dacă urmează uneia sau mai multor evaluări sumative
anterioare pentru un standard/parte a acestuia.
Dacă nu există nicio solicitare de evaluare a standardului în ansamblul său deoarece nu oferă
valoare adăugată, atunci nu este necesară nicio evaluare finală.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
c Holistică x
c Ghidează tipul de învăţare x x x
c Voluntară x x x x
Dacă citiţi cu atenţie tabelul veţi vedea că s-au adăugat mai multe funcţii şi caracteristici (de
ex., evaluarea iniţială/diagnostică se foloseşte pentru a stabili dacă un candidat îndeplineşte
cerinţele de acces). Însă aceasta este o altă exprimare pentru „aprecierea potenţialului de
învăţare”, detaliată din punct de vedere al cerinţelor de acces într-un program de formare. Este
vorba, într-un fel, de semantică.
Tabelul demonstrează de asemenea faptul că, deşi nedezbătute anterior, unele caracteristici se
aplică unuia sau mai multor tipuri de evaluare (de ex., eşantionarea). Acesta este unul dintre
elementele ce vor fi abordate ulterior în capitolul 5, unde se prezintă itemii de evaluare şi
obiectivele evaluării. Înainte de această prezentare, trebuie menţionat că toate tipurile de
evaluare se bazează pe/ar trebui să se bazeze pe eşantionarea reazultatelor învăţării!
O altă caracteristică ce nu a fost menţionată anterior tabelului este caracterul „voluntar”. Însă,
este evident că fără participarea şi finalizarea cu succes a evaluării sumative/finale, o
calificare nu poate fi dobândită.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
se poate folosi pentru a determina gradul de pregătire în vederea evaluării sumative. Faptul că
nu se foloseşte de obicei în FPC poate fi corelat direct cu durata relativ redusă a programelor
de formare şi cu costurile pe care furnizorii sunt dispuşi să le suporte pentru această activitate.
Totuşi, acest lucru nu înseamnă că aplicarea evaluării formative nu ar fi utilă.
Aplicarea evaluării sumative (finale) în toate contextele de învăţare: caracteristicile
evaluărilor sumative (finale), modul în care sunt organizate, administrate şi conţinutul unor
astfel de evaluări vor fi determinate de regulile şi reglementările cu privire la diferenţele între
contextele de învăţare şi conţinutul calificărilor pentru care se doreşte calificarea.
Pentru a evita producerea acestor situaţii, furnizorii de servicii de evaluare sunt obligaţi sǎ
adopte metode, sǎ punǎ la punct instrumente de management şi proceduri care sǎ dezvolte
capacitatea profesională a propriului personal.
Unul dintre cele mai importante aspecte în etapa de proiectare a evaluǎrii este elaborarea
planurilor de evaluare. Toate tipurile de furnizori de EFP şi, recent, tot mai multe
universitǎţi din lume elaboreazǎ acest tip de planuri. În unele ţǎri, precum Olanda, acest
aspect a fost reglementat legislativ4. Însă, luând în considerare toate aceste aspecte, un plan de
evaluare reprezintǎ ceva mai mult: este, de fapt, un instrument esenţial de management al
evaluării. Valoarea sa nu ar trebui subestimatǎ deoarece:
¾ Îi permite unui furnizor sǎ gestioneze procesul de evaluare;
¾ Oferǎ informaţii care stau la baza deciziilor în vederea îmbunǎtǎţirii, economisindu-se
astfel resurse;
4
WEB:1996, capitolul 7, referinţǎ la OER. Legea de reglementare a educaţiei adulţilor şi
EFP, referinţe la Regulamentele de organizare a formǎrii şi examinǎrii.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Dat fiind faptul cǎ unii dintre furnizorii de servicii de evaluare din România folosesc la ora
actualǎ anumite tipuri de documente de planificare (ca parte a dosarului de evaluare), ar
trebui clarificat faptul cǎ acestea nu reprezintǎ planul de evaluare despre care se discutǎ
în prezentul ghid la Metodologia M4.
Acesta este motivul esenţial pentru realizarea unei distincţii clare între un plan de
evaluare şi un program de evaluare.
Planul de evaluare poate fi perceput ca un prim pas (faza de planificare) în ciclul continuu de
îmbunǎtǎţire a procesului de evaluare. De fapt, planul de evaluare poate fi utilizat pentru a
detalia toate specificaţiile acestui proces în termeni de:
¾ cele mai eficace metode de evaluare (din punctul de vedere al costurilor şi duratei) pentru
orice tip de calificare;
¾ caracteristici şi relaţii între diferitele obiective ale evaluǎrii pe parcursul sau ca urmare a
încheierii unui program de formare/învǎţare;
¾ selectarea rezultatelor învǎţǎrii care urmeazǎ a fi evaluate;
¾ corelare a ǎrii obiectivelor evaluǎrii cu metodele de evaluare corespunzǎtoare;
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Din acest punct de vedere, un plan de evaluare reprezintǎ un instrument esenţial pentru
procesul de evaluare în sine şi pentru determinarea modalitǎţii în care practica evaluǎrii poate
fi continuu îmbunǎtǎţitǎ prin raportarea la cerinţe
Planificarea
evaluǎrii
Recomandarea Implementarea
de îmbunǎtǎţiri evaluării
(metode)
Verificarea
rezultatelor:
1) la nivel de
proces
2) la nivel de
produs
Nu existǎ un format fix pentru planurile de evaluare şi acesta nici nu ar trebui sǎ fie impus
prin reglementǎri formale. Utilizatorii ar trebui sǎ-şi elaboreze propriile planuri şi sǎ le descrie
sensul într-o manierǎ transparentǎ pentru utilizatorii din propria instituţie. Fiecare furnizor de
servicii de evaluare ar trebui sǎ elaboreze un format care sǎ fie utilizat pentru toate calificǎrile
pentru care respectivul furnizor oferǎ servicii de evaluare.
Un program de evaluare, aşa cum s-a menţionat mai sus, reprezintǎ un document disponibil
cursanţilor şi membrilor personalului de evaluare prin intermediul cǎruia aceştia sunt
informaţi în legǎturǎ cu realizarea propriu-zisǎ a evaluǎrii: când şi unde are loc
evaluarea (sesiunile de evaluare).
Acesta ar trebui sǎ fie un document complet, însǎ mai puţin tehnic faţǎ de planul de evaluare.
El descrie în termeni clari când vor fi evaluaţi cursanţii şi în ce mod.
Acest tip de document ar trebui sǎ asigure infomarea corectǎ a tuturor persoanelor implicate
în procesul de evaluare. Elementele care trebuie sǎ fie parte a unui astfel de document sunt:
- o prezentare a sesiunilor de evaluare pentru un program de formare
sau calificare;
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Pǎrţi ale programelor de evaluare pot fi publicate la aviziere sau pe site-uri web însǎ,
indiferent cum are loc acest proces, furnizorul de servicii de evaluare este responsabil de
asigurarea informǎrii prompte şi la timp a cursanţilor.
Planurile de evaluare oferǎ o matrice (un cadru general al structurii) pentru evaluarea
competenţelor/atingerii rezultatelor învǎţǎrii. Un plan de evaluare poate acoperi toate tipurile
de evaluare:
¾ iniţial - diagnosticǎ;
¾ formativǎ;
¾ sumativǎ.
În acest ghid, accentul a fost pus pe un plan de evaluare pentru evaluare sumativǎ,
deoarece principalul obiectiv al Metodologiei pentru certificarea competenţelor şi calificǎrilor
este asigurarea calitǎţii acestui tip de evaluare, o evaluare finală care fundamentează decizia
de competenţă.
Cu toate acestea, dacǎ un plan de evaluare este folosit şi pentru a determina ce alte tipuri de
evaluare trebuie sǎ mai aibe loc, atunci va furniza informaţii mai detaliate conducerii
furnizorului de servicii de evaluare. În acest caz rǎspunde la probleme precum:
1. Oferim suficiente oportunitǎţi de evaluare cursanţilor noştri pe parcursul unui curs sau
program de formare?
sau
2. Oferim prea multe situaţii de evaluare?
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Elaborarea unui plan de evaluare poate fi prezentat ca un proces care constǎ în 6 paşi
consecutivi.
Proces repetitiv,
cu un crescut 6. Verificarea planului
nivel al detaliilor
5. Specificarea instrumentelor
4. Stabilirea metodelor
2. Evaluarea surselor
Un plan de evaluare trebuie sǎ fie adecvat scopului urmǎrit. Acest lucru presupune ca planul
de evaluare sǎ informeze utilizatorul şi ca toate informaţiile necesare pentru elaborarea de
evaluare şi bareme sǎ fie descrise într-o manierǎ transparentǎ.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Tipuri de
Experienţǎ Facilitǎţi
evaluare
Calificare Tipuri de
parţialǎ candidaţi Nivelul unei
calificǎri
Incluse, da sau nu
Toţi aceşti factori contureazǎ forma planului de evaluare pentru o calificare, la un nivel
general. Pe baza acestor factori sunt luate deciziile de stabilire şi alegere a situaţiei în
care, de exemplu:
¾ Planul include evaluări iniţial - diagnosticǎ, formativǎ şi sumativǎ;
¾ Ar trebui elaborat un plan separat pentru un grup ţintǎ special;
¾ Etc., etc.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Sursa primarǎ pentru elaborarea unui plan de evaluare pentru o calificare o reprezintǎ
standardul ocupaţional şi calificarea corespunzǎtoare şi/sau standardul de pregǎtire
profesionalǎ.
Este esenţial ca autorul planului de evaluare sǎ încerce sǎ înţeleagǎ intenţiile autorilor acestor
surse pentru a putea stabili obiectivele evaluǎrii.
Solicitaţi clarificǎri dacǎ sursele nu sunt clare, sunt contradictorii sau este posibil sǎ fie
depǎşite.
Alcǎtuirea planului de evaluare este un proces care solicită activităţi repetate. Nu este posibil
un proces de elaborare directǎ, lipsit de ambiguitǎţi. El presupune analiza calificǎrii în
ansamblu, până la nivel de unitate, luând în considerare şi elementele de competenţǎ, gama de
variabile şi criteriile de performanţǎ.
N.B. Nu este neobişnuit ca, la o privire mai atentǎ aruncatǎ asupra acestor documente sursǎ,
sǎ reiasǎ inconsecvenţe şi/sau deficienţe în standarde. Dacǎ aşa stau lucrurile, solicitaţi
clarificǎri şi oferiţi feedback Autoritǎţii Naţionale pentru Calificǎri. Dacǎ nu pot fi obţinute
clarificǎri, nu construiţi/definiţi componente ale evaluǎrii. Pur şi simplu nu are logicǎ
File code: A2.4.4 File name: Ghidul de evauare M4 Author: OM
Version: 2.0 Page: 40 of 45 Date: 29th of July 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
evaluarea a ceva, atât timp cât obiectivul evaluǎrii nu este clar şi dacǎ nu sunt puse la
dispoziţie informaţii relevante.
În general, instrumentele de evaluare sunt adecvate pentru a colecta tipuri diferite de dovezi
de competenţă:
¾ Testele grilǎ cu itemi cu răspuns multiplu sunt eficace în furnizarea dovezilor referitoare
la fapte/cunoştinţe de bazǎ (de exemplu definiţii/caracteristici ale unui obiect sau unui
proces);
¾ Testul oral, cu toate cǎ este şi el util în a pune la dispoziţie dovezi privind cunoaşterea
faptelor, permite colectarea de dovezi referitoare la nivelul de înţelegere, capacitatea de
înţelegere a limbajului etc. (N.B. în cazul în care un test oral este utilizat pentru a examina
capacitatea de vorbire într-o limbă strǎină, atunci respectivul test oral este automat
promovat la statutul de evaluare de competenţă!);
¾ Testele de competenţǎ oferǎ (la modul general) dovezi privind abilitǎţile motrice şi
aplicarea cunoştinţelor necesare: know-how;
¾ Observaţiile sunt mai eficace la furnizarea dovezilor privind comportamentul solicitat şi
înţelegerea procesului/procedurilor/convenţiilor.
Metoda de evalure
1 2 3 4
Obiectivul evaluǎrii test grilǎ test oral test de observare
competenţe
Cunoştinţe de bazǎ xxx xx x -
Înţelegere xx xxx xx x
Abilitǎţi motrice - - xxx xxx
Înţelegerea procesului / x xxx xx xx
comportamentului - x x xxx
Prezentarea arată în mod clar cǎ adecvarea metodelor de evaluare nu este prescrisǎ.
Trebuie luat în considerare faptul, prezentat mai sus, potrivit cǎruia un test oral poate, în
anumite cazuri, sǎ devinǎ un test de competenţe. Nivelul de înţelegere poate fi mǎsurat şi cu
un test grilǎ deşi, în majoritatea cazurilor, ar fi mai indicatǎ utilizarea unei examinǎri orale sau
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
al unui alt tip de evaluare scrisă (eseu cu rǎspuns scurt, care nu este prezentat în tabelul de mai
sus).
Ar trebui, de asemenea, sǎ fie clar faptul cǎ utilizarea testului grilǎ pentru a determina dacǎ
cineva este competent în schimbarea unei anvelope de maşinǎ nu este cea mai potrivitǎ idee.
Pur şi simplu, aceasta nu este o manierǎ validǎ de evaluare a acestui tip de abilitate.
În concluzie: ar trebui sǎ fie absolut clar care este obiectivul evaluǎrii, competenţele sau
rezultatele învǎţǎrii care trebuie evaluate. Odatǎ ce aceste elemente sunt cunoscute, poate
fi realizatǎ matricea propriu-zisǎ (esenţa planului de evaluare).
Pe baza acestor informaţii, se poate realiza o hartǎ mentalǎ care sǎ evidenţieze aspectele
critice care trebuie evaluate pentru fiecare unitate de competenţă.
Cunoştinţe: Autorul planului de evaluare trebuie sǎ punǎ cel puţin patru întrebǎri referitoare
la criteriile de performanţǎ pentru cunoştinţe la fiecare unitate în parte.
1) Pot fi evaluate cunoştinţele critice în mod suficient prin demonstrarea abilitǎţilor?
2) Dacǎ rǎspunsul la întrebare 1 este da, care sunt cunoştinţele critice care totuşi trebuie
evaluate într-un test dedicat evaluǎrii de cunoştinţe?
3) Ce tip de cunoştinţe critice trebuie sǎ fie evaluate?
4) Acele cunoştinţe care ar urma sǎ fie evaluate separat pot sǎ fie evaluate în combinaţie
cu cunoştinţele corespunzǎtoare unei unitǎţi corelate de competenţe?
Rǎspunsul la primele douǎ întrebǎri ar indica maniera în care cunoştinţele trebuie sǎ fie
evaluate la nivel de unitate. O bunǎ înţelegere a gamei de variabile a unitǎţii respective este
necesarǎ în acest caz!
Rǎspunsul la a treia întrebare ar oferi informaţii referitoare la tipul de evaluare de cunoştinţe
(test grilǎ/cu rǎspunsuri scurte/eseu/raport/etc.). Sunt necesare cunoştinţe referitoare la gradul
de adecvare al acestor formate de evaluare scrise. Din acest punct de vedere, trebuie luatǎ în
considerare şi verificarea nivelului calificǎrii/unitǎţii (este poate mai utilǎ evaluarea
cunoştinţelor de bază de la nivelurile 1 şi 2 de calificare prin intermediul unei examinǎri
orale). Trebuie sǎ reţineţi, însǎ: nu uitaţi sǎ ţineţi cont de obiectivul evaluǎrii!
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Abilitǎţi: Un proces similar se desfǎşoarǎ în ceea ce priveşte abilitǎţile esenţiale care trebuie
sǎ fie evaluate. Întrebǎrile cǎrora trebuie sǎ li se gǎseascǎ un rǎspuns în acest caz sunt
urmǎtoarele:
1) Abilitǎţile critice care trebuie sǎ fie evaluate trebuie în mod necesar evaluate într-o
manierǎ autenticǎ (prin evaluare la locul de muncǎ)?
2) Care abilitǎţi critice pentru fiecare unitate în parte ar putea fi evaluate prin utilizarea
unui singur instrument de evaluare?
3) Care abilitǎţi critice din cadrul unor unitǎţi înrudite ar putea fi combinate utilizând un
singur instrument de evaluare?
4) Pot fi demonstrate atitudinile critice care trebuie evaluate pe parcursul evaluǎrii
abilitǎţilor?
Rǎspunsul la prima întrebare indicǎ tipurile de evaluaree de competenţe necesare (vezi
capitolul 6 pentru exemple).
Rǎspunsul la a doua întrebare indicǎ cantitatea de evaluaree de competenţe organizate pe
fiecare unitate în parte.
Rǎspunsul la a treia întrebare poate conduce la o reducere a numǎrului necesar de evaluaree
de competenţe. Cu toate acestea, reţineţi faptul cǎ prin combinarea evaluǎrii abilitǎţilor la
nivelul mai multor unitǎţi pot apǎrea probleme dacǎ majoritatea candidaţilor îşi doresc doar sǎ
fie parţial calificaţi (pentru o anumitǎ unitate) şi nu doresc atingerea nivelului de calificare în
ansamblul acesteia
Dacǎ rǎspunsul la a patra întrebare este da, ceea ce se va întâmpla în majoritatea cazurilor,
atunci autorul planului de evaluare trebuie sǎ indice acest lucru într-o notǎ adresatǎ autorului
de instrumente de evaluare.
Atitudini: Atitudinile critice care trebuie sǎ fie evaluate sunt supuse unui proces similar de
analizǎ. În mod normal, acest proces nu va duce la o detaliere deosebitǎ, însǎ atitudinile ar
putea include domenii de cunoştinţe (respectǎ normele de igienǎ şi protecţie a muncii,
manifestǎ ospitalitate) a cǎror evaluare ar putea fi la fel de importantǎ!
Dupǎ analizarea standardului şi alcǎtuirea tabelelor în forma lor iniţialǎ, întregul exerciţiu
poate fi acum finalizat prin completarea unui plan pentru calificare în ansamblul acesteia şi
prin combinarea tuturor notelor realizate într-un document complet.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Exemplu
În tabelul urmǎtor, rezultatele acestei etape sunt ilustrate în cazul evaluǎrii a patru unitǎţi
obligatorii de competenţǎ din calificarea formator.
Simulare/Fisa
de observare
Elemente de competenta care urmeaza a fi evaluate
Test scris
Intrebari
Proiect
(obiective ale evaluarii):
orale
U1 Pregatirea formarii
Evaluarea competentelor
2. Motivarea participantilor la formare
3. Facilitarea activitatilor de invatare
4. Rezolvarea conflictelor
5. Oferirea de feed-back participantilor la formare
U3 Evaluarea participantilor la formare
scris)
1. Aplicarea probelor si instrumentelor de evaluare
2. Organizarea sesiunilor de evaluare
3. Inregistrarea rezultatelor evaluarii si elaborarea raportului privind programul / activitatea
de formare
Pe ultimele patru coloane au fost descrise obiectivele componentelor evaluǎrii pentru aceastǎ
calificare.
Planul de evaluare poate fi descris astfel:
1. Demonstreazǎ cum vor fi evaluate cele patru unitǎţi de competenţă;
2. Care este obiectivul evaluǎrii pentru fiecare componentǎ a evaluǎrii;
3. Fiecare unitate va fi parte a unui test scris, test oral şi a unui proiect;
4. Testele combinǎ cunoştinţele şi/sau abilitǎţile necesare de la nivelul mai multor unitǎţi în
acelaşi instrument de evaluare;
5. Cum va fi evaluat fiecare obiectiv al evaluării în parte utilizând 1 metodǎ de evaluare;
6. Unitǎţile 1 şi 4 nu sunt evaluate prin intermediul simulării/observǎrii directe, în timp ce
celelalte douǎ unitǎţi sunt evaluate astfel.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
La final, se rǎspunde la întrebarea 3 (vezi mai sus) referitoare la adǎugarea unor ponderi
relative la rezultatele testǎrii.
Ultima linie a tabelului este rezervatǎ pentru descrierea ponderii fiecǎrei componente a
evaluǎrii. Acest factor de ponderare poate juca un rol important în multe planuri de evaluare.
Metoda de evaluare
Rezultatul învǎţǎrii / 1 2 3 4
Obiectivul evaluǎrii test grilǎ examinare oralǎ test de abilitǎţi observare
1 x x
2 x x
3 x x
4 x x
5 x x
Ponderea relativǎ 1 1 3 2
Datǎ fiind ponderea relativǎ a fiecǎrui tip de evaluare, aşa cum este aceasta prezentatǎ pe
ultima linie a tabelului, sunt necesare unele calcule pentru obţinerea rezultatului final al
candidaţilor.
Atunci când sunt calculate rezultatele finale ale procesului de evaluare din acest exemplu,
rezultatele testului de abilitǎţi vor fi luate în considerare (datoritǎ factorului de ponderare) de
trei ori mai mult faţǎ de valoarea înregistratǎ, iar rezultatele testului de observare vor fi luate
în considerare de douǎ ori mai mult.
Dacǎ nu ar fi fost luat în considerare acest factor de ponderare, atunci rezultatul final ar fi fost
7,5, ceea ce (rotunijit) ar presupune acordarea notei 8. Într-o perspectivǎ mai largǎ, acest fapt
ar conduce la o scǎdere a valorii certificatelor emise.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
În urmǎtoarea etapǎ trebuie descrise specificaţiile testelor, pentru fiecare tip de probă de
evaluare în parte.
Exemplu: (Extras din propunere plan evaluare pentru ocupaţia Operator Introducere,
Validare şi Prelucrare Date)
COMPONENTA 2 : pentru OIVPD
Referinta la standard Referinta la test
Nr. de Tipuri de
Unitate Element Intrebarile se refera la: intrebari intrebari
Timp(‘) Puncte Continut
Răspuns Tipuri de calculatoare,
1.1 Definitii, analiza caracteristicilor 1 10 10
scurt caracteristici tehnice
Definitii, recunoasterea Răspuns Elemente ale sistemului de
1.2, 1.3 10 10 3
elementelor, caracteristici scurt calcul, functiile acestora
Elementele suprafetei de
2.1 Recunoasterea elementelor 5 Alegeri 5 2 lucru
3
Elementele componente ale
2.2 Recunoasterea elementelor 10 Alegeri 10 2 unei ferestre
Răspuns Operatiile asupra fisierelor /
2.3 Definitii, exemplificare 1 5 18
scurt directoarelor
3.1, 4.3, Definitii, caracteristici, analiza Tipurile de aplicatii, tipuri
1 Perechi 10 12
5.1, 6.1 structura si elemente de documente
¾ Ele ar trebui utilizate pentru elaborarea testelor propriu-zise, care conţin toţi itemii
necesari pentru testare;
¾ Ele pot fi re-utilizate pentru elaborarea de noi teste pentru urmǎtoarele generaţii de
candidaţi la acelaşi nivel de complexitate şi dificultate;
¾ Acestea ar putea fi utilizate la meta-evaluarea rezultatelor testǎrii pentru redefinirea
itemilor din test care nu au fost construiţi la nivelul de complexitate cerut (vezi
capitolul urmǎtor)
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Atunci când au fost elaborate toate specificaţiile testelor pentru fiecare componentǎ a
evaluǎrii, planul de evaluare poate fi considerat complet.
În acest capitol este tratată problematica itemilor de evaluare. Mai exact: itemii de evaluare
sunt întrebări, sarcini de evaluare de orice tip sau format (întrebări cu răspunsuri multiple,
întrebări cu răspuns scurt, sarcini de realizat, descriere studii de caz, etc.).
Însă, mai întâi – în paragraful 5.1. – este oferită o legătură cu capitolul anterior, prin
abordarea mai detaliatǎ a grilei de specificare a testelor introdusă ca parte din planul de
evaluare. Punctul de legătură constă în itemii iniţiali de evaluare. Aceştia sunt elementele
centrale ale grilelor de specificare ale testelor în baza analizei cerinţelor de evaluare din
standardul ocupaţional, de calificare sau standardul de pregătire.
Apoi – în paragraful 5.2. – sunt prezentate caracteristicile diferitelor tipuri de itemi de
evaluare, categorii, cum şi când se folosesc, precum şi sfaturi de urmat/aşa da şi aspecte de
evitat/aşa nu. Aceste informaţii sunt esenţiale pentru construirea unor itemi de evaluare
robuşti. Itemii robuşti nu înseamnǎ itemi de evaluare dificili ce duc la teste dificile, ci la itemi
adecvaţi şi conform bunelor practici ce determină, în mare măsură, validitatea instrumentelor
de evaluare.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
În acest paragraf se vor prezenta două exemple de analiză a elementelor de competenţă ce duc
la identificarea itemilor iniţiali de evaluare. Rolul şi funcţia acestor itemi iniţiali de evaluare
sunt explicate prin intermediul acestor exemple. După această explicaţie, se vor prezenta două
exemple de grile de specificare a testelor elaborate.
Itemii iniţiali de evaluare le oferă celor care elaborează instrumentele de evaluare indicaţii
clare cu privire la întrebările/sarcinile de evaluare (itemi de evaluare) ce trebuie să fie
elaborate în cadrul oricărui tip de instrument de evaluare.
Dacă un proiectant de teste de evaluare trebuie să creeze un test sau mai multe teste
(pentru candidaţi la a doua încercare sau pentru noi generaţii de teste), acesta trebuie
să fie informat cu privire la elementele de competenţă cheie ce trebuie
folosite/eşantionate în vederea evaluării. Aşa cum s-a explicat în capitolul anterior,
aceste informaţii trebuie incluse în grilele de specificare a testelor. Aspectele cheie
folosite pentru evaluare trebuie să fie reprezentative şi să nu excludă, din punct de
vedere al categoriilor, cele mai dificile elemente de competenţe şi criteriile asociate.
Testarea trebuie să se bazeze pe elemente cheie rezonabil eşantionate (a se vedea
paragraful 3.1.3)!
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Elementul de competenţă numărul 2 nu este atât de clar, ci acoperă mai multe aspecte:
„Candidatul foloseşte terminologia utilizată în domeniul brutăriei”. Acest element de
competenţă ar putea fi format din următoarele părţi:
¾ Definiţi terminologia folositǎ pentru coacerea pâinii;
¾ Definiţi terminologia folositǎ pentru coacerea produselor de patiserie;
¾ Descrieţi caracteristicile ingredientelor folosind terminologia corectă;
¾ Descrieţi procesul de coacere folosind terminologia corectă
¾ etc.
Aceste descrieri sunt mai precise prin raportare la elementul de competenţă iniţial şi ar
putea da proiectantului testului indicii mai exacte pentru crearea itemilor de evaluare
corespunzători. În acest sens, detalierea elementelor de competenţă ar putea facilita
procesul de scriere propriu-zisǎ a itemului şi dezvoltarea testului în sine.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Informaţii
PLAN DE EVALUARE, incluzând: publice
Grile de evaluare/specificaţiile de
evaluare: conţinând elemente alese de
competenţă / itemi iniţiali de evaluare
entru fiecare test.
Informaţii
Instrument de evaluare: conţinând itemi confidenţiale
de evaluare în format final
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Acest tip de detaliere conduce la mai mulţi itemi potenţiali de evaluare pentru testarea
cunoştinţelor asociate respectivului element de competenţă. Acest lucru nu presupune
ca toţi aceşti itemi potenţiali de evaluare sǎ fie elaboraţi într-un test scris, însǎ
exemplul demonstreazǎ că analiza atentă a elementelor de competenţă poate avea ca
rezultat o multitudine de itemi de evaluare judicios aleşi, care sǎ fie re-utilizaţi pentru
a dezvolta itemii de evaluare propriu-zişi, care conduc la teste ce acoperă aceleaşi
domenii într-o manieră similară pe parcursul timpului, fără a dezvălui informaţii
confidenţiale: întrebarea/itemul de evaluare propriu-zis.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Concluzii:
Dacă un element de competenţă nu este ambiguu şi nu are ca rezultat neînţelegeri în rândul
proiectanţilor de evaluare, poate fi transferat aproape direct în grila de specificare a testelor
corespunzătoare (pentru un test de cunoştinţe sau orice alt tip de evaluare).
Pe de altă parte, dacă un element de competenţă acoperă mai multe domenii de evalure şi
poate conduce la o testare considerabilă a ariilor de cunoştinţe asociat / a altor tipuri de
performanţe, acesta ar putea fi detaliat în mai multe componente ce pot oferi proiectanţilor de
evaluare indicaţii clare cu privire la acţiunile de urmat.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
intrebarii in
Numarul de
competenta
competenta
Intrebarea se refera la
Elementul
intrebari:
Numarul
Unitatea
allocate:
(cunostinte despre si
testului
Puncte
cadrul
procesele cognitive
solicitate):
de
de
1.1,1.2 Identificarea conceptelor 2 Raspuns scurt 1,2 1p/într Definire obiective generale, definire obiective operationale
ebare
2.1, 2.3, Analiza activitati de 1 Raspuns deschis 3 2p Comparare, asociere activitati de formare in functie de resursele
2.4, formare disponibile ale furnizorului de formare
2.6 Analiza -structurare 2 2 raspuns deschis 4,5 2p Enumerare elemente continute de o activitate de invatare
U1 Pregatirea formarii
4.3, 5.1, Analiza -echipamente si 1 Raspuns deschis 10 2p Alegere echipament si materiale necesare pentru predarea unei lectii
5.4, 5.6 materiale necesare
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Exemplul nr. 4 Specificaţii ale testelor de evaluare, SO OIVPD – Operator Introducere, Validare şi Procesare Date
COMPONENTA 1
Referinta la standard Referinta la test
Unitate de Element de
Intrebarile se refera la: Nr. de intrebari Tipuri de intrebari Timp(‘) Puncte Continut
competenta competenta
Definitii, recunoasterea Dispozitive de stocare, dispozitive de intrare / iesire,
1 1.3 10 SA 5 20
caracteristicilor dispozitive de transpunere a datelor
2 1.2 Exemplificare 2 SA 2 2 Surse de informare
Recunoasterea elementelor, Tipuri de dispozitive de stocare, denumiri, caracteristici
1.1 4 SA 10 20
caracteristici tehnice
6 3.3 Analiza si evaluare 1 MC 1 3 Analiza si evaluarea conditiilor de depozitare
Analiza conditiilor de depozitare, efectele nerespectarii
3.3 Intelegere, analiza si evaluare 1 SA 1 5
lor
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Itemii pot fi de diferite forme şi tipuri. Prezentul subcapitol se referă în special la modul de
clasificare al itemilor. O primă reacţie poate fi „foarte interesant, dar de ce ar trebui să ştiu
cum pot fi clasificaţi itemii de evaluare, toate acestea reprezintǎ un non-sens academic!" Însă
acesta nu este un exerciţiu academic. Itemii de evaluare sunt stimuli, necesită un anumit tip de
răspuns/efort. Efort în a-i construi/ în a răspunde şi, nu în cele din urmă, efort în a le acorda
un punctaj corespunzător. Înţelegerea clasificării itemilor de evaluare facilitează înţelegerea
punctajului şi conduce la modele de barem simple dar adecvate în vederea stabilirii
competenţei.
Mai multe informaţii despre punctaj sunt prezentate în capitolul 7.
5.2.1 Definiţie:
În literatura despre itemii de evaluare se pot regăsi mai multe definiţii diverse. Utilizatorii
interesaţi de acest ghid pot consulta Osterlind, 19905.
Există mai multe moduri de clasificare a itemilor de evaluare. În concordanţă cu scopul pentru
care s-a elaborat acest ghid, în continuare sunt prezentate următoarele aspecte cheie privind
tipologia itemilor:
1. clasificarea formatelor itemilor de evaluare (itemi cu alegerea rǎspunsului – itemi cu
răspuns elaborat)
2. itemi de evaluare discreţi şi integrativi
3. itemi de evaluare obiectivi şi subiectivi
5
Cum să construieşti itemi de evaluare: grilǎ, răspuns elaborat, de performanţǎ şi alte formate.
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 55 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
5.2.2.1 Alegerea răspunsului: candidatului i se oferă soluţia problemei precum şi mai multe
soluţii alternative (de obicei incorecte), care se numesc şi distractori sau răspunsuri de
contrast.
Formatul de item cu alegerea răspunsului se foloseşte în următoarele teste6:
¾ cu alegere multiplǎ
¾ adevărat-fals
¾ asocieri
¾ completarea spaţiilor goale
Sunt şanse de 80% să ningă astă seară. Care este cea mai logică interpretare a acestei
prognoze?
A: Va ninge astă seară
B: Probabil că va ninge astă seară
C: Probabil că nu va ninge astă seară
D: Nu va ninge în 20% din arealul zonei
Itemii de evaluare în oricare din aceste două formate (răspuns selectat sau răspuns elaborat)
pot evalua unul sau mai multe aspecte sau obiective.
6
În capitolul 6 se discută majoritatea acestor teste mai în detaliu.
7
În capitolul 6 se discută majoritatea acestor teste mai în detaliu.
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 56 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Exemplul 3: itemi în format răspuns elaborat discret într-un test cu răspuns scurt.
Exemplul 4: item în format răspuns selectat integrativ într-un test de asociere ce evaluează
mai multe aspecte
Potriviţi numerele companiilor aeriene din stânga cu literele corespunzătoare ale ţărilor din
dreapta.
Companie aeriană Ţara Combinaţia
1. KLM a Indonezia a-
2. BA b Germania b-
3. Lufthansa c Olanda c-
4. Garuda d Regatul Unit d-
Exemplul 5: itemi cu format de răspuns elaborat integrat într-un eseu (sub itemul 5.1 şi 5.2)
şi un test de performanţe (5.3) evaluând mai multe aspecte.
3. Calculaţi timpul de deplasare total şi costurile totale ale unei petreceri pentru un grup
de patru persoane ce călătoresc din punctul A la punctul C. Distanţa dintre A şi B este
de 68 km, viteza de 120 km/oră. Distanţa de la A la C de 212 km. Timpul necesar
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 57 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
5.2.4.1
Itemii de evaluare sunt obiectivi dacă există un singur răspuns corect: (Exemplele 1, 2, 3, 4 şi
5.3).
5.2.4.2
Itemii de evaluare sunt subiectivi dacă evaluatorul este interesat de mai mulţi factori ce
demonstrează un anumit nivel de înţelegere. (Exemplele 5.1 şi 5.2)
Ar trebui să fie clar că itemii obiectivi sunt cel mai dificil de construit, în sensul că necesită
mai mult timp decât itemii subiectivi. Pe de altă parte, corectarea/evaluarea itemilor subiectivi
(manual, spre deosebire de cei obiectivi care pot fi corectaţi cu ajutorul unor echipamente)
necesită mai mult timp decât evaluarea prin itemi de evaluare obiectivi.
Până acum ne-am referit la modul în care pot fi identificaţi itemii de evaluare (paragraful 5.1)
şi la diferite tipuri de itemi de evaluare (paragraful 5.2).
La prima vedere, elaborarea itemilor de evaluare pare o sarcină uşoară: scrieţi o întrebare la
care candidaţii trebuie să răspundă. Totuşi, pentru a fi realizaţi corect, toţi autorii de itemi de
evaluare confirmă că este vorba de o sarcină tehnică complexă. Unii specialişti o privesc chiar
ca pe o artă superioară în care creativitatea are rolul cel mai important. Unui autor de itemi de
evaluare cǎruia îi lipseşte creativitatea nu-i va plăcea cu siguranţă sarcina şi i se va părea
dificil să construiască itemii necesari, chiar dacă obiectivul evaluării este de a evalua
competenţa în raport cu un standard dat.
În acest paragraf s-a încercat oferirea unor detalii cu privire la modul de a aborda această
sarcină. Însă competenţa în sine a elaborării itemului de evaluare poate fi dobândită doar prin
elaborarea acestora, evaluând rezultatele şi însuşind lecţiile învăţate.
Itemii de evaluare bine elaboraţi nu depind doar de abilităţile tehnice ale unui autor de itemi
de evaluare, ci şi de o bună înţelegere a modului în care vor răspunde candidaţii. Această
înţelegere poate fi atinsă doar prin experienţă şi prin analiza rezultatelor testului (analiza
itemilor de evaluare).
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
În acest paragraf sunt prezentate mai multe exemple de itemi şi câteva reguli cu privire la
aceştia.
Acest item nu este precis. În baza unei evaluări a răspunsului cerut, întrebarea a fost
îmbunătăţită: Care este definiţia şedinţei de echipă?
Concluzie: Fiţi precişi când formulaţi întrebări cu răspuns deschis.
Formularea întrebărilor:
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
5.3.2 Recomandǎri
Recomandabil:
a specificaţi foarte clar ce intră în spaţiul de completat
b plasaţi spaţiul de completat la finalul itemului, dacă acest lucru este posibil.
Evitaţi
a fraze care sǎ înceapǎ cu spaţii de completat
b prea multe opţiuni disponibile fără context
c plasaţi spaţiile de completat pe marginea paginii (mai uşor de apreciat);
d folosirea acestui tip de itemi pentru nivelurile de calificare inferioare (1 şi 2);
e preluarea afirmaţiilor direct din texte şi materiale de învăţare (promovează
învăţarea „pe dinafarǎ”/mecanică, nu conduce la o înţelegere adecvatǎ).
f fiţi atenţi la indicii neintenţionate: un …sau o… înainte de spaţiile de
completat.
g lungimi diferite ale spaţiilor de completat
Recomandabil:
a Folosiţi determinanţii specifici cu grijă: niciodată, doar, tot/toţi, niciunul,
întotdeauna, ar putea, este posibil, se poate, este probabil, uneori, în general,
câteva, puţine.
b Folosiţi doar câte o idee centrală în fiecare item
c Folosiţi cu exactitate limbajul cantitativ
d Creaţi mai multe propoziţii false decât adevărate (60/40). (Persoanele evaluate
sunt tentate să răspundă cu adevărat).
Evitaţi:
a dublele negaţii.
b fraze lungi/complexe.
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 60 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Recomandabil:
a Itemul trebuie să prezinte o problemă unică, formulată clar.
b Itemul trebuie să fie formulat într-un limbaj simplu, inteligibil; eliminaţi
cuvintele inutile.
c Realizaţi distractorii într-o manierǎ plauzibilǎ/omogenǎ.
d Prezentaţi alternativele într-o ordine logică sau numerică.
e Plasaţi răspunsul corect la întâmplare (A este răspunsul cel mai des ales).
f Itemii nu trebuie să depindă unul de altul în cadrul unui test.
g Modul de a judeca un item corect: evaluaţii care (re)cunosc conţinutul ar trebui
să poată răspundă înainte de a citi alternativele.
h Puneţi alternativele pe rânduri separate, de la capăt, cu aliniat, separate de un
rând gol, folosiţi litere faţă de cifre pentru răspunsurile alternative.
i Aveţi nevoie de mai mult de 3 alternative, 4 este numărul indicat.
Evitaţi:
a „toate variantele de mai sus” – ca răspuns. Se poate răspunde în baza unor
cunoştinţe parţiale (dacă unul este incorect sau două sunt corecte, dar nu sunt
siguri de al treilea…).
b „niciuna dintre variantele de mai sus.”
c suprapunerea răspunsurilor alternative. Aceasta reduce capacitatea de
discriminare între evaluaţii care stăpânesc subiectul şi cei care nu îl stăpânesc.
d folosirea negaţiilor duble.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Metodele de evaluare8 vizează modalităţile prin care este evaluată persoana supusă evaluării.
Metoda de evaluare reprezintă calea urmată în demersul evaluativ.
Prin itemi se înţeleg elementele componente ale unui instrument de evaluare, sub forma unei
simple întrebări, un enunţ (cu sau fără elemente grafice) urmat de o întrebare, exerciţii şi
probleme, întrebări structurate, eseuri precum şi tipul de răspuns aşteptat din partea
evaluatilor (vezi şi capitolul 5).
În continuare sunt prezentate cele mai cunoscute şi utilizate metode de evaluare, sub aspecte
privind caracteristicile acestora, avantajele şi limitele utilizării lor, precum şi un set de reguli
în construirea instrumentelor corespunzătoare.
Oferă posibilitatea verificarii unui numar mare de evaluati in acelasi timp, raportarea
rezultatelor la un criteriu unic de validare (inlaturand subiectivismul
evaluatorului) si avantajarea unor evaluati timizi. Prezinta si dezavantaje: eventualele erori
efectuate de evaluati in formularea raspunsurilor nu pot fi lamurite si corectate pe loc de catre
evaluator, iar evaluatii nu mai pot fi directionati utilizand intrebari ajutatoare.
Tipurile de itemi folosiţi în testele din cadrul probelor scrise depind de mai mulţi factori:
• caracteristicile evaluaţilor cărora li se adresează;
• specificul disciplinei;
• nivelul şi tipul de rezultate ale învăţării ce vor fi măsurate;
• timpul necesar pentru proiectarea, administrarea şi prelucrarea rezultatelor obţinute;
• modalităţile prin care sunt valorificate rezultatele obţinute în urma testării.
8
Potolea, D, Manolescu, M. Teoria şi practica evaluării educaţionale, elaborat în cadrul Proiectului pentru
învăţământul rural, Ministerul Educaţiei şi Cercetării, 2005
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 62 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
A. Itemi obiectivi
În privinţa obiectivităţii există trei direcţii ce caracterizează procesul de evaluare şi anume:
• obiectivitatea construcţiei itemilor – cerinţa structurată şi corelată cu un obiectiv
operaţional de evaluare;
• obiectivitatea notării – evaluatori diferiţi acordă acelaşi punctaj (notă) pentru aceeaşi
soluţie a unui item;
• obiectivitatea percepţiei sarcinii de către evaluatul examinat; evaluati diferiţi soluţionează
la fel acelaşi item.
Domenii de utilizare
Utilizarea acestor itemi se limitează la măsurarea informaţiilor factuale, bazându-se pe
asociaţii, respectiv pe abilitatea de a identifica relaţia existentă între două câmpuri. În general
acoperă o varietate de domenii cu tipuri de relaţii:
• principii – exemplificări;
• reguli – exemple;
• termeni – definiţii;
• simboluri – concepte;
• autori – opere;
• părţi componente – utilizări;
• personalităţi – realizări deosebite;
• date – evenimente istorice.
b. Itemi cu alegere duală este acea sarcină care probează capacitatea evaluatului
de a identifica valoarea de adevăr a unei afirmaţii, obiectivitatea ei sau raportul
„cauză - efect” dintre două afirmaţii.
Domenii de utilizare
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 63 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Avantaje :
• Măsoară într-un timp relativ scurt un volum semnificativ de rezultate ale învăţării;
• Se construiesc rapid şi sunt uşor de cuantificat;
• Prezintă o fidelitate mare.
Limite
• Dificultatea de a găsi un material omogen semnificativ pentru obiectivele şi rezultatele pe
care vrem să le măsurăm;
• Tipul de rezultate ale învăţării ce pot fi măsurate se plasează la nivelele cognitive
inferioare(excepţie întâlnim în cazul identificării relaţiei cauză-efect şi a discriminării
între enunţurile factuale şi cele de opinie);
• Acest tip de itemi sunt vulnerabili faţă de răspunsurile date la întâmplare. Evaluatul având
şansa de 50% de a selecta răspunsul corect;
• Identificarea unui enunţ ca fiind neadevărat nu implică cunoaşterea de către evaluat a
alternativei adevărate.
• Pentru a verifica dacă evaluatul deţine soluţia itemului se elimină inconvenienţa de mai
sus prin folosirea altei variantei a itemilor cu răspuns dual, aşa numita „Modificare a
variantei false”, unde se cere evaluatilor să schimbe parţial enunţul pentru ca acesta să
devină adevărat.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
• Printre alternativele oferite se găseşte una care este corectă în raport cu premisa. Celelalte
răspunsuri, în afara celui corect se numesc distractori (alternative incorecte, plauzibile şi
paralele).
Domenii de utilizare
Aceşti itemi pot fi utilizaţi pentru:
Domenii de utilizare:
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
• Sunt folosiţi în evaluarea unor rezultate ale învăţării care vizează nivelurile scăzute din
domeniul cognitiv şi unele capacităţi destul de simple.
Avantaje:
• se construiesc uşor, datorită complexităţii reduse a rezultatelor de învăţare testate;
• existenţa unui model complet a răspunsului complet facilitează construirea lor, iar apariţia
unor ambiguităţi este limitată;
• permit evaluarea unui număr mai mare de concepte, priceperi şi capacităţi;
• solicită un anumit grad de coerenţă în realizarea răspunsurilor;
• se marchează destul de uşor şi relativ obiectiv, dacă se elaborează un barem adecvat.
Limite:
• nu sunt adecvaţi pentru măsurarea capacităţilor superioare (rezolvare de probleme,
analiză, sinteză);
• faţă de itemii obiectivi, pentru fiecare zonă de conţinut avem nevoie de un număr mai
mare de itemi;
• uneori, răspunsurile scurte cerute, nu duc la dezvoltarea abilităţilor complexe.
B. Itemi semiobiectivi
Itemii semiobiectivi sunt acei itemi prin care evaluatului i se cere să dea un răspuns în
totalitatea lui sau o parte componentă a unei afirmaţii, a unei reprezentări grafice, astfel încât
aceasta să capete sens şi valoare de adevăr.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
a. Întrebări structurate sunt itemi care conţin mai multe sarcini de lucru, lăsând celor
examinaţi posibilitatea alegerii modalităţilor de formulare a răspunsurilor. O întrebare
structurată este formată din mai multe subîntrebări de tip obiectiv; semiobiectiv sau
eseu scurt; legate între ele printr-un element comun.
Domenii de utilizare:
• Această tehnică de evaluare umple golul dintre tehnicile de evaluare cu răspuns liber
(deschis) şi cele cu răspuns limitat (închis) solicitat de itemi de tip obiectiv.
• Este o tehnică adecvată şi unor obiective specifice care nu pot fi evaluate cu uşurinţă
prin alte tehnici.
• Modul de prezentare al unei întrebări structurate include:
• un material/ stimul (diagrame, grafice, date etc);
• subîntrebări;
• date suplimentare;
• alte subîntrebări.
• Subîntrebările incluse în componenţa întrebărilor structurate pot testa rezultatele voite
ale învăţării din care amintim:
• să aplice, să utilizeze relaţii, principii, să indice aplicaţii;
• să calculeze mărimi, să efectueze observaţii, măsurători de teren, să alcătuiască tabele
de date, să realizeze reprezentări grafice specifice;
• să definească, să enumere, să enunţe, să precizeze semnificaţii;
• să alcătuiască un inventar de elemente, proprietăţi, termeni, dependenţe, factori;
• să justifice dependenţe, reprezentări, relaţii, să interpreteze grafice sau date din tabele;
• să aprecieze valoarea de adevăr, să estimeze ordinul de mărime al unor date, sau
rezultate obţinute, să justifice soluţii găsite, să găsească soluţia optimă;
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Avantaje:
• Întrebări structurate permit:
• transformarea unui item de tip eseu într-o suită de itemi obiectivi, semiobiectivi sau
minieseuri;
• structurarea subîntrebărilor, astfel încât să testeze o varietate de cunoştinţe, priceperi şi
calităţi;
• alcătuirea unui număr de subîntrebări legate printr-o temă comună;
• construirea progresivă a unei dificultăţi şi complexităţi dorite;
• utilizarea de materiale auxiliare (grafice, diagrame, tabele date).
Limite
• unele materiale auxiliare sunt dificil de proiectat;
• pentru proiectare necesită costuri ridicare(timp, bani);
• răspunsul la o întrebare depinde uneori de răspunsul la subîntrebăile precedente, atunci
când nu există o atenţie suficientă în proiectarea itemului.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
• eseul liber este adecvat pentru obiective vizând gândirea/ scrierea creativă, originalitatea,
inventivitatea.
c. Rezolvare de probleme
Problema desemnează antrenarea evaluatilor într-o activitate nouă, ieşită din tiparele obişnuite
ale procesului instructiv-educativ, cu scopul dezvoltării creativităţii, gândirii
multidisciplinare, imaginaţiei, a capacităţii de generalizare etc.
Avantaje:
• permite evaluarea cunoaşterii metodelor şi a capacităţilor de alegere a metodei adecvate;
• activează atitudinea critică şi învaţă pe evaluati să aprecieze metoda cea mai bună de
lucru;
• oferă posibilitatea analizei erorilor;
• oferă posibilitatea unei interdependenţe.
Limite:
• necesită un timp lung de proiectare;
• implică resurse materiale costisitoare;
• nu poate fi utilizată curent;
• necesită un timp mare de administrare şi completare a sarcinii;
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 69 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Când metoda este utilizată în grup şi nu numai atunci se va ţine seama de:
• abordarea problemei, strategiei grupului pentru rezolvarea sarcinii;
• soluţia problemei; măsura în care problema a fost rezolvată corect;
• modul de realizare a sarcinii, s-a folosit o metodă adecvată, s-au verificat rezultatele;
• generalizarea problemelor;
• comunicarea cu evaluatorul;
• originalitatea şi creativitatea în abordarea rezolvării.
Sunt considerate „o formă de conversare prin care evaluatorul urmăreşte volumul şi calitatea
cunoştinţelor, priceperilor şi deprinderilor evaluatilor şi capacitatea de a opera cu ele”.
Unele dintre caracteristicile probelor orale pot fi percepute ca avantaje cum ar fi:
• flexibilitatea şi adecvarea individuală a modului de evaluare prin posibilitatea de a
alterna tipul întrebărilor şi gradul lor de dificultate în funcţie de calitatea răspunsurilor
oferite de către evaluat;
• posibilitatea de a clarifica şi corecta imediat eventualele erori sau neînţelegeri ale
evaluatului în raport cu un conţinut specific;
• formularea răspunsurilor urmărind logica şi dinamica unui discurs oral, ceea ce oferă
mai multă libertate de manifestare a originalităţii evaluatului, a capacităţii sale de
argumentare etc.;
• posibilitatea dată evaluatorului de a realiza evaluări de ordin atitudinal sau
comportamental;
• stabilirea unei interacţiuni optime evaluator - evaluat etc.
Alte caracteristici trebuie văzute ca limite ale acestor probe, dintre care se pot menţiona:
• diversele circumstanţe (factori externi) care pot influenţa obiectivitatea evaluării atât
din perspectiva învăţătorului, cât şi a evaluatului;
• nivelul scăzut de fidelitate şi validitate;
• consumul mare de timp, având în vedere că evaluatii sunt evaluaţi individual.
Este una dintre cele mai răspândite metode de evaluare şi se poate aplica individual sau pe
grupe de evaluati. Principalul avantaj al acestei metode îl constituie posibilitatea dialogului
profesor-evaluat, în cadrul căruia evaluatorul îşi poate da seama nu doar „ce ştie” evaluatul, ci
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 70 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
şi cum gândeşte el, cum se exprimă, cum face faţă unor situaţii problematice diferite de cele
întâlnite pe parcursul instruirii. Cu prilejul examinării orale, evaluatorul îi poate cere
evaluatului să-şi motiveze răspunsul la o anumită întrebare şi să-l argumenteze, după cum tot
el îl poate ajuta cu întrebări suplimentare atunci când se află în impas.
Metoda are însă şi unele dezavantaje: ea este mare consumatoare de timp, timp care, adesea,
le lipseşte evaluatorilor. Un alt dezavantaj este şi acela referitor la dificultatea de a selecţiona,
pentru toţi evaluatii examinaţi, întrebări cu acelaşi grad de dificultate. Pentru a elimina aceste
dezavantaje se pot stabili anumite restricţii cu privire la durata acestor examinări orale, în
funcţie de vârstă; întrebările vor fi stabilite din vreme pentru a fi cât mai uniforme, ca grad de
dificultate, pentru întregul grup de evaluati supus verificării, formularea lor făcându-se clar şi
precis, fără ambiguităţi. Ca să-i fie mai uşor, evaluatorul poate avea în faţă, pe durata
examinării, o fişă de evaluare orală.
Pentru a înregistra informaţiile de care are nevoie învăţătorul are la dispoziţie practic o serie
de modalităţi:
• fişa de observaţii curente;
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
6.1.4. Proiectul
Activitate mai ampla ce permite o apreciere complexa a invatarii, ajutand la identificarea unor
calitati individuale ale evaluatului. Desi implica si o parte de studiu individual in afara clasei,
aceasta activitate este foarte motivanta pentru evaluati.
Proiectul – este un demers evaluativ mai amplu, ce permite o apreciere complexă şi nuanţată
a învăţării, ajutând la identificarea unor calităţi individuale ale evaluatilor. Este o formă de
evaluare puternic motivantă pentru evaluati, deşi implică un volum de muncă sporit – inclusiv
activitate individuală. Proiectul reprezintă o formă de evaluare complexă, ce conduce la
aprecierea unor capacităţi şi cunoştinţe superioare, precum:
- apropierea unor metode de investigaţie ştiinţifice;
- găsirea unor soluţii de rezolvare originale;
- organizarea şi sintetizarea materialului;
- generalizarea problemei;
- aplicarea soluţiei la un câmp mai vast de experienţe;
- prezentarea concluziilor.
6.1.5. Portofoliul
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
7.0 Introducere
Acordarea punctajului rezultatelor testelor se face pentru a-i permite evaluatorului sǎ măsoare
performanţa demonstrate de un candidat evaluat, sǎ aprecieze gradul de îndeplinire a
cerinţelor şi pentru a trage concluzii corecte, credibile şi valide în ceea ce priveşte competenţa
candidatului.
Într-o anumită măsură, adevǎrul frazei de mai sus ar putea fi considerat evident de la sine.
Însă, de prea multe ori – la nivel mondial - concluziile cu privire la competenţǎ nu sunt valide
şi nici nu pot fi justificate ca fiind credibile. Acest aspect are, în mod automat, un impact
negativ asupra corectitudinii evaluării. În această privinţă, punctarea poate juca un rol
esenţial. De dragul simplităţii, conţinutul prezentului capitol se bazează pe presupunerea că se
respectă toate regulile şi bunele practici asociate cu elaborarea şi folosirea diferiţilor itemi de
evaluare valizi (capitolul 5) şi că se folosesc metodele şi instrumentele corespunzătoare de
evaluare (capitolul 6). Însă, chiar dacă ar fi aşa, acordarea punctajului itemilor de evaluare
individuali, calcularea rezultatelor testelor şi combinarea rezultatelor diferitelor teste pot avea
un efect negativ asupra validitǎţii şi credibilitǎţii evaluării dacă nu sunt efectuate cu atenţie.
9
Ordin comun al Ministrului Muncii, Solidarităţii Sociale şi Familiei şi al Ministrului Educaţiei, Cercetării şi Tineretului nr.
501/5.253/2003 pentru aprobarea Metodologiei certificării formării profesionale a adulţilor
Ordinul nr. 4543/468/2004 pentru aprobarea Procedurii de evaluare şi certificare a competenţelor profesionale obţinute pe alte căi decât cele
formale
Ordin comun al Ministrului Muncii, Solidarităţii Sociale şi Familiei şi al Ministrului Educaţiei şi Cercetării nr. 81/3.329/2005 pentru
modificarea şi completarea Procedurii de evaluare şi certificare a competenţelor profesionale obţinute pe alte cai decât cele formale
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 73 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
În următoarele paragrafe, fiecare concept a fost descris pe scurt, incluzând şi câteva exemple.
Este evident că fiecare item de evaluare dintr-un test trebuie să primeascǎ un punctaj.
Întrebarea care se ridicǎ este: care ar trebui să fie punctajul pentru un item? Unii proiectanţi
de testare acordă fiecărui item de evaluare (întrebare/sarcină) acelaşi punctaj. Mai exact: 10
întrebări, 10 puncte fiecare, punctaj maxim de 100 de puncte. Pe lângă faptul că este o
„abordare generoasă”, ce ar putea avea un efect pozitiv asupra performanţei candidaţilor
evaluaţi, această abordare nu ia în considerare performanţa cerută aşa cum ar fi normal.
Probabil că acesta este motivul pentru care unii proiectanţi de instrumente de evaluare fac
deosebirea între întrebări „dificile” şi „relativ uşoare". Aceasta poate duce la acordarea a 5
puncte întrebărilor „relativ uşoare” şi 10 puncte celor „dificile”. Se sugerează, însă, ca
numărul de puncte per item de evaluare şi deosebirea dintre „dificil” şi „uşor” să se bazeze pe
o logicǎ solidǎ şi nu pe preferinţele individuale ale proiectanţilor de instrumente de evaluare.
În următoarele paragrafe au fost prezentate elementele de bază pentru un astfel de
raţionament.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
S-ar fi putut adăuga şi „importanţa” la această listă, însă aceasta se poate rezolva uşor
elaborând mai mulţi itemi de evaluare (şi, posibil, mai detaliaţi) pentru aspectele considerate
importante. Mai mult, dacă un aspect este considerat important, cu siguranţă că va fi abordat
în mai multe feluri, la diferite niveluri de performanţă, atunci când se determină competenţa.
Clarificarea celorlalte probleme menţionate mai sus va necesita mai multă logică şi reguli de
bazǎ/sugestii pentru aborda punctajul într-o manieră validă şi transparentă.
Prima întrebare ar putea fi o cerinţă de cunoştinţe de bază pentru un test de geografie (nivel:
necunoscut). A doua întrebare ar putea fi o cerinţă de abilităţi de calcul de bază de nivelul 2
sau 3. Dacă ambele întrebări ar fi prezentate în acelaşi test (de cunoştinţe generale), ar exista
clar o diferenţă între performanţa cerută, ceea ce ar duce la un punctaj diferit pentru fiecare
item.
10
Punctarea itemilor de evaluare prin folosirea unei scale calitative este prezentată în capitolul 7.3
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 75 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Exemplu:
1) Enumeraţi culorile steagului român
Răspuns: albastru, galben, roşu
Punctaj item 1
Însă, dacă nivelul de performanţă este mai ridicat şi candidatul dă un răspuns parţial corect, ar
fi corect să i se acorde candidatului un punctaj parţial. Argumentul este simplu: evaluarea ar
trebui să permită candidatului să-şi demonstreze nivelul de competenţă şi nu să descalifice
pentru răspunsurile parţial corecte.
Exemplu:
2) Scrieţi o scrisoare de afaceri (itemul nu a fost elaborat).
Se acordă puncte pentru: folosirea convenţiilor corecte (2 puncte), structură (2 puncte),
ortografie (3 puncte), gramatică şi punctuaţie (3 puncte).
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Exemplu:
3) Descrieţi patru măsuri ce pot fi luate pentru a preveni scurgerea
printr-un acoperiş galvanizat afectat de rugină.
Ar fi corect să se acorde un punctaj parţial dacă respectivul candidat poate descrie corect doar
3 măsuri? Răspunsul este, în mod evident, da.
Calcularea unui punctaj brut se referă la însumarea punctelor obţinute de un candidat evaluat
la toţi itemii de evaluare dintr-un test. Dacă valoarea fiecărui item este aceeaşi, atunci aceasta
este o sarcină uşoară şi se poate prezenta o concluzie logică despre proporţia itemilor la care
s-a răspuns corect. Stabilirea punctajului final brut al candidaţilor evaluaţi este puţin mai
complicată când valorile itemilor dintr-un test nu sunt aceleaşi. Astfel, proporţia itemilor
rezolvaţi corect trebuie să se calculeze separat (luând în considerare posibilele răspunsuri
parţial corecte).
Logica pentru care se calculează punctajele brute este că acest exerciţiu oferă informaţii foarte
importante despre calitatea itemilor de evaluare (fiabilitatea itemului de evaluare) şi calitatea
testului în ansamblu înainte de a se ajunge la o concluzie: stabilirea rezultatului testului.
Dacă la un test se constată că există un număr mare de itemi la care s-a răspuns corect, aceasta
ar putea să însemne că aceşti itemi de evaluare sunt prea facili (nu se plaseazǎ la nivelul de
dificultate cerut de nivelul de performanţă pentru care se realizează testarea). Va exista
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
întotdeauna un număr de itemi la care candidaţii evaluaţi vor răspunde corect, dar dacă toţi
candidaţii răspund corect la majoritatea itemilor, trebuie să se ridice un evident semn de
întrebare.
Dacă itemii nu sunt niciodatatǎ rezolvaţi corect, acest lucru ar putea însemna că există o altă
problemă (itemii sunt prea dificili/neclari).
Analiza punctajelor brute trebuie realizată înainte de transferarea acestora într-o scală pentru
a determina rezultatul evaluării, deoarece la acest stadiu încă se poate lua decizia de a
îndepărta anumiţi itemi sau de a regla punctele per item şi de a creşte astfel fiabilitatea şi
validitatea testului în ansamblu.
Exemplu
Tabelul de mai sus ar putea fi folosit pentru calcularea şi analizarea punctajelor brute ale
candidaţilor şi punctajelor brute per item dacă itemii au aceeaşi valoare. Tabelul a fost
completat doar parţial pentru a dezvălui câteva puncte de interes pentru analiză.
Câteva observaţii:
1. Candidatul numărul 2 cunoaşte cu siguranţă mai bine subiectul decât candidatul
numărul 10.
2. Dacă itemul 10 este singurul item la care toţi candidaţii au răspuns corect, poate fi
pǎstrat ca atare. Însă, dacă se întâmplă la fel în cazul la majoritǎţii itemilor, semnele de
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
întrebare de mai sus trebuie să fie din ce în ce mai evidente: probabil itemii sunt prea
facili, ceea ce are un impact negativ asupra fiabilităţii şi validităţii testului.
3. Itemul 11 trebuie analizat în detaliu, niciun candidat nu a răspuns corect la acesta.
Poate exista o problemă: o greşeală în formularea itemului, baremul poate fi greşit sau
evaluatorul l-a notat incorect. Dacă niciunul dintre aceste aspecte nu se confirmǎ,
problemele item-ului pot proveni dintr-o sursǎ mult mai profundǎ. Se poate constata
acest lucru dacă specificaţiile testului sunt suficient de detaliate şi dacǎ se poate realiza
o legătură cu cerinţele de evaluare ale standardului pe care se bazează testul.
4. Şi itemul 12 este dubios. Motivaţia, în acest caz, este una diferită. De ce candidatul 10,
cu punctajul brut cel mai scăzut, este singurul care a răspuns corect la item? Din nou,
itemul în sine trebuie să fie analizat în detaliu pentru a se găsi o explicaţie.
Pe baza acestui tip de analiză se poate decide eliminarea itemului 11 sau a oricǎrui alt item din
test pentru calcularea punctajul brut. Dar, înainte de a se lua această decizie, trebuie să se ia în
considerare impactul acestei măsuri asupra punctajului tuturor candidaţilor. În acest sens, se
poate realiza o simplă analiză cuartilă. Printr-o astfel de analiză, evaluatorul poate afla dacă
eliminarea unui item dintr-un test are un impact negativ asupra punctajului unui candidat
evaluat, care ar putea face diferenţa dintre a fi declarat admis sau respins.
Dacă itemii dintr-un singur test ar avea valori diferite, analiza ar fi puţin mai complicată şi ar
necesita folosirea unui program adecvat pentru a analiza punctajele brute (i.e., Microsoft
Excel sau aplicaţii specifice de analiză a testului). Tabelul ar avea cel puţin încă o coloană
care să conţină valoarea fiecărui item.
item candidat
număr valoare/ 1 2 3 4 5 6 7 8 9 10 punctaj brut
punctaj item
1 1
2 4
3 2
4 6
5 2
6 6
7 2
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 79 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
8 4
punctaj
brut
candidat
În primul rând, punctajele brute oferă informaţii despre calitatea testelor. Folosind punctajele
brute ale candidaţilor şi punctajele brute ale itemului, ideile simple prezentate mai sus pot
dezvălui aspecte ce trebuie îmbunătăţite.
Deşi exemplele au fost simplificate, ar trebui să fie clar că, atunci când este vorba de un
număr mare de candidaţi şi de un număr mare de itemi (posibil şi cu valori diferite) analiza
devine mai complicată/elaborată. Furnizorii de servicii de evaluare pot considera aceastǎ
activitate ca reprezentând un exerciţiu costisitor şi nu se poate afirma că acest tip de analiză
nu necesită suficient timp şi resurse. Reversul monedei este că furnizorul poate astfel să
verifice şi să îmbunătăţească în mod direct procesul de evaluare acolo unde aceste lucruri
chiar contează: luarea unor decizii de evaluare valide şi transparente.
Un alt element de relevat ar fi acela potrivit cǎruia testarea excesivă nu creşte validitatea
testării, ci conduce doar la un volum mai mare de muncă, ceea ce, până la urmă, se va
transforma într-un proces mult mai costisitor. Este mai bine să existe un număr mic de teste
credibile şi valide care să evalueze competenţa la nivelul cerut, decât să se porneascǎ de la
prejudecǎţi de genul „dacă organizez multe teste, rezultatele vor fi cu siguranţă valide”. Altfel
spus: testarea aceloraşi cunoştinţe de bază prin folosirea tipurilor diferite de teste – teste orale,
teste de tip grilǎ, teste de tip „adevărat – fals” etc. – nu conduce automat la creşterea validităţii
evaluării. Calitatea testelor utilizate este condiţia esenţialǎ pentru o evaluare validă.
Aceasta nu înseamnă că nu este necesarǎ utilizarea a două sau trei metode diferite, care
evaluează competenţa din unghiuri diferite la nivelul cerut. Din contră: rezultatele aplicării
corecte a unui număr limitat de metode de evaluare vor confirma şi valida rezultatele fiecărei
metode aplicate, justificând astfel deciziile de evaluare fără a trece prin procese
nesemnificative de validare („pre-testarea” ce se foloseşte în prezent) înainte de aplicarea unui
test. Pre-testarea are logicǎ doar atunci când avem de-a face cu un număr mare de candidaţi şi
trebuie să se ia decizii statistice importante. În orice alt caz, pre-testarea nu reprezintǎ nimic
altceva decât parcurgerea unei serii de paşi consumatori de timp şi care dezvăluie, poate, doar
o micǎ parte din ceea ce se poate descoperi prin analiza adecvată a punctajelor brute ale
candidaţilor care trebuie evaluaţi şi prin ajustarea testului în concordanţǎ cu constatările
fǎcute.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Exemplu
Fiecare barem trebuie să includǎ un tabel adecvat aşa cum s-a arătat în exemplu.
Orice scală calitativă poate avea 2 sau mai multe categorii. Forma cea mai simplă – folosită în
prezent de cǎtre centrele de evaluare şi, uneori, şi de cǎtre centrele de formare – este
următoarea:
Dar întrebarea majoră care se ridicǎ este: ce înseamnă acest lucru în contextul în care se
foloseşte scala, adicǎ la nivelul itemului de evaluare? Care sunt motivele/criteriile care stau la
baza punctării pentru oricare dintre cele 2 categorii? Răspunsul simplu este următorul: (nu) a
oferit performanţa/dovada solicitată.
Însă, dacă acest tip de scală calitativă se foloseşte la nivelul fiecărui item de evaluare, se
ridicǎ cinci probleme corelate care trebuie abordate:
1. care este dovada cerută?
2. cum se determină calitatea dovezilor oferite în mod obiectiv?
3. cum se determină „competenţa” parţială prin raportare la un item?
4. cum se poate preveni subiectivitatea evaluatorului?
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 81 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
1) Dovezile necesare trebuie descrise cât mai clar, aşa încât să nu lase loc
interpretării (subiectivităţii evaluatorului);
2) Trebuie să fie descrisă calitatea dovezilor oferite (există o diferenţă între a
tencui un perete şi a tencui un perete în mod uniform);
3) Fiecare item trebuie să aibă un caracter diferenţiator, ceea ce ar putea
presupune o mai mare detaliere a itemilor de evaluare;
4) Evaluatorii au nevoie, în continuare, să fie formaţi şi instruiţi şi sunt necesare
întâlniri organizate în mod regulat care să asigure interpretarea consecventǎ a
dovezilor obţinute şi a calităţii acestora;
5) Sunt necesare reguli de determinare a numărului de itemi de evaluare
consideraţi a reflecta existenţa pozitivǎ a „competenţei” care sunt necesari
pentru ca un test sǎ fie trecut cu succes.
Astfel ajungem sǎ abordǎm problema scalelor calitative prin prisma scalelor numerice.
Concluzia este una singură: evitaţi utilizarea scalei calitative de tip „competent/nu este
încǎ competent” la nivelul itemilor de evaluare. Folosirea la ora actuală a acestei scale nu
înseamnă nimic mai mult decât bifarea unei sarcini ca îndeplinită/nefiind încǎ îndeplinită cu
succes şi – în majoritatea cazurilor – nu are nimic de-a face cu declararea stǎrii de
„competent/nu este încǎ competent”.
Însă, aşa cum s-a precizat mai sus, folosirea altor scale calitative ar putea fi utilǎ într-un
mediu de lucru. Iată metodele de evaluare în care astfel de scale devin utile:
• Observarea comportamentului la locul de muncă;
• Teste practice.
Punctul de plecare pentru elaborarea unor astfel de scale calitative este competenţa / unitatea
de competenţă ce trebuie evaluată şi nu elementele de competenţă individuale. Aceste
elemente intrǎ în discuţie atunci când trebuie să fie descrise categoriile scalei (elaborarea
descriptorilor) şi atunci când trebuie sǎ fie elaborate listele de sarcini de evaluare.
Numărul de categorii pe scale ar putea fi reprezentat de orice număr, de la 3, 4 la 5 sau mai
multe.
Exemplu:
Competenţă / unitate de competenţă: repararea unei biciclete, nivelul 2.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
O scală calitativă bine construită va avea mai multǎ logicǎ pentru angajatori, manageri şi
supraveghetori deoarece aceştia ştiu exact ce anume sǎ solicite personalului propriu la locul
de muncă pentru ca afacerea să aibă succes. Scala calitativă denotă maturitate în evaluare prin
raportare la simpla bifare a listei de elemente/sarcini îndeplinite deoarece oferă posibilitatea
de a discuta pe marginea performanţei reale care trebuie dovedită/îmbunătăţită, stimulează
candidatul să îşi demonstreze nivelul de performanţă şi permite reprezentanţilor angajatorilor
să se implice în procesul de evaluare.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Pentru fiecare test în parte trebuie stabilite regulile de punctare pentru a determina:
a) transferul punctajelor brute pe scală
b) pragul minim de performanţă acceptată
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Acest aspect are legătură cu credibilitatea punctajelor testelor. Fără a intra în alte detalii
tehnice asupra acestui aspect, se recomandă:
a) La folosirea formatului de item cu răspuns multiplu (cu 4 variante) să existe cel puţin
20 de itemi de evaluare iar pragul minim de performanţă să fie crescut la un nivel mai
ridicat, de exemplu: 65%-70%.
b) La fel ar trebui să se întâmple şi în cazul testelor cu itemi de tip adevărat-fals: cel
puţin 30 de itemi şi un prag de 65%-70%.
Analiza punctajelor brute va informa furnizorul de servicii de evaluare asupra capacităţii de
discriminare a testelor folosite. Mai multe informaţii pe marginea acestui aspect se regǎsesc în
resursele internet.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Opţiunea 1:
Dacă se foloseşte opţiunea 1 (transferul descriptorilor calitativi într-o valoare numerică),
rezultatul se poate folosi şi combina cu rezultatele celorlalte teste. Acesta este momentul în
care intervine ponderarea.
Exemplu
Să presupunem că există trei teste pentru unitatea de competenţă „Repararea unei biciclete”.
1 test scris (obiectiv: evaluarea cunoştinţelor de bază)
1 test oral (obiectiv: evaluarea abilităţilor de comunicare)
1 test practic la locul de muncă (obiectiv: evaluarea abilităţilor practice)
Candidatul 1 şi 2 ar putea trece deşi au obţinut punctajul 5 la două din trei teste. Candidatul
numărul 3, care are rezultate bune la testul scris şi la cel oral, dar care nu a trecut testul
practic, ar putea pica.
Dacă ponderea relativă nu s-ar lua în considerare – aşa cum este cazul în cadrul furnizorilor
de FPC la ora actualǎ, unde se foloseşte media aritmetică – candidatul 3 ar trece deşi
abilităţile sale practice nu sunt deloc suficiente, iar candidatul 2 ar pica.
Ar trebui să fie clar că regulile de punctare pentru combinarea rezultatelor testelor pentru
fiecare calificare în parte trebuie stabilite astfel încât să fie îndeplinite cerinţele standardului.
Nu există o reţetă pentru stabilirea unor astfel de reguli. Stabilirea lor depinde de standard şi
de modul în care este evaluat. Este recomandabilǎ evitarea unei abordǎri universal valabile.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Opţiunea 2
Dacă rezultatul testului practic pe scala calitativǎ este notat sub forma „competent/nu este încǎ
competent”, atunci acesta nu poate fi pur şi simplu „adăugat” în sens numeric punctajelor
obţinute la celelalte teste (scris şi oral, a se vedea mai sus).
În acest caz este necesarǎ stabilirea unei reguli care determinǎ situaţia în care un candidat nu
poate fi considerat calificat atât timp cât testul practic nu este trecut cu succes.
Combinarea celorlalte teste punctate pe o scală numerică se poate realiza în diferite ponderi
relative, în funcţie de importanţa testelor pentru procesul de calificare în ansamblul sǎu. Sau
se poate stabili o regulă conform căreia punctajul unui test poate fi luat în considerare doar
dacă testul a fost trecut cu succes şi fiecare test din cadrul evaluării trebuie să fie trecut cu
succes. În acest ultim caz, ponderarea nu este deloc necesară, însǎ importanţa relativă a unui
test în stabilirea competenţei poate deveni exagerată sau subestimatǎ.
8. Realizarea evaluǎrii
Atunci când sunt realizate evaluǎri, calitatea evaluǎrii, din perspectiva credibilitǎţii, este în
mare mǎsurǎ determinatǎ de cǎtre evaluatorii înşişi. Nu are importanţǎ cât de bunǎ este
calitatea instrumentelor de evaluare, atât timp cât evaluatorul nu este suficient de bine pregǎtit
sau calificat pentru a performa corespunzǎtor; eforturile depuse în proiectarea instrumentelor
de evaluare sunt irosite.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Evaluǎrile se realizeazǎ într-o gamǎ mare de medii: clase, locuri de muncǎ propriu-zise şi
orice alt context posibil adecvat în cadrul acestei game. În fiecare dintre situaţii, evaluatorul
trebuie sǎ fie capabil sǎ creeze oportunitǎţi care sǎ le permitǎ candidaţilor la evaluare sǎ
furnizeze dovezile solicitate în cadrul evaluării. Crearea acestor oportunitǎţi în zone care nu
pot fi pe deplin controlate reprezintǎ o artǎ în sine. Ar trebui stabilite procedurile şi cerinţele
minimale pentru locaţiile de desfǎşurare a evaluǎrii de cǎtre furnizorul de servicii de evaluare
pentru a sprijin evaluatorul în realizarea acestei sarcini.
Mai important este ca evaluatorul sǎ fie capabil sǎ performeze în orice context care se calificǎ
drept adecvat pentru evaluare. Aceastǎ performanţǎ poate consta din:
¾ realizarea observǎrii directe;
¾ realizarea de interviuri;
¾ evaluarea tuturor tipurilor de dovezi;
¾ evaluarea şi punctarea performanţelor;
¾ oferirea de feedback;
¾ şi comunicarea în scris.
Obiectivul acestui capitol (mai specific, al paragrafului 8.1) este de a privi îndeaproape aceste
competenţe cheie care ar putea veni în sprijinul realizǎrii sarcinilor evaluatorilor. Orice alte
posibile roluri legate de cerinţele/competenţele evaluatorilor – precum proiectarea de
instrumente de evaluare sau analizarea rezultatelor evaluǎrii au fost abordate în alte secţiuni
ale acestui ghid.
În ultimul rând, însǎ nu cel din urmǎ, mai sunt şi chestiuni etice legate de funcţionarea
furnizorilor de servicii de evaluare ca şi instituţii. Unele dintre aceste aspecte au fost
prezentate în cadrul paragrafului 8.3.
Furnizarea de servicii de evaluare se transformǎ din ce în ce mai mult într-o activitate
specializatǎ care este realizatǎ de cǎtre instituţii independente specializate. Din acest punct de
vedere, peste tot la nivel internaţional, se naşte un nou sector economic. Orice sector
economic care se respectǎ îşi va dezvolta propriile principii etice şi cerinţele de calitate
specifice. Din punct de vedere tehnic, un numǎr de principii care sǎ ghideze aceastǎ eticǎ au
fost deja prezentate. Luaţi în considerare, din acest punct de vedere, problema validitǎţii şi a
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 88 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Orice evaluator trebuie sǎ fie capabil sǎ realizeze evaluări credibile ale performanţelor
candidaţilor la evaluare. Aceste observaţii trebuie sǎ se raporteze la criterii. Din acest punct de
vedere, este esenţialǎ abilitatea evaluatorului de a face distincţia între observare şi
interpretare. Observarea este obiectivǎ, iar interpretarea este subiectivă.
Pregǎtiri:
• Planificaţi observarea astfel încât sǎ existe suficient timp pentru realizarea pregǎtirilor şi a
evaluǎrii propriu-zise într-un mod corespunzǎtor, şi care sǎ vǎ permitǎ sǎ-l pregătiţi pe
candidat sǎ se simtǎ, de asemenea, în largul sǎu;
• Verificaţi personal ca locaţia de desfǎşurare a evaluǎrii să fie sigurǎ şi adecvatǎ;
• Citiţi instrucţiunile de utilizare a instrumentelor de evaluare cerute înainte de începerea
evaluǎrii;
• Familiarizaţi-vǎ voi înşivă cu instrumentele de evaluare înainte de începerea acesteia;
• Informaţi candidatul la evaluare într-o manierǎ corespunzǎtoare despre obiectivul
evaluǎrii şi punctele pe care le veţi avea în vedere pe parcursul evaluǎrii: ce ar trebui sǎ
demonstreze candidatul.
• Informaţi candidatul în legǎturǎ cu regulile de desfǎşurare a evaluǎrii.
• Dacǎ observarea pe parcursul evaluǎrii este realizatǎ de mai mult de un singur evaluator,
fiecare evaluator trebuie sǎ realizeze observaţii independente;
• Observaţiile trebuie notate pe listele de verificare a observǎrii corespunzǎtoare;
• Observaţiile nu trebuie sǎ influenţeze sub nicio formǎ sarcinile pe care le îndeplineşte
candidatul;
• Intervenţiile sunt permise numai dacǎ apar riscuri legate de sǎnǎtate sau siguranţǎ.
11
Conţinutul acestei secţiuni se bazeazǎ în mare parte pe materialul preluat din ghidul de evaluare utilizat de
cǎtre SQA, 2008 şi Cinop, 2007 (profilul de competenţǎ al evaluatorului).
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 89 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Orice evaluator trebuie sǎ fie capabil sǎ realizeze interviuri prin raportare la criterii. Din acest
punct de vedere este esenţialǎ capacitatea unui evaluator de a adresa întrebǎrile astfel încât
candidatul la evaluare sǎ aibǎ suficiente oportunitǎţi de a-şi demonstra competenţa şi nu
situaţia în care evaluatorul “pune” cuvintele în gura candidatului.
Pregǎtiri
• Planificaţi interviul astfel încât sǎ existe suficient timp pentru realizarea pregǎtirilor şi a
evaluǎrii propriu-zise într-un mod corespunzǎtor şi care sǎ vǎ permitǎ sǎ-l pregătiţi pe
candidat sǎ se simtǎ, de asemenea, în largul sǎu;
• Citiţi instrucţiunile de utilizare a instrumentelor de evaluare cerute înainte de începerea
evaluǎrii;
• Familiarizaţi-vǎ voi înşivă cu instrumentele de evaluare înainte de începerea acesteia;
• Informaţi corespunzǎtor candidatul la evaluare despre obiectivul evaluǎrii şi punctele pe
care le veţi avea în vedere pe parcursul evaluǎrii: ce ar trebui sǎ demonstreze candidatul;
• Clarificaţi rolurile celor implicaţi pe parcursul evaluǎrii;
• Informaţi candidatul cu privire la regulile de desfǎşurare a evaluǎrii.
• Preluaţi iniţiativa;
• Menţineţi iniţiativa astfel încât candidatul sǎ fie capabil sǎ-şi demonstreze competenţa;
• Utilizaţi tehnici de intervievare adecvate;
• Manifestaţi o atitudine activǎ interesatǎ de a auzi/asculta;
• Pǎstraţi înscrisurile (dacǎ este posibil, înregistraţi) interviului pentru a preveni greşelile de
apreciere şi disputele referitoare la contribuţia adusǎ de cǎtre candidatul la evaluare.
Evaluatorii trebuie sǎ fie capabili sǎ evalueze orice tip de dovezi într-o manierǎ obiectivǎ
utilizând instrumentele corespunzǎtoare de evaluare. Analiza joacǎ un rol substanţial. Cu toate
acestea, uneori, este necesarǎ interpretarea dovezilor, ceea ce ar putea pune în pericol
obiectivitatea necesarǎ procesului dacǎ nu sunt respectate cerinţele evaluǎrii.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Evaluatorii trebuie sǎ fie capabili sǎ ofere un feedback constructiv care sǎ motiveze candidatul
în cazul în care performanţele nu au atins cerinţele stabilite.
Urmǎtoarele aspecte trebuie avute în vedere:
Încercaţi sǎ evitaţi pe cât de mult posibil interferenţele factorilor personali.
Subliniaţi punctele în care şi de ce performanţele au atins cerinţele stabilite;
Subliniaţi punctele în care şi de ce performanţele nu au atins cerinţele stabilite;
Clarificaţi procedurile şi utilizaţi un limbaj accesibil candidatului;
Verificaţi dacǎ feedbackul dvs. a fost înţeles, invitând candidaţii sǎ reformuleze cu propriile
cuvinte ce trebuie sǎ facǎ pentru a avea succes la urmǎtoarea evaluare.
8.2.1 Integritate
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
8.2.2 Empatie
Un evaluator este capabil de empatie, “sǎ se punǎ în locul celuilalt”, pregătindu-i astfel pe
candidaţi sǎ se simtǎ în largul lor. Evaluatorul trebuie sǎ respecte sentimentele/temerile
candidaţilor, inclusiv mediul cultural şi lingvistic al acestora. Evaluatorul este, de asemenea,
conştient de influenţa poziţiei sale şi de cadrul de referinţǎ personal asupra candidaţilor care
se supun evaluǎrii şi se abţine de la acţiuni care pot avea un efect negativ asupra performanţei
candidatului
8.2.3 Flexibilitate
Capacitate de adaptare la o situaţie datǎ, dacǎ situaţia necesitǎ acest lucru pentru atingerea
obiectivului evaluǎrii: evaluarea unui candidat prin raportare la cerinţele unui standard dat.
8.2.6 Cooperare
Ce instituţie este un furnizor de bunǎ calitate de servicii de evaluare? Preţul, durata şi rata de
absolvire pot fi considerate ca reprezentând indicatorii adecvaţi pentru acest criteriu, însǎ mai
importantǎ este rata de succes pe piaţa muncii a foştilor candidaţi la evaluare în a-şi gǎsi un
loc de muncǎ corespunzǎtor şi/sau în conformarea cu cerinţele de acces ale furnizorilor de
formare şi educaţie la un nivel superior de calificare.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
9 Verificarea internǎ
Verificarea internǎ reprezintǎ un proces de management al calitǎţii. În acest ghid, acest proces
de management al calitǎţii s-a concentrat pe procesul de evaluare. În practicǎ, desfǎşurarea
procesului de formare trebuie sǎ fie supusǎ şi verificării interne, însǎ acest aspect se plaseazǎ
în afara sferei de interes a acestui document.
Din acest punct de vedere, obiectivul verificării interne îl reprezintǎ managementul calitǎţii
procesului de evaluare pentru a se asigura cǎ evaluarea îndeplineşte standardele stabilite la
nivel naţional.
Din acest punct de vedere, verificarea internă pare a reprezenta o altǎ cerinţǎ suplimentarǎ
care presupune cheltuirea de resurse. Trebuie realizate investiţii pentru punerea la punct a
procedurilor şi politicilor, trebuie instruit personalul şi trebuie dedicat şi mai mult timp
gestionǎrii în mod continuu, timp care nu poate fi folosit pentru oferirea de servicii şi
realizarea unor venituri. Însǎ, acest gen de percepţie este prea îngustǎ. Atunci când verificarea
internă este implementatǎ într-o manierǎ consecventǎ şi dedicatǎ, ea va reuşi sǎ
economiseascǎ resurse care ar fi altfel irosite. Acest lucru se câştigǎ prin intermediul
verificării interne.
Însǎ, prin verificării interne se iveşte şi un alt pericol: procesul de evaluare ar putea deveni
reglementat prea birocratic. Pentru a evita situaţia în care acest pericol se transpune în
realitate, este esenţialǎ o înţelegere autenticǎ a verificării interne. Acest ghid încearcǎ iniţierea
acestui proces de înţelegere, însǎ ea nu este suficientǎ. Va trebui subliniatǎ importanţa
esenţialǎ a implementǎrii şi avansǎrii în cadrul unei abordǎri de tipul “învǎţǎm pe mǎsurǎ ce
punem în practicǎ”, a învǎţǎrii din greşeli.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
La acest stadiu, nu este posibilǎ prezentarea unui standard de referinţǎ pentru verificarea
internă, deoarece cerinţele din punct de vedere legislativ în acest domeniu nu au fost
precizate. Însǎ, este posibilǎ lǎmurirea unor aspecte legate de obiectivul evaluǎrii într-o
manierǎ mai pragmaticǎ (paragraful 9.1) şi prezentarea rolului verificatorului intern
(paragraful 9.2). În ambele paragrafe, sunt prezentate unele exemple de instrumente de
verificare internă. Acestea sunt simple exemple şi ele trebuie adecvate în conformitate cu
nevoile furnizorului de servicii de evaluare.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Alte aspecte corelate pot fi incluse, de asemenea, iar problemele menţionate mai sus pot fi
detaliate. Esenţialǎ este mǎsura în care procedurile oferǎ claritatea necesarǎ în ceea ce priveşte
verificarea internă a personalului implicat în procesul de evaluare şi în activitǎţile de
verificare internă.
Specialiştii care joacǎ rolul de verificatori interni în cadrul activitǎţii desfǎşurate de cǎtre un
furnizor de servicii de evaluare au un numǎr de sarcini de îndeplinit. Urmǎtoarea listǎ
orientativǎ indicǎ în ce constau aceste sarcini. În funcţie de dimensiunea instituţiei, verificarea
internă este realizatǎ de o echipǎ restrânsǎ de membri ai personalului. Lista de mai jos oferǎ
un exemplu de sarcini care ar trebui realizate:
1. Planificarea activitǎţilor de verificare internǎ (vezi punctul 5 din lista de verificare de mai
sus);
2. Evaluarea calitǎţii proiectǎrii evaluǎrii (eficacitatea planurilor de evaluare, validitatea
instrumentelor de evaluare inclusiv a baremelor de punctare şi calitatea instrucţiunilor de
evaluare), a gradului de adecvare a metodelor de evaluare, a caracterului practic al
procesului de aplicare a instrumentelor de evaluare, etc.
3. Evaluarea performanţei evaluatorilor prin eşantionarea mostrelor de performanţǎ şi a
dovezilor documentare a activitǎţilor desfǎşurate de aceştia;
4. Monitorizarea şi verificarea prin eşantionare a deciziilor de evaluare (inclusiv consecvenţa
în timp a deciziilor);
5. Oferirea de feedback care sǎ vinǎ în sprijinul şi sǎ consilieze evaluatorii;
6. Colectarea şi strângerea informaţiilor pentru şi/sau de la evaluatori, organisme externe de
monitorizare şi autoritǎţi;
7. Pǎstrarea înregistrǎrilor.
Maniera în care aceste sarcini trebuie sǎ fie organizate şi îndeplinite de cǎtre verificatorii
interni nu poate fi pe deplin descrisǎ şi nici nu ar trebui sǎ se regǎseascǎ într-o formǎ dinainte
prescrisǎ, deoarece asigurarea calitǎţii şi îmbunǎtǎţirea calitǎţii nu pot fi implementate eficace
în aceastǎ mod. Fiecare dintre furnizorii de servicii de evaluare ar trebui sǎ-şi elaboreze
propriile proceduri şi instrumente care sǎ conducǎ la îndeplinirea cerinţelor în situaţia datǎ.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Aceste dovezi reieşite din constatǎrile fǎcute pe parcursul evaluǎrilor trebuie pǎstrate din mai
multe motive. Acest tip de dovezi:
• dovedesc faptul cǎ evaluarea chiar a avut loc;
• releveazǎ punctele care pot suporta îmbunǎtǎţiri.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
1. Componenete disponibile
Nr. Componenta Da/Nu/Nu se aplicǎ
1 Standardul ocupaţional şi calificarea corespunzǎtoare/standardul de
pregǎtire profesionalǎ/curriculum
2 Planul de evaluare
3 Specificaţiile instrumentelor de evaluare (incluzând referinţe detaliate la
itemii ce însoţesc standardul)
4 Instrucţiuni pentru candidat
5 Instrumentul de evaluare, teste (incluzând toţi itemii/toate întrebǎrile)
6 Testul/Baremul de punctare/Instrucţiuni pentru evaluator
3. Specificaţiile testelor
Nr. Element Da/Nu/Nu se aplicǎ
1 Gradul de adecvare al itemilor de evaluare
2 Numǎrul itemilor de evaluare
3 Relaţia între itemii de evaluare şi sarcinile de lucru (numǎrul acestora)
este clarǎ
4 Numǎrul de puncte pe fiecare item în parte
5
6
7
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
5. Instrumentul de evaluare/testul
Nr. Elementul Da/Nu/Nu se aplicǎ
1 Acelaşi tip de itemi sunt grupaţi
2 Itemii corespund cu specificaţiile testelor de evaluare
3 Itemii se conformeazǎ cu cerinţele (nivel, validitate, sintaxǎ)
4 Diagramele/imaginile sunt clare şi demonstreazǎ valoare adǎugatǎ
5 Suficienţi itemi
6 Timpul pus la dispoziţie este suficient
7 Sunt indicate punctele pe fiecare item în parte
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Trebuie sǎ aibǎ loc la intervale regulate analiza unei serii de observaţii efectuate pentru a
permite îmbunǎtǎţirea procesului de observare şi a sugestiilor care se desprind de pe urma
acestuia. Verificatorii interni trebuie sǎ stimuleze practica evaluǎrii, nu sǎ o împiedice sau sǎ
o facǎ mai complicatǎ.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Analiza item-ilor şi discuţiile pornite de la aceastǎ analizǎ au un impact mult mai productiv în
ceea ce priveşte îmbunǎtǎţirea calitǎţii procesului de luare a deciziilor faţǎ de instrucţiunile de
lucru şi utilizarea listelor de verificare. Este mult mai importantǎ atingerea unui consens din
punctul de vedere a modalitǎţii de luare a deciziilor, deoarece astfel se vor crea transparenţa şi
oportunitǎţi de îmbunǎtǎţire a calitǎţii, îmbunǎtǎţindu-se astfel gradual competenţele în
ansamblu ale tuturor personelor implicate şi aducând astfel standardul serviciilor oferite la un
nivel superior. Listele de verificare în acest domeniu utilizate pentru a vedea dacǎ un
evaluator întreprinde sau nu un anumit lucru sunt mai degrabǎ inutile. Regulile şi
reglementǎrile trebuie sǎ fie clare, inclusiv acelea referitoare la aspectele neconforme.
Problema adevǎratǎ se regǎseşte în modalitatea de tratare a acestor domenii “gri” din punctul
de vedere al procesului de luare a deciziilor şi clarificarea lor într-o manierǎ realistǎ, prin
crearea unui set comun de valori.
Oferirea de feedback face parte din fiecare acţiune întreprinsǎ ca activitate de verificare
internă. La momentul descrierii altor sarcini de lucru au fost abordate pe larg competenţele
cheie referitoare la furnizarea de feedback pe parcursul verificare internă. Mai important este
principiul potrivit cǎruia feed-back-ul trebuie sǎ fie unul constructiv şi sǎ promoveze
îmbunǎtǎţirea calitǎţii într-o manierǎ care sǎ demonstreze respect.
Feedback-ul referitor la aspecte neconforme sau aspecte legate de integritate trebuie sǎ fie
tratat într-o manierǎ transparentǎ, deoarece o astfel de abordare stabileşte un exemplu de
urmat în respectarea bunelor practici.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Evaluarea procesului de evaluare trebuie sǎ aibǎ loc şi trebuie sǎ fie luate mǎsuri în vederea
colectǎrii informaţiilor relevante din partea candidaţilor la evaluare, a evaluatorilor şi a
reprezentanţilor pieţei muncii, informaţii care sǎ sprijine oportunitǎţile de luare a unor decizii
care sǎ conducǎ la îmbunǎtǎţirea procesului de evaluare.
Din acest punct de vedere, urmǎtorul exemplu demonstreazǎ cum ar putea fi colectate
informaţiile relevante provenite de la diferite tipuri de factori interesaţi prin intermediul unor
scurte chestionare. În primul rând, au fost identificate criteriile relevante pentru un numǎr de
procese/şi produse. În cea de-a doua parte a exemplului, aceste criterii au fost grupate de o
astfel de manierǎ încât sǎ poatǎ fi construite instrumente de chestionare a grupurilor ţintǎ.
În urmǎtorul tabel au fost identificate acele elemente care ar putea fi parte a procesului de
verificare internă. Pe ultimele şase coloane, au fost identificate pǎrţile interesate interne şi
externe care ar putea pune la dispoziţie informaţiile relevante referitoare la calitatea
procesului de evaluare. Exemplul nu trebuie perceput ca fiind o modalitate obligatorie de
realizarea într-o anumitǎ manierǎ a evaluǎrii. Fiecare furnizori trebuie sǎ realizeze o analizǎ a
propriilor cerinţe şi sǎ-şi construiascǎ instrumente adecvate scopurilor urmǎrite.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
organisme intermediare
autoritǎţi naţionale
conducere
angajatori
personal
cursanţi
Autorizarea furnizǎrii de evaluare x x x x
1.1 Cerinţe de autorizare x x x
1.2 Cererea localǎ x x
1.3 Oferta localǎ x
1.4 Procesul de autorizare x x
1.5 Contestaţii / plângeri x x x
1.6 Reautorizarea serviciilor x
Cerinţe legate de personalul implicat în evaluare x x x
2.1 Competenţele proiectantului de evaluare x x
2.2 Competenţele evaluatorilor x x
2.3 Competenţele membrilor comisiei de evaluare x x
2.4 Planificarea activitǎţilor de dezvoltare profesionalǎ a personalului x x
2.5 Disponibilitatea personalului competent x x
Proiectarea testǎrii x x x
3.1 Proiectarea instrumentelor de evaluare x
3.2 Proceduri x
3.3 Instrumente de evaluare x
3.4 Planificare x
Procesul de evaluare x x x x
4.1 Planificarea evaluǎrii pe parcursul procesului de învǎţare x x
4.2 Înregistrarea în vederea evaluǎrii x x
4.3 Condiţiile de evaluare (facilitǎţi/factori perturbatori) x x
4.4 Timpul disponibil pentru evaluare x x
4.5 Timpul disponibil pentru punctare/notare x x
4.6 Intervalul de timp dintre evaluare şi punctare x x
Documentaţie (instrucţiuni, elemente auxiliare şi alte x x x
documente)
4.7 Instrucţiuni pentru cursanţi x x
4.8 Instrucţiuni pentru evaluatori în vederea realizǎrii evaluǎrii x
4.9 Instrucţiuni de punctare x
4.10 Elemente auxiliare pentru evaluare (dicţionare, instrumente de lucru etc.); x x
Performanţa specialiştilor x x x
4.11 Supraveghetor x x
4.12 Evaluator x x x
Obiective x x x x x x
4.13 Gradul de adecvare a instrumentului de evaluare x x
4.14 Calitatea elaborǎrii instrumentului de evaluare x x
4.15 Corelarea cu standardul x x x x
4.16 Conţinutul reflectǎ competenţa solicitatǎ x x x
Certificare şi înregistrarea certificatelor x x x x x x
4.17 Intervalul de timp între notare şi publicarea rezultatelor x x
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
organisme intermediare
autoritǎţi naţionale
conducere
angajatori
personal
cursanţi
4.18 Procedura de contestaţie x x
4.19 Distribuirea certificatelor x x
4.20 Înregistarea certificatelor acordate x x
4.21 Valoarea certificatului pe piaţa muncii x x x x
Urmǎtorul pas ar fi acela prin care rezultatele sǎ fie mǎsurate la momentele corespunzǎtoare
cu instrumentele adecvate. Astfel de instrumente (chestionare) vor trebui sǎ fie elaborate atât
pentru cursanţi, cât şi pentru personalul furnizorului, conducere, angajatori. Aceeaşi regulǎ se
aplicǎ şi organismelor intermediare care sunt şi ele, la rândul lor, direct implicate în
practicarea efectivǎ a evaluǎrii.
Un exemplu de chestionar pentru candidaţii la evaluare pe baza tabelului prezentat mai sus.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Semnǎtura Data
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Acest capitol poate lǎmuri doar parţial problema verificǎrii externe. Acest lucru este realizat
prin prezentarea unei imagini de ansamblu a cadrului instituţional propus (paragraful 10.1).
Acesta este urmat de o scurtǎ descriere a sarcinilor legate de coordonarea la nivel naţional a
OIC-urilor de cǎtre Autoritatea Naţionalǎ pentru Calificǎri (paragraful 10.2), un rezumat al
procesului de asigurare a calitǎţii OIC-urilor (paragraful 10.3) şi o detaliere a propunerilor de
sarcini privind verificarea externǎ pe care să le îndeplinească aceste organisme (paragraful
10.4). Acest ultim paragraf conţine câteva exemple de instrumente care trebuie sǎ fie
elaborate pentru a putea desfǎşura procesul de verificare externǎ într-o manierǎ structuratǎ şi
transparentǎ.
12
Propunere: Înfiinţarea organismelor internediare de certificare, cod fişier A4.1, data 12-05-2009, autor: Paul
Weide.
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 106 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Coordoneazǎ
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
OIC-urile trebuie sǎ punǎ la punct un sistem de gestionare a asigurǎrii calitǎţii. Acest sistem
ar trebui sǎ guverneze toate procesele operaţionale relevante ale acestui tip de organizaţii.
Acest lucru presupune ca un numǎr de proceduri sǎ fie puse la punct pentru a acoperi
urmǎtoarele domenii. Proceduri pentru:
¾ Selectarea şi recrutarea personalului competent (calificat);
¾ Plasarea personalului;
¾ Dezvoltarea profesionalǎ continuǎ a personalului;
¾ Planificarea verificǎrii externe;
¾ Verificarea externǎ;
¾ Eşantionarea în scopul organizǎrii monitorizǎrii;
¾ Eşantionarea în vederea evaluării metodelor de evaluare;
¾ Oferirea de feedback, raportarea şi validarea acestui tip de informaţii;
¾ Analiza nevoilor de evaluare la nivel regional;
¾ Tratarea contestaţiilor şi a plângerilor.
Detalierea sarcinilor care revin OIC-urilor are la bază metodologia M4. Activitǎţile OIC-
urilor ar trebui sǎ se bazeze pe planuri anuale de verificare aprobate de cǎtre Autoritatea
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Naţionalǎ pentru Calificǎri. Odatǎ aprobate, aceste planuri devin parte a sistemului intern de
management al calitǎţii OIC-urilor.
Pe parcursul urmǎtoarelor paragrafe, sunt prezentate principalele sarcini privind verificarea
externă, din cadrul planului de verificare externǎ. Acestea sunt:
1. Analiza verificǎrii externe (cercetare-documentare);
2. Vizitele de verificare externǎ;
3. Vizitele suplimentare de verificare externǎ;
4. Vizitele de monitorizare realizate prin eşantionare;
5. Verificarea prin eşantionare a instrumentelor de evaluare;
6. Rapoartele de verificare externǎ.
Aceste materiale sunt evaluate într-o manierǎ structuratǎ utilizând un standard de referinţǎ
pentru aprecierea rapoartelor de auto-evaluare. Acest standard include un numǎr de indicatori
şi criterii de performanţǎ.
Standardul de referinţǎ necesar nu existǎ încǎ. Cu toate acestea, urmǎtorul exemplu – preluat
din sistemul de verificare externǎ a evaluǎrii în Olanda – demonstreazǎ cum ar putea sǎ arate
un astfel de standard.
Exemplu
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
6. Consecvenţa sistemului de evaluare (aşa cum este acesta descris prin intermediul
procedurilor din manualele de asigurare a calitǎţii evaluǎrii);
7. Datele referitoare la calitatea rezultatelor (nivelul de satisfacţie al personalului, al
candidaţilor la evaluare, al pieţei muncii şi date referitoare la tipurile de certificate şi
candidaţi calificaţi în urma evaluǎrii).
Fiecare standard este detaliat prin intermediul unui numǎr de indicatori. Au fost descrise
criterii care utilizeazǎ aceşti indicatori pentru a determina nivelul de calitate pentru furnizarea
de evaluare prin raportare la standard.
În urmǎtorul tabel este prezentatǎ o micǎ parte a standardului de mǎsurare a calitǎţii datelor
rezultate:
3 Etc.
4 Etc.
Apoi aceste constatǎri sunt plasate pe o scarǎ calitativǎ (vezi mai jos):
Standardul 7: Datele referitoare la calitatea rezultatelor (legate de gradul de satisfacţie al candidaţilor la
evaluare)
Slabǎ Insuficientǎ Suficientǎ Bunǎ Excelentǎ
Lipsa dovezilor / nu Incomplet sau încǎ Este pus la punct un Bunǎ funcţionare a Abordare
se confirmǎ nu funcţioneazǎ ca sistem care sistemului anticipativǎ,
un întreg funcţioneazǎ în incluzând inovativǎ, exemplu
parametri rezonabili capacitatea de a lua pentru alţi furnizori
mǎsuri auto- de servicii de
corective evaluare
Furnizorul pretinde Satisfacţia este Furnizorul are o Majoritatea Toţi candidaţii la
a cunoaşte nivelul mǎsuratǎ la nivelul bunǎ capacitate de a candidaţilor la evaluare sunt foarte
de satisfacţie al tuturor calificǎrilor, identifica nivelul de evaluare se declarǎ satisfǎcuţi de
candidaţilor la cel puţin anual, însǎ satisfacţie al a fi “satisfǎcuţi” furnizarea evaluǎrii.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Ultima etapǎ este aceea în care constatǎrile sunt comparate cu rezultatele furnizorilor similari
de servicii de evaluare şi se poate trage o linie şi decide care sunt condiţiile minime pe care un
furnizor de servicii de evaluare trebuie sǎ le îndeplineascǎ. Odatǎ ce a fost stabilit acest
standard, mǎsurǎtorile realizate succesiv pe parcursul urmǎtorilor ani vor releva evoluţia
înregistratǎ de cǎtre furnizorii de servicii de evaluare.
Unele dintre standarde se referǎ la aspecte care pot fi verificate prin intermediul analizei
(cercetǎrii-documentării), în timp ce alte standarde joacǎ un rol mai important pe parcursul
vizitelor de verificare externǎ, când are loc verificarea practicǎ a constatǎrilor teoretice.
Exemplu
Raportul de analizǎ pentru verificare externǎ
Organismul intermediar de Cluj reg 012345
certificare
Denumirea Centrul de Perfectionare in Informatica Cluj Numǎr de înregistrare CL_012
furnizorului
Autor: Gherghescu, Paula Oana Data finalizǎrii 20-03-2009
Datele introduse 1. Raportul de auto-evaluare, versiune finalǎ, 03-01-2009;
2. Ghid de evaluare, Centrul de Perfectionare in Informatica Cluj, 12-12-2008;
(surse) 3. Fişa de reclamaţii 2008, 20-01-2008
4. Organigramǎ, Centrul de Perfectionare în Informaticǎ Cluj, 12-12-2008;
Data predării 01-02-2009 Auto-evaluarea este predată în conformitate cu planificarea DA/ NU
Model verificat Da CL_012_09.doc Auto-evaluarea corespunde cu modelul ANC DA/ NU
Modelul pentru raportul de cercetare pus la dispoziţie în acest ghid trebuie sǎ fie elaborat de o
manierǎ încât din aceastǎ activitate sǎ poatǎ fi trase concluzii obiective şi informate, fiind
punctele de plecare pentru vizitele de verificare externǎ.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Este necesar sǎ fie elaborate proceduri care sǎ ofere o îndrumare suplimentarǎ (mai detaliatǎ)
pentru a face ca procesul de cercetare sǎ devinǎ mai transparent. Este esenţialǎ din acest
punct de vedere elaborarea unui standard de referinţǎ pentru verificarea externǎ a
evaluǎrii iar o cerinţǎ primordialǎ o reprezintǎ instruirea personalului organismelor
intermediare de certificare în realizarea acestui tip cercetare şi a urmǎtorilor paşi din cadrul
procesului de verificare externǎ.
Constatǎrile prezentate în raportul de cercetare trebuie sǎ fie validate la faţa locului. Aceasta
este una dintre cele mai importante motivaţii pentru realizarea vizitelor de verificare externǎ.
Standardul de referinţǎ pentru verificarea externǎ trebuie sǎ fie realizat de cǎtre specialişti cu
o bunǎ înţelegere a metodologiei, a procesului şi obiectivelor verificǎrii externe.
Din cauza faptului cǎ experienţa în domeniu, la acest moment, este minimalǎ, devine necesarǎ
o pregǎtire extinsǎ şi o colaborare intensǎ între specialişti. Din acest punct de vedere, trebuie
fǎcutǎ o distincţie între personalul implicat în asigurarea rolului coordonator la nivel naţional
al ANC şi personalul organismelor intermediare de certificare.
Fiecare vizită de verificare externǎ este detaliatǎ într-un program de verificare externǎ.
Furnizorii de servicii de evaluare primesc acest plan cu mult timp înaintea vizitei (1 lunǎ).
Acest program oferǎ o prezentare generalǎ asupra:
1. (dacǎ situaţia se aplicǎ) problemelor urgente care au nevoie de clarificare;
2. dovezilor pe care verificatorul extern le va analiza pe parcursul vizitei (verificarea
dosarelor de evaluare şi a fişelor de înregistrare a certificǎrii);
3. personalului de verificare cu care verificatorul extern ar dori sǎ discute;
4. subiectelor întâlnirii.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Vizitele suplimentare de verificare externǎ sunt efectuate dacǎ au fost identificate aspecte
neconforme/neconformitǎţi pe parcursul vizitei de verificare. Aspectele neconforme pot fi
regǎsite în legǎturǎ cu oricare element al standardului de verificare externǎ.
Exemplu:
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
efectua vizita de verificare externǎ, iar celǎlalt verificator extern îşi organizeazǎ vizita de
monitorizare externǎ.
Vizitele de monitorizare externǎ trebuie sǎ se concentreze în mod explicit pe stimularea
îmbunǎtǎţirii calitǎţii prin formularea de observaţii referitoare la furnizarea efectivǎ de
servicii de evaluare de cǎtre un anumit evaluator sau un numǎr de evaluatori din cadrul
unui furnizor de servicii de evaluare.
Pe parcursul unor astfel de vizite, trebuie fǎcute observaţii referitoare la:
¾ Calitatea sesiunilor de evaluare;
¾ Calitatea procesului de luare a deciziilor de evaluare;
¾ Evaluarea calitǎţii profesionale a personalului specializat în evaluare;
¾ Oferirea de feedback verificatorului intern pe baza observaţiilor fǎcute.
Intenţia organizǎrii unor astfel de vizite este de a întǎri capacitatea instituţionalǎ şi de creştere
a gradului de conştientizare în privinţa îmbunǎtǎţirii calitǎţii în rândurile personalului
însǎrcinat cu evaluarea al unui furnizor de servicii de evaluare, pe baza observaţiilor directe
fǎcute.
Trebuie sǎ fie absolut clar ambelor pǎrţi (verificatorul extern care efectueazǎ vizita de
monitorizare şi furnizorul de servicii de evaluare) cǎ obiectivul nu este stabilirea aspectelor
neconforme sau a neconformitǎţilor, ci stimularea îmbunǎtǎţirii calitǎţii.
Pe lângǎ observaţiile realizate şi înregistrate, trebuie sǎ aibǎ loc şi dezbateri într-o atmosferǎ
deschisǎ în cadrul cǎrora verificatorul extern poate solicita clarificǎri şi, posibil, sǎ indice
oportunitǎţi de îmbunǎtǎţire acolo unde existǎ inconsecvenţe. Personalul furnizorului de
servicii de evaluare, la rândul sǎu, poate solicita clarificǎri, de exemplu: asupra modalitǎţii de
conformare cu cerinţele sau asupra altor aspecte legate de verificarea externǎ. Din acest punct
de vedere, verificatorul extern îşi asumǎ un rol de îndrumǎtor.
Vizitele de monitorizare externǎ ar trebui sǎ aibǎ ca rezultat stabilirea unor recomandǎri
realiste asupra cǎrora sǎ se punǎ de acord ambele pǎrţi.
În ultimul rând, însǎ la fel de important, trebuie reţinut faptul cǎ astfel de vizite ar trebui nu
numai sǎ aibǎ impact în privinţa creşterii capacitǎţii personalului furnizorului de servicii de
evaluare, însǎ şi asupra verificatorilor externi. Le vor permite acestora sǎ participe la
desfǎşurarea propriu-zisǎ a evaluǎrii, sǎ reflecteze pe marginea rolului pe care îl joacǎ, asupra
utilitǎţii standardului de referinţǎ pentru verificarea externǎ, sǎ îşi evalueze propria abordare şi
sǎ-şi îmbunǎtǎţeascǎ ei înşişi capacitǎţile.
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
În acest paragraf este prezentatǎ o schiţǎ sumarǎ a acestui tip de activitate care sǎ permitǎ
furnizorilor de servicii de evaluare sǎ înţeleagǎ cum ar putea Autoritatea Naţionalǎ pentru
Calificǎri redefini abordarea actualǎ.
3) O strategie de eşantionare
Ar trebui sǎ fie destul de evident faptul cǎ Autoritatea Naţionalǎ pentru Calificǎri şi OIC-
urile nu pot verifica în detaliu calitatea fiecǎrui instrument de evaluare în parte anual sau
de fiecare datǎ când sunt elaborate noi instrumente de evaluare. Costurile pe care le-ar
presupune acest tip de acoperire completǎ prin verificare sunt pur şi simplu prea ridicate.
Este necesară o strategie de eşantionare la nivel naţional, regional şi local. O astfel de
strategie trebuie sǎ ia în considerare urmǎtoarele elemente:
a. Cum se poate eşantiona în vederea identificǎrii gradului de conformitate la
nivel local;
b. Cum se poate eşantiona în vederea îmbunǎtǎţirii calitǎţii la nivel
naţional/regional;
c. Implicarea comitetelor sectoriale;
d. Compilarea constatǎrilor rezultate în urma verificǎrii externe;
e. Elaborarea unui plan de eşantionare pentru urmǎtorii ani;
f. Rezultat direct: gradul de acoperire prin eşantionare pe parcursul unui numǎr
de ani;
File code: A2.4.4 File name: Draf GuidelinesV8_2 Author: PW
Version: 2.0 Page: 115 of 102 Date: 30th June 2009
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International
Establishment of National Authority for Qualifications
Phare RO2006 Technical Assistance to National Adult Training Board (CNFPA) executed by
FCG International