Evaluarea de tip peer review

n educaia i formarea profesional iniial

Manual european "peer review" pentru educaia i formarea profesional iniial

Evaluarea de tip peer review n educaia i formarea profesional iniial Proiect Leonardo da Vinci (AT/04/C/F/TH-82000) ISBN 978-3-901966-07-1

ibf sterreichisches Institut fr Berufsbildungsforschung Institutul austriac pentru cercetare n domeniul formrii profesionale

Biberstr. 5 1010 Viena Austria

Telefon: +43-1-310 33 34-0 Fax: +43-1-319 77 72 E-mail: oeibf@oeibf.at

www.oeibf.at

Manual european de evaluare de tip peer review pentru educaia i formarea profesional iniial
Maria Gutknecht-Gmeiner (ed.) Echipa de elaborare: Maria Gutknecht-Gmeiner Lorenz Lassnigg Eduard Stger Willem de Ridder Peter Strahm Elisabeth Strahm Leena Koski Bill Stalker Rick Hollstein Giorgio Allulli Ole Bech Kristensen Viena, iunie 2007

Evaluarea de tip peer review ca instrument pentru asigurarea i mbuntirea calitii n educaia i formarea profesional iniial Proiect Leonardo da Vinci AT/04/C/F/TH-82000 Acest proiect a fost finanat cu sprijinul Comisiei Europene. Aceast publicaie reflect doar punctele de vedere ale autorilor, iar Comisia European nu poate fi fcut rspunztoare pentru felul n care sunt folosite informaiile coninute n prezentul document.

Prefa
n ultimul deceniu, asigurarea calitii i mbuntirea calitii au devenit din ce n ce mai importante pentru instituiile care furnizeaz educaie i formare profesional, precum i pentru autoritile publice din domeniul educaiei din toat Europa. Au fost introduse diferite proceduri de evaluare a calitii la nivelul instituiilor/furnizorilor de educaie i formare profesional. Printre acestea se numr planuri de management al calitii preluate din sectorul afacerilor (cum ar fi ISO, EFQM, BSC etc.), inspecii i audituri efectuate de agenii guvernamentale, autoevaluare. Un instrument deosebit de promitor pentru asigurarea i dezvoltarea calitii este evaluarea de tip peer review evaluarea extern a instituiilor/furnizorilor de educaie i formare profesional realizat de ctre experi. Evaluarea de tip peer review este folosit cu precdere n nvmntul superior, fiind pn acum marginal n educaia i formarea profesional. Evaluarea de tip peer review poate pleca de la activitile legate de calitate deja prezente n instituia de educaie i formare profesional, este rentabil i stimuleaz ntrirea legturilor i schimburile ntre furnizorii de educaie i formare profesional. Manualul european de evaluare de tip peer review descrie o procedur european standard pentru efectuarea de evaluri de tip peer review pentru educaia i formarea profesional iniial. Manualul a fost elaborat n cadrul proiectului Leonardo da Vinci Evaluarea de tip peer review n educaia i formarea profesional iniial, de ctre o echip de experi, reprezentani ai unui numr de opt instituii din apte ri europene. n 2006, au fost efectuate 15 evaluri pilot de tip peer review, transnaionale, n opt ri europene. Recomandrile fcute pe baza experienelor din cadrul fazei-pilot au fost luate n considerare la revizuirea procedurii europene de evaluare de tip peer review. Manualul european de evaluare de tip peer review prezint aadar o procedur care a trecut testul implementrii practice i care valorific experienele din evalurile pilot de tip peer review. Procedura european de evaluare de tip peer review implementeaz principiile Cadrului Comun de Asigurare a Calitii (CQAF) i ncearc, la rndul su, s contribuie la dezvoltarea modelului CQAF. Abordarea este una formativ, orientat spre dezvoltare. Aceast procedur are drept scop sprijinirea instituiilor/furnizorilor de educaie i formare profesional n eforturile lor de a oferi o educaie i o formare de nalt calitate. Accentul este pus pe promovarea mbuntirii continue a calitii ntr-o atmosfer deschis, de ncredere mutual, care s contribuie la sporirea transparenei i comparabilitii n Europa. Bunele practici sunt apreciate, iar nvarea reciproc ncurajat n cadrul unui proces dinamic i motivant, de pe urma cruia pot beneficia att instituia de educaie i formare profesional evaluat, ct i experii evaluatori. Manualul european de evaluare de tip peer review a fost elaborat n vederea utilizrii de ctre profesionitii din domeniul educaiei i formrii profesionale din toat Europa. Accentul este pus pe o abordare practic: manualul ofer linii directoare care pot fi implementate imediat de ctre furnizorii de educaie i formare profesional care doresc s introduc evaluarea de tip peer review n procedurile lor de asigurare a calitii i de dezvoltare. Manualul este completat de un instrumentar practic, disponibil pe site-ul proiectului, care ofer formulare, liste de verificare, informaii suplimentare i recomandri n format electronic. Setul de instrumente este de asemenea disponibil pe CD-Rom i poate fi oferit celor interesai pe baza unei solicitri adresate coordonatorului proiectului. Sperm c evaluarea european de tip peer review va corespunde ateptrilor noastre i va deveni un instrument util i atrgtor pentru instituiile/furnizorii de educaie i formare profesional din toat Europa. ntruct suntem interesai de mbuntirea procedurii europene de evaluare de tip peer review, reaciile dumneavoastr cu privire la acest manual sunt bine-venite! n numele echipei proiectului Evaluarea de tip peer review n educaia i formarea profesional iniial,

Maria Gutknecht-Gmeiner Coordonator de proiect Adresai reaciile dumneavoastr la: m.gutknecht-gmeiner@oeibf.at

Cuprins I. Introducere................................................................................................................................. 1 I.1 Ce nseamn evaluare de tip peer review?............................................................................. 1 I.2 De ce s recurgem la evaluarea de tip peer review? Avantaje i beneficii ale evalurii de tip peer review ca instrument de asigurare i dezvoltare a calitii ................. 1 I.3 Care sunt obiectivele i principiile procedurii europene de evaluare de tip peer review?............................................................................................................... 1 I.4 Evaluarea european de tip peer review i Cadrul Comun de Asigurare a Calitii.............. 3 I.5 Evaluarea european de tip peer review i abordarea integratoare a egalitii de gen........................................................................................................................................ 4 I.6 Cine poate utiliza procedura european de evaluare de tip peer review? .............................. 5 I.7 Rolul actorilor interesai n procedura european de evaluare de tip peer review................. 6 I.8 Documentaia pentru evaluarea european de tip peer review .............................................. 6 II. Procedura prezentare general............................................................................................ 7 II.1. Coordonarea i organizarea evalurii europene de tip peer review..................................... 7 II.2. Cele patru etape ale evalurii europene de tip peer review ................................................. 8 II.3. Timpul necesar estimat pentru evaluarea european de tip peer review ............................. 9 II.4. Prezentare general: Planificarea i responsabilitile n evaluarea european de tip peer review ................................................................................................................... 10 III. Procedura european de evaluare de tip peer review Pregtirea (etapa 1) .................. 13 III.1. Iniierea procedurii ........................................................................................................... 13 III.2. Selectarea i invitarea echipei de evaluatori .................................................................... 15 III.3. Autoevaluarea i raportul de autoevaluare....................................................................... 16 III.4. Pregtirea vizitei evaluatorilor ......................................................................................... 18 IV. Procedura european de evaluare de tip peer review Vizita evaluatorilor (etapa 2).................................................................................................................................. 21 IV.1. Ce se ntmpl n timpul vizitei evaluatorilor? ................................................................ 21 IV.2. Culegerea datelor ............................................................................................................. 21 IV.3. Analizarea datelor ............................................................................................................ 22 IV.4. Evaluarea i feedbackul ................................................................................................... 23 IV.5. ndeplinirea standardelor de calitate ................................................................................ 25 IV.6. Durata vizitei evaluatorilor .............................................................................................. 26 IV.7. Agenda vizitei evaluatorilor............................................................................................. 26 V. Procedura european de evaluare de tip peer review Raportul de evaluare (etapa 3).................................................................................................................................. 29 V.1. Structura raportului de evaluare de tip peer review .......................................................... 29 V.2. Principii de redactare a raportului de evaluare de tip peer review .................................... 30 V.3. De la vizita evaluatorilor la raportul final de evaluare de tip peer review ........................ 31 VI. Procedura european de evaluare de tip peer review Punerea planurilor n aciune (etapa 4) .................................................................................................................... 32 VI.1. Cum trebuie interpretate rezultatele evalurii de tip peer review? .................................. 32 VI.2. Cum trebuie pregtite procedurile de schimbare? ........................................................... 32 VI.3. Cum trebuie acionat? o abordare sistematic a procedurilor de schimbare................. 32 VII. Domeniile de calitate ........................................................................................................... 35 VII.1. Calitatea furnizrii de educaie i formare profesional i definirea domeniilor de calitate ........................................................................................................................... 35 VII.2. Relaia dintre domeniile europene de calitate pentru furnizorii de VET i cadrele instituionale/naionale .......................................................................................... 35
ii

Cuprins

VII.3. Paisprezece domenii europene de calitate pentru instituiile de educaie i formare profesional ...................................................................................................... 36 VII.4. Domeniile de calitate i modelul de asigurare a calitii din CQAF .............................. 37 VII.5. Cum sunt determinate domeniile de calitate................................................................... 37 VIII. Evaluatorii.......................................................................................................................... 39 VIII.1. Cine este evaluatorul? ................................................................................................... 39 VIII.2. Sarcina fundamental a evaluatorilor............................................................................ 39 VIII.3. Componena echipei de evaluatori ................................................................................ 39 VIII.4. Rolurile n cadrul echipei de evaluatori ........................................................................ 40 VIII.5. Competenele i expertiza evaluatorilor........................................................................ 42 VIII.6. Cererea prin care se solicit calitatea de evaluator ....................................................... 42 VIII.7. Pregtirea i instruirea evaluatorilor ............................................................................. 43 VIII.8. Legtura cu facilitatorul evalurii de tip peer review ................................................... 43 IX. Literatur i (re)surse........................................................................................................... 44 IX.1. Literatur.......................................................................................................................... 44 IX.2. Site-uri.............................................................................................................................. 45 IX.3. Rapoartele proiectului Leonardo da Vinci Evaluarea de tip peer review n educaia i formarea profesional iniial ........................................................................ 46 X. Glosar ...................................................................................................................................... 47 XI. Lista partenerilor din proiectul Leonardo da Vinci Evaluarea de tip peer review n educaia i formarea profesional iniial......................................................... 53

iii

I. Introducere
I.1 Ce nseamn evaluare de tip peer review? Evaluarea de tip peer review este o form de evaluare extern care vizeaz sprijinirea instituiei de nvmnt evaluate n eforturile sale cu privire la asigurarea i dezvoltarea calitii. Un grup extern de experi, numii evaluatori, este invitat s evalueze calitatea diferitelor segmente ale instituiei, cum ar fi calitatea educaiei i formrii oferite de fiecare departament sau de ntreaga organizaie. n timpul procesului de evaluare, evaluatorii viziteaz instituia evaluat. Evaluatorii sunt persoane externe, dar care lucreaz ntr-un mediu similar i au expertiz i cunotine profesionale specifice n domeniul evaluat. Sunt persoane independente i cu acelai statut cu persoanele ale cror performane sunt evaluate. I.2 De ce s recurgem la evaluarea de tip peer review? Avantaje i beneficii ale evalurii de tip peer review ca instrument de asigurare i dezvoltare a calitii Furnizorii europeni de educaie i formare profesional se pot atepta s beneficieze de pe urma evalurii de tip peer review, aa cum este prezentat n acest manual, dat fiind c: vor obine un feedback critic, dar binevoitor, din partea colegilor din domeniu cu privire la calitatea educaiei i formrii profesionale furnizate; se vor familiariza cu o perspectiv extern; vor afla mai multe despre calitatea serviciilor oferite; i vor prezenta punctele forte i bunele practici; va crete responsabilitatea fa de actorii interesai; vor detecta punctele nevralgice; vor primi sfaturi i vor descoperi bunele practici ale evaluatorilor; se vor implica ntr-un proces de nvare mutual cu evaluatorii; vor stabili reele de colaborare profesional cu ali furnizori de educaie i formare profesional i vor obine un raport de evaluare extern cu privire la calitatea educaiei i formrii profesionale oferite, la un pre avantajos. I.3 Care sunt obiectivele i principiile procedurii europene de evaluare de tip peer review?
I.3.1 Obiective i principii generale

Obiectivele generale ale procedurii europene de evaluare de tip peer review sunt urmtoarele: promovarea asigurrii i dezvoltrii calitii; sporirirea transparenei i comparabilitii calitii n domeniul educaiei i formrii profesionale n Europa, prin stabilirea unui standard comun i sprijinirea egalitii anselor. Cerinele i caracteristicile specifice importante ale acestei proceduri sunt urmtoarele: concentrarea asupra celor implicai, asupra intereselor i nevoilor acestora; obiectivitatea i imparialitatea evaluatorilor;
1

I. Introducere

transparena tuturor elementelor procedurii fa de toate persoanele implicate; reguli cu privire la confidenialitate i la folosirea rezultatelor, care s fie stabilite dinainte i la care s adere toate persoanele implicate; evitarea conflictelor de interese i a competiiei directe ntre evaluatori (i instituiile din care provin acetia) i instituia evaluat; promovarea deschiderii, integritii i sinceritii ca o condiie preliminar pentru nvarea mutual; recunoaterea influenelor culturale, att n ceea ce privete furnizarea de educaie i formare profesional, ct i n ceea ce privete evaluarea, mai ales n cazul evalurilor transnaionale de tip peer review; promovarea unei atitudini iscoditoare i critice att din partea evaluatorilor, ct i a instituiei evaluate i proiectarea i implementarea unei evaluri de tip peer review care s nu fie o procedur tehnic i birocratic, ci un proces dinamic i motivant, de pe urma cruia s poat beneficia att instituia evaluat, ct i evaluatorii.

I.3.2 Evaluarea european de tip peer review ca procedur de evaluare voluntar i formativ

Procedura european de evaluare de tip peer review a fost elaborat pentru a fi folosit n mod voluntar de furnizorii/instituiile de educaie i formare profesional. Aceast procedur are o funcie formativ, orientat spre dezvoltare, i pune un accent deosebit pe promovarea mbuntirii continue a calitii. Evaluarea european de tip peer review sprijin furnizorul/instituia de educaie i formare profesional n stabilirea strii de lucruri n termeni de furnizare de servicii de nalt calitate, oferind n acelai timp sugestii i recomandri preioase pentru mbuntire. Astfel, procedura european de evaluare de tip peer review se adreseaz n primul rnd furnizorilor de educaie i formare profesional care au fcut obiectul evalurii. Procedura descris n acest manual se axeaz n principal pe stimularea dezvoltrii continue a calitii.

Graficul 1: mbuntirea continu a calitii prin evaluarea de tip peer review

urmtoarea evaluare de tip peer review
Evaluare intern Implementare de msuri pentru mbuntirea calitii Plan de calitate elaborat pe baza evalurii de tip peer review Starea de lucruri n ceea ce privete asigurarea i dezvoltarea calitii Pregtire Documente, organizare

evaluare colegial

Program de formare

Evaluatori

I.4 Evaluarea european de tip peer review i Cadrul Comun de Asigurare a Calitii Procedura de evaluare de tip peer review descris n acest manual respect prevederile Cadrului Comun de Asigurare a Calitii (CQAF) elaborat de Grupul Tehnic de Lucru (TWG) pentru calitate n educaia i formarea profesional (Grupul Tehnic de Lucru Calitate n educaia i formarea profesional 2003 i 2004) i adoptat de Consiliul European n 2004. Pornind de la acest Cadru Comun, evaluarea de tip peer review poate fi implementat ca o nou metodologie pentru asigurarea i mbuntirea calitii. Ea poate fi folosit pentru o evaluare intern extins, precum i pentru monitorizarea extern a calitii educaiei i formrii profesionale furnizate. n plus, au fost propuse criterii de calitate i indicatori pentru Domeniul Calitii. n cadrul acestei metodologii este adoptat Modelul de Asigurare a Calitii propus de Grupul Tehnic de Lucru. Printre elementele sale se numr cercul de management al calitii, larg rspndit n planurile de management al calitii de ultim generaie. Evaluarea european de tip peer review ca procedur sistematic poate fi descris dup cum urmeaz:

I. Introducere Graficul 2: Modelul de Asigurare a Calitii al CQAF i evaluarea de tip peer review

Autoevaluarea furnizorilor de educaie i formare profesional (Raport de autoevaluare)

Follow-up: Punerea planurilor n practic (Consecinele raportului de evaluare de tip peer review i activiti de follow-up)

Metodologia evalurii de tip peer review

Evaluare de tip peer review (Analizarea raportului de autoevaluare; vizita evaluatorilor)

Raportul de evaluare de tip peer review (indicnd punctele forte i segmentele care necesit mbuntiri)

I.5 Evaluarea european de tip peer review i abordarea integratoare a egalitii de gen Abordarea integratoare a egalitii de gen este un principiu cluzitor al procedurii europene de evaluare de tip peer review. Procesul de evaluare de tip peer review trebuie s contribuie la eliminarea inegalitilor existente i la promovarea egalitii ntre brbai i femei n ceea ce privete ratele de participare, distribuirea resurselor, beneficiilor, sarcinilor i responsabilitilor n educaia i formarea profesional, precum i n viaa public i privat (n conformitate cu articolele 2 i 3 din Tratatul de la Amsterdam, 1999). Analiza aprecierii i ateniei acordate nevoilor, rolurilor, comportamentelor i intereselor tipic masculine i feminine ar trebui s serveasc drept punct de plecare pentru investigarea felului n care stereotipurile de gen i inegalitile de gen sunt construite social i ntrite prin structuri i practici formale i informale. Toate msurile i activitile trebuie atent examinate din punctul de vedere al potenialului de sporire a refleciei critice i de ncurajare a schimbrii. Astfel, o condiie preliminar pentru implementarea abordrii integratoare a egalitii de gen n evaluarea de tip peer review european este ca fiecare persoan implicat n procesul de evaluare de tip peer review s reflecteze la problemele legate de gen. n cadrul procedurii europene de evaluare de tip peer review trebuie respectate urmtoarele criterii de gen i standarde de calitate: Abordarea integratoare a egalitii de gen trebuie introdus n toate etapele i la toate nivelurile din cadrul procedurilor de evaluare de tip peer review. n toate rapoartele, precum i n timpul evalurii de tip peer review, trebuie folosit un limbaj sensibil la gen. Datele culese trebuie segregate n funcie de sex, pentru a reprezenta brbaii i femeile (cursani i cursante; personal feminin i masculin).
4

n raportul de autoevaluare, precum i n procesul de evaluare de tip peer review, trebuie adoptat o analiz de gen a domeniului calitii. n echipa de evaluare de tip peer review trebuie inclus un evaluator cu expertiz de gen (competen suplimentar). Componena echipei trebuie s reflecte o reprezentare corespunztoare a brbailor i a femeilor. Nevoile de formare profesional n raport cu genul i cu abordarea integratoare a egalitii de gen trebuie identificate i satisfcute nainte de evaluarea de tip peer review. n timpul evalurii de tip peer review, genul trebuie luat n considerare la alctuirea grupurilor de respondeni, la pregtirea i realizarea interviurilor i observrilor (formulare sensibil la gen a ntrebrilor i criteriilor pentru interviuri/observri, limbaj i comportament sensibile la gen n timpul interviurilor i observrilor), precum i n ceea ce privete analiza (evitarea stereotipurilor de gen la evaluare etc.). Dac bugetele sunt supuse unei analize amnunite, va trebui efectuat o analiz de gen a bugetului colii i a bugetului alocat educaiei.

nainte de nceperea oricrei evaluri de tip peer review, trebuie efectuat o analiz de gen a instituiei de educaie i formare profesional drepturile, resursele, participarea, valorile i normele legate de gen (date cantitative i, dac este posibil, evaluri calitative segregate n funcie de sex); grupului de evaluare componen, nevoi de formare n raport cu genul i cu abordarea integratoare a egalitii de gen; raportului de autoevaluare analiz de gen a domeniilor examinate, folosirea limbajului. Dac sunt prevzute msuri pentru contracararea inegalitilor de gen, atunci trebuie efectuat o evaluare a impactului de gen. Prin evaluarea impactului de gen se nelege folosirea unor criterii relevante din punctul de vedere al genului pentru compararea i evaluarea situaiei i tendinei actuale n raport cu evoluia preconizat dup introducerea politicii propuse. Odat ce s-a stabilit c procesul de evaluare are implicaii pentru relaiile de gen, trebuie efectuat, nc de la nceput, o evaluare a impactului de gen. Criteriile pentru evaluarea impactului de gen sunt diferenele dintre brbai i femei cu privire la participare, resurse, norme i valori, drepturi. Abordarea integratoare a egalitii de gen poate fi de asemenea aleas ca domeniu al calitii pentru evaluarea european de tip peer review. n setul de instrumente vei gsi o list de verificare pentru indicatorii de politici n ceea ce privete abordarea integratoare a egalitii de gen.

I.6 Cine poate utiliza procedura european de evaluare de tip peer review? Principalul grup-int pentru procedura european de evaluare de tip peer review este reprezentat de furnizorii de educaie i formare profesional iniial din Europa, cu experien n asigurarea i dezvoltarea calitii. Experiena minim recomandat ca o condiie preliminar pentru efectuarea unei evaluri de tip peer review este ca furnizorul de educaie i formare profesional s fi trecut anterior cel puin o dat printr-un proces de autoevaluare. Ce se nelege prin termenii instituii i/sau furnizori de educaie i formare profesional iniial? n Manualul de evaluare de tip peer review, termenii instituie de educaie i formare profesional i furnizor de educaie i formare profesional sunt folosii ca sinonime. Ei se refer la instituiile care rspund de asigurarea i dezvoltarea calitii formrii profesionale, n special la nivel de
5

I. Introducere

coal/facultate, dar i la nivelul instituiei responsabile la nivel naional sau local, dac aici au loc sau sunt coordonate sistemele de asigurare sau dezvoltare a calitii. I.7 Rolul actorilor interesai n procedura european de evaluare de tip peer review Se recomand implicarea diferitelor grupuri de actori interesai n procesul global de evaluare. Actorii interesai n educaia i formarea profesional sunt toi cei care lucreaz i nva n cadrul unei instituii de educaie i formare profesional: profesori, cursani, personal administrativ; parteneri de cooperare ai furnizorului de educaie i formare profesional; prini; absolveni; coli ai cror absolveni sunt admii n programele de educaie i formare profesional iniial, precum i instituii de formare continu; poteniali angajatori i piaa forei de munc; autoriti din domeniul nvmntului i parteneri sociali; societatea n ansamblul su. O atenie deosebit trebuie acordat ntreprinderilor care sunt parteneri n educaia i formarea profesional (scheme de ucenicie, practic etc.), precum i viitorilor angajatori. Actorii interesai pot fi intervievai att n timpul autoevalurii, ct i n timpul evalurii de tip peer review. Pot de asemenea fi evaluatori dac experiena i know-how-ul contribuie la proces. n plus, actorii interesai (sau grupurile de actori interesai) pot beneficia de rezultatele evalurii de tip peer review (de exemplu, raportul de evaluare de tip peer review). I.8 Documentaia pentru evaluarea european de tip peer review
I.8.1 Portofoliul evalurii europene de tip peer review

Toate documentele relevante pentru evaluarea european de tip peer review trebuie colectate de furnizorul de educaie i formare profesional ntr-un portofoliu al evalurii de tip peer review europene. Acest portofoliu conine Fia de informaii iniiale, Raportul de autoevaluare, Raportul de evaluare de tip peer review i alte documente importante strnse n timpul procesului de evaluare de tip peer review. n cadrul proiectului Leonardo Evaluarea de tip peer review n educaia i formarea profesional iniial, portofoliul a cuprins de asemenea un certificat.
I.8.2 Certificatul de evaluare european de tip peer review

Coordonatorul proiectului Leonardo da Vinci Evaluarea de tip peer review n educaia i formarea profesional iniial, n colaborare cu comitetul director, a acordat un Certificat de evaluare european de tip peer review acelor furnizori de educaie i formare profesional care au efectuat cu succes o evaluare de tip peer review n conformitate cu cerinele formulate n acest manual.

II. Procedura prezentare general

II.1. Coordonarea i organizarea evalurii europene de tip peer review Evalurile de tip peer review pot fi organizate n diferite moduri n funcie de: 1) reelele de colaborare profesional disponibile, 2) resursele (de personal i financiare) i 3) nevoile i cerinele furnizorilor de educaie i formare profesional. Evaluarea individual de tip peer review poate fi efectuat de un furnizor de educaie i formare profesional care dorete s obin un feedback extern din partea evaluatorilor i intenioneaz s creeze o reea de colaborare cu ali furnizori de educaie i formare profesional n mod ad hoc i spontan, folosind contactele existente. Nu este nevoie de o colaborare ulterioar ntre furnizorul de VET supus evalurii i instituiile de VET din care fac parte evaluatorii. Sunt de asemenea posibile evaluri de tip peer review reciproce, ntre doi furnizori de educaie i formare profesional, ceea ce necesit o colaborare mai strns i mai constant. n majoritatea cazurilor, evalurile de tip peer review sunt efectuate n cadrul unei reele de trei sau mai muli parteneri. Aceste reele fie deja exist, fie sunt create n scopul efecturii evalurilor de tip peer review. Astfel, colaborarea se extinde, de la o activitate singular la dezvoltarea unei reele cuprinztoare: pot fi introduse activiti preliminare obinuite, cum ar fi selectarea evaluatorilor, instruire, stabilirea perechilor de evaluatori furnizori de educaie i formare profesional, precum i scheme de evaluare i de monitorizare. De obicei, reeaua de evaluare de tip peer review stabilete, de comun acord, liniile directoare i indicatorii. Toate acestea presupun o reea mai stabil i necesit structuri adecvate i resurse suficiente. Avantajele acestei abordri ar putea fi: sinergii cu privire la efectuarea de evaluri de tip peer review ntre furnizorii de educaie i formare profesional din reea; o extindere a numrului i a backgroundului instituional al posibililor evaluatori; o mai larg recunoatere extern a evalurii de tip peer review (care va fi pe deplin acceptat, cel puin n cadrul reelei); sporirea anselor de obinere a unor rezultate secundare n sensul unor activiti ulterioare de colaborare, n afara evalurii de tip peer review. Dac evalurile de tip peer review trebuie efectuate n cadrul unei reele mai extinse, va fi nevoie de un organism de coordonare care s asigure evaluri de tip peer review de nalt calitate i coordonarea efectiv a membrilor reelei. Aceast funcie poate fi asumat de unul dintre furnizorii de educaie i formare profesional din reea. Printre sarcinile acestui organism de coordonare se numr, de exemplu, gestionarea reelei, coordonarea elaborrii procedurilor comune (linii directoare i indicatori), oferirea de asisten i de consultan furnizorilor de educaie i formare profesional, n mod individual, selectarea i instruirea evaluatorilor, coordonarea i monitorizarea evalurilor de tip peer review. Din acest motiv, procedura european de evaluare de tip peer review cuprinde de asemenea descrierea sarcinilor i responsabilitilor organismului de coordonare.

II. Procedura prezentare general

Evaluarea european de tip peer review n practic: coordonarea evalurilor de tip peer review din reea Evalurile pilot de tip peer review, efectuate n cadrul proiectului Leonardo da Vinci Evaluarea de tip peer review n educaia i formarea profesional iniial au avut drept punct de plecare o reea de 14 parteneri operativi. Procesul a fost coordonat i monitorizat de patru instituii care au rspuns de faza pilot n cadrul structurii de gestionare global a proiectului: ibf (Institutul Austriac pentru Cercetare n Domeniul Formrii Profesionale) i FNBE (Agenia Naional de nvmnt din Finlanda) au rspuns de coordonarea i monitorizarea evalurilor de tip peer review; Universitatea din Pcs a rspuns de procesarea cererilor primite din partea celor care solicitau calitatea de evaluator i de crearea unei baze de date cu experi evaluatori pentru proiect;1 Aberdeen College a furnizat i administrat un curs de instruire online pentru evaluatori. n plus, n rile cu mai mult de un partener operativ, partenerii coordonatori naionali din reea au oferit sprijin partenerilor operativi n timpul fazei pilot.

Graficul 3: Evaluarea de tip peer review n reeaua de parteneri a proiectului Evaluarea colegial n educaia i formarea profesional iniial
Furnizor de VET Furnizor de VET Furnizor de VET

Furnizor de VET

Asisten pentru furnizorii de VET

Furnizor de VET

Furnizor de VET

Instruirea evaluatorilor

Parteneri coordonatori Metodologia evalurii colegiale

Grupul de evaluatori

Furnizor de VET

Furnizor de VET

Planificarea evalurilor de tip peer review

Furnizor de VET

Furnizor de VET

Furnizor de VET

Furnizor de VET

II.2. Cele patru etape ale evalurii europene de tip peer review Procedura de evaluare de tip peer review cuprinde 4 etape. 1. Evaluarea de tip peer review ncepe cu etapa pregtitoare. n aceast prim faz, este organizat evaluarea de tip peer review, iar furnizorul de educaie i formare profesional ntocmete un raport

Aceast baz de date este n prezent lrgit de ibf, devenind Registrul evaluatorilor europeni.

de autoevaluare. Evaluatorii trebuie recrutai i instruii. Se stabilete o planificare pentru evaluare i sunt fcute pregtirile necesare pentru vizita evaluatorilor. 2. n a doua etap are loc vizita evaluatorilor, care reprezint activitatea central a procedurii de evaluare de tip peer review: evaluatorii viziteaz furnizorul de educaie i formare profesional i efectueaz evaluarea. Aceast evaluare include un tur al localului i interviuri cu diferite grupuri de pri interesate. La sfritul vizitei, evaluatorii ofer feedback verbal iniial. 3. Dup vizit, evaluatorii ntocmesc un proiect de raport. Furnizorul de educaie i formare profesional face comentarii cu privire la acest raport, dup care este ntocmit raportul final de evaluare de tip peer review. 4. A patra etap este crucial pentru mbuntirea ofertei de educaie i formare profesional i pentru dezvoltarea organizaional: rezultatele i recomandrile fcute n urma evalurii de tip peer review sunt transpuse n aciuni concrete, care sunt apoi elaborate i implementate.
Graficul 4: Cele patru etape ale evalurii tip peer review europene
Etapa 1 Pregtirea (minimum 3 luni) Iniierea procedurii Invitarea evaluatorilor Autoevaluarea i raportul de autoevaluare Pregtirea vizitei evaluatorilor

Urmtoarea evaluare de tip peer review

Etapa 4 Punerea planurilor n aciune (6-12 luni) Formularea obiectivelor Identificarea resurselor Planul de aciune i implementarea acestuia Planificarea urmtoarei evaluri

Etapa 2 Vizita evaluatorilor (2-3 zile) Culegerea datelor Analizarea datelor Feedback verbal

Etapa 3 Raportul de evaluare de tip peer review (4 sptmni) Proiectul de raport Comentariile furnizorului de VET

II.3. Timpul necesar estimat pentru evaluarea european de tip peer review
II.3.1. Timpul necesar pentru pregtire

Pregtirea i organizarea unei evaluri de tip peer review necesit o lung perioad de timp. Dac autoevaluarea a fost deja efectuat, procesul de evaluare de tip peer review poate ncepe imediat. Cu toate acestea, trebuie alocate cel puin trei luni pentru pregtirea i organizarea evalurii. Raportul de autoevaluare trebuie s fie disponibil cu cel puin o lun nainte de evaluarea de tip peer review, astfel nct evaluatorii s se poat pregti corespunztor pentru vizit. Dac nu s-a efectuat n prealabil o autoevaluare, nainte de evaluarea de tip peer review trebuie prevzut o perioad de minimum ase luni pentru autoevaluare.
9

II. Procedura prezentare general

II.3.2. Timpul necesar pentru vizita evaluatorilor i pentru raport

Vizita evaluatorilor dureaz de obicei ntre dou i trei zile; poate de asemenea dura pn la cinci zile, n funcie de mrimea instituiei supuse evalurii i de anvergura evalurii de tip peer review, i.e. cte domenii de calitate sunt investigate. Experiena dobndit n faza pilot a proiectului Evaluarea de tip peer review n educaia i formarea profesional iniial sugereaz c este bine s se prevad ntre dou i trei zile pentru vizita evaluatorilor, plus o jumtate de zi de munc de pregtire realizat n cadrul echipei de evaluatori nainte de vizit: s-a considerat c o singur zi este insuficient pentru efectuarea unei evaluri serioase i cuprinztoare (i dac evaluatorii trebuie s se deplaseze, fondurile pentru acoperirea cheltuielilor de cltorie trebuie de asemenea folosite n mod eficient), n timp ce vizitele mai lungi de trei zile ar reprezenta un efort prea mare, att pentru evaluatori, ct i pentru funizorul de educaie i formare profesional. Anvergura evalurii de tip peer review, i.e. numrul de domenii de calitate investigate, trebuie s fie n concordan cu acest interval de timp (vezi de asemenea Capitolul 3 i Capitolul 7).
II.3.3. Timpul necesar pentru implementarea msurilor de mbuntire i procedurilor de schimbare

n termen de dou luni de la primirea raportului final de evaluare de tip peer review trebuie prezentat un plan de aciune; trebuie alocat o perioad de cel puin ase luni un an pentru ca msurile de follow-up s fie implementate i s produc rezultate. II.4. Prezentare general: Planificarea i responsabilitile n evaluarea european de tip peer review
Tabelul 1: Sarcinile furnizorilor de educaie i formare profesional, ale evaluatorilor i ale organismului de coordonare n cadrul procedurii europene de evaluare de tip peer review, n ordine cronologic

Etapa 1 Pregtirea Furnizorul/Instituia de educaie i formare profesional Iniierea procedurii: Hotrte efectuarea unei evaluri de tip peer review Ia decizii cu privire la organizarea extern a evalurii de tip peer review (evaluare individual de tip peer review, reea de evaluare de tip peer review) Ia decizii cu privire la organizarea intern a evalurii de tip peer review (responsabiliti i sarcini) Hotrte care domenii de calitate vor fi supuse evalurii Trimite organismului de coordonare Fia de informaii iniiale (care cuprinde i o propunere de planificare a evalurii) Opional: organizeaz o ntlnire de coordonare ntre furnizorii/instituiile de educaie i formare profesional din reea i organismul de coordonare Evaluatorii i echipa de evaluatori: Caut evaluatori adecvai, n funcie de domeniile de calitate care vor fi analizate Evaluatorii sunt rugai s trimit cereri organismului de coordonare Selecteaz evaluatorii, n urma consultrii cu organismul de coordonare ncheie contracte cu evaluatorii Autoevaluarea i raportul de autoevaluare: Efectueaz autoevaluarea ntocmete raportul de autoevaluare Raportul de autoevaluare este trimis evaluatorilor i organismului de coordonare Evaluatorii i organismul de coordonare primesc restul documentelor necesare
10

Pregtirea vizitei evaluatorilor: Programeaz vizita evaluatorilor: se stabilete data i se ntocmete planul de lucru Organizeaz vizita pregtitoare a evaluatorilor Se ocup de pregtirile interne pentru vizita evaluatorilor (camere i echipament, interviuri, prnz, turul localului etc.) Recomandabil: organizarea unei ntlniri preliminare ntre evaluatori i furnizorul de educaie i formare profesional pentru a clarifica sarcinile legate de evaluare i a rspunde ntrebrilor evaluatorilor (Sesiune de ntrebri i rspunsuri) Evaluatorii Evaluatorii i echipa de evaluatori: Fac cerere prin care solicit s fie evaluatori Semneaz contractul de evaluare de tip peer review Se pregtesc pentru evaluarea de tip peer review i sunt instruii n acest sens Autoevaluarea i raportul de autoevaluare: Primesc rapoartele de autoevaluare de la furnizorii de educaie i formare profesional Citesc i analizeaz raportul de autoevaluare Identific domeniile care trebuie analizate i temele de evaluare pentru evaluarea de tip peer review Pregtirea vizitei evaluatorilor: Ajut la programarea vizitei evaluatorilor, mai ales la ntocmirea ordinei de zi a evalurii de tip peer review n cadrul echipei de evaluatori se face schimb de opinii cu privire la coninutul raportului de autoevaluare i se convine asupra temelor de evaluare pentru evaluarea de tip peer review Pregtesc ntrebrile pentru interviuri i criteriile de observare Iau parte la ntlnirea pregtitoare a evaluatorilor pentru team-building i pentru pregtirea vizitei evaluatorilor Se recomand: participarea la ntlnirea preliminar dintre evaluatori i furnizorul de educaie i formare profesional n scopul clarificrii sarcinilor privind evaluarea i obinerii, dac este cazul, de informaii suplimentare (Sesiune de ntrebri i rspunsuri) Organismul de coordonare Iniierea procedurii: Transmite furnizorilor/instituiilor VET informaii cu privire la evaluarea de tip peer review Colecteaz Fiele de informaii iniiale ntocmete un plan iniial cu privire la programarea evalurii de tip peer review (plan master), pe baza informaiilor coninute n Fiele de informaii iniiale primite de la furnizorii de educaie i formare profesional Opional: organizeaz o ntlnire de coordonare ntre furnizorii/instituiile de educaie i formare profesional din reea i organismul de coordonare Evaluatorii i echipa de evaluatori: Caut evaluatori adecvai solicit, proceseaz i evalueaz cererile Stabilete perechile de evaluatori furnizori/instituii de educaie i formare profesional (n funcie de domeniile care vor fi analizate) Selecteaz evaluatorii (n urma consultrii cu furnizorul/instituia de educaie i formare profesional) Ofer asisten la ncheierea contractului cu evaluatorii Autoevaluarea i raportul de autoevaluare: Primete rapoartele de autoevaluare de la furnizorii de educaie i formare profesional Transmite evaluatorilor rapoartele de autoevaluare (dac nu au fost transmise direct) Pregtirea vizitei evaluatorilor: Programeaz vizita evaluatorilor (n urma consultrii cu furnizorul VET i cu evaluatorii) Organizeaz pregtirea i instruirea evaluatorilor
11

II. Procedura prezentare general

Etapa 2 Vizita evaluatorilor Furnizorul/Instituia de educaie i formare profesional Ofer asisten evaluatorilor cu privire la urmtoarele aspecte: Pune la dispoziie spaiul (birouri de lucru) i echipamentul necesar Faciliteaz interviurile i observrile Faciliteaz vizitarea localului instituiei Primete feedback din partea evaluatorilor Se angajeaz n procesul de validare comunicativ1 Evaluatorii Colecteaz date Viziteaz localul Realizeaz interviuri i observri Analizeaz i discut, n cadrul echipei de evaluatori, constatrile efectuate pe parcursul evalurii Efectueaz o evaluare profesionist i ajung la concluzii comune Ofer feedback verbal furnizorului de educaie i formare profesional Se angajeaz n procesul de validare comunicativ Efectueaz o metaevaluare n cadrul echipei de evaluatori Organismul de coordonare Opional: se implic n vizitele evaluatorilor

Etapa 3 Raportul de evaluare de tip peer review Furnizorul/Instituia de educaie i formare profesional Face comentarii cu privire la proiectul raportului de evaluare de tip peer review Evaluatorii Redacteaz raportul de evaluare de tip peer review i l prezint furnizorului/instituiei de educaie i formare profesional Primesc comentariile din partea furnizorului/instituiei de educaie i formare profesional i finalizeaz raportul de evaluare

Etapa 4 Punerea n aciune a planurilor Furnizorul/Instituia de educaie i formare profesional Hotrte urmrirea aspectelor constatate n timpul evalurii de tip peer review Stabilete msuri de mbuntire Implementeaz msurile de mbuntire Planific i efectueaz urmtoarea evaluare de tip peer review Organismul de coordonare Opional: se implic n procesul de follow-up

Prin validare comunicativ se nelege procesul prin care se solicit actorilor interesai un feed-back sistematic cu privire la constatrile fcute, pentru discutarea datele culese i pentru interpretarea acestora. 12

III. Procedura european de evaluare de tip peer review Pregtirea (etapa 1)

III.1. Iniierea procedurii
III.1.1. Decizia de a efectua o evaluare de tip peer review

Iniierea unei evaluri de tip peer review presupune: decizia de efectuare a unei evaluri europene de tip peer review luat cu mare responsabilitate de ctre echipa managerial i de alte pri interesate importante; decizia cu privire la amploarea evalurii de tip peer review dac trebuie s includ ntreaga instituie sau numai anumite dimensiuni ale aceasta; decizia cu privire la scopurile i obiectivele evalurii de tip peer review; distribuirea sarcinilor i responsabilitilor, inclusiv numirea unui facilitator al evalurii de tip peer review i a unei echipe pentru evaluarea calitii; decizia cu privire la timpul i resursele alocate evalurii de tip peer review. Eficacitatea n termeni de mbuntire a calitii depinde de cooperarea i participarea persoanelor implicate. nc de la nceput trebuie garantat att angajamentul personalului de conducere (director, efi de departament etc.), ct i al personalului didactic i administrativ i al altor pri interesate importante. Acest angajament trebuie s includ i intenia explicit de implicare n implementarea procedurilor de schimbare ca activitate de follow-up dup raportul de evaluare de tip peer review, n etapa 4 a procedurii de evaluare (Punerea n aciune a planurilor). Responsabilitatea pentru coordonarea tuturor activitilor legate de evaluarea de tip peer review trebuie s revin unui facilitator al evalurii. Acesta, n calitate de reprezentant al personalului instituiei va fi veriga de legtur dintre furnizorul/instituia de educaie i formare profesional evaluat() i echipa de evaluatori care evalueaz instituia. Facilitatorul trebuie atent selectat, deoarece va juca un rol esenial n evaluarea de tip peer review.
III.1.2. Decizia cu privire la domeniile de calitate

Urmtorul pas este luarea unei decizii cu privire la domeniile de calitate care vor fi supuse evalurii de tip peer review. Aceast decizie trebuie luat de conducere, de comun acord cu personalul instituiei i, dac este posibil, cu alte pri interesate importante. Furnizorii/Instituiile de educaie i formare profesional trebuie s aleag doar acele domenii de calitate asupra crora au influen. Pentru o prezentare general a domeniilor de calitate, vezi Capitolul VII. Printre chestiunile care pot fi luate n considerare la alegerea domeniilor de calitate se numr urmtoarele:1 Exist domenii de calitate care sunt eseniale date fiind cerinele i standardele de calitate naionale/regionale/locale etc.? Exist domenii de calitate care reprezint exemple de bun practic i de excelen? Exist domenii de calitate care trebuie evaluate urgent, i.e. deoarece au fost detectate probleme?

Pe lng acestea, se poate lua n considerare problema obinerii unui Certificat de evaluare european de tip peer review. Totui, aceast problem este relevant doar dac exist structuri adecvate (de exemplu, un organism de coordonare) care s supravegheze i s monitorizeze evalurile europene de tip peer review i s elibereze certificate acelor furnizori de educaie i formare profesional care au efectuat cu succes o evaluare de tip peer review n conformitate cu cerinele formulate n acest manual (vezi de asemenea Capitolul I.8.2). 13

III. Procedura european de evaluare de tip peer review Pregtirea (etapa 1)

Exist domenii de calitate de o importan deosebit, i.e. deoarece urmeaz s fie iniiate noi proiecte? Exist domenii de calitate unde au avut loc inovaii, ceea ce face necesar evaluarea? Exist domenii de calitate care prezint un interes deosebit pentru anumite pri interesate importante?

Principiul de baz n selectarea domeniilor de calitate este relevana acestora. De asemenea, trebuie luat n considerare i fezabilitatea: cu ct gama de domenii de calitate care trebuie evaluate este mai larg, cu att va fi nevoie de mai mult timp i de mai multe resurse pentru efectuarea evalurii. O politic a pailor mruni va fi deci cea mai adecvat, mai ales n cazul furnizorilor de educaie i formare profesional cu foarte puin experien n evaluare. (Acetia pot de asemenea decide s testeze procedura numai pentru anumite componente ale instituiei lor.) Pentru o vizit de dou zile a evaluatorilor se recomand s nu fie alese mai mult de dou domenii de calitate doar evaluatorii foarte experimentai vor fi capabili s se ocupe de mai multe domenii n acest interval de timp. Alegerea a prea multe domenii de calitate fie va duce la o evaluare superficial, fie i va obliga pe evaluatori s se concentreze numai asupra anumitor aspecte din domeniile de calitate respective. Mai mult, pentru a reduce efortul de autoevaluare, se recomand includerea unor domenii care au fost supuse anterior unei evaluri interne. Pot fi formulate, de asemenea, ntrebri speciale pentru evaluatori: pe lng domeniile de calitate, furnizorii de educaie i formare profesional pot da ca sarcin evaluatorilor s acorde o atenie special unor probleme i ntrebri precise care sunt deosebit de importante pentru furnizorul de educaie i formare profesional. Aceasta va spori utilitatea rezultatelor evalurii de tip peer review.

III.1.3. Documentaia i informaiile iniiale

Deciziile de baz cu privire la efectuarea evalurii de tip peer review trebuie prezentate de furnizorul de educaie i formare profesional n form scris. Fia de informaii iniiale pentru evaluarea de tip peer review reprezint documentaia intern, precum i informaiile externe pentru organismul de coordonare, evaluatori, ali furnizori VET din reea etc. Formularul trebuie completat i trimis organismului de coordonare n timp util, i.e. cu cel puin trei luni nainte de evaluarea de tip peer review. Fia de informaii iniiale pentru evaluarea de tip peer review cuprinde: 1) datele de contact, 2) situaia de pornire i decizia de a efectua o evaluare de tip peer review (i cine a luat decizia), 3) obiectivele i scopul evalurii de tip peer review, 4) modul n care va fi organizat, 5) distribuirea intern a sarcinilor i responsabilitilor, 6) prezentarea general a procedurii i a planificrii (ce aciuni vor fi realizate i cnd), 7) domeniile de calitate, 8) comentarii suplimentare i 9) list de posibili evaluatori. n setul de instrumente vei gsi formularul Fi de informaii iniiale pentru evaluarea de tip peer review.

14

III.1.4. Opional: ntlnirea de coordonare

Dac evalurile de tip peer review sunt organizate ca evaluri reciproce sau n cadrul unei reele de furnizori de educaie i formare profesional, o ntlnire ntre reprezentanii furnizorilor VET (i organismul de coordonare, dac este cazul) va mbunti ntregul proces.1 Planul de lucru poate cuprinde urmtoarele activiti: Prezentarea fiecruia, scurte autoportrete ale furnizorilor de educaie i formare profesional; Ateptrile furnizorilor de educaie i formare profesional, motivaia conducerii i personalului didactic; Informare cu privire la procedura de evaluare de tip peer review i discuii pe aceast tem (scop, obiective, proces i activiti, resurse i timp de lucru pentru persoanele implicate); Domeniile de expertiz (competenele) ale evaluatorilor, modul de selectare a acestora; Angajamentul conducerii i personalului implicat; Dac este cazul: informare i/sau luare de decizii cu privire la implicarea autoritilor; Dac este cazul: relaii contractuale ntre 1) furnizorii VET i/sau 2) furnizorii VET i organismul de coordonare; Aciuni viitoare, programarea evalurii, ntrebri.
III.1.5. Recomandabil: Contracte ntre furnizorii VET i organismul de coordonare

Dac evalurile de tip peer review sunt de mai mare amploare, este de preferat ca sarcinile i responsabilitile diferitelor pri implicate s fie consemnate ntr-un acord reciproc scris.2 Printre principalele prevederi pe care trebuie s le cuprind un astfel de contract se numr: Scopul acordului; Drepturile i sarcinile, ateptrile reciproce, condiiile partenerilor din reea (i ale organismului de coordonare, dac este cazul); Obiectivele procedurii de evaluare de tip peer review; Distribuirea intern a sarcinilor i responsabilitilor; Costurile; Protecia datelor; Implicarea autoritilor din nvmnt (dac este cazul); Planul de aciune i responsabilitatea pentru implementarea planului de aciune; Procedur, aciuni, programare. III.2. Selectarea i invitarea echipei de evaluatori Dup decizia de efectuare a evalurii de tip peer review i alegerea domeniilor de calitate, furnizorul de educaie i formare profesional i/sau organismul de coordonare se va/vor ocupe de recrutarea evaluatorilor. Potenialilor evaluatori li se pot furniza informaii preliminare cu privire la procedura de evaluare de tip peer review i la sarcinile evaluatorilor. Evaluatorii pot proveni din alte instituii de educaie i formare profesional sau din instituii care reprezint pri interesate. Furnizorii VET pot propune evaluatori adecvai. Alternativ, evaluatorii pot solicita ei nii participarea la evaluarea de tip peer review. Dac nu exist un organism de coordonare sau dac implicarea acestuia este doar tangenial, evaluatorii pot fi selectai i invitai de
1

n cadrul proiectului european Evaluarea de tip peer review n educaia i formarea profesional iniial a avut loc n acest sens a treia ntlnire transnaional de la Trento (16-17 ianuarie 2006). 2 n cadrul proiectului european Evaluarea de tip peer review n educaia i formarea profesional iniial aceste chestiuni au fost reglementate de contractele ntre parteneri. 15

III. Procedura european de evaluare de tip peer review Pregtirea (etapa 1)

ctre furnizorii de educaie i formare profesional. Se recomand folosirea unui formular standard de cerere pentru evaluatori. Dincolo de competenele i experiena evaluatorilor, un factor important n alctuirea echipelor de evaluatori l reprezint disponibilitatea. Astfel, domeniile de expertiz ale evaluatorilor trebuie s concorde cu domeniile de calitate care vor fi supuse evalurii i, n acelai timp, programul evaluatorilor i cel al furnizorilor VET trebuie s fie compatibile. Coordonatorul evaluatorilor trebuie selectat cu deosebit atenie: acesta va fi persoana-cheie din echipa de evaluatori i va rspunde global de procesul de evaluare de tip peer review: comunicare i coordonare n echipa de evaluatori; gestionarea timpului; relaiile cu furnizorul de educaie i formare profesional etc. Dac procesul de evaluare de tip peer review urmeaz s fie coordonat de un expert n evaluare, trebuie recrutat i acesta. Mai multe informaii privind evaluatorii i selectarea acestora putei gsi n Capitolul VIII. n setul de instrumente vei gsi un Formular de cerere pentru evaluatori. Furnizorul de VET sau organismul de coordonare trebuie s informeze din timp evaluatorii cu privire la obligaiile i sarcinile pe care le au i s ncheie un contract. De asemenea, evaluatorilor trebuie s li se transmit Fia de informaii iniiale, precum i un rezumat privind ceea ce se ateapt de la ei pe parcursul evalurii de tip peer review. Aceste informaii pot fi anexate la o scrisoare oficial de invitaie care va fi trimis imediat ce s-au stabilit perechile de evaluatori furnizori de educaie i formare profesional i au fost programate evalurile. n setul de instrumente vei gsi un Model de contract pentru evaluatori. Rezumnd, selectarea evaluatorilor presupune: solicitarea de cereri din partea evaluatorilor, folosindu-se un formular standard de cerere; selectarea evaluatorilor n funcie de expertiza pe care o dein i stabilirea perechilor de evaluatori furnizori de VET; opional: recrutarea unui expert n evaluare care s coordoneze procesul de evaluare de tip peer review; nominalizarea unui coordonator al echipei de evaluatori; planificarea evalurii de tip peer review; transmiterea de informaii ctre evaluatori, cu privire la: 1) procedura de evaluare de tip peer review, 2) furnizorul de educaie i formare profesional pe care urmeaz s l evalueze i 3) obligaiile i sarcinile care le revin; ncheierea unui contract cu evaluatorii i trimiterea unei scrisori oficiale de invitaie ctre evaluatori. III.3. Autoevaluarea i raportul de autoevaluare
III.3.1. Recomandri privind realizarea autoevalurii

Analiza sistematic a punctelor tari i a segmentelor care necesit mbuntiri reprezint o condiie preliminar pentru evaluarea de tip peer review. Prin urmare, nainte de evaluarea extern de tip peer review, trebuie realizat o autoevaluare sistematic a tuturor domeniilor de calitate alese pentru evaluare, iar rezultatele acestei autoevaluri trebuie prezentate ntr-un raport de autoevaluare. Autoevaluarea trebuie s reprezinte o investigaie la nivel instituional (sau la nivelul departamentelor, sucursalelor etc. unei instituii), dar poate fi precedat i sprijinit de evalurile individuale ale personalului, n special ale personalului didactic. Pentru evalurile individuale poate fi introdus o
16

procedur de evaluare de tip peer review ntre profesori (cf. Gutknecht-Gmeiner, 2005: Partea I: Cercetarea i analiza internaional). Pentru evaluarea european de tip peer review nu este prevzut o procedur specific de autoevaluare. Dimpotriv, furnizorii de educaie i formare profesional sunt ncurajai s foloseasc evaluri deja efectuate, pentru a evita dublarea eforturilor. Astfel, dac a fost realizat o autoevaluare cu mai puin de doi ani nainte de evaluarea de tip peer review, rezultatele acesteia pot fi folosite i trebuie doar consemnate n raport. Pentru acele domenii sau criterii care nu au fost ns supuse evalurii, trebuie efectuate evaluri suplimentare. Dac un furnizor de educaie i formare profesional efectueaz pentru prima oar o autoevaluare, se recomand s solicite ndrumare (i chiar consultan). Exist o multitudine de ghiduri i manuale cu privire la modul n care trebuie planificat i efectuat o autoevaluare. Un exemplu, n acest sens, l reprezint Ghidul european de autoevaluare pentru furnizorii de educaie i formare profesional, elaborat prin colaborare european de ctre Grupul Tehnic de Lucru pentru calitate.1

III.3.2. Criterii de calitate pentru autoevaluare

Autoevaluarea poate fi efectuat prin diferite modaliti. Furnizorii de educaie i formare profesional pot alege procedura adecvat, n funcie de interesele, nevoile i experiena lor. Se recomand totui folosirea unei proceduri clare i structurate, care s se axeze pe domeniile de calitate relevante i pe ntrebrile de evaluare. Pe lng un angajament clar din partea conducerii i personalului, responsabilitile i sarcinile celor implicai n procedur trebuie s fie la rndul lor transparente. Procedura trebuie: s fie efectuat ntr-un mod transparent i corect; s implice toi actorii interesai importani; s utilizeze metode adecvate de evaluare; s duc la mprtirea corespunztoare a informaiilor i rezultatelor. nc de la nceput trebuie asigurat fezabilitatea autoevalurii din punctul de vedere al timpului i resurselor.

III.3.3. Profilul autoevalurii: evaluarea punctelor tari i a segmentelor care necesit mbuntiri

Pe parcursul autoevalurii, pentru fiecare dintre domeniile de calitate evaluate, trebuie identificate punctele tari i segmentele care necesit mbuntiri. Aciunile care trebuie realizate n scopul mbuntirii vor fi de asemenea discutate i consemnate n raportul de autoevaluare. O analiz SWOT, de exemplu, procedur bine-cunoscut, simpl i care nu presupune un mare consum de timp, permite obinerea unui profil al performanelor din domeniile de calitate alese. Punctele tari i segmentele care necesit mbuntiri trebuie identificate pe baza criteriilor corespunztoare fiecrui domeniu de calitate (cf. Capitolul VII).

Ravnmark, Lise-Lotte (2003): Ghid european de autoevaluare pentru furnizorii de educaie i formare profesional, Grupul Tehnic de Lucru pentru calitate n educaia i formarea profesional; disponibil la adresa http://communities.trainingvillage.gr/quality n englez, german, francez i italian. 17

III. Procedura european de evaluare de tip peer review Pregtirea (etapa 1)

III.3.4. Raportul de autoevaluare

Raportul de autoevaluare este documentul esenial pentru procedura de evaluare de tip peer review. Acesta trebuie s conin toate informaiile necesare n vederea pregtirii evalurii de tip peer review, s ating toate aspectele care vor fi evaluate. n vreme ce furnizorii de educaie i formare profesional sunt liberi s i aleag metodele i procedurile de autoevaluare, rapoartele de autoevaluare trebuie s aib un format standard, pentru a permite comparabilitatea. Descrierea rezultatelor autoevalurii trebuie s fie clar, concis i serioas. Raportul de evaluare trebuie s conin o anex n care sunt prezentate dovezile pe care se sprijin rezultatele evalurii. n setul de instrumente vei gsi un Formular de autoevaluare, pe care este recomandabil s l folosii. Prima parte a raportului este o actualizare a Fiei de informaii iniiale, care conine toate datele relevante cu privire la procedura de evaluare de tip peer review. A doua parte cuprinde o descriere a furnizorului de educaie i de formare profesional i a programelor de studii oferite, misiunea instituiei, date statistice i informaii referitoare la chestiuni de organizare. A treia parte conine rezultatele autoevalurii n domeniile de calitate alese. Aceast seciune trebuie s furnizeze o evaluare a punctelor tari i a segmentelor care necesit mbuntiri i, de asemenea, s indice ntrebri speciale de evaluare pentru evaluatori. Aceste ntrebri i vor ajuta pe evaluatori s vizeze, prin evaluarea de tip peer review, acele aspecte care prezint o importan deosebit pentru furnizorul de educaie i formare profesional. Documentele suplimentare pot fi puse n anex. III.4. Pregtirea vizitei evaluatorilor
III.4.1. Sarcinile furnizorului de educaie i formare profesional

Dup stabilirea datei pentru vizita evaluatorilor, precum i dup recrutarea i invitarea evaluatorilor, facilitatorul evalurii de tip peer review trebuie s se asigure c evaluatorii vor primi raportul de autoevaluare i toate documentele necesare cu cel puin o lun naintea vizitei.
III.4.1.1. Recomandabil: ntlnire ntre furnizorul de VET i echipa de evaluatori.

Se recomand organizarea unei ntlniri ntre furnizorul de educaie i formare profesional i echipa de evaluatori n scopul clarificrii ntrebrilor evaluatorilor i discutrii ordinii de zi a vizitei. n timpul acestei ntlniri pot fi rafinate ntrebrile de evaluare i luate decizii cu privire la metodele de evaluare i la actorii interesai care vor fi intervievai. La cererea evaluatorilor, pot fi oferite informaii suplimentare. Rezultatul ntlnirii este un plan de lucru detaliat al vizitei evaluatorilor.
III.4.1.2. ntocmirea ordinii de zi pentru vizita evaluatorilor

Facilitatorul evalurii de tip peer revew trebuie s ntocmeasc un plan de lucru detaliat i realist pentru vizita evaluatorilor. n acest scop, facilitatorul trebuie s fie ajutat de expertul n evaluare i/sau de evaluatori, ntruct planul de lucru va reflecta tipul de metode de evaluare care vor fi folosite i actorii interesai care se vor implica n vizita evaluatorilor. Planul de lucru trebuie ntocmit cu atenie pentru a asigura succesul vizitei. n setul de instrumente vei gsi exemple de ordini de zi pentru vizita evaluatorilor.
18

III.4.1.3. Organizarea intern a vizitei evaluatorilor

Sarcina organizrii interne a vizitei evaluatorilor revine facilitatorului evalurii de tip peer review, care rspunde de bunul mers al vizitei. Organizarea intern presupune: selectarea repondenilor; asigurarea spaiului (birouri de lucru) i a echipamentului necesar; ntocmirea unui plan al localului colii i amplasarea de indicatoare (opional); invitarea repondenilor; informarea i invitarea altor pri interesate implicate; vizitarea localului etc. Birourile de lucru trebuie s fie adecvate i ferite de zgomote. Un astfel de spaiu trebuie rezervat pe parcursul ntregii zile pentru ntlniri periodice ale echipei de evaluatori. O camer spaioas trebuie rezervat pentru informare i pentru ntlnirea final dintre reprezentanii instituiei de educaie i formare profesional i echipa de evaluatori.
III.4.2. Sarcinile evaluatorilor III.4.2.1. Pregtirea n vederea evalurii de tip peer review

Pentru a se pregti n vederea evalurii de tip peer review, evaluatorii trebuie: s citeasc i s analizeze Fia de informaii iniiale i raportul de autoevaluare (i, dac este cazul, s cear informaii suplimentare); s participe, nainte de evaluarea de tip peer review, la ntlnirea cu furnizorul de educaie i formare profesional (recomandabil); s participe la instruirea evaluatorilor; s fac schimb de opinii, n cadrul echipei de evaluatori, cu privire la raportul de autoevaluare i s convin asupra temelor de evaluare; s ntocmeasc, mpreun cu facilitatorul evalurii de tip peer review, planul de lucru pentru vizita evaluatorilor; s participe, nainte de evaluarea de tip peer review, la o ntlnire a echipei de evaluatori (n ziua/seara de dinaintea vizitei); s pregteasc ntrebrile pentru interviuri i criteriile de observare.

III.4.2.2. Programul de instruire a evaluatorilor

nainte de evaluarea de tip peer review, evaluatorii trebuie s participe la un Program de instruire a evaluatorilor n scopul pregtirii pentru activitatea de evaluatori externi (vezi Capitolul VIII.7).
III.4.2.3. ntlnirea pregtitoare a evaluatorilor i ntlnirea pregtitoare cu furnizorul de educaie i formare profesional

Este foarte important ca echipa de evaluatori s se ntlneasc naintea vizitei pentru a se cunoate i a pregti mpreun vizita. Aceasta va spori coeziunea echipei i eficiena colaborrii n timpul evalurii. Este bine ca evaluatorii s citeasc i s analizeze raportul de autoevaluare nainte de aceast ntlnire, astfel nct s se poat face primele schimburi de opinii i s fie discutate ntrebri i teme specifice. Dac este posibil, aceast ntlnire este bine s aib loc n ziua premergtoare nceperii evalurii de tip peer review. De asemenea, evaluatorii se pot ntlni cu reprezentanii furnizorului de educaie i formare profesional care urmeaz s fie supus evalurii (cf. supra, Capitolul III.4.1.1). Procesul de evaluare poate fi considerabil mbuntit dac se organizeaz o Sesiune de ntrebri i
19

III. Procedura european de evaluare de tip peer review Pregtirea (etapa 1)

rspunsuri cu furnizorul de educaie i formare profesional, reprezentat de obicei de facilitatorul evalurii de tip peer review. Pentru o organizare mai eficient a activitilor pregtitoare, ambele ntlniri pot fi programate n aceeai zi i, dac este posibil, pot fi combinate cu instruirea evaluatorilor. La modul ideal, ntreaga echip de evaluatori particip mpreun la seciunea fa-n-fa a programului de instruire. Dup sau n timpul instruirii, evaluatorilor li se altur facilitatorul evalurii de tip peer review (eventual i ali reprezentani ai personalului din instituia de VET). Dup discuiile cu reprezentantul (reprezentanii) furnizorului de educaie i formare profesional are loc o ntlnire a echipei de evaluatori.
Graficul 5: Responsabilitile i sarcinile n pregtirea pentru evaluarea de tip peer review

Organismul de coordonare: Monitorizeaz i ofer sprijin Plan master (pe baza Fielor de informaii) Evaluarea cererilor primite din partea evaluatorilor Alctuirea echipelor de evaluatori Furnizarea de instruire pentru evaluatori

Coordonatorul evaluatorilor Coordonarea i reprezentarea echipei de evaluatori

Facilitatorul evalurii de tip peer review Coordonarea i reprezentarea instituiei de educaie i formare profesional

Echipa de evaluatori Instruirea evaluatorilor Studierea raportului de autoevaluare Schimburi ntre evaluatori (e-mail, telefon, ntlniri personale) Sarcini suplimentare: Subcontracte cu furnizorul de educaie i formare profesional Solicitare de materiale suplimentare ntlnire nainte de vizit cu furnizorul de educaie i formare profesional (dac este posibil) Propuneri pentru planul de lucru al vizitei evaluatorilor Definirea grupurilor pentru interviuri/a sarcinilor de observare Organizarea unei ntlniri a evaluatorilor (n ajunul vizitei evaluatorilor sau, dac este posibil, mai devreme)

Furnizorul de educaie i formare profesional Autoevaluare Raport de autoevaluare Sarcini suplimentare: Subcontracte pentru evaluatori Transmitere de materiale (raport de autoevaluare, alte materiale solicitate de evaluatori) Informarea din timp a tuturor colegilor i a altor pri interesate cu privire la evaluarea de tip peer review ntlnire nainte de vizit cu evaluatorii (dac este posibil) Oferirea de feedback cu privire la planul de lucru Programarea vizitei Invitarea grupurilor pentru interviuri/planificarea observrilor Pregtiri interne (spaiu de lucru, echipament etc.)

20

IV. Procedura european de evaluare de tip peer review Vizita evaluatorilor (etapa 2)
IV.1. Ce se ntmpl n timpul vizitei evaluatorilor? Pe parcursul vizitei, evaluatorii efectueaz o evaluare focalizat, axat pe domeniile de calitate alese de furnizorul de educaie i formare profesional. Baza pentru aceast evaluare o reprezint analiza raportului de autoevaluare primit n prealabil i a altor documente relevante. n timpul vizitei, evaluatorii verific acurateea celor consemnate n documentele de autoevaluare i efectueaz propria investigaie. Toate acestea presupun de obicei culegerea de date suplimentare. Pot fi utilizate diferite metode de evaluare. n afar de analiza documentelor disponibile (care, n timpul vizitei, poate fi extins i la alte surse de informaii scrise), metodele cele mai obinuite sunt interviurile i discuiile de grup (focus grup), precum i observrile. Evaluatorii trebuie apoi s analizeze i s discute datele culese. La sfritul vizitei, evaluatorii ofer furnizorului de educaie i formare profesional un feedback iniial. n funcie de obiectivele evalurii de tip peer review, vizita evaluatorilor poate fi de asemenea folosit pentru un schimb mai larg de informaii ntre evaluatori i reprezentanii furnizorului de VET, cuprinznd elemente de consultan din partea evaluatorilor. IV.2. Culegerea datelor Metodele cele mai obinuite de culegere a datelor sunt:
IV.2.1. Interviuri de grup i individuale

Interviurile sunt metoda cea mai folosit n evalurile de tip peer review. Obiectivul este culegerea a ct mai multe informaii de la diferite pri interesate. Interviurile pot fi realizate cu persoane individuale sau cu grupuri de persoane (de obicei 5 6 persoane, putnd merge pn la maximum 10 persoane). De obicei, grupurile sunt relativ omogene (focus grupuri), dar sunt posibile i grupuri de reprezentani ai unor pri interesate diferite. Pentru unele pri interesate importante, de exemplu cursani i profesori, pot fi organizate dou grupuri independente de interviu, pentru a obine un feedback cuprinztor. Cine va fi intervievat? De obicei, n procedura de evaluare trebuie implicai reprezentanii tuturor prilor interesate relevante. Relevana grupurilor de persoane interesate depinde de domeniul (domeniile) de calitate supuse evalurii. Furnizorul de educaie i formare profesional va alege persoanele interesate care vor fi intervievate. n aceast alegere, poate primi sprijin din partea evaluatorilor i a expertului n evaluare. Repondenii sunt de obicei: manageri (directori de instituie, efi de departament etc.); membri ai personalului (profesori i personal non-didactic); cursani; foti cursani; alte pri interesate, cum ar fi: reprezentani ai companiilor, prini, furnizori, parteneri sociali, alte instituii de nvmnt, autoriti din domeniul nvmntului etc.

21

)IV. Procedura european de evaluare de tip peer review Vizita evaluatorilor (etapa 2)

Sarcina invitrii grupurilor de repondeni revine furnizorului de educaie i formare profesional, care n vederea asigurrii corectitudinii evalurii se va asigura c repondenii de la nivelul fiecrei pri interesate sunt alei pe criterii de reprezentativitate. La alctuirea grupurilor pentru interviuri, o atenie deosebit trebuie acordat unor aspecte referitoare la: ierarhii formale sau informale, conflicte existente, interese diverse etc., care pot afecta sinceritatea repondenilor. n setul de instrumente vei gsi fie pentru Procesul-verbal al interviului i Analiza interviului pentru evaluatori.

IV.2.2. Vizitarea localului

n cadrul vizitei, ntreaga echip de evaluatori sau un perechea de evaluatori (din care, la modul ideal, ar trebui s fac parte i coordonatorul evaluatorilor, care va redacta i raportul evalurii de tip peer review) evalueaz infrastructura i echipamentul. n timpul acestei vizite a localului pot fi colectate informaii suplimentare.

IV.2.3. Observarea (n clase, laboratoare, ateliere, terenuri de sport etc.)

n timpul vizitei evaluatorilor pot fi efectuate i observri. Observarea la clas este forma cea mai obinuit, dar observrile pot fi efectuate i n timpul practicii profesionale, i.e. n laboratoare, ateliere etc., precum i n alte situaii (pauze etc.). Dac se efectueaz observri, acestea trebuie bine pregtite. Obiectivul(ele) i subiectul observrii trebuie fixate anterior (dac este posibil, mpreun cu persoana care va fi evaluat) i trebuie stabilit o procedur sistematic de consemnare a observaiilor. La evaluarea final trebuie reunite evalurile situaiilor individuale, astfel nct concluziile s se concentreze asupra furnizorului de VET n ansamblul su, i nu asupra profesorilor individuali.1 Observarea procesului de predare i a activitilor specifice de nvare poate fi combinat cu vizitarea localului, care, n acest caz, va dura mai mult. Vizitele la clas se concentreaz de obicei asupra unei anumite teme. Poate fi urmrit, de asemenea, activitatea unor clase ntregi pe parcursul unei zile sau toate clasele pot fi vizitate pentru o scurt perioad de timp.
IV.2.4. Alte metode

Exist un larg repertoriu de metode care pot fi folosite pentru a adapta procesul la obiectivele i coninutul evalurii. Pe lng elementele centrale cele mai comune ale vizitei evaluatorilor, descrise mai sus, pot fi utilizate i alte metode, cum ar fi: (scurte) chestionare i sondaje, colectarea i analiza documentelor relevante, urmrirea la clas, evaluarea fotografiilor, filmelor sau imaginilor, jocuri de rol etc.

IV.3. Analizarea datelor nainte de vizita propriu-zis, evaluatorii trebuie s realizeze o analiz i o evaluare preliminar, pe baza raportului de autoevaluare. n timpul vizitei, se recomand s se clasifice i s se discute imediat constatrile din timpul activitilor i sesiunilor individuale. Evaluatorii nu trebuie s trag concluzii
Dac sunt identificate probleme serioase care privesc un singur profesor, feedbackul trebuie oferit direct profesorului (i, posibil, i directorului), dar nu trebuie menionat n raportul de evaluare de tip peer review. 22
1

pripite, ci s analizeze atent probele gsite i s colecteze informaii suplimentare dac datele nu sunt concludente. O validare comunicativ a constatrilor mai ales cu sprijinul cursanilor, ca beneficiari finali, sau al conducerii poate de asemenea ajuta la anularea aprecierilor iniiale i la obinerea unei impresii mai cuprinztoare. Pentru a filtra, analiza i discuta informaiile colectate, trebuie alocat suficient timp pentru schimburi repetate la nivelul perechilor de evaluatori, precum i pentru analiza final a constatrilor, n cadrul echipei de evaluatori. Evaluarea european de tip peer review n practic: rezervai timp pentru analiz Experiena evaluatorilor n faza pilot a proiectului Evaluarea de tip peer review n educaia i formarea profesional iniial indic faptul c alocarea unui interval amplu de timp pentru analiz este un element esenial: dac vizita evaluatorilor se axeaz n principal pe culegerea de mari cantiti de informaii, rmne prea puin timp pentru analizarea i nelegerea acestora. Evaluatorii se simt copleii, stresai, nemulumii i ntmpin dificulti n procesul de evaluare final. Prin urmare, trebuie gsit un echilibru ntre cerina de a culege informaii ct mai cuprinztoare de la diferite pri interesate (cf. infra, Triangulaia) i nevoia de a face o analiz aprofundat i de a discuta constatrile.

IV.4. Evaluarea i feedbackul Elementul central al unei evaluri de tip peer review este evaluarea, i.e. judecata profesionist fcut de evaluatori. Este necesar s se aloce un interval amplu de timp pentru sarcina dificil de a organiza i filtra cele constatate, de a judeca n ce msur sunt fiabile i relevante, precum i pentru a discuta diferite puncte de vedere i opinii n cadrul echipei de evaluatori i a ajunge la concluzii comune. nainte de sesiunea de feedback cu furnizorul de educaie i formare profesional trebuie s aib loc o ultim ntlnire a evaluatorilor. n timpul acestei ntlniri, datele culese vor fi evaluate i clasificate n funcie de relevan i de reprezentativitate. Chestiunile importante pot fi selectate i vizualizate pe flipcharturi, pentru a putea fi prezentate furnizorului de VET n cadrul sesiunii de feedback. n timpul ntlnirilor de discuii ale evaluatorilor trebuie luate n considerare punctele de vedere ale membrilor echipei de evaluatori. Se recomand ca evaluatorii s ajung la concluzii consensuale; nu trebuie s se fac dri de seam cu opinii divergente dect dac nu s-a putut ajunge la un acord. Toate aprecierile trebuie susinute cu argumente. n setul de instrumente vei gsi o Fi de evaluare a domeniului de calitate.
IV.4.1. Feedbackul verbal

Un element foarte util l constituie sesiunea de feedback de la sfritul evalurii de tip peer review, n cadrul creia evaluatorii comunic instituiei evaluate cele constatate (i, posibil, i recomandrile lor). Aceasta permite de asemenea o validare comunicativ comentarii directe din partea instituiei, inclusiv clarificarea nenelegerilor sau a concluziilor irelevante i un schimb ntre evaluatori i instituia evaluat. Feedbackul poate fi descriptiv descriind pur i simplu constatrile din timpul vizitei evaluatorilor sau poate presupune comunicarea unei evaluri, n care sunt identificate punctele tari i segmentele care necesit mbuntiri. Acest al doilea tip este cel ntlnit de obicei n evaluarea european de tip peer review.1
Feedbackul descriptiv va fi oferit dac 1) furnizorul de educaie i formare profesional cere n mod explicit acest tip de feedback sau 2) atitudinile culturale fa de feedback i / sau lipsa de experien sau o experien negativ a furnizorului de VET n domeniul evalurii externe sugereaz c este necesar s se adopte o procedur prudent. 23
1

)IV. Procedura european de evaluare de tip peer review Vizita evaluatorilor (etapa 2)

Oferirea i primirea feedbackului este, bineneles, o sarcin delicat. Pe de o parte, evaluatorii trebuie s fie pe deplin contieni de rspunderea pe care o au de a oferi furnizorului de educaie i formare profesional un feedback util i critic, ntr-un mod binevoitor i profesionist. Atunci cnd aprecierile sunt prezentate n timpul sesiunii de feedback verbal de la sfritul vizitei evaluatorilor, ele trebuie pregtite i formulate cu mare grij, pentru a nu ofensa pe reprezentanii furnizorului de educaie i formare profesional i a nu genera conflicte. Pe de alt parte, reprezentanii furnizorului de educaie i formare profesional nu trebuie nici s se apere, nici s susin un punct de vedere contrar, ci s accepte feedbackul ca o informaie preioas pentru procesul lor de dezvoltare. Elementul central al acestui schimb verbal trebuie s fie nelegerea deplin a feedbackului. Astfel, att evaluatorii, ct i furnizorul de educaie i formare profesional trebuie s colaboreze n scopul tratrii constructive a feedbackului. Este recomandat ca personalul instituiei furnizoare de VET evaluat s adopte o poziie sigur de sine, acceptnd n acelai timp criticile. Evaluatorii trebuie s se abin de la orice fel de comentarii generalizante sau comentarii centrate pe anumite persoane. Toi cei implicai trebuie s foloseasc un limbaj inofensiv, iar descrierile trebuie s fie ct mai clare, i nu abstracte; evaluatorii trebuie s se concentreze asupra comportamentului i nu asupra presupuselor caracteristici personale; trebuie menionate att aspectele pozitive, ct i cele negative, iar judecile i concluziile trebuie s se bazeze pe fapte i observaii. n setul de instrumente vei gsi o List de verificare pentru evaluatori cu privire la feedbackul reflexiv i constructiv (vezi Reguli de baz pentru evaluatori).

IV.4.2. Evaluarea final

Evaluarea final trebuie realizat numai de ctre evaluatori, dup sesiunea de feedback (inclusiv validarea comunicativ), astfel nct s poat fi luate n considerare comentariile i feedbackul din partea furnizorului de educaie i formare profesional. Aprecierile i concluziile vor fi incluse n raportul de evaluare de tip peer review.

IV.4.3. Recomandri

Recomandrile fac parte de obicei din procedurile de evaluare. n evaluarea european de tip peer review, evaluatorii vor preciza n raportul de evaluare segmentele care presupun mbuntiri, indicnd astfel furnizorului de educaie i formare profesional necesitatea lurii de msuri cu privire la aspectele respective. n afar de aceast evaluare indicativ, evaluatorii vor face recomandri numai la solicitarea furnizorului de educaie i formare profesional. Dac furnizorul de VET nu dorete recomandri din partea evaluatorilor n timpul evalurii de tip peer review, acest aspect trebuie clarificat nainte de evaluare n momentul n care sunt definite sarcinile evaluatorilor sau cel puin nainte de sesiunea de feedback. Dac furnizorul de VET dorete recomandri, acestea pot fi prezentate i discutate n timpul vizitei evaluatorilor, ntr-un schimb deschis ntre evaluatori i reprezentanii furnizorului de educaie i formare profesional. O asemenea discuie trebuie s se axeze pe schimburile reciproce i pe nvarea din exemplele de bun practic.

24

IV.4.4. Consultana oferit de evaluatori

Aa cum s-a subliniat i mai nainte, n procesul de evaluare de tip peer review, feedbackul eficient reprezint agentul principal pentru mbuntirea calitii i nvarea reciproc. Feedbackul poate fi o comunicare unilateral, dar poate de asemenea lua forma unui dialog ntre evaluatori i instituia evaluat. ntr-o discuie cu privire la punctele forte i la segmentele care necesit mbuntiri, evaluatorii pot da sfaturi cu privire la anumite aspecte. Totui, trebuie acionat cu atenie: evaluatorii trebuie s se concentreze n mod clar asupra situaiei discutate i s nu ncerce s converteasc furnizorul de educaie i formare profesional supus evalurii i s-l determine s adopte soluii care se bucur de succes n instituiile din care provin evaluatorii. Din nou, evaluatorii trebuie s i asume rolul suplimentar de consultani doar la solicitarea expres a furnizorului de VET.
IV.4.5. Ce se ntmpl dac evaluatorii fac constatri importante dar din arii neconvenite anterior?

Dei evaluarea de tip peer review trebuie s se axeze n special pe domeniile de calitate alese, se poate ntmpla ca anumite constatri importante fcute de evaluatori s priveasc chestiuni care nu fac parte din domeniile de calitate convenite anterior. n acest caz, evaluatorii i furnizorul de educaie i formare profesional trebuie s decid de comun acord cum s se raporteze la aceste rezultate. Cu toate c digresiunile de la temele convenite trebuie limitate, feedbackul nu trebuie suprimat automat dac nu corespunde ariei de aciune convenite anterior. Constatrile suplimentare pot fi prezentate doar oral (de exemplu, n cadrul sesiunii de feedback) sau, cu acordul prilor, pot s fie inserate i n raportul de evaluare de tip peer review, ca addenda.

IV.5. ndeplinirea standardelor de calitate

IV.5.1. Verificarea surselor (triangulatie)1

Folosirea de diferite metode i de diferite surse de informaii la culegerea datelor contribuie la calitatea evalurii n termeni de obiectivitate, fiabilitate i corectitudine. n timpul vizitei evaluatorilor, solicitarea unor puncte de vedere diverse din partea diferitelor pri interesate le va permite evaluatorilor s dobndeasc o imagine mai precis i mai detaliat.
IV.5.2. Validarea oral

Validarea oral este utilizat n cercetarea social calitativ pentru a spori corectitudinea rezultatelor: prilor interesate li se solicit sistematic feedback cu privire la constatrile fcute, pentru a oferi actorilor posibilitatea de a evalua acurateea att a datelor culese, ct i a interpretrii acestora. Validarea poate fi efectuat n orice moment al evalurii de tip peer review; n majoritatea cazurilor este folosit n fazele finale ale vizitei, de exemplu cu puin nainte, n timpul sau dup sesiunea de feedback cu furnizorul de educaie i formare profesional.
IV.5.3. Reguli de baz pentru evaluatori

Comportamentul profesionist al evaluatorilor este o cerin esenial de calitate. Evaluatorii trebuie s adopte o poziie critic, rmnnd n acelai timp deschii i asertivi. n Instrumentar vei gsi o list de Reguli de baz pentru evaluatori.

n cercetarea social, abordarea care utilizeaz concomitent diferite metode i surse poart numele de triangulaie. 25

)IV. Procedura european de evaluare de tip peer review Vizita evaluatorilor (etapa 2)

IV.5.4. Gestionarea timpului

Buna gestionare a timpului este fundamental pentru succesul evalurii de tip peer review. Este absolut nevoie de o ordine de zi realist, ntruct activitile dureaz de obicei mai mult dect s-a planificat iniial: dac ordinea de zi este prea ncrcat, orice mic ntrziere poate avea consecine grave (timpul alocat interviurilor se reduce, observrile nu ncep la timp, se acumuleaz ntrzieri, activitile trebuie amnate etc.). Prin urmare, ordinile de zi trebuie s prevad anumite intervale de timp (de exemplu, pauze mai lungi) care s permit recuperarea eventualelor ntrzieri. n timpul vizitei evaluatorilor, respectarea programului este esenial. Facilitatorul evalurii de tip peer review este cel care rspunde de organizarea intern pe tot parcursul vizitei evaluatorilor disponibilitatea respondenilor i a claselor n timpul perioadei de culegere a datelor, organizarea ntlnirii finale, rezolvarea problemelor logistice (de exemplu, transportul), dac este necesar. Nu n ultimul rnd, evaluatorilor li se cere un nalt nivel de disciplin n ceea ce privete respectarea programului. Coordonatorul echipei de evaluare (care poate fi ajutat de expertul n evaluare) este cel care rspunde de gestionarea timpului. Acesta trebuie s supravegheze respectarea intervalelor de timp prevzute n ordinea de zi, punctualitatea evaluatorilor i s se asigure c sesiunile de discuii din cadrul echipei de evaluatori nu se prelungesc i c, n cazul n care apar probleme, se iau decizii cu privire la cea mai bun utilizare a timpului rmas la dispoziie.

IV.6. Durata vizitei evaluatorilor Durata vizitei echipei de evaluare depinde de mrimea instituiei de educaie i formare profesional, de domeniile de calitate asupra crora s-a convenit s se realizeze evaluarea i de timpul avut la dispoziie. Se recomand planificarea unor vizite relativ scurte, ntruct: 1) o vizit a evaluatorilor va perturba, ntr-o anumit msur, procesele obinuite din instituia evaluat 2) evaluatorii nu pot absenta de la activitatea lor profesional curent o perioad lung de timp. Se recomand vizite de 2, maximum 3 zile.

IV.7. Agenda vizitei evaluatorilor n instrumentar vei gsi un model de Ordine de zi pentru vizita evaluatorilor.
IV.7.1. Opional: Sesiune de ntrebri i rspunsuri

Dac evaluatorii au nc nevoie de informaii sau de clarificri din partea furnizorului de educaie i formare profesional cu privire la raportul de autoevaluare, la temele de evaluare sau la alte chestiuni relevante trebuie alocat o anumit perioad de timp pentru o Sesiune de ntrebri i rspunsuri cu facilitatorul evalurii de tip peer review i/sau ali reprezentani ai instituiei VET. La modul ideal, aceast sesiune ar trebui s aib loc nainte de evaluarea de tip peer review, fie n timpul ntlnirii dintre evaluatori i furnizorul de educaie i formare profesional, cnd este discutat ordinea de zi, fie nainte sau dup ntlnirea evaluatorilor din ajunul vizitei evaluatorilor (care are loc la sau n apropiere de instituia de VET). Dac acest lucru nu este posibil, trebuie alocat o anumit perioad de timp pentru ntrebri i rspunsuri la nceputul vizitei evaluatorilor, de exemplu n timpul sesiunii de ntmpinare.
26

IV.7.2. ntmpinarea i prima sesiune cu furnizorul de educaie i formare profesional

Facilitatorul evalurii de tip peer review ntmpin echipa de evaluatori i se asigur c au fost fcute toate pregtirile necesare n vederea vizitei. Evaluatorii se prezint instituiei de educaie i formare profesional. Facilitatorul face rezumatul scopurilor i obiectivelor procesului de evaluare de tip peer review i prezint programul. Directorii/efii de departament pot fi i ei prezeni la ntmpinarea evaluatorilor.

IV.7.3. Interviurile, observrile, turul localului i analiza n tandemul de evaluatori

Respondenii (pri interesate, cum ar fi cursani, foti cursani, profesori, reprezentani ai prilor interesate etc.) sunt intervievai n grupuri de aproximativ 5 persoane timp de 45-60 de minute. Nu pregtii mai mult de 5 sau 6 ntrebri pentru fiecare grup. Dac grupurile sunt alctuite din mai multe persoane, trebuie redus numrul de ntrebri, altfel, din cauza constrngerilor de timp, nu va putea rspunde toat lumea,. n sprijinul bunei desfurri a diferitelor activiti pe parcursul vizitei evaluatorilor, se recomand planificarea interviurilor i a celorlalte activiti i ntocmirea unei diagrame care s arate cine va fi intervievat/observat de cine, cnd i unde. Aceast diagram organizaional poate fi inclus i n ordinea de zi a vizitei evaluatorilor. n instrumentar vei gsi modele de Diagrame organizaionale pentru vizita evaluatorilor. Dac se efectueaz observri, trebuie stabilite la nceput nite linii directoare, iar la sfritul sesiunii de observare constatrile trebuie analizate i rezumate. Trebuie alocat suficient timp pentru analizarea interviurilor/observrilor. Pentru fiecare or de interviu va fi nevoie de cel puin o jumtate de or pentru o prim analiz. La ntocmirea unei ordini de zi realiste trebuie luate n considerare i pauzele.

IV.7.3.1. ntlnirea echipei de evaluatori n scopul efecturii unei prime analize interne a constatrilor

n timpul analizei interne, echipa de evaluatori i propune s obin o privire de ansamblu asupra principalelor rezultate, n scopul pregtirii ntlnirii finale cu furnizorul de educaie i formare profesional. Are loc o discuie structurat, monitorizat de coordonatorul evaluatorilor sau de expertul n evaluare. Se pregtete un feedback concis, care s fie oferit profesorilor, celorlali membri ai personalului, precum i conducerii. La o vizit de dou zile trebuie rezervate cel puin trei ore pentru aceast sarcin.

IV.7.4. Sesiunea de feedback

Dup cum s-a subliniat anterior, ntlnirea final de la sfritul vizitei evaluatorilor este un element vital al evalurii de tip peer review. Principalul scop al acestei ntlniri este oferirea de feedback furnizorului de VET i validarea comunicativ a constatrilor. La sesiunea de feedback trebuie s participe toi evaluatorii. Acetia pot fi cu toii activi n comunicarea feedbackului (lund cuvntul pe rnd) sau se poate alege o singur persoan care s prezinte feedbackul de obicei coordonatorul evaluatorilor. Expertul n evaluare poate prezida ntlnirea final.
27

)IV. Procedura european de evaluare de tip peer review Vizita evaluatorilor (etapa 2)

Din partea furnizorului de educaie i formare profesional, la ntlnirea final trebuie s fie de fa cel puin conducerea i facilitatorul evalurii de tip peer review. Participarea poate fi mai larg, n funcie de strategia intern a furnizorului de educaie i formare profesional. Prezentarea rezultatelor evalurii unui mare numr de profesori i de ali membri ai personalului din instituia de VET evaluat se poate dovedi util, ntruct ntregul proces devine foarte transparent pentru toi cei implicai i se poate primi feedback imediat. De asemenea, poate ajuta la o mai bun contientizare a problemelor dect dac se recurge doar la raportul scris (hrtia rabd totul...). n plus, se asigur astfel diseminarea rezultatelor n cadrul instituiei de educaie i formare profesional. Totui, o asemenea ntlnire este costisitoare i poate constitui o provocare organizaional pentru furnizorul de VET. Prin urmare, se poate prefera utilizarea altor ci de diseminare a rezultatelor n cadrul instituiei. Evaluatorii prezint constatrile i aprecierile pentru fiecare domeniu (de exemplu, prin vizualizare n Power Point, pe flipcharturi etc.). Conducerea i profesorii sunt invitai s comenteze. Dac printre principalele obiective ale evalurii de tip peer review se numr i consultana oferit de evaluatori, ntlnirea dintre evaluatori i furnizorul de educaie i formare profesional trebuie prelungit, pentru a permite i alte discuii.

IV.7.5. Reflecia asupra rezultatelor i metaevaluarea procesului

Dup validare, evaluatorii se ntlnesc ca s revad constatrile i evalurile. Vizita evaluatorilor se ncheie cu reflecia echipei de evaluatori asupra vizitei. Aceast sesiune final are dou scopuri principale: Trecerea n revist a recomandrilor i ntrebrilor din ntlnirea final. Echipele de evaluatori i revd observaiile cu privire la domeniile de calitate investigate. Analiza experienelor, oferind astfel indicaii pentru dezvoltarea ulterioar a procedurii de evaluare de tip peer review. n instrumentar vei gsi o fi de documentare pentru Metaevaluarea evaluatorilor.

28

V. Procedura european de evaluare de tip peer review Raportul de evaluare (etapa 3)

Raportul de evaluare de tip peer review este documentul final al procesului descris pn acum. La raport trebuie s contribuie toi evaluatorii. Totui, redactarea poate fi fcut doar de una sau dou persoane, ceilali contribuind cu comentarii. Se recomand ca responsabil cu ntocmirea raportului s fie coordonatorul evaluatorilor, mpreun cu expertul n evaluare. n urma discuiilor i argumentrilor, evaluatorii trebuie s ajung la concluzii i recomandri comune; dac acest lucru nu este posibil, pot fi prezentate i opinii divergente. Evaluarea european de tip peer review n practic: redactarea raportului Faza pilot a proiectului Evaluarea de tip peer review n educaia i formarea profesional iniial a artat n mod limpede c redactarea raportului trebuie nceput i dezvoltat ct mai mult chiar n timpul vizitei evaluatorilor; dup ce acetia se ntorc n mediul lor obinuit de lucru, se poate ca terminarea raportului s se amne cu sptmni ntregi, chiar luni. n plus, dup vizit, comunicarea direct ntre evaluatori este mai greu de realizat. Se recomand aadar ca evaluatorii s ajung la concluzii comune n timpul vizitei i ca principalele rezultate ale evalurii de tip peer review s fie deja completate pe formulare n timpul etapei de analiz (Formular de evaluare a domeniilor de calitate; Raportul de evaluare de tip peer review). Dac, n urma validrii cu furnizorul de educaie i formare profesional, este nevoie de anumite adaptri (de obicei minore), acestea trebuie fcute imediat, astfel nct n afar de unele retuuri proiectul raportului de evaluare de tip peer review s fie gata la sfritul vizitei evaluatorilor. Proiectul de raport trebuie analizat n detaliu de furnizorul de VET. Raportul final trebuie s ia n considerare aceste comentarii. n evaluarea european de tip peer review, raportul final de evaluare se adreseaz n principal furnizorului de educaie i formare profesional. Toate prile interesate relevante din organizaie (profesori, elevi, echipa de conducere, ali membri ai personalului etc.) trebuie s aib acces la acest raport. n plus, furnizorul de educaie i formare profesional poate trimite raportul prilor interesate relevante din exterior i/sau autoritilor din domeniul nvmntului. Adesea, pri din raport (de obicei rezumatul acestuia) sunt puse la dispoziia publicului larg, de exemplu sunt publicate pe internet. V.1. Structura raportului de evaluare de tip peer review Din raiuni de consecven i transparen, evaluarea de tip peer review trebuie s aib aceeai structur i acelai format ca raportul de autoevaluare i s indice punctele forte i segmentele care necesit mbuntiri. Dac este posibil la solicitarea furnizorului de educaie i formare profesional raportul cuprinde i un set de recomandri.

29

V. Procedura european de evaluare de tip peer review Raportul de evaluare (etapa 3)

Raportul de evaluare de tip peer review cuprinde: Titlu, tabl de materii (glosar i abrevieri, dac este cazul) 1. Fi de date 2. Scurt portret al furnizorului de educaie i formare profesional (aproximativ 1 pagin) 3. Procedura de evaluare de tip peer review 4. Evaluarea domeniilor de calitate 5. Evaluarea general 6. Anex: de exemplu, ordinea de zi pentru vizita evaluatorilor, linii directoare pentru interviuri, linii directoare pentru observri

n anex vei gsi un model de Raport de evaluare de tip peer review.

V.2. Principii de redactare a raportului de evaluare de tip peer review Dup ce coordonatorul evaluatorilor (cu sprijinul expertului n evaluare) a ntocmit raportul, evaluatorii l revizuiesc. Raportul trebuie s ofere o descriere a constatrilor din timpul vizitei, precum i o evaluare a acestor constatri, fcut de prietenii critici (evaluatorii). Sunt indicate punctele forte i segmentele care necesit mbuntiri i sunt prezentate concluziile. Cu acordul furnizorului de educaie i formare profesional, din raport pot face parte i recomandri. Raportul trebuie s cuprind doar acele rezultate care au fost prezentate furnizorului de educaie i formare profesional (i.e. n timpul validrii comunicative). Raportul nu trebuie s conin informaii noi pentru furnizorul de VET i nici comentarii cu privire la persoane. Proiectul de raport este citit i validat de instituia de educaie i formare profesional, care poate face comentarii asupra lui.

30

V.3. De la vizita evaluatorilor la raportul final de evaluare de tip peer review

Graficul 6: Procedura i programul pentru raportul de evaluare de tip peer review

1. ntlnirea final de la sfritul vizitei evaluatorilor Feedback verbal cu privire la rezultate Validare oral

max. 2 sptmni 2. Proiectul de raport Proiect redactat de coordonatorul evaluatorilor i de expertul n evaluare Comentarii i revizuiri fcute de evaluatori 2-3 sptmni

3. Comentariile furnizorului de educaie i formare profesional Discuii la nivelul organizaiei, la care particip personalul i conducerea Comentarii i solicitarea de modificri 1 sptmn 4. Raportul final de evaluare de tip peer review Raportul final adresat furnizorului de educaie i formare profesional n cadrul instituiei de VET: informarea i comunicarea rezultatelor tuturor prilor interesate din interior

5. Planul de aciune Pe baza rezultatelor evalurii Implementarea msurilor de mbuntire

Opional: Trimiterea raportului de evaluare de tip peer review prilor interesate din exterior i/sau autoritilor Publicarea rezumatului raportului pe internet

31

V. Procedura european de evaluare de tip peer review Raportul de evaluare (etapa 3)

VI. Procedura european de evaluare de tip peer review Punerea planurilor n aciune (etapa 4)
Evalurile trebuie ntotdeauna s aib efecte asupra muncii practice: trebuie trase concluzii i implementate intervenii ameliorative (cf. Grupul Tehnic de Lucru pentru calitate n educaia i formarea profesional, 9 f.) pentru a justifica timpul i eforturile investite n procesul de evaluare. Punerea n practic a rezultatelor evalurii de tip peer review este aadar un element fundamental pentru succesul evalurii n termeni de mbuntire sistematic, continu i susinut. Conducerii i revine sarcina de a se asigura c rezultatele evalurii de tip peer review sunt folosite n mod consecvent (cf. de asemenea Capitolul III.1.1).

VI.1. Cum trebuie interpretate rezultatele evalurii de tip peer review? Interpretarea rezultatelor evalurii de tip peer review este de obicei una dintre principalele provocri ale mbuntirii sistematice la nivelul furnizorului de educaie i formare profesional. n evaluarea european de tip peer review, exist mai multe elemente care nlesnesc definirea unor obiective i msuri adecvate. Segmentele care necesit mbuntiri vor fi indicate n timpul sesiunii de feedback i n raportul de evaluare de tip peer review ntr-un mod deschis i uor de neles; validarea constatrilor i posibilitatea unui dialog ntre evaluatori i reprezentanii colii adncesc nelegerea i aprecierea feedbackului. Dac se consider necesar, evaluatorii pot furniza i recomandri pentru procedura de continuare (follow-up). n plus, procesul de evaluare de tip peer review sprijin interpretarea calitativ a datelor din raportul de autoevaluare, precum i a datelor culese n timpul vizitei evaluatorilor: feedbackul evaluatorilor trebuie s i ofere furnizorului de VET informaii uor de neles i semnificative cu privire la ariile i interveniile ameliorative.

VI.2. Cum trebuie pregtite procedurile de schimbare? Pentru a pune rezultatele n practic, este propus un proces sistematic, fundamentat pe modelul cercului calitii. Acest proces trebuie susinut de o politic de informare sincer i cuprinztoare, prin care s se asigure accesul tuturor prilor interesate la rezultatele evalurii de tip peer review. Dac este posibil, implementarea procedurilor de schimbare trebuie precedat de o dezbatere deschis n cadrul organizaiei. Toate acestea vor mbunti calitatea deciziilor luate i vor spori motivaia i angajamentul n cadrul instituiei de educaie i formare profesional.

VI.3. Cum trebuie acionat? o abordare sistematic a procedurilor de schimbare

VI.3.1. Revizuirea obiectivelor

n msura n care acest lucru este posibil, procedurile de schimbare trebuie elaborate n colaborare n cadrul instituiei de educaie i formare profesional. Trebuie s se nceap cu revizuirea obiectivelor i planurilor de calitate, pe baza rezultatelor autoevalurii i ale evalurii de tip peer review.
32

Revizuirea trebuie s cuprind nivelul strategic i nivelul operaional, care trebuie s fie interconectate. Atingerea obiectivelor operaionale trebuie s fie posibil ntr-un interval de timp realist, ntre 6 luni i 2-3 ani. Se recomand definirea acestor obiective ca obiective SMART: S specific M msurabil A abordabil R realist T ncadrat n timp
Graficul 7: De la a ti la a aciona
Cercul dezvoltrii: de la 6 luni la 2-3 ani Pasul 1 Revizuirea obiectivelor

Urmtoarea evaluare de tip peer review

Pasul 2 Clarificarea resurselor i planificarea sprijinului Pasul 4 Evaluarea implementrii

Pasul 3 Planul de aciune i implementarea

VI.3.2 Clarificarea resurselor i planificarea sprijinului

Pentru a pune un plan n aciune, este necesar ca resursele s fie clarificate, iar planul s fie integrat n procesul de dezvoltare a instituiei. Trebuie luate n considerare nevoile individuale i instituionale: Ce fore de sprijin exist i cum pot fi folosite? (de exemplu, reele, profesori) Ce structuri de sprijin pot fi activate? (de exemplu, grupuri de calitate, observri reciproce la clas, mentorat, supraveghere, coaching, grupuri de proiect etc.) Ce resurse financiare, de personal (intern i extern) i de timp sunt disponibile? La ce obstacole trebuie s dm atenie? Cum putem gestiona situaiile dificile? Cum putem face fa rezistenei? Avem nevoie de consultan? De ce? n ce scop? Cine ar putea-o oferi? Avem nevoie de instruire educaional, de noi metode sau de noi modele de aciune? Programele de instruire pentru profesori sunt adecvate i suficiente? Pe baza informaiilor cu privire la resurse i sprijin este ntocmit un plan de aciune realist.
33

V. Procedura european de evaluare de tip peer review Raportul de evaluare (etapa 3)

VI.3.3. Planul de aciune i implementarea

La stabilirea unui plan de aciune pot fi folosite urmtoarele ntrebri cluzitoare: De unde ncepem? Care sunt urmtorii pai? Care sunt prioritile? Ce trebuie s facem pentru atingerea acestui obiectiv? Sunt obiectivele intermediare i etapele-jalon adecvate? Ce resurse (financiare, de personal, de timp) sunt disponibile? Cine este implicat sau cine i asum responsabilitatea? Ar fi convenabil numirea unui comitet director? Cine trebuie s aprobe planul de aciune? Cum putem comunica planul de aciune? Msurile care trebuie luate pot fi consemnate ntr-un plan de aciune:
Tabelul 2: Planul de aciune

Activiti Ce trebuie fcut?

Prioritate Care sunt urgenele?

Interval de timp Pn cnd?

Persoana responsabil De ctre cine?

Resurse De ce avem nevoie?

VI.3.4. Evaluarea implementrii planificarea urmtoarei evaluri de tip peer review

Toate planurile de dezvoltare la nivel individual i la nivel instituional necesit o alt bucl de feedback. Evaluarea trebuie s includ evaluarea atingerii obiectivelor propuse. Printre ntrebrile care pot fi puse pentru a determina succesul msurilor de mbuntire se numr: Cum tim dac am fcut progrese? Cum ne dm seama dac ne-am ndeplinit obiectivele? Ce criterii i indicatori ai succesului se pot formula? Ce metode de feedback aplicm? n faa cui suntem rspunztori? Cui trebuie s raportm? Cine ne aduce aminte s ne urmrim obiectivele i planurile atunci cnd le neglijm? La ce consecine pozitive ne putem atepta dac ne ndeplinim obiectivele? Cum ne recompensm dac ne ndeplinim obiectivele? La ce consecine ne putem atepta dac nu ne ndeplinim obiectivele? Autoevaluarea implementrii procedurilor de schimbare poate fi completat de feedbackul extern, prin intermediul evalurii de tip peer review ncepnd astfel urmtorul ciclu al unui proces continuu de mbuntire.

34

VII. Domeniile de calitate

VII.1. Calitatea furnizrii de educaie i formare profesional i definirea domeniilor de calitate Ce reprezint calitatea furnizrii de educaie i formare profesional? Termenul calitate este unul generic. Calitatea depinde de context, astfel c, pentru a defini calitatea, trebuie cunoscut contextul concret n care aceasta este evaluat. O indicaie util dat de Grupul Tehnic de Lucru pentru calitate n educaia i formarea profesional (cf. Faurschou, 2003) este stabilirea unui relaii ntre calitate i ndeplinirea obiectivelor legate de furnizarea de VET, i.e. analizarea realitii n raport cu ateptrile: Calitate = Experien (Realitate) / Ateptri (Obiective) Astfel, pentru a stabili care tip de furnizare de VET este de nalt calitate i care nu, trebuie s fie clare obiectivele specifice ofertei de educaie i formare profesional. Aceste obiective pot fi gsite la diferite niveluri ale sistemelor de educaie i formare profesional i variaz ntr-o oarecare msur de la o ar la alta i de la un furnizor de VET la altul. Prin urmare, nu exist o definiie sau o descriere general acceptat a aspectelor-cheie cu privire la calitate n furnizarea de educaie i formare profesional. Cu toate acestea, pentru ca evaluarea de tip peer review s aib succes, trebuie evaluate domeniile de calitate relevante. n plus, transparena i comparabilitatea ntre diferite evaluri de tip peer review nu pot fi asigurate dect dac se pornete de la un cadru comun. Prin urmare, a fost definit un cadru general al domeniilor de calitate pentru evaluarea de tip peer review european, cadru care cuprinde domeniile cruciale ale unui furnizor de VET de nalt calitate, ntr-o form clar, practic i realist i care acoper majoritatea domeniilor naionale de calitate din rile partenere, facilitnd astfel utilizarea sa la nivel european i servete ca instrument pentru confruntarea diferitelor cadre naionale de calitate, sporind astfel transparena i comparabilitatea la nivel european. VII.2. Relaia dintre domeniile europene de calitate pentru furnizorii de VET i cadrele instituionale/naionale Setul de domenii de calitate (incluznd criteriile i indicatorii, vezi infra) nu trebuie n nici un caz s nlocuiasc cadrele naionale. Se dorete sprijinirea cooperrii europene n evaluare la nivelul furnizorului de educaie i formare profesional: un cadru cu domenii de calitate comune poate fi folosit pentru facilitarea evalurilor de tip peer review transnaionale i/sau poate servi ca termen de comparaie pentru evalurile efectuate n context naional. La acest cadru pot fi adugate de asemenea elemente de calitate specifice, naionale sau instituionale, n funcie de solicitrile naionale i/sau instituionale. n cazul unei utilizri pur naionale a procedurii europene de evaluare de tip peer review, cadrele naionale se pot substitui domeniilor de calitate propuse mai jos.

35

VII. Domeniile de calitate

VII.3. Paisprezece domenii europene de calitate pentru instituiile de educaie i formare profesional Cele 14 domenii de calitate propuse sunt: Domeniul de calitate n 1: Curriculum Domeniul de calitate n 2: nvarea i predarea Domeniul de calitate n 3: Evaluarea Domeniul de calitate n 4: Rezultatele nvrii Domeniul de calitate n 5: Mediul social i accesibilitatea Domeniul de calitate n 6: Gestionarea i administrarea Domeniul de calitate n 7: Etosul instituiei i planificarea strategic Domeniul de calitate n 8: Infrastructura i resursele financiare Domeniul de calitate n 9: Distribuia personalului, recrutarea i dezvoltarea Domeniul de calitate n 10: Condiiile de lucru pentru personal Domeniul de calitate n 11: Relaiile externe i internaionalizarea Domeniul de calitate n 12: Participarea social i interaciunile Domeniul de calitate n 13: Abordarea integratoare a egalitii de gen Domeniul de calitate n 14: Managementul calitii i analiza

VII.3.1. Domenii de calitate fundamentale i opionale

Cele 14 domenii de calitate cuprind patru domenii de calitate care au legtur direct cu activitilecheie ale instituiilor de educaie i formare profesional, respectiv procesele de nvare i predare. Prin urmare, cele patru sunt numite Domenii fundamentale de calitate. ntruct aceste patru domenii de calitate sunt legate de luarea de decizii la nivel instituional, furnizorii de educaie i formare profesional din Europa trebuie s acioneze pe baza rezultatelor evalurii externe cu privire la aceste domenii. Pentru a le sublinia importana, aceste domenii de calitate sunt trecute n primele poziii ale cadrului propus pentru calitatea la nivelul furnizorului de VET. n cazul evalurii de tip peer review europene, se recomand ca mcar unul dintre cele patru domenii fundamentale de calitate s fie atins. Astfel, cele 4 domenii fundamentale de calitate sunt: Domeniul de calitate n 1: Curriculum Domeniul de calitate n 2: nvare i predare Domeniul de calitate n 3: Evaluare Domeniul de calitate n 4: Rezultatele nvrii Celelalte 10 domenii de calitate domenii opionale de calitate sunt considerate necesare pentru funcionarea instituiei de VET, sprijinind procesele din domeniile fundamentale de calitate. n proiectul Leonardo Evaluarea de tip peer review n educaia i formarea profesional iniial, Certificatul de evaluare de tip peer review european a fost acordat furnizorului/instituiei de VET doar dac minimum dou domenii de calitate fuseser evaluate cu succes, dintre care cel puin unul era un domeniu fundamental. Certificatul indic toate domeniile de calitate atinse i ntrebrile specifice de evaluare ale furnizorului de VET pentru evaluarea de tip peer review.

36

VII.4. Domeniile de calitate i modelul de asigurare a calitii din CQAF Dup cum s-a artat n introducere, procedura european de evaluare de tip peer review se bazeaz pe modelul de asigurare a calitii din Cadrul Comun de Asigurare a Calitii (CQAF). Evaluarea de tip peer review este propus ca o metodologie inovatoare pentru evaluarea extern a educaiei i formrii profesionale la nivelul furnizorului. Care este raportul dintre domeniile de calitate i modelul de asigurare a calitii din CQAF? 1) Domeniile de calitate pot fi atribuite n mod direct unuia dintre elementele modelului, de exemplu, planificarea, implementarea, evaluarea i aprecierea, analiza. Astfel, domeniile de calitate sunt legate de un cadru logic de mbuntire continu.
Graficul 8: Domeniile de calitate din Modelul de asigurare a calitii din CQAF

Planificare Domenii de calitate: 5, 6, 7, 1

Analiz Domenii de calitate: 13, 14

Metodologia evalurii de tip peer review

Implementare Domenii de calitate: 2, 8, 9, 10, 11, 12

Evaluare Domenii de calitate: 3, 4

2) n plus, n cadrul procedurii europene de evaluare de tip peer review, la evaluarea domeniilor de calitate toate elementele cercului calitii vor fi privite ntr-un mod integrat i sistematic. Planificarea, implementarea, evaluarea, analiza i procedurile de schimbare trebuie s fac parte att din autoevaluare, ct i din evaluarea de tip peer review. Astfel, se asigur realizarea unei strategii de calitate coerente i cuprinztoare i a unei legturi sistematice ntre evaluare i intervenie ameliorativ. ntruct evaluarea de tip peer review trebuie s promoveze mbuntirea continu a calitii, o atenie deosebit trebuie acordat procesului de continuare (follow-up). VII.5. Cum sunt determinate domeniile de calitate
VII.5.1. Criteriile

Pentru fiecare domeniu de calitate exist un set de criterii. Aceste criterii identific aspectele cheie ale calitii n domeniul respectiv. Prin urmare, criteriile reprezint principiile directoare pentru asigurarea calitii i eforturile de dezvoltare a calitii n respectivul domeniu de calitate.
37

VII. Domeniile de calitate

n evaluarea european de tip peer review trebuie evaluate cel puin dou criterii pentru fiecare domeniu de calitate ales. Totui, lista de criterii nu este exhaustiv, ceea ce nseamn c, n funcie de nevoile individuale, pot fi adugate criterii suplimentare. Toate criteriile care urmeaz s fie evaluate n timpul evalurii de tip peer review trebuie s fie analizate i n autoevaluare, i n raportul de autoevaluare.

VII.5.2. Exemple de indicatori

Criteriile sunt specificate de indicatori, care servesc la exemplificarea acestora. Indicatorii sunt doar nite sugestii, i nu sunt prescrii pentru procedura de evaluare de tip peer review european. Aceasta nseamn c pot fi schimbai sau completai cu ali indicatori, dac este necesar. Unii indicatori se bazeaz pe datele cantitative hard, care pot fi msurate i cuantificate statistic (de exemplu, rata de abandon). Alii, n special cei bazai pe alte tipuri de date, vor fi furnizai de instituia de educaie i formare profesional n raportul de autoevaluare. Majoritatea indicatorilor dau indicaii calitative soft cu privire la existena anumitor condiii sau tendine. Indicatorii soft prezentai n acest manual sunt formulai cu precizie i stabilesc cerine pentru ndeplinirea indicatorului individual.

VII.5.3. Surse de date

Se consider c aceast categorie vine n sprijinul att al instituiei de educaie i formare profesional, ct i al evaluatorilor. Sursele de date indic exemple i sugestii cu privire la locul i modul n care cerinele specifice pentru indicatori pot fi distribuite i documentate. n instrumentar vei gsi lista complet a Domeniilor europene de calitate, mpreun cu criteriile, indicatorii i sursele de date.

38

VIII. Evaluatorii
VIII.1. Cine este evaluatorul? Evaluatorul este o persoan care este egalul sau are un statut egal cu persoana (persoanele) ale crei (cror) performane sunt evaluate care lucreaz ntr-un mediu similar (i/sau ntr-o instituie similar) care este extern (i.e. provine dintr-o alt instituie) i independent (nu are nici un fel de interese personale/instituionale n procesul de evaluare) care are expertiz profesional i cunotine n domeniu (mprtete valori, competen profesional i atitudini, limbaj etc.) care poate, prin urmare, aduce n proces o doz de cunotine interne n ceea ce privete obiectul evaluat, combinnd aceste cunotine cu perspectiva extern a celui care vine dintr-o alt organizaie (iniiat extern). Evaluatorii sunt uneori numii prieteni critici. VIII.2. Sarcina fundamental a evaluatorilor Sarcina fundamental a evaluatorilor este nelegerea situaiei din cadrul instituiei de educaie i formare profesional evaluate i oferirea de feedback critic. Nu se fac recomandri i nu se dau soluii la probleme dect la solicitarea expres a furnizorului de educaie i formare profesional.

VIII.3. Componena echipei de evaluatori Evalurile de tip peer review europene vor fi efectuate de echipe de 4 evaluatori. Se recomand ca din echip s fac parte un numr par de evaluatori, deoarece vor fi formate grupuri de doi evaluatori (tandemuri de evaluatori) care s efectueze interviuri cu reprezentanii diferitelor pri interesate. (Dac se folosesc echipe mai mari, numrul evaluatorilor nu trebuie s depeasc 8.) Componena echipei de evaluatori depinde de subiectul evalurii de tip peer review, ntruct, n primul rnd, evaluatorii trebuie s aib expertiz n domeniile de calitate evaluate. Trebuie totui remarcat faptul c expertiza i experiena trebuie s se regseasc la nivelul echipei n ansamblul su, i nu neaprat la nivelul fiecrui membru n parte. O echip de evaluatori pentru o evaluare de tip peer review european trebuie s consiste din experi cu urmtoarele backgrounduri ocupaionale: Cel puin jumtate din evaluatori trebuie s fie egali reali, i.e. colegi de la alte instituii de educaie i formare profesional: profesori, consilieri, manageri, experi n calitate etc. Aceti profesioniti trebuie s aib expertiz n: 1) temele de evaluare care vor fi analizate; 2) procesele de predare i nvare (cel puin 5 ani de experien n predare) i 3) n procedurile de asigurare a calitii i de dezvoltare a calitii (i.e. abordri n managementul calitii, metode de evaluare etc.). Se recomand de asemenea ca doi evaluatori s lucreze n prezent ca profesori. n plus, din echipa de evaluatori poate face parte i un reprezentant (sau mai muli reprezentani) ai unei pri interesate. Acest evaluator poate, de exemplu, s provin din rndurile partenerilor externi de colaborare, cum ar fi instituii de la alte niveluri de nvmnt (de exemplu, coli gimnaziale,
39

VIII. Evaluatorii

universiti, politehnici), din lumea afacerilor (reprezentani ai ntreprinderilor) sau din rndurile altor pri interesate importante (experi n piaa muncii, parteneri sociali, prini etc.) Se recomand ca un membru al echipei de evaluatori s fie capabil s-i asume rolul de expert n evaluare, avnd expertiz n evaluare, moderare i comunicare. Acest evaluator poate proveni i dintr-un mediu instituional altul dect educaia i formarea profesional (de exemplu, evaluare, cercetare, consultan etc.). Aceast persoan trebuie, totui, s aib suficient experien n educaia i formarea profesional, ntruct va ndeplini att funcia de evaluator normal, ct i funcia de expert n evaluare. Nu este nevoie ca expertul n evaluare s fie recrutat din afara domeniului educaiei i formrii profesionale; acest rol poate fi asumat i de un egal real dintr-o alt instituie de VET, care are calificrile i expertiza necesare.

VIII.4. Rolurile n cadrul echipei de evaluatori n cadrul echipei de evaluatori, trebuie s fie prezente urmtoarele roluri: evaluatori coordonator al evaluatorilor expert n evaluare expert n abordarea integratoare a egalitii de gen evaluator transnaional (dac este cazul)

VIII.4.1. Evaluatorii

Evaluatorii analizeaz raportul de autoevaluare, ntocmesc un plan de evaluare (cine urmeaz s fie intervievat, linii directoare pentru interviuri) i efectueaz evaluarea de tip peer review (de exemplu, culeg date, intervieveaz, analizeaz constatrile, ofer feedback etc.).

VIII.4.2. Coordonatorul evaluatorilor1

Pe lng sarcinile proprii fiecrui evaluator, coordonatorul este liderul echipei de evaluatori. Coordonatorul este principala persoan de contact pentru furnizorul de educaie i formare profesional, coordoneaz i planific activitile evaluatorilor i se ocup de moderarea procesului de evaluare i de gestionarea timpului. Coordonatorul rspunde de asemenea de redactarea raportului de evaluare de tip peer review. Coordonatorul evaluatorilor are aadar un rol central. Coordonatorul are nevoie de un nalt nivel de competen n evaluare, ndrumarea unei echipe, comunicare, moderare i gestionarea timpului i trebuie deci s fie selectat cu atenie.

VIII.4.3. Expertul n evaluare

n echipa de evaluatori trebuie s apar i rolul de expert n evaluare, pentru a avea n echip cel puin o persoan cu expertiz n evaluare, moderare i comunicare. Acest rol poate fi asumat de coordonatorul evaluatorilor sau de unul dintre evaluatorii din echip.

Coordonatorul evaluatorilor poate fi numit fie de instituia de educaie i de formare profesional, fie de organismul de coordonare care organizeaz evaluarea colegial.

40

Dac echipa de evaluatori nu are mult experien n evaluare, expertul n evaluare va dirija echipa de evaluatori i l va sprijini pe coordonator n ndeplinirea sarcinilor. n acest caz, expertul n evaluare poate rspunde de moderarea ntlnirilor interne de analiz, unde echipa de evaluatori discut constatrile diferitelor tandemuri de evaluatori i ofer feedback profesorilor, celorlali membri ai personalului i conducerii. Mai mult, expertul n evaluare poate modera ntlnirea final. De asemenea, l poate ajuta pe coordonator s redacteze raportul de evaluare de tip peer review. n msura posibilului, expertul n evaluare le va oferi evaluatorilor asisten n faza de pregtire, ajutndu-i, de exemplu, la elaborarea liniilor directoare pentru interviuri.

VIII.4.4. Expertul n abordarea integratoare a egalitii de gen

Se recomand ca n echip s fie inclus un evaluator cu expertiz n abordarea integratoare a egalitii de gen. Expertul n abordarea integratoare a egalitii de gen se asigur c se acord atenia cuvenit aspectelor de gen de-a lungul ntregului proces, i.e. de la planificarea evalurii la cu culegerea de date i apoi la feedback i raport.

VIII.4.5. Expertul transnaional

Angajarea unui expert transnaional este opional. Totui, pentru o evaluare de tip peer review european, recrutarea unui expert transnaional este o cerin obligatorie. Pe de o parte, invitarea unui expert dintr-o alt ar se poate dovedi o experien valoroas pentru toate prile implicate evaluatorul transnaional, furnizorul de educaie i formare profesional i ceilali evaluatori. Confruntarea cu diferite sisteme i practici poate intensifica nvarea mutual i transferul de inovaie. n plus, independena i distana evident a evaluatorului transnaional poate contribui la crearea unei atmosfere deschise, de reflecie critic. Pe de alt parte, includerea unui evaluator transnaional presupune pregtiri atente i anumite condiii din partea evaluatorului de educaie i formare profesional i a evaluatorilor. n primul rnd, toate prile implicate trebuie s fie contiente de eforturile suplimentare necesare n acest caz: o atenie special trebuie acordat problemei limbii i, de asemenea, diversitii sistemelor de educaie i formare profesional i diferenelor culturale. Invitarea unui evaluator transnaional necesit adesea fonduri suplimentare, de exemplu pentru cheltuielile de cltorie sau pentru costurile de traducere.
Tabelul 3: Componena echipei de evaluatori: roluri, backgrounduri ocupaionale i competene

Numrul de evaluatori (4 evaluatori) 2 evaluatori reali(minimum)*

Background ocupaional Profesioniti din alte instituii de VET (profesori, consilieri, manageri, experi n calitate etc.)

Competene necesare Cunoaterea domeniilor de calitate supuse evalurii Experien n procesul de predare i de nvare Experien n procedurile de asigurare a calitii i de dezvoltare a calitii Cunoaterea domeniilor de calitate supuse evalurii Experien n procedurile de asigurare a calitii i de dezvoltare a calitii

1 evaluator parte interesat **

Reprezentant al altor grupuri de pri interesate (alte niveluri de nvmnt, firme, parteneri sociali etc.)

41

VIII. Evaluatorii

1 expert n evaluare*

1 expert n abordarea integratoare a egalitii de gen*

Evaluator profesionist / evaluator al calitii (de exemplu, de la un institut de cercetare/de la o universitate, de la un organism independent de audit/acreditare, de asemenea de la o alt instituie de VET) oricare dintre cele de mai sus

Expertiz n evaluare, moderare i comunicare Cunoaterea sistemului de educaie i formare profesional

1 evaluator transnaional (opional)***

oricare dintre cele de mai sus, de obicei un profesionist din domeniul educaiei i formrii profesionale

suplimentar: Expertiz n abordarea integratoare a egalitii de gen Cunoaterea domeniilor de calitate supuse evalurii Experien n procesul de predare i de nvare Experien n procedurile de asigurare a calitii i de dezvoltare a calitii

* necesar pentru o evaluare de tip peer review european ** recomandat pentru o evaluare de tip peer review european *** necesar pentru o evaluare de tip peer review european transnaional

VIII.5. Competenele i expertiza evaluatorilor Echipele de evaluatori n ansamblul lor trebuie aadar s aib expertiz n predare i nvare n asigurarea i dezvoltarea calitii n domeniile de calitate supuse evalurii n plus, un evaluator trebuie s aib expertiz n abordarea integratoare a egalitii de gen i un evaluator trebuie s posede competenele necesare pentru a ndeplini rolul de expert n evaluare. ntruct procedura de evaluare de tip peer review prezentat n acest manual se dorete a fi un instrument transnaional, se recomand angajarea a cel puin un evaluator din strintate. Experiena internaional, competenele interculturale i competenele lingvistice sunt eseniale n procesul de selecie a unui expert transnaional. Prin urmare, cerinele suplimentare se refer la: expertiz n abordarea integratoare a egalitii de gen expertiz n evaluare experien internaional VIII.6. Cererea prin care se solicit calitatea de evaluator Manualul pune la dispoziie un formular de cerere pentru persoanele care sunt interesate s devin evaluatori i au expertiza necesar. Cei care doresc s participe la o evaluare european de tip peer review sunt rugai s completeze i s trimit aceast cerere. n instrumentar vei gsi un Formular de cerere pentru evaluatori.

42

VIII.7. Pregtirea i instruirea evaluatorilor Evaluatorii sunt obligai s analizeze raportul de autoevaluare al instituiei de educaie i formare profesional i s contribuie la pregtirea vizitei, participnd la ntlniri cu furnizorul de formare profesional i cu ceilali evaluatori, ntocmind ordinea de zi pentru vizita evaluatorilor i formulnd ntrebrile de evaluare pentru evaluarea de tip peer review. nainte de evaluarea de tip peer review, evaluatorii trebuie s ia parte la un Program de instruire a evaluatorilor care i pregtete pentru munca de evaluatori externi. Programul de instruire trebuie s prezinte evaluarea de tip peer review ca metodologie de evaluare, s explice amnunit diferitele etape ale acestei evaluri i s clarifice rolul i sarcinile evaluatorilor. n plus, dac este necesar, se poate furniza instruire n analiza cantitativ i calitativ a datelor i n metodele de evaluare calitativ (de exemplu, interviuri i observare). Programul de instruire trebuie completat de o instruire n competenele soft: competene sociale, comunicaionale i de moderare. Dac este posibil formarea fa-n-fa, instruirea evaluatorilor poate fi folosit i pentru a-i ajuta pe evaluatori s pregteasc vizita, ndrumndu-i n analizarea rapoartelor de autoevaluare i/sau oferind consultan pentru planificarea vizitei i ntocmirea ordinii de zi (de exemplu, ce metode trebuie folosite pentru fiecare tem, cine trebuie intervievat/observat, cum trebuie pregtite ntrebrile pentru interviuri sau grila de criterii pentru observare etc.). Evaluarea european de tip peer review n practic: instruirea evaluatorilor n proiectul Evaluarea de tip peer review n educaia i formarea profesional iniial, instruirea evaluatorilor a durat n medie ntre 1,5 i 2 zile i a cuprins dou seciuni complementare: un program de instruire on-line pentru evaluatori (1 zi), care a putut fi accesat de pe site-ul http://www.peer-review-education.net i un atelier de instruire fa-n-fa pentru evaluatori (0,5-1 zi) menit de asemenea s serveasc la pregtirea vizitei evaluatorilor i care, n consecin, a avut de obicei loc n ziua de dinaintea vizitei evaluatorilor (cheltuieli de transport mai mici; ntlnirea echipei de evaluatori de dinaintea evalurii). Aceast ntlnire le-a oferit de asemenea evaluatorilor posibilitatea de a face team-building.

VIII.8. Legtura cu facilitatorul evalurii de tip peer review Principala persoan de contact pentru echipa de evaluatori pe tot parcursul procesului este facilitatorul evalurii de tip peer review. Acesta trebuie s pun la dispoziie, la cerere, documente suplimentare i rspunde de pregtirea organizaional i de desfurarea evalurii de tip peer review (invitarea persoanelor care urmeaz s fie intervievate, rezervarea camerelor i a altor faciliti necesare, logistica din timpul evalurii etc.). Prin urmare, rolul fundamental al facilitatorului este s se asigure c funcioneaz corect canalele de comunicare ntre furnizorul/instituia de educaie i formare profesional i echipa de evaluatori (n special coordonatorul echipei). Facilitatorul nu este membru al echipei de evaluatori i nu va face aprecieri cu privire la aspectele evaluate. Facilitatorul nu va fi prezent la interviuri sau la discuiile interne ale echipei de evaluatori.

43

IX. Literatur i (re)surse

IX. Literatur i (re)surse

IX.1. Literatur Allulli, Giorgio (2000): Le misure della qualit, Roma, SEAM. Allulli, Giorgio; Grando, Tiziana (2004): Il progetto di Autovalutazione di Istituto 2001-2004, Provincia autonoma di Trento, Assessorato all'Istruzione e alle Politiche giovanili, Comitato Provinciale di Valutazione del Sistema Scolastico e Formatvo (ed.), Trento. Basel, Sven (2004): Peer-Evaluation in beruflichen Schulen als Beitrag zur schulischen Qualittsentwicklung. In: berufsbildung Heft 90 (2004), 43-45. Comisia European (1999): Evaluating quality in school education. A European pilot project. Final Report, Report prepared by John MacBeath, Denis Meuret, Michael Schratz, Lars Bo Jakobsen. Comisia European (2001): European Report on the Quality of School Education. Sixteen Quality Indicators, Report based on the work of the Working Committee on Quality Indicators. Faurschou, Kim (2002): Quality management approaches for vocational education and training. European Forum on Quality in VET, The Technical Group. Faurschou, Kim (2003): Quality Standards and Norms in European VET, Technical Working Group on Quality in VET. Gerriets, Elke; Giebenhain, Dagmar; Basel, Sven; Mller, Karl-Heinz (2004): Modellversuch eiver, 1. Zwischenbericht "Evaluation im Verbund als Beitrag zur Qualittsentwicklung beruflicher Schulen in regionalen Bildungsnetzwerken", Modellversuch des Hessischen Landesinstituts fr Pdagogik, Wiesbaden. Gutknecht-Gmeiner, Maria (2005): Peer Review in Education (Part I: International Research and Analysis; Part II: Recommendations for the development of the European Peer Review Manual), Vienna. Gutknecht-Gmeiner, Maria (2006): Externe Evaluierung durch Peer Review. Vergleichende Analyse gngiger Verfahren, Neudefinition von Peer Review sowie Einsatzmglichkeiten fr Qualittssicherung und Qualittsentwicklung in der beruflichen Erstausbildung. Doctoral Thesis, University of Klagenfurt. Gutknecht-Gmeiner, Maria (2006): Peer-Review in der beruflichen Erstausbildung in Europa. In: Basel, S., Giebenhain, D. und Rtzel, J. (Hg.): Peer-Evaluation an beruflichen Schulen - Impuls fr dauer hafte Schulentwicklung durch ffnung nach Auen, Paderborn, 117-139. Handbook for academic review (2000): published by the Quality Assurance Agency for Higher Education, Gloucester. Handbook for academic review: England, 2004, for review of directly funded higher education in further education colleges (2004): published by the Quality Assurance Agency for Higher Education (www.qaa.ac.uk, 2.11.2004). HM Inspectorate of Education (2002): How good is our school? Self-evaluation using quality indicators, Scotland. Joint Committee on Standards for Educational Evaluation (1994): The programme evaluation standards. How to assess evaluations of educational programs, Thousand Oaks, Sage. Keller, Hans (1999): Chancen, Mglichkeiten und Grenzen eines Peer Reviews, ms., Blach. Kozar, Gerhard (1999): Hochschul-Evaluierung - Aspekte der Qualittssicherung im tertiren Bildungs-bereich [= Schriftenreihe des Fachhochschulrats, Band 3], Vienna.
44

Peer Assistance and Peer Review. An AFT/NEA Handbook (1998), prepared for "Shaping the Profession that shapes the future. An AFT/NEA Conference on Teacher Quality, Washington D.C. (www.aft.org/pubs-reports/downloads/teachers/parhndbk.pdf, 24.2.2005). Provincia Autonoma di Trento, Assessorato allIstruzione e alle Politiche giovanili (2005): Strumenti per lautovalutazione distituto, Trento. Ravnmark, Lise-Lotte (2003): A European Guide on Self-assessment for VET-providers, Technical Working Group on Quality in VET. Regulation of the FH Council on the Evaluation in the Austrian FH Sector 5/2004 (Evaluation Regulation 5/2004; EvalVO) (www.fhr.ac.at/fhr_inhalt_en/00_documents/evaluation_regulation.pdf, 15.1.2005). Leo-Rhynie, Elsa (1999): Gender mainstreaming in Education: A reference manual for governments and other stakeholders, London. Seyfried, Erwin (2003): A limited set of coherent quality indicators proposed by the Technical Working Group on Quality. Stamm, Margrit; Beler, Xaver (1999), Peer Review an sechs Bernischen Schulen, Aarau. Strahm, Peter (2004b): Manual Peer Review IPS 2004, ms., Bern. Technical Working Group Quality in VET (2004): Fundamentals of a Common Quality Assurance Framework (CQAF) for VET in Europe. European Commission, Directorate-General for Education and Culture, Vocational training: Development of vocational training policy. The Standing International Conference of Central and General Inspectorates of Education (SICI) (2003): Effective school self-evaluation (sici.org.uk/ESSE/index.htm, 31.3.2007). Thune, Christian; Holm, Tine; Srup, Rikke; Biering-Srensen, Mads (2003): Quality procedures in European Higher Education. An ENQA survey, [=ENQA Occasional Papers 5], Danish Evaluation Institute, European Network for Quality Assurance in Higher Education, Helsinki.

IX.2. Site-uri
IX.2.1. Evaluarea de tip peer review i problemele de calitate

www.peer-review-education.net www.aahe.org/teaching/Peer_Review.htm, 24.2.2005 www.qaa.ac.uk, 2.11.2004 www.enqa.net, 5.11. 2004 www.inqaahe.nl, 5.11.2004 www.provost.wisc.edu/archives/ccae/MOO/index.html, 10.12.2004 www.heideschule.de/Peer_review.htm, 31.1.2005 s1.teamlearn.de/b-1-eiver, 17.2.2005 www.qibb.at, 31.3.2007 www.provincia.tn.it/istruzione/valutaz/, 31.10.2005

IX.2.2. Abordarea integratoare a egalitii de gen

europa.eu.int/eur-lex/lex/en/treaties/dat/12002E/pdf/12002E_EN.pdf articolele 2 i 3), 07.04.2005

(n

principal
45

IX. Literatur i (re)surse

europa.eu.int/comm/employment_social/equ_opp/treaty_en.html, 07.04.2005 europa.eu.int/comm/dgs/education_culture/ega/index_en.html, 07.04.2005 www.coe.int/T/E/Human_Rights/Equality/02._Gender_mainstreaming/001_Factshee t.asp, 07.04.2005

IX.3. Rapoartele proiectului Leonardo da Vinci Evaluarea de tip peer review n educaia i formarea profesional iniial
IX.3.1. Rapoarte de proiect

Gutknecht-Gmeiner, Maria (2005): Peer Review in Education: Part I: International Research and Analysis, Part II: Recommendations for the development of the European Peer Review Manual, Vienna. Gutknecht-Gmeiner, Maria; Neubauer, Barbara (2005): Gender mainstreaming in the LdV Project Peer Review in initial VET. Tentative proposal for the implementation of gender mainstreaming in the European Peer Review Manual, based on the paper by Claudia Schneider "Grundlagen der geschlechtssensiblen Qualittssicherung und entwicklung in der beruflichen Erstausbildung. Geschlechtergerechte Entwicklung des Peer Review Manuals" and discussions with Jutta Zemanek (HTL Spengergasse) and Viktoria Kriehebauer (College for Tourism Vienna 21), Vienna, April 2005. Schneider, Claudia (2005): Grundlagen der geschlechtssensiblen Qualittssicherung und entwicklung in der beruflichen Erstausbildung. Geschlechtergerechte Entwicklung des Peer Review Manuals, Vienna. Lassnigg, Lorenz; Stger, Eduard (2005): Transnational Synopsis Report, Vienna.

IX.3.2. Rapoarte naionale

Stger, Eduard; Lassnigg, Lorenz (2005): Raport naional Austria. Kristensen, Ole Bech (2005): Raport naional Danemarca. Koski, Leena; Koski, Emilia (2005): Raport naional Finlanda. Jakab, Tams (2005): Raport naional Ungaria. Allulli, Giorgio; Tramontano, Ismene (2005): Raport naional Italia, la care au contribuit: Lucio Reghellin (CNOS-FAP), Vittoria Gallina (INVALSI), Alessia Mattei (INVALSI), Luisa Palomba (Ministero del Lavoro), Maria Vittoria Marini Bettolo (Ministero dellIstruzione dellUniversit e della Ricerca), Antonio Pileggi (MIUR). De Ridder, Willem (2005): Raport naional Olanda. Gomes da Costa, Rui (2005): Raport naional Portugalia. Balica, Magda; Fartusnic, Ciprian (2005): Raport naional Romnia. Strahm, Elisabeth and Peter (2005): Raport naional Elveia. Hollstein, Rick (2005): Raport naional Marea Britanie.

46

X. Glosar
Autoevaluarea furnizorului de educaie i formare profesional Autoevaluarea este evaluarea efectuat de nii furnizorii de formare profesional. Este o abordare important pentru ncurajarea asigurrii i dezvoltrii calitii la nivel instituional n toat Europa. Autoevaluarea este o condiie preliminar pentru efectuarea unei evaluri de tip peer review. Rezultatele autoevalurii stau la baza evalurii de tip peer review i sunt de obicei prezentate ntr-un raport de autoevaluare. Cadrul comun de asigurare a calitii (CQAF) Cadrul comun de asigurare a calitii (CQAF) a fost elaborat de Grupul Tehnic de Lucru pentru calitate, un grup de lucru european de nalt nivel, n urma unui mandat primit din partea Comisiei Europene. CQAF constituie un cadru european de referin pentru asigurarea i dezvoltarea calitii n educaia i formarea profesional, plecnd de la principiile-cheie ale celor mai importante modele existente. CQAF cuprinde: un model (4 criterii fundamentale comune); o metodologie pentru evaluarea i analiza sistemelor; accentul cade pe autoevaluare, combinat cu evaluarea extern; un sistem de monitorizare: trebuie considerat adecvat la nivel naional sau regional i, poate, combinat cu evaluarea voluntar de tip peer review, la nivel european; un instrument de msurare: un set de indicatori de referin care s vizeze facilitarea monitorizrii i evalurii, de ctre statele membre, a propriilor sisteme de la nivel naional sau regional. Modelul prezint cele 4 criterii fundamentale comune pentru asigurarea calitii: Planificarea, Implementarea, Evaluarea i Aprecierea, i Analiza (feed-back i proceduri de schimbare).

47

X. Glosar Criterii fundamentale comune

Planificare (scop i plan)

Analiz (feedback i proceduri de schimbare)

Metodologie

Implementare

Evaluare i apreciere

Surs: TWG Quality in VET 2004, 5

Calitatea educaiei i formrii profesionale Calitatea este un termen generic i care depinde de context. Calitatea poate fi definit ca ndeplinirea obiectivelor. Cu alte cuvinte, calitatea reprezint raportul dintre realitate i ateptri (obiective). Pentru procedura de evaluare european de tip peer review, au fost definite mai multe domenii importante de calitate, pentru a oferi nite indicaii cu privire la calitate n contextul particular al educaiei i formrii profesionale. Cursani Termenul cursani se refer la participanii la educaia i formarea profesional iniial. Evaluarea de tip peer review Evaluarea de tip peer review este o form de evaluare extern care vizeaz sprijinirea instituiei de nvmnt evaluate n eforturile sale cu privire la asigurarea i dezvoltarea calitii. Un grup extern de experi, numii evaluatori, este invitat s evalueze calitatea diferitelor segmente ale instituiei, cum ar fi calitatea educaiei i formrii oferite de fiecare departament sau de ntreaga organizaie. n timpul procesului de evaluare, evaluatorii viziteaz instituia evaluat.

48

Evaluarea formativ Evaluarea formativ este o evaluare continu care vizeaz mbuntirea (formarea) obiectului evalurii, care poate fi, de exemplu, un domeniu de calitate, o ntreag organizaie, un program, un proiect, un produs, o intervenie, o politic sau o persoan. n cazul evalurii europene de tip peer review, evaluarea formativ este efectuat pe anumite segmente sau n anumite departamente ale instituiei de educaie i formare profesional. Evaluarea formativ se axeaz n primul rnd pe sprijinirea mbuntirii i dezvoltrii progresive, n timp ce evaluarea sumativ se concentreaz asupra asigurrii i controlrii calitii. Aceasta poate fi utilizat pentru schimbul i mprtirea de informaii i pentru a oferi feed-back personalului, cursanilor, participanilor i altor persoane implicate. n evaluarea european de tip peer review, rezultatele evalurii formative se adreseaz n principal instituiei evaluate, pentru a fi utilizate la dezvoltarea calitii. Evaluarea sumativ Evaluarea sumativ are drept scop sintetizarea unor concluzii finale n ceea ce privete calitatea i utilitatea obiectului evalurii, care poate fi, de exemplu, un domeniu de calitate, o ntreag organizaie, un program, un proiect, un produs, o intervenie, o politic sau o persoan. Evaluarea sumativ vizeaz controlul calitii i responsabilitatea extern. Sunt folosite adesea informaii cantitative i calitative pentru a face recomandri cu privire la posibile aciuni, cum ar fi pstrarea, lrgirea sau reducerea obiectului evalurii. Evalurile sumative susin astfel procesul de luare de decizii de la nivelul autoritilor politice i al organismelor de finanare. Evaluatorii Evaluatorii sunt n principal colegi de la alte instituii de educaie i formare profesional (profesori, manageri, consilieri, ali membri ai personalului). Aadar, sunt persoane din exteriorul instituiei, dar lucreaz ntr-un mediu similar i au expertiz profesional i cunotine cu privire la subiectul evaluat. Este important faptul c sunt independeni i au acelai statut ca persoanele ale cror performane sunt evaluate. Evaluatorii sunt numii cteodat prieteni critici. Expertul n evaluare Expertul n evaluare este un evaluator cu expertiz i cunotine suplimentare n evaluare. Pe lng activitile specifice evaluatorilor, expertul n evaluare va ajuta echipa de evaluatori la pregtirea ntrebrilor pentru interviurile din timpul vizitei evaluatorilor, va modera sesiunile de discuii interne ale echipei de evaluatori n timpul vizitei, precum i sesiunea de validare comunicativ cu reprezentanii furnizorului de educaie i formare profesional de la sfritul vizitei. De asemenea, expertul n evaluare l poate ajuta pe coordonator s redacteze raportul de evaluare de tip peer review. Facilitatorul evalurii de tip peer review Facilitatorul evalurii de tip peer review este persoana care rspunde de organizarea i buna desfurare a evalurii de tip peer review la nivelul furnizorului/instituiei de educaie i formare profesional. Facilitatorul se va asigura c evaluatorii sunt selectai i invitai din timp, c raportul de autoevaluare este ntocmit i trimis evaluatorilor i c vizita evaluatorilor este pregtit n mod adecvat. Facilitatorul va fi, de asemenea, principala persoan de contact pentru evaluatori pe ntreg parcursul procedurii de evaluare de tip peer review.
49

X. Glosar

Furnizorul/Instituia de educaie i formare profesional n Manualul de evaluare de tip peer review, termenul furnizor/instituie de educaie i formare profesional se refer la acele instituii care rspund de asigurarea i dezvoltarea calitii n special la nivel de coal/facultate, dar i la nivelul instituiei susintoare, dac aici au loc sau sunt coordonate asigurarea ori dezvoltarea calitii. n acest manual, termenii instituie de educaie i formare profesional i furnizor de educaie i formare profesional sunt folosii ca sinonime. Gestionarea unei instituii de educaie i formare profesional Se refer la persoanele care rspund de gestionarea instituiei: directori, manageri generali etc., la care se adaug efi de departament i ali manageri (de exemplu, manager financiar, manager al departamentului de calitate etc.). Organismul de coordonare pentru evaluarea de tip peer review Dac se dispune de o structur adecvat i de suficiente fonduri, coordonarea reelei de evaluare de tip peer review poate trece n sarcina unei organizaii/uniti competente. n manualul de fa, aceast structur poart numele de organism de coordonare. Se recomand nfiinarea unui asemenea organism pentru gestionarea reelelor complexe de evaluare de tip peer review (transnaional). Organismul de coordonare poate fi un element central al coordonrii i organizrii evalurilor de tip peer review. Acesta poate fi: o unitate de coordonare creat de o reea de furnizori de educaie i formare profesional; personalul care lucreaz la un proiect (cu finanare public) cu privire la evaluarea de tip peer review; o agenie (mai mult sau mai puin) independent de evaluare de tip peer review, nfiinat de autoritile din domeniul nvmntului. Gradul de influen i sarcinile pe care trebuie s le ndeplineasc organismul de coordonare pot varia, n funcie de structura acestuia: poate procesa cererile primite de la evaluatori; poate selecta evaluatorii n conformitate cu un profil predefinit; poate stabili perechile de evaluatori furnizori de educaie i formare profesional; poate ntocmi programul evalurilor; poate strnge i transmite informaii; poate organiza instruirea evaluatorilor i oferi consultan furnizorilor de VET de-a lungul ntregului proces. Actorii interesai (n educaia i formarea profesional) Actorii interesai n educaia i formarea profesional sunt: cursani; personal (manageri, profesori, consilieri i personal administrativ); ntreprinderi (ca parteneri de cooperare n furnizarea de educaie i formare profesional, ca poteniali angajatori); instituii de nvmnt care deschid drumul spre educaia i formarea profesional (instituii de nvmnt obligatoriu) sau care accept absolveni de educaie i formare profesional (sectorul nvmntului secundar/post-secundar); prini; parteneri sociali; autoriti din domeniul nvmntului etc. Se recomand includerea n procesul de evaluare de tip peer review a diferitelor grupuri importante de pri interesate. n primul rnd, evaluarea de bun calitate necesit implicarea prilor interesate. n al
50

doilea rnd, s-a subliniat n mod repetat importana prilor interesate n asigurarea i dezvoltarea calitii ca aspect important al politicii europene i naionale de educaie i formare profesional. Prieteni critici Este sinonim cu evaluatori. Raportul de autoevaluare Raportul de autoevaluare cuprinde constatrile din timpul autoevalurii efectuate nainte de evaluarea de tip peer review. Este documentul de baz pentru evaluarea de tip peer review. Raportul de evaluare de tip peer review Raportul de evaluare de tip peer review este un document scris, ntocmit de evaluatori. De obicei, sarcina redactrii acestui raport revine coordonatorului evaluatorilor, cu ajutorul expertului n evaluare; la baza raportului vor sta notiele luate de evaluatori, discuiile interne dintre evaluatori i rezultatele validrii comunicative. La raport vor contribui toi evaluatorii, iar echipa de evaluatori n ansamblul su este responsabil pentru raportul de evaluare de tip peer review. Reeaua de evaluare de tip peer review Evalurile de tip peer review sunt efectuate adesea n cadrul unor reele de furnizori/instituii de educaie i formare profesional. Aceast reea fie este creat n scopul efecturii de evaluri de tip peer review, fie este vorba de o reea deja existent care hotrte efectuarea de evaluri de tip peer review. Reelele de evaluare de tip peer review se pot dovedi un bun mod de a face schimb de exemple de bun practic i de a lucra mpreun la mbuntirea ntregului sector al educaiei i formrii profesionale. Tandemurile de evaluatori Tandemurile de evaluatori sunt perechi de evaluatori. Pentru activitile care presupun culegere de date se recomand prezena constant a doi evaluatori. Aceasta este o condiie preliminar important pentru asigurarea unui proces corect i echitabil, ntruct, dac sunt prezeni doi evaluatori, probabilitatea unor judeci subiective i arbitrare se poate reduce considerabil (principiul controlului dual). De asemenea, dou persoane vor putea s cuprind mai multe aspecte dect una singur. n practic, aceasta nseamn c echipa de evaluatori se mparte n perechi tandemuri de evaluatori i efectueaz diferite activiti n acelai timp, asigurnd astfel eficiena procesului de evaluare. Triangulaia n cercetarea social, abordarea care include diferite metode i surse poart numele de triangulaie. Folosirea de diferite metode i de diferite surse de informaii la culegerea datelor contribuie la calitatea evalurii n termeni de obiectivitate, fiabilitate i corectitudine. n timpul vizitei evaluatorilor, solicitarea unor puncte de vedere variate din partea diferitelor pri interesate le va permite evaluatorilor s dobndeasc o imagine mai precis i mai detaliat.

51

X. Glosar

Validarea comunicativ Validarea comunicativ este folosit i n cercetarea social calitativ pentru a spori corectitudinea rezultatelor: prilor interesate li se solicit sistematic feed-back cu privire la constatrile fcute, pentru a discuta att datele culese, ct i interpretarea acestora. Validarea comunicativ poate fi efectuat n orice moment al evalurii de tip peer review; n majoritatea cazurilor este folosit n fazele finale ale vizitei, de exemplu cu puin nainte, n timpul sau dup sesiunea de feed-back cu furnizorul de educaie i formare profesional. VET Acronim pentru Vocational Education and Training (educaie i formare profesional).

52

XI. Lista partenerilor din proiectul Leonardo da Vinci Evaluarea de tip peer review n educaia i formarea profesional iniial
Austria sterreichisches Institut fr Berufsbildungsforschung (ibf) Institutul Austriac pentru Cercetare n Formarea Profesional, Austria; www.oeibf.at. Institut fr Hhere Studien (IHS) Institutul pentru Studii Avansate, Austria, Angajarecalificare-inovare (EQUI); www.equi.at. Hhere Lehranstalt fr Tourismus Wien 21 coala de Turism Vienna 21, Austria; www.tourismusschule.at. Hhere Technische Lehr- und Versuchsanstalt (HTL) fr Textilindustrie und Datenverarbeitung Spengergasse Colegiul Tehnic Federal i Institutul de Cercetare pentru Industria Textil i IT, Austria; www.spengergasse.at.

Danemarca Odense Tekniske Skole Colegiul Tehnic din Odense, Danemarca; www.ots.dk. Dalum Uddannelses Center Colegiul Dalum de Alimentaie i Tehnologie, Danemarca; www.dalumuc.dk.

Finlanda Opetushallitus Agenia Naional de nvmnt din Finlanda (FNBE), Finlanda; www.oph.fi. Ravintolakoulu Perho coala Culinar din Helsinki, Finlanda; www.perho.fi. Jyvskyln ammattiopisto, Palvelualojen oppilaitos Institutul de Catering Jyvskyl, Finlanda; www.jao.fi. Etel-Karjalan ammattiopisto Colegiul Profesional din Carelia de Sud, Finlanda; www.ekamo.fi.

Germania Univation: Institut fr Evaluation Dr. Beywl & Associates GmbH Institutul pentru Evaluare Dr. Beywl i asociaii GmbH, Germania; www.univation.org.

Ungaria Pcsi Tudomnyegyetem Feln_ttkpzsi s Emberi Er_forrs Fejlesztsi Kar Universitatea din Pcs, Facultatea de Educaie pentru Aduli i Dezvoltarea Resurselor Umane, Ungaria; www.pte.hu.

Italia Istituto per lo Sviluppo della Formazione Professionale dei Lavoratori (ISFOL) Institutul pentru Dezvoltarea Formrii Profesionale pentru Muncitori, Italia; www.isfol.it. Federazione Nationale Centro Nazionale Opere Salesiane Formazione Aggiornamento Professionale CNOS-FAP, Italia; www.cnos-fap.it. Istituto Professionale per lIndustria e lArtigianatoI.P.S.I.A, Italia; www.ipsiamonza.it.
53

Istituto di Istruzione Superiore don Milani-Depero Institutul Superior de Administraie, Turism i Petrecerea Timpului Liber, Servicii Sociale i Meteuguri, Italia; www.mide.it. Centro Italiano Opere Femmilili Salesiane - Formazione Professionale CIOFS-FP Puglia (Italia); www.ciofsfppuglia.it.

Olanda ROC Aventus Centrul Regional de Formare Aventus, Olanda; www.aventus.nl.

Portugalia Instituto de Soldadura e Qualidade Institutul de Sudare i Calitate (ISQ), Portugalia; www.isq.pt. Centro de Formao Profissional para o Comrcio e Afins Centrul de Formare Profesional pentru Comer (CECOA), Portugal; www.cecoa.pt.

Romnia Elveia Erziehungsdirektion des Kantons Bern Zentralstelle fr Lehrerinnen und Lehrerfortbildung Directoratul educaional Berna, Elveia; www.erz.be.ch. IPS Intensivprojekt Schule. Institutul de tiine ale Educaiei (ISE), Romnia, www.ise.ro. Colegiul Tehnic de Pot i Telecomunicaii Gh. Airinei, Romnia; www.ptcbuc.8k.com. Universitatea Politehnic Bucureti (PUB) (Romnia); www.pub.ro.

Marea Britanie (Scoia) Aberdeen College, Scoia, Marea Britanie; www.abcol.ac.uk.

54

Project Partners

Supported by:

ISBN 978-3-901966-07-1

www.peer-review-education.net