1. Aspecte generale despre calitate i calitatea n organizaii ...................................................................... 3 1.1 Aspecte generale despre calitate ........................................................................................................ 3 1.2 Calitatea n organizaii ........................................................................................................................ 3 2. Cadrul naional al asigurrii calitii (C.N.A.C) n educaie i formare profesional ................................. 4 3. Metodologia asigurrii calitii educaiei ................................................................................................. 6 3.1 Asigurarea intern a calitii educaiei (autoevaluarea)..................................................................... 6 3.2 Controlul calitii educaiei (inspecia) ............................................................................................. 10 3.3 Evaluarea extern a calitii .............................................................................................................. 14 4. Bibliografie .............................................................................................................................................. 15
3
1. Aspecte generale despre calitate i calitatea n organizaii 1.1 Aspecte generale despre calitate
Conceptul general de calitate provine din latinescul qualis care nseamn modul de a fi. Capacitatea de a ntelege i recunoate calitatea ca o msur de valori, fie c este vorba despre un discurs, de un serviciu sau un produs oferit ne definete pe noi ca oameni, ca rezultat ultim n ceea ce suntem. Mai simplu spus calitatea vieii noastre este rezultatul devenirii noastre. Filozoful F. Hegel, n prima jumatate a sec. al XIX-lea, a format definiia calitii astfel: Calitatea, n primul rand, este identic cu existena, astfel nct ceva nceteaz s fie ceea ce este, cnd i pierde calitatea Dicionarul enciclopedic al Limbii Romne definete calitatea ca fiind categoria filosofic exprimnd unitatea nsuirilor i laturilor eseniale, n virtutea creia ntr-un sistem dat de relaii, un lucru este ceea ce este deosebindu-se de celelalte lucruri, dar i asemnndu-se cu cele din aceiai clas, specie, iar Dicionarul Webster consider calitatea un grad al excelenei. I.S.O definete calitatea ca fiind ansamblul de proprieti i caracteristici al unui produs care i confer acestuia proprietatea de a satisface anumite nevoi.
1.2 Calitatea n organizaii
Secolul al XIX-lea, marcheaz nceputul preocuprilor tehnico-tiinifice sistematice, privind problema calitii. Evoluia acestor preocupri pot fi mprite n 4 etape, fiecare avnd caracteristiicle sale specifice: inspecia calitii, controlul calitii prin metode statitice, asigurarea calitii i managementul calitii. Creterea deosebit a importanei calitii a fost determinat, n principal, de intensificarea concurenei, sporirea continu a exigenelor clienilor i ale societii, creterea complexitii produselor i a proceselor de obinere a acestora. Noiunea de calitate i are orginiea n sectorul industrial. Aici s-au dezvoltat primele tehnici de control a calitii. Apoi, conceptul s-a extins i n alte sectoare ale ntreprinderilor, diferite de compartimentele de producie. Aceast extindere s-a produs o data cu mrirea numrului de sectoare. Ceea ce era nainte caracteristic unei organizaii cu caracter productiv, a ajuns s existe i la o ntreprindere prestatoare de servicii. Aici ns apare o mare dificultate. Un serviciu nu este un bun tangibil, iar msurarea calitilor sale este un lucru complex. 1
2. Cadrul naional al asigurrii calitii (C.N.A.C) n educaie i formare profesional
Ca multe alte ri din ntreaga lume, Romnia se confrunt cu o serie de provocri care impun o for de munc flexibil, capabil s rspund cererii pieei muncii i dornic s participe la programe de formare continu pentru a ine pasul cu schimbrile economice i tehnologice. O modalitate esenial de a face fa acestor provocri este reformarea sistemului de nvmnt profesional i tehnic (PT), n efortul de a: Oferi calificri relevante i actuale mbunti nivelul de calificare a forei de munc Crete participarea la programe de nvare pe tot parcusul vieii Asigur ncrederea n validarea certificatelor de calificare profesional Crete ncrederea n calitatea nvmntului profesional i tehnic Reforma sistemului de PT va trebui s se desfoare sub umbrela unui cadru riguros de asigurare a calitii. O dat cu aprobarea Legii 87/2006 privind asigurarea calitii n educaie, a fost creat cadrul legal pentru dezvoltarea unui sistem naional de asigurare a calitii n educaie, la nivel de sistem i la nivel de unitate colar. n conformitate cu prevederile legii, ageniile responsabile cu asigurarea calitii n nvmntul superior (ARACIS) i preuniversitar (ARACIP) au elaborat standarde, ghiduri i metodologii de asigurare a calitii pentru cele 2 subsisteme. Pentru nvmntul profesional i tehnic, cu sprijinul asistenei Phare a programelor multianuale Phare TVET i sub coordonarea Centrului Naional pentru Dezvoltarea nvmntului Profesional i Tehnic a fost elaborat CNAC n PT. Toate aceste dezvoltri care vizeaz asigurarea calitii n educaie au aceleai valori cheie: A. Alinierea la bunele practici n special la practica european B. O abordare holistic- care se adreseaz unor zone specifice n cadrul unui singur sistem unitar C. Beneficiarii indentificabili- cu accent n special pe elevi i angajatori D. Transparen- care va fi o condiie pentru toate instituiile i ageniile implicate n sistem E. mbuntire continu- pe baza rezultatelor autoevalurii i monitorizrii interne i externe F. Evaluare i monitorizare extern- pentru a sprijini i a garanta validitatea procesului de autoevaluare G. Eficacitate i eficien- pentru a preveni birocratizarea 5
n procesul de dezvoltare a Cadrului Naional de Asigurare a Calitii pentru PT din Romnia, au fost luate n considerare doua Cadre Europene de Asigurare a Calitii n Educaie: a. Cadrul Comun European de Asigurare a Calitii pentru formare profesional (CCAC) b. Standardele i Recomandrile pentru Asigurarea Calitii n Spaiul European al nvmntului Superior (EHEA) CNAC n PT este dezvoltat n conformitate cu prevederile Legii 87/2003 privind asigurarea calitii n educaie. Domeniile i criteriile pentru asigurarea calitii menionate n lege sunt: A. Capacitatea instituional, care rezult din organizarea intern a infrastructurii disponibile, concretizat prin criterii referitoare la: Structurile instituionale, administrative i manageriale Resurse materiale Resurse umane B. Eficacitatea educaional, care const n mobilizarea de resurse cu scopul de a se obine rezultatele ateptate ale nvrii: Coninutul programelor de studiu Rezultatul nvrii Activitatea de cercetare tiinific sau metodic, dup caz Activitatea financiar a organizaiei C. Managementul calitii, concretizat prin criterii referitoare la: Strategii i proceduri pentru asigurarea calitii Proceduri privind iniierea, monitorizarea i revizuirea periodic a programelor i acivitilor desfurate Proceduri obiective i transparente de evaluare a rezultatelor nvrii Proceduri de evaluare periodic a calitii corpului profesional Accesibilitatea resurselor adevate nvrii Baza de date actualizat sistematic, referitoare la asigurarea intern a calitii Unitile de PT utilizeaz principiile calitii i descriptorii de performant asociai acestora n procesul de autoevaluare, pentru monitorizarea i mbuntirea calitii precum i pentru a se pregti pentru inspecie. Inspectorii unitilizeaz principiile calitii i descriptorii de performant asociai acestora pentru validarea raportului procesului de autoevaluare, precum i pentru a inspecta i monitoriza extern performanta unitilor de PT. Principala caracteristic a CNAC n PT este aceea c este centrat pe elev. De aceea, n procesul de autoevaluare, unitile de PT vor trebui s identifice n primul rnd impactul aciunilor lor asupra experienei de nvare a elevilor. Descriptorii de performant descriu activitile i situaiile care pot aprea n procesul de bun funcionare a unei uniti de PT. 6
Principala responsabilitate n mbuntirea calitii i standardelor ofertei de Educaie i Formare Profesional (EFP) revine frunizorilor de EFP. Este esenial ca funizorii s depun eforturi pentru a gestiona i imbunti calitatea ofertei lor, folosind metode de asigurare a calitii clar definite i aprobate pentru a evalua n mod regulat toate aspectele ofertei lor. Ca parte a monitorizrii i mbuntirii calitii EFP i ncurajeaz personalul s realizeze analize i evaluri ale performanei lor. Aceast autoevaluare i planul de mbuntire care rezult sunt folosite ca parte a sistemului de manangement al calitii, mpreun cu evalurile externe ale calitii i exerciiile de comparaie cu alte instituii. Autoevaluarea realizat de furnizorii de EFP sub propriul control i responsabilitate, poate fi definit ca un proces sistematic i progresiv de evaluare n care furnizorii de EFP colecteaz i analizeaz dovezile pentru a formula judeci asupra performanei lor n raport cu obiectivele stabilite. Procesul de autoevaluare i mbuntire continu trebuie s includ: Evaluarea performanei Raportul de autoevaluare Planul de mbuntire, intele mbuntirii i planul de aciune Monitorizarea i analiza Evaluarea extern
Evaluarea performanei Monitorizare intern i evaluare ext. Raport de autoevaluare Plan de mbuntire 7
Monitorizarea, analiza i evaluarea desfurate pe parcursul procesului de autoevaluare contribuie direct la asigurarea calitii ofertei de educaie i formare profesional. Asigurarea calitii implic toate tehnicile i activitile care vizeaz eliminarea cauzele performanei nesatisfctoare prezente de la toate nivelurile semnificative- de la identificarea nevoilor pana la stabilirea gradului n care au fost satisfcute aceste nevoi. Astfel, procesul de asigurare a calitii va cuprinde urmtorii pai: Identificarea variabilelor cheie care urmeaz s fie monitorizate Stabilirea intelor, standardelor sau nivelurilor de performan cerute pentru aceste variabile Dezvoltarea i implementarea unui sistem pentru colectarea, analizarea i raportarea informaiilor privind performana legat de variabilele cheie Identificarea aciunii care trebuie s urmeze dac performana se situeaz sub inte, standarde sau nivelurile cerute Implementarea i monitorizarea aciunilor n vederea schimbrii Principalul scop al autoevalurii este mbuntirea propriei performane. Autoevaluarea eficient d posibiliatea unui furnizor de EFP s-si identifice punctele tari i punctele slabe, s compare propria perfoman cu cea a altor furnizori, s identifice posibiliti de mbuntire, s stabileasc obiective i inte i s i organizeze ordinea prioritii aciunii necesare pentru a le realiza. Funizeaz, de asemenea, mijloace de identificare i satisfacere a nevoilor elevilor i ale altor factori interesai. Autoevaluare trebuie s sprijine dezvoltarea organizaional. De aceea, ea trebuie efectuat ca parte integrat a planificrii strategice i operaionale, nu ca o activitate nchis. Scopul autoevaluarii trebuie comunicat n mod corespunztor ntregului personal, elevilor i celorlali care folosesc serviciile furnizorului de EFP. n planificarea autoevalurii, furnizorii de EFP trebuie s identifice: De ce se realizeaz autoevaluarea? Care sunt domeniile sau activitile supuse autoevaluarii? Cum se va realiza autoevaluarea? Cine va realiza autoevaluarea? Cnd vor fi derulate etapele procesului? Pentru a realiza o mbuntire continu, ntreg procesul trebuie sa fie ncurajat s i monitorizeze i s i evalueze propria performan i s identifice acele domenii care trebuie mbuntite.
Mai jos este descris o succesiune de pai care pot servi ca punct de plecare pentru noile echipe atunci cnd trebuie s i organizeze autoevaluarea propriei discipline: 8
Identificarea persoanelor responsabile pentru ndeplinirea intelor convenite Indentificarea lipsurilor/golurilor i a cauzelor perfomanei nesatisfctoare Stabilirea unui acord privind aria de acoperire a raportului de autoevaluare Stabilirea parcticii i performanei actuale Comparaia cu inte, standarde, niveluri de performan Identificarea implicaiilor ce in de resurse asupra realizrii aciunilor Identificarea oportunitilor i constrngerilor n realizarea aciunilor Defenirea rolurilor i a responsabilitilor n realizarea aciunilor ntocmirea unui plan de actiune i stabilirea de comun acord a intelor i termenelor de realizare Formularea soluiilor posibile i a aciunilor necesare Procesul de autoevaluar e desfurat de echpele pe disciplinie sau servicii 9
Este necesar ca organismele externe implicate s fie guvernate despre scopul i rezultatele procesului de autoevaluare, iar feedback-ul s fie folosit la dezvoltarea calitii ofertei de educaie i formare profesional. Procesul de autoevaluare trebuie condus i organizat n mod operativ i eficient. Liderii i managerii trebuie s adere la obiectivele autoevalurii i s caute s promoveze o atmosfer de ncredere n care indivizii i grupurile pot reflecta asupra propriei performane i pot avea o atitudine critic asupra acesteia. Evoluiile de la an la an n ceea ce privete activitatea furnizorilor de EFP trebuie sa fie nregistrat pentru a furniza dovezi ale mbuntirii realizate. Activitatea trebuie evaluat n raport i cu intele convenite i, acolo unde este posibil, trebuie sa fie comparate cu activitatea altor furnizori de EFP i cu intele naionale. Evaluatorii externi trebuie s aprecieze calitatea i soliditatea dovezilor citate n rapoartele de autoevaluare i s decid dac acestea furnizeaz o justificare adecvat pentru punctele tari i puntele slabe precizate. Pentru ca dovezile s fie solide, acestea trebuie sa fie: Valide - dovezile sunt semnificative i susin punctele tari i punctele slabe identificate Cuantificabile - sunt folosite msuri de performan interne i externe, sunt folosite att cifre ct i procente i sunt clare i fr ambiguiti Suficiente Actuale Exacte Este necesar ca panificarea i implementarea schimbrilor semnalate de autoevaluare s fie elaborate cu atenie. Se estimeaz c 80% din iniiativele de mbuntire eueaza din cauza planurilor slab concepute. O bun practic o constituie implicarea n procesul de planificare a tuturor factorilor interesai. Este de asemenea important ca interdependena dintre planurile de aciune care vizeaz diferite domenii s fie neleas i ca toate planurile de aciune sa fie integrate n planificarea mbuntirii la nivel de organizaie. Procesul planului de mbuntire este pezentat mai jos: 10
3.2 Controlul calitii educaiei (inspecia)
Toi elevii au dreptul fundamental la un proces de nvare de bun calitate. Inspecia constituie o component esenial a Cadrului de Asigurare a Calitii pentru creterea standardelor. Aceasta asigur o evaluare extern independent a calitii i a standardelor furnizorilor de EFP. Prezentul capitol definete cadrul n care trebuie sa se desfoare inspecia, pregtirile care trebuie avute n vedere pentru o inspecie extern i principiile care stau la baza modului n care inspectorii i ndeplinesc sarcinile de lucru. Inspectorii trebuie s ncerce s ajung la un echilibru ntre necesitatea unei inspecii riguroase i flexibilitatea de care este nevoie pentru a rspunde situaiilor individuale care caracterieaz fiecare furnizor de EFP care trebuie inspectat. Inspecia trebuie sa fie o experien pozitiv i n acelai timp provocatoare. Ea completeaz autoevaluarea efectuat de fiecare furnizor de EFP i contribuie la stimularea i dirijarea procesului de mbuntire. Inspecia ofer personalului organizaiei de EFP oportunitatea unei evaluri impariale i clare a calitii muncii lor i a unor analize a punctelor tari, punctelor slabe, a prioritilor de mbuntire. Programul naional de inspecie este condus i administrat de ctre inspectorat. Inspectoratul va stabili programul ciclurilor de inspecie la nivel judeean i naional i va hotr cnd vor avea loc inspeciile. Inspectoratul trebuie s se asigure c inspeciile sunt efectuate i sunt raportate obiectiv i imparial. Inspectoratul stabilete data de desfurare a fiecrii inspecii la un furnizor de EFP, n funcie de urmtoarele criterii: Data la care a avut loc inspecia precedent Constatrile inspeciei precedente Tendinele performanei de-a lungul timpului Performana obinut n raport cu mediile la nivel naional 11
Inspectoratul alctuiete o baz de date a dovezilor pentru formularea judecilor, astfel nct concluziile inspectorilor s constituie date de comparaie pentru inspeciile viitoare i pentru statisticile naionale. Baza de date va fi de asemenea folosit pentru a sprijini implementarea planurilor de mbunatire. n plus, inspectoratul este responsabil cu recrutarea i instruirea inspectorilor i cu monitorizarea performanelor acestora. Urmtoarele principii se aplic tuturor activitilor de inspecie efectuate n numele inspectoratului. a. Inspecia trebuie s aib n vedere interesul tuturor elevilor, pentru a ncuraja existena unei oferte educaionale de nalt calitate, care s rspund unei nevoie diverse i s promoveze egalitatea b. Inspecia evalueaz i pune un diagnostic n ceea ce privete calitatea i conformitatea, furniznd astfel o baz clar pentru mbuntire c. Inspecia ia n considerare i valideaz autoevaluarea efectuat de furnizorii de EFP d. Inspecia ofer un feedback clar i constructiv i duce la elaborarea unui raport scris care evalueaz performana i calitatea e. Inspecia este efectuat de persoane ce dispun de cunotine profesionale i instruite adecvat si suficient f. Judecile de evaluare formulate de inspectori se bazeaz pe descriptorii de perfoman din cadrul de asigurare a calitii i sunt justificate prin dovezi valabile g. Inspecia reflect codul de conduit h. Inspecia respec cerinele de asigurare a calitii Inspecia msoar calitatea ofertei de educaie i formare profesional prin raportare la o serie de descriptori de performan privind calitatea. Acetia sunt grupai n opt principii ale calitii: PC 1 Managementul calitii PC 2 Responsabilitile managerului PC 3 Managementul resurselor PC 4 Proiectare i dezvoltare PC 5 Predare i nvare PC 6 Evaluarea i certificarea nvrii PC 7 Msurare i analiz PC 8 mbuntire 12
Cnd este planificat o inspecie, raportul de autoevaluare al furnizorului de EFP este trimis la inspectorat, mpreun cu celelalte informaii relevante, cum ar fi datele privind rata de retenie, progresul i rezultatele colare. Fiecare inspecie la furnizorii de EFP va fi condus de un inspector coordonator, care va fi responsabil de conducerea echipei ce inspectori i de coordonarea inspeciei. Inspectorul coordonator este responsabil cu aprobarea componenei echipei de inspectori i cu conducerea activitii de inspecie. Inspectorul coordonator va fi de asemenea responsabil cu redactarea raportului final scris i cu furnizarea de feedback directorului organizaiei inspectate. Fiecare inspector are responsabilitatea de a inspecta i raporta n ceea ce privete anumite arii curriculare sau principii de calitate specifice. Toi inspectorii care fac parte din echip vor contribui la evaluarea global a furnizorului de EFP, vor fruniza dovezi i vor forma judeci cu privire la principiile calitii. Membrii echipei de inspectori trebuie sa dein n colectiv cunotinele i experiena necesare inspectrii tuturor aspectelor ofertei educaionale, care trebuie acoperite n timpul inspeciei. Inspectorii trebuie: S evalueze obiectiv i imparial S nu aib nici o legatur cu furnizorul de EFP S elaboreze un raport corect i imparial S se asigure c judecile formate sunt exacte S se asigure c judecile sunt comunicate cu claritate i onestitate S aib un mod de lucru transparent i deschis i s ofere feedback S dispun toate eforturile pentru a reduce ct mai posibil starea de tensiune a celor inplicai S menin un dialog practic i productiv cu persoanele inspectate S adere la principiul egalitii anselor S respecte conformitatea informaiilor Dup ce furnizorul de EFP a primit notificarea de inspecie, inspectorul coordonator va organiza o edint de planificare a inspeciei mpreun cu directorul furnizorului de EFP. edina de planificare a inspeciei va avea loc nainte de desfurarea inspeciei. La edina de planificare a inspeciei, inspectorul coordonator va prezenta i va discuta planul de inspecie. La aceast edin furnizorul de EFP va pune la dispoziie urmtoarele documente: Manualul cadrelor didactice, dac exist un astfel de manual Structura organizatoric a furnizorului de EFP, cu identificarea responsabilitilor manageriale Dac este cazul, o actualitate a raportului de autoevaluare 13
Dac este cazul, o actualizare a planului de mbuntire Dup edina de planificare a inspeciei furnizorul de EFP va trebui s furnizeze orarele corespunztoare pentru fiecare arie curricular. Pot fi solicitate i alte documente importane. De cele mai multe ori, inspectorii vor solicita urmtoarele: Detalii pivind calificarea i experiena personalului Fiele posturilor pentru personalul principal Rapoartele de revizuire a programelor de formare Documentele care prezint programele de formare Planuri de lecii, planificri i evaluarile profesorilor Eantioane din lucrarile evaluate ale elevilor n timpul inspeciei, echia de inspectori va colecta dovezi legate de o serie de aspecte reprezentative privind oferta educaional a furnizorilor de EFP respectiv. Inspectorii trebuie s colecteze suficiente dovezi pentru a-i susine judecile formulate. Inspectorii vor intervieva elevii, instructorii, profesorii, prinii, personalul agenilor economici i personalul organizaiei de EFP. Ei vor vizita locurile n care se desfoar procesul de nvare atat la nivel oficial ct i neoficial i vor examina activitatea elevilor. Ei vor inspecta de asemenea modul de planificare, furnizare i evaluare a procesului de nvare, modul n care elevii sunt ndrumai i sprijinii i ct de eficient este promovat i implementat egalitatea anselor. Pe ct posibil, leciile selectate vor cuprinde o gam reprezentativ de activiti( individuale, de grup, de ndrumare). Inspectorii pot asista la o ntreag lecie sau la numai o parte din aceasta, ns sunt nevoii s petreac suficient timp la ore pentru a putea formula apoi judeci valide i viabile n ceea ce privete standardul procesului de nvare. Analiza i evaluarea datelor privind rata de retenie, progresul i rezultatele colare efectuate de inspectori sunt o surs esenial de dovezi n ceea ce privete standardele. Inspectorii vor colecta dovezi din contribuia elevilor n timpul leciilor, rspunsurile acestora la ntrebrile profesorilor, calitatea ntrebrilor puse de elevi n timpul leciilor i la ntlnirile cu inspectorii i informaiile obinute din sondaje care au ca obiectiv aflarea punctului de vedere al elevilor. Identificarea elevilor sau a grupurilor de elevi va rmne anonim i confidential. Furnizorul de EFP va pune la dispoziia echipei de inspectori o sal adecvat unde acetia se vor ntruni i vor lucra pe parcursul inspeciei. Pe tot parcursul inspeciei, echipa de inspectori se va ntruni pentru a-i mprti i analiza constatrile fcute. Inspectorii i furnizorul de EFP vor avea n vedere faptul c centrul de interes al nspeciei se poate modifica pe msur ce unele probleme sunt rezolvate i apar altele noi. 14
Inspectorii formuleaz diferite prejudeci n timpul inspeciei. Acestea trebuie exprimate n mod clar i exact, acordnd note de la 1 la 3 i folosind adjective ca cele din tabelul de mai jos: Nota Descriere Implicaii 3 Excepional, de foarte bun calitate, remarcabil, foarte eficient, foarte rapid, cu mult peste medie Performan ridicat- peste cerine merit s fie mprtit n afara organizaiei de EFP 2 Bun, mediu, acceptabil, satisfactor, tipic, eficient, rapid Performan bun- mplineste cerinele, merit s fie mprtit n cadrul organizaiei, s fie susinut i dezvoltat 1 Sub medie, inadecvat, nesatisfctor, ncet Performan slab, sub cerine, necesit atenie, msuri imediate i schimbare
Dup ce echipa de inspectori a ajuns la anumite concluzii, acestea trebuie explicate persoanelor competente n cadrul organizaiei de EFP n cadrul unor ntalniri separate. Dup oferirea de feedback verbal, raportul scris nu va putea conine alte judeci dect cele prezentate deja furnizorului de EFP. Dup inspecie, furnizorul de EFP trebuie s niializeze un plan de aciune n care s detalieze cum intenioneaz s rspund contestaiilor inspeciei. Furnizorul de EFP are la dispoziie 2 luni pentru a pregti acest plan de aciune. La calcularea acestui termen de 2 luni, perioadele de vacan vor fi excluse.
3.3 Evaluarea extern a calitii CINE o realizeaz? Agenia Romn de Asigurare a Calitii n nvmntul Preuniversitar, ca instituie public de evaluare extern Alte instituii private, nfiinate legal i recunoscute de MedCT CAND se realizeaz? Cel puin odat la 3 ani, pentru unitile de nvmnt acreditate CUM o realizeaz? Pe baza procedurii de evaluare extern, conform metodologiei n vigoare.
15
4. Bibliografie
1. Dobrin Cosmin, Calitatea n sectorul public, Ed. ASE, Bucureti, 2005 2. Sperdea Natalia Maria, Fundamentele managementului calitii, Ed. Universitar, 2007 3. Rdulescu Alexandrina, Calitatea n justiie, Casa Crii de tiin, Cluj- Napoca 2008
4. Tocil Ancua-Mariana, Managementul calitii n educaie, Ed. Larisa, 2011