AGENIA ROMN DE ASIGURAREA CALITII N NVMNTUL SUPERIOR ARACIS

GHIDUL ACTIVITILOR DE EVALUARE A CALITII PROGRAMELOR DE STUDII UNIVERSITARE I A INSTITUIILOR DE NVMNT SUPERIOR
PARTEA III a EVALUAREA EXTERN A CALITII ACADEMICE DIN INSTITUIILE DE NVMNT SUPERIOR ACREDITATE (EVALUAREA EXTERN INSTITUIONAL)

DECEMBRIE 2006

Evaluarea extern a calitii academice se realizeaz n urmtoarele cazuri:

a) pentru autorizarea funcionrii provizorii a unui program de studiu (autorizare de program) sau a unui furnizor de servicii de nvmnt superior (autorizare instituional) b) pentru acreditarea unui program de studiu (acreditare de program) sau a unei instituii de nvmnt superior (acreditare instituional)

c) pentru certificarea periodic, la intervale de cinci ani, a calitii academice a serviciilor de nvmnt i cercetare dintr-o universitate acreditat.

SUMAR
Evaluarea extern a calitii academice din instituiile de nvmnt superior acreditate se efectueaz pentru certificarea periodic, la intervale de cinci ani, a calitii academice a serviciilor de nvmnt i cercetare ca parte a procesului de nvmnt dintr-o universitate acreditat.

III.1. EVALUAREA EXTERN LA NIVEL INSTITUIONAL verificarea activitii manageriale i a structurilor instituionale ; verificarea activitii financiare verificarea procedurilor interne de asigurare a calitii. verificarea strii calitii la nivel instituional, rezultat din analiza i corelarea tuturor informaiilor disponibile, corespunztoare Metodologiei.

III.2. EVALUAREA EXTERN A CALITII PROGRAMELOR DE STUDIU Verificarea ndeplinirii n continuare a cerinelor pe baza crora au fost acordate autorizarea provizorie/acreditarea programelor i acreditarea instituional, care ncepe cu verificarea ndeplinirii cerinelor normative obligatorii privind autorizarea funcionrii provizorii i acreditarea programelor de studii universitare de licen, precizate la parag. 4.2 din Metodologie, pentru un numr de programe acreditate stabilit in funcie de numrul domeniilor de licen, dar nu mai puin de trei programe acreditate. Monitorizarea evalurii: un director de misiune, membru al Consiliului ARACIS, de regul din Departamentul pentru evaluarea calitii. Directorul de misiune propune, in calitate de coordonator al echipei de experi evaluatori care efectueaz vizita, un reprezentant al Comisiei de evaluare instituional pentru activiti manageriale sau financiare sau, dup caz, un reprezentant al uneia dintre Comisiile de experi permaneni de specialitate care evalueaz un domeniu, unul sau mai multe programe de studiu. Propunerea se discut i se aprob in Consiliul Ageniei. Echipa (comisia) de EXPERTI EVALUATORI : - experi evaluatori din DOMENIILE in care se ncadreaz programele de studiu vizitate, din care face parte, de regul, cte un membru al Comisiei de experi permaneni de specialitate (ntocmesc FIA VIZITEI, in vederea evalurii calitii academice a programelor de studii, semnat de toi membrii echipei) ; Fia vizitei se discut i se aprob n Comisiile DE EXPERI PERMANENI DE SPECIALITATE, pe domenii (se ntocmesc RAPOARTE DE EVALUARE A CALITII PROGRAMELOR DE STUDII, pentru fiecare program evaluat); Rapoartele de evaluare a calitii programelor de studii se depun la DEPARTAMENTUL DE EVALUARE EXTERN A CALITII; - experi evaluatori in domeniul activitilor manageriale i financiare i a structurilor instituionale (ntocmesc FIA VIZITEI i RAPORTUL COMISIEI DE EVALUARE INSTITUIONAL PENTRU ACTIVITI MANAGERIALE I FINANCIARE, care se depun la DEPARTAMENTUL DE EVALUARE EXTERN A CALITII) ; - DEPARTAMENTUL DE EVALUARE EXTERN A CALITII discut i aprob Rapoartele de evaluare a calitii programelor de studii i Raportul comisiei de evaluare instituional pentru activiti manageriale i financiare (ntocmete RAPORTUL DEPARTAMENTULUI DE EVALUARE EXTERN A CALITII); - RAPORTUL DEPARTAMENTULUI DE EVALUARE EXTERN A CALITII, se prezint i se discut n CONSILIUL ARACIS (dup aprobare, se finalizeaz prin RAPORTUL DE EVALUARE INSTITUIONAL EXTERN AL AGENIEI)

CUPRINS
III.1. EVALUAREA EXTERN A CALITII EDUCAIEI LA NIVEL INSTITUIONAL 1. Introducere
1.1. Contextul 1.2. Principii de aplicare a metodelor de evaluare instituional extern 1.3.Periodicitatea evalurii instituionale externe

2. Scopul si obiectivele evalurii instituionale externe

2.1. Scopul evalurii instituionale externe 2.2. Obiectivele evalurii instituionale externe

3. Aspecte principale ale procesului de evaluare instituional extern

3.1.Aspecte principale ale evalurii instituionale externe 3.2.Elementele principale ale evalurii instituionale externe

4. Datele necesare evalurii pentru activitile i structurile implicate n evaluare

4.1. Accesul echipelor de evaluatori la informaii 4.2. Participarea studenilor

5. Finalitatea i utilitatea evalurii externe i a rapoartelor publicate de Agenie

5.1. Rezultatele evalurii instituionale externe 5.2. Compararea rezultatelor evalurii calitii cu surse de referin

6. Echipa (comisia) de evaluare extern

6.1.Componenta echipei (comisiei) de evaluare instituional extern 6.2. Urmrirea desfurrii evalurii la nivelul Consiliului ageniei

7. Derularea procesului de evaluare instituional extern

7.1. Pregtirea si derularea evalurii instituionale externe 7.2. Detalii suplimentare privind desfurarea activitilor specificate in calendarul evalurii instituionale externe

III. 2. EVALUAREA EXTERNA A CALITATII PROGRAMELOR DE STUDIU CA PARTE A EVALUARII INSTITUTIONALE 8. Evaluarea programelor de studii
8.1. Scopul evalurii programelor de studii ca parte a evalurii instituionale externe 8.2. Modul de evaluare

III.3. EVALUAREA TEMATIC 9. Coninutul evalurii tematice

4

III.4. RAPORTUL DE EVALUARE INSTITUIONAL EXTERN AL AGENIEI 10. Coninutul i structura Raportului de evaluare instituional extern al Ageniei. 11. Modul de finalizare i difuzare a Raportului de evaluare instituional extern al Ageniei 12. Modalitatea de valorificare a evalurii instituionale externe i aciuni ulterioare 13. Administrarea procesului de evaluare i relaiile instituionale 14. Procedura de soluionare a contestaiilor ANEXE

1. Introducere
1.1. Contextul Misiunea Ageniei Romne pentru Asigurarea Calitii n nvmntul Superior (numit n continuare Agenia sau ARACIS), stabilit n conformitate cu prevederile Ordonanei de urgen a Guvernului nr. 75/2005 privind asigurarea calitii educaiei, aprobat prin Legea nr.87/2006, Art.14 (1), const n evaluarea extern a calitii educaiei, respectiv a rezultatelor i performanelor academice ale instituiilor de nvmnt superior. n acest sens, Agenia contribuie la promovarea ncrederii publice n regulile i standardele de acordare a calificrilor universitare, respectiv a diplomelor i certificatelor n nvmntul superior din Romnia. Aceast parte a ghidului descrie metodele i procedurile aplicate de Agenie pentru evaluarea instituional extern.

Procesul de evaluare extern a calitii la nivel instituional (evaluare instituional extern) se bazeaz pe un parteneriat strategic i informaional permanent ntre Agenie i Consiliul Naional al Rectorilor (CNR), pe consultarea sistematic a Ageniei Naionale pentru Calificrile din nvmntul Superior i Parteneriat cu Mediul Economic i Social (ACPART) precum i pe colaborarea cu Ministerul Educaiei i Cercetrii.

1.2. Principii de aplicare a metodelor de evaluare instituional extern Evaluarea extern este un proces care acord atenie att calitii programelor de studii i standardelor de acordare a diplomelor i certificatelor, ct i responsabilitii instituiilor de nvmnt superior pentru ceea ce ntreprind n acest scop. Evaluarea extern este o evaluare colegial (peer review) care pornete de la documentele de asigurare a calitii interne existente n fiecare instituie i urmrete respectarea ctorva principii fundamentale. Evaluarea instituional extern caut s pstreze un echilibru ntre nevoia de evaluare riguroas, independent i public credibil a instituiilor i recunoaterea faptului c instituiile se afl ele nsele n cea mai potrivit poziie pentru a furniza tuturor celor interesai informaii corecte i la zi despre calitatea programelor lor de studii i a standardelor de acordare a diplomelor i certificatelor de absolvire. Ca parte a aplicrii procesului de evaluare instituional extern, Agenia stabilete periodic, mpreun cu M.Ed.C i CNFIS, categoriile de date, informaii i criterii legate de calitatea educaiei i standardele obligatorii pentru fiecare instituie de nvmnt superior. Agenia se ateapt ca instituiile de nvmnt superior s publice sistematic o serie de informaii actualizate anual despre calitate i standarde i s deruleze propriile evaluri interne, n contextul strategiilor lor de predare i nvare. Procesul de evaluare instituional extern se bazeaz, n bun msur, pe aceste date i informaii publicate. Procesul de evaluare instituional extern solicit un nalt grad de deschidere, transparen i ncredere n relaia dintre Agenie i fiecare instituie de nvmnt superior. Pentru a se asigura seriozitatea, imparialitatea i respectarea ncrederii, activitatea Ageniei se bazeaz pe principii generale i, de asemenea, pe adoptarea unui set de principii si reguli de operare care sunt prezentate n ANEXA 1.1.

Procesul de evaluare a calitii pune un accent special pe studeni, respectiv pe informaia pe care ei o primesc despre i prin programele de studii, pe modul n care le este facilitat accesul la nvare i pe standardele academice i competenele recunoscute pe piaa muncii care se prezum a fi atinse prin calificrile academice obinute de fiecare absolvent al unui program de studii.

Evaluarea extern combin aprecierea capacitii instituionale de a organiza adecvat derularea programelor de studii cu investigaiile asupra modului n care se asigur calitatea la nivelul fiecrui program de studii. (acest termen este utilizat n prezentul Ghid pentru a acoperi ntreaga varietate a modalitilor, opiunilor i a altor oportuniti de studiu, cercetare individual i suportul conex pentru nvare, care mpreun constituie traseul de nvare care permite accesul la acordarea diplomei, odat cu absolvirea programului).

1.3. Periodicitatea evalurii instituionale externe Procesul de evaluare instituional extern este introdus progresiv n nvmntul superior romnesc ncepnd cu anul universitar 2006-2007. Toate instituiile de nvmnt superior vor participa ntr-o prim rund la evaluarea instituional extern pn la sfritul anului 2009. Dup aceea, evaluarea extern se va realiza ciclic, odat la 5 ani. La jumtatea fiecrui ciclu (dup minimum doi ani, dar nu mai trziu de trei ani), Agenia urmeaz s efectueze in fiecare instituie o scurt vizit de evaluare a progreselor realizate de la ultima evaluare extern i pentru a discuta inteniile instituiei legate de managementul mbuntirii calitii i standardele de referin pentru anii rmai pn la urmtoarea evaluare. Se presupune c, de-a lungul ciclului de evaluare, instituiile vor continua s ndeplineasc nivelul de standarde constatate n precedenta evaluare i vor ncerca totodat s se ridice la nivele superioare. n timpul primilor 3 ani universitari de implementare a mecanismului de evaluare instituional extern (2006-2007, 2007-2008 i 2008-2009), instituiile care ateapt prima evaluare instituional extern particip iniial la proces pornind de la evaluarea instituional intern corespunztoare. n primul an, evaluarea are un caracter experimental i se iniiaz pe baz voluntar. n primul an, caracterul experimental, numit i de pilotare urmrete perfecionarea mecanismului intern de evaluare a calitii la nivel de programe de studiu i instituional, cu scopul de a testa, cu asistena i n cooperare cu Agenia, procedurile interne ale universitilor de asigurare a calitii, precum si relevana i funcionalitatea standardelor i standardelor de referin. Este de ateptat ca n primul an numrul de instituii supuse pilotrii s fie limitat, avnd n vedere i necesitile de formare a evaluatorilor ageniei.

2. Scopul i obiectivele evalurii instituionale externe

2.1. Scopul evalurii instituionale externe Scopul evalurii instituionale externe este acela de a identifica i certifica msura n care instituiile de nvmnt superior rspund interesului public, precum i a msurilor pentru creterea calitii, n urmtoarele componente principale ale vieii universitare:

n procesul de predare-nvare, prin asigurarea unui nivel calitativ acceptabil al programelor de studii, n conformitate cu standardele academice de referin pe care ea nsi le-a fcut publice i care sunt cel puin la nivelul standardelor, standardelor de referin i indicatorilor de performan ARACIS, n conformitate cu prevederile Hotrrii Guvernului Romniei nr. 1418/11.10.2006. n exercitarea dreptului legal de acordare a diplomelor i calificrilor.

2.2. Obiectivele evalurii instituionale externe Obiectivele evalurii instituionale externe sunt: S contribuie, alturi de alte mecanisme, la promovarea i asigurarea unei nalte caliti n procesul de predare-nvare n instituiile de nvmnt superior. S asigure studenilor, angajatorilor i publicului un acces ct mai larg i rapid la informaii clare, de ncredere i explicite despre modul n care fiecare instituie ofer programe de studii, diplome i calificri care respect cerinele naionale, n conformitate cu standardele academice europene i principiile de calitate. S asigure faptul c, n situaiile n care calitatea programelor de studii este deficitar, procesul de evaluare extern creeaz premisele pentru iniierea aciunilor de mbuntire a acestora. S aplice mecanisme de evaluare extern prin care sunt garantate calitatea procesului de predare-nvare, transparena gestiunii i responsabilitatea public a instituiilor de nvmnt superior.

3. Aspecte principale ale procesului de evaluare instituional extern

3.1. Aspecte principale ale evalurii instituionale externe Evaluarea instituional extern se concentreaz pe urmrirea a trei aspecte principale, dup cum urmeaz: Eficiena mecanismelor i structurilor interne de asigurare a calitii la nivelul instituiilor (capacitatea instituional), din perspectiva Codului de Bune Practici pentru asigurarea calitii academice i standardelor de absolvire n nvmntul superior i de msura n care coninutul i calitatea programelor de studii i standardele de acordare a diplomelor sunt periodic revizuite de fiecare universitate. Codul urmeaz s fie elaborat de Agenie dup etapa de pilotare din 2006-2007, innd seama de bunele practici la nivel European cuprinse n documentele Reelei Europene pentru Asigurarea Calitii n nvmntul Superior European Network for Quality Assurance in Higher Education ENQA. Totodat, se analizeaz dac recomandrile fcute cu prilejul evalurilor precedente (interne i externe) sunt implementate i care este efectul acestora. Scopul acestei examinri este acela de a furniza informaii publice despre calitatea activitilor din orice instituie de nvmnt superior, n calitate de furnizor de programe pentru calificarea superioar recunoscut pe plan intern i internaional; Acurateea, caracterul complet i credibil al informaiilor pe care instituiile le public n legtur cu calitatea programelor lor de studii i diplomele pe care le acord la absolvirea acestora. Pe aceast cale, se furnizeaz informaii cu privire la nivelul de ncredere ce se poate acorda materialelor informative publicate de instituii referitor la 8

calitatea activitii i se accentueaz caracterul util al informaiei pentru studeni i pentru alte pri interesate; Mecanismele i procedurile de asigurare intern a calitii, care sunt analizate prin examinarea documentar a asigurrii calitii programelor de studii, respectiv, prin evaluarea tematic a unor activiti (de exemplu: cum este asigurat la nivel de universitate calitatea serviciilor de orientare profesional i de carier a studenilor; care este mecanismul de asigurare intern a calitii examinrii la nivel de catedre i faculti etc.). Evaluarea extern are ca scop demonstrarea validitii i a credibilitii informaiilor furnizate de universiti n baza procesului intern de asigurare a calitii. Ca tendin general, n cadrul evalurii externe instituionale, evaluarea programelor de studii se ateapt s acopere cel puin 20% din programele unei instituii de nvmnt superior.

3.2 Elementele principale ale evalurii instituionale externe Pentru ca evaluarea instituional extern s poat rspunde scopului pentru care se realizeaz, aceasta urmrete cteva elemente principale : Examinarea mecanismelor i procedeelor interne de asigurare i ameliorare continu a calitii i a rezultatelor aplicrii acestora, n special la nivel de programe de studii; Modul n care se utilizeaz referinele externe incluse in Metodologia privind Asigurarea Calitii, inclusiv in Codul de Bune Practici; Informaiile publice disponibile despre coninutul i calitatea programelor de studii i a standardelor de acordare a diplomelor la absolvirea acestora; Sistemul intern de management al informaiei i contribuia acestuia n monitorizarea intern a calitii i a respectrii standardelor; Conceperea, utilizarea i publicarea informaiilor cu privire la programe; Standardele academice propuse de instituie i cele realizate de ctre studeni n obinerea calificrilor academice la absolvirea programelor de studii; Experiena studenilor n procesul de nvare ; Asigurarea calitii corpului profesoral, inclusiv criteriile de evaluare i modul n care eficiena predrii-nvrii este monitorizat, perfecionat i recompensat de managementul universitii; Modul n care instituia ridic nivelul calitativ al tuturor activitilor de nvmnt, cercetare i manageriale n raport cu nivelele indicatorilor de performan realizai la acreditare. Aceast enumerare nu este limitativ, pentru atingerea scopului evalurii externe putnd fi adugate si alte elemente, inclusiv de comun acord cu instituia.

4. Datele necesare evalurii pentru activitile i structurile implicate n evaluare

4.1. Accesul echipelor de evaluatori la informaii Pentru sprijinirea echipelor (comisiilor) de evaluare n formularea aprecierilor lor, acestea au la dispoziie o varietate de surse de informare, incluznd: Setul de informaii care se raporteaz anual Ministerului Educaiei i Cercetrii i, respectiv, CNFIS Consiliului Naional pentru Finanarea nvmntului Superior si CNCSIS Consiliului Naional pentru Cercetarea tiinific n nvmntul Superior. 9

Agenia contientizeaz faptul c instituiile vor avea nevoie de timp pentru ndeplinirea cerinelor i va furniza recomandri adecvate echipelor de experi evaluatori care vor vizita instituiile n cadrul fazei de experimentare (pilotare). Rapoartele de autoevaluare elaborate de instituii, inclusiv documentele de autoevaluare specifice programelor de studii i documentaia de suport; Ghidul elaborrii documentelor de autoevaluare ale instituiei i recomandri privind structura Raportului de evaluare intern (autoevaluare) este prezentat in ANEXA 4.1; Informaia din cadrul instituiei i din alte surse despre ariile disciplinare selectate a fi evaluate, inclusiv evidena rezultatelor studenilor la aceste discipline n universitatea respectiv, comparativ cu alte instituii de nvmnt superior. Rapoarte asupra instituiei elaborate de Agenie sau de alte organisme relevante pe perioada ultimilor cinci ani. Informaii obinute n timpul sau dup vizitele de evaluare.

Cu scopul de a sprijini elaborarea aprecierilor, echipele (comisiile) de evaluare au la dispoziie informaii i analize de date relevante, care vor fi elaborate de Agenie ncepnd cu perioada de experimentare i, n continuare, cel puin anual. Echipa de experi evaluatori interacioneaz permanent cu un reprezentant al instituiei, denumit n continuare persoan de contact. Acesta este un membru reprezentativ al comunitii academice, stabilit de conducerea furnizorului de educaie. Persoana de contact contribuie la comunicarea eficient ntre evaluatorii Ageniei i instituia de nvmnt superior i este desemnat prin Decizia Rectorului. 4.2. Participarea studenilor Studenii reprezint un element central al obiectivelor evalurii externe instituionale. Echipele de evaluare examineaz o serie de aspecte relevante pentru studeni: calitatea informaiilor care le sunt furnizate, modul n care procesul de nvare este facilitat i sprijinit, standardele academice care se ateapt s fie atinse i cele efectiv nregistrate n practic la obinerea calificrii universitare. in cadrul fiecrui proces de evaluare, studenii sunt invitai s participe la principalele etape ale acestuia. Organismele reprezentative ale acestora n principal organizaia studeneasc sau echivalentul acesteia are posibilitatea s participe la ntlnirea preliminar dintre Agenie i instituie i poate s furnizeze un raport n form scris, naintea vizitei de evaluare. Membrii organismului reprezentativ, dar i ali studeni, sunt invitai s participe la anumite ntlniri pe parcursul vizitelor de evaluare i au posibilitatea de a se asigura c echipa de evaluare extern a luat cunotin de aspectele de prim interes i de preocuprile lor ca studeni. Se recomand instituiei s asigure participarea direct i independent a studenilor la proces, ncepnd cu redactarea documentelor de autoevaluare instituional.

5. Finalitatea si utilitatea evalurii instituionale externe i a rapoartelor publicate de Agenie

5.1. Rezultatele evalurii instituionale

Rezultatele evalurii instituionale sunt publicate de Agenie sub forma unui RAPORT DE EVALUARE INSTITUIONAL EXTERN AL AGENIEI, n care se fac urmtoarele tipuri de aprecieri: 10

ncrederea care poate fi acordat managementului prezent i previzibil al instituiei din punct de vedere al calitii programelor de studii i al standardelor de acordare a diplomelor la absolvire; aceast apreciere poate fi util n decizia de finanare din surse publice sau private a instituiei. ncrederea care poate fi acordat universitii pe baza caracterului clar, integru, complet i corect al informaiilor pe care instituia le public n legtur cu calitatea programelor sale i a standardelor de certificare; aceast apreciere este util cu prioritate studenilor prezeni i viitori ai instituiei i altor categorii de beneficiari. RAPORTUL DE EVALUARE INSTITUIONAL EXTERN AL AGENIEI formuleaz, de asemenea, comentarii asupra altor aspecte, inclusiv asupra caracteristicilor, capacitilor i limitelor metodelor interne de asigurare a calitii de ctre instituii, asupra calitii programelor de studii i standardelor de acordare de diplome i certificate de studii, n baza concluziilor evalurii programelor de studii. Raportul pune n eviden aspecte de bun practic, cuprinde recomandri de ameliorare progresiv a calitii i/sau recomandri de revizuire intern necesar la nivel de disciplin sau la nivel instituional.

5.2. Compararea rezultatelor evalurii calitii cu surse de referin Pentru evaluarea managementului calitii dintr-o instituie de nvmnt superior, se utilizeaz o serie de surse externe de referin, inclusiv Cadrul naional al calificrilor din nvmntul superior romnesc (n curs de elaborare), Metodologia de evaluare extern, standardele, standardele de referin i lista indicatorilor de performan a ARACIS, publicat de Agenie, bunele practici la nivel European cuprinse in documentele Reelei Europene pentru Asigurarea Calitii n nvmntul Superior European Network for Quality Assurance in Higher Education ENQA. Procednd n acest fel, nu se urmrete att identificarea conformitii, ct evidenierea modului n care instituia a luat n considerare propunerile din sursele de referin, le-a reflectat n propriile sale practici n arii diferite de activitate i convingerea c a adoptat sau c va adopta curnd toate msurile necesare pentru asigurarea calitii. Agenia dorete s se asigure astfel c schimbrile necesare vor fi efectiv ntreprinse pentru ca universitatea s se conformeze principiilor i standardelor de asigurare i mbuntire continu a calitii.

6. Echipa (comisia) de evaluare instituional externa

6.1.Componenta echipei (comisiei) de evaluare instituional extern Comisia (echipa) de evaluare extern urmrete calitatea instituiei n funcie de domeniile, standardele, criteriile i indicatorii de performan stabilii de reglementrile n vigoare, la nivelul instituiei, acreditat ca furnizor de programe de educaie de nvmnt superior. ntruct, prin aceste reglementri, furnizorul de educaie nu este decuplat de programele pe care le ofer, pentru realizarea obiectivelor stabilite echipa de evaluatori externi are o structur care s-i permit att dialogul cu furnizorul de educaie considerat ca instituie, cu un numr ct mai mare de beneficiari, ct i cu structurile responsabile pentru desfurarea unui numr relevant de programe de studiu. Avnd n vedere acest context obiectiv, echipa de evaluare extern poate fi format din minimum trei persoane, dintre care una este coordonatorul echipei. n cazuri bine justificate, echipei i se pot aduga experi evaluatori suplimentari, in funcie de numrul de programe de studiu sau de alte aspecte a cror urmrire este considerat necesar. Experii evaluatori suplimentari, 11

tehnici sau de specialitate, din ar sau din strintate, sunt chemai s ofere i alte opinii asupra unor aspecte specifice ale activitii la nivel de cerine normative obligatorii, disciplin sau program de studiu etc. Coordonatorul echipei de experi evaluatori care efectueaz vizita este propus de directorul de misiune i poate fi un reprezentant al Comisiei de evaluare instituional pentru activiti manageriale i financiare sau, dup caz, un reprezentant al uneia dintre Comisiile de experi permaneni de specialitate care evalueaz un domeniu sau unul sau mai multe programe de studiu. Propunerea se discut si se aprob in Consiliul Ageniei, dup aprobarea in Biroul executiv.

Mrimea echipei este determinat de Agenie n concordan cu dimensiunea i complexitatea activitii instituiei evaluate. Coordonatorul echipei se concentreaz preponderent asupra aspectelor la nivel instituional i are un rol important n asigurarea faptului c prin activitatea membrilor echipei se colecteaz date relevante necesare unei evaluri complete. Ceilali evaluatori rspund att cerinelor la nivel instituional, ct i celor de la nivelul programelor de studii. Dac pe parcursul vizitei nu au putut fi elucidate neclariti referitoare la un program de studii, un domeniu, n activitatea financiar i managerial sau n legtur cu mecanismul intern de asigurare a calitii, cel mult doi experi evaluatori suplimentari, tehnici sau de specialitate, din ara sau din strintate, diferii de cei care au participat la vizit, pot fi solicitai s efectueze o nou vizit, intrun termen ct mai scurt, specificat de Agenie. Evaluatorii sunt selectai de ctre Agenie, din baza proprie de date si sunt pregtii de Agenie pentru a se asigura familiarizarea lor cu scopurile, obiectivele i procedurile procesului de evaluare extern precum i cu propriile roluri i sarcini din cadrul misiunii de evaluare. Evaluatorii, persoane cu experien relevant pentru funciile lor n cadrul echipei de evaluare, sunt pregtii de Agenie n acord cu dinamica metodologiei, standardelor, criteriilor i indicatorilor de performan. Rapoartele de evaluare a calitii programelor de studii sunt ntocmite de comisiile de experi permaneni de specialitate a Ageniei. Raportul comisiei de evaluare instituional pentru activiti manageriale i financiare este ntocmit de comisie, cu participarea experilor evaluatori, membri ai echipei care a efectuat vizita, care se ocup cu aspectele financiare, de patrimoniu i manageriale.

6.2. Urmrirea desfurrii evalurii la nivelul Consiliului Ageniei Pentru fiecare misiune de evaluare, Departamentul de evaluare a calitii propune spre aprobare Consiliului Ageniei un director de misiune din rndul membrilor Consiliului ARACIS, o echip (comisie) de evaluare i un coordonator al echipei. Directorul de misiune selecteaz din Registrul de experi evaluatori membrii echipei (comisia) de evaluare i propune spre aprobare Biroului executiv al Consiliului ARACIS un coordonator al misiunii de evaluare, care face parte din Comisia de evaluare instituionala. Pentru selectarea experilor se ine seama de elementele cuprinse in ANEXA 6.1. Aplicarea mecanismelor externe de evaluare a calitii trebuie s fie ct mai transparent i eficient i totodat s nu consume mai multe resurse dect este necesar. n acest scop, echipa 12

(comisia) de experi evaluatori folosete informaiile existente i suportul documentar ale furnizorului de programe de studii. Astfel, documentele interne sunt supuse spre examinarea evaluatorilor desemnai de Agenie ca documente de autoevaluare. Evaluatorii vor folosi, de asemenea, si alte informaii i documente disponibile n format electronic, de exemplu, pe un site intranet al instituiei de nvmnt superior. Directorul de misiune: urmrete ca timpul alocat realizrii unei evaluri s fie cel minim necesar pentru a ajuta experii evaluatori s emit propriile lor aprecieri despre programele de studii evaluate i despre instituie; asigur transparena procesului de evaluare prin aplicarea standardelor i standardelor de referin fcute publice de ctre Agenie; interacioneaz permanent, mpreun cu coordonatorul echipei, persoana de contact stabilit de instituie. Echipa (comisia) de evaluare extern este monitorizat de Consiliul Ageniei pe ntreaga durat de pregtire, derulare i raportare a misiunii de evaluare extern, prin directorul de misiune.

Directorul de misiune formuleaz recomandri instituiilor n timpul pregtirii vizitei i lucreaz cu echipa de evaluare la analiza iniial a documentaiei, folosind ca termen de referin informaiile din baza de date a Ageniei. Directorul de misiune este un interlocutor important n dialogul cu reprezentantul instituiei evaluate. Totodat, el rspunde de finalizarea misiunii, colabornd cu coordonatorul echipei de evaluatori la redactarea i, dac este cazul, la revizuirea raportului final pe baza eventualelor sugestii ale instituiei evaluate. El semneaz alturi de coordonatorul misiunii forma final a Rapoartelor de evaluare a calitii programelor de studii i a Raportului comisiei de evaluare instituional pentru activiti manageriale i financiare prezentate DEPARTAMENTULUI DE EVALUARE EXTERN A CALITII al ARACIS.

7. Derularea procesului de evaluare instituional extern

7.1. Pregtirea i derularea evalurii externe Procesul de evaluare instituional extern se desfoar dup calendarul prezentat in continuare. (pentru anul 2007, in care Metodologia se aplica experimental, se recomand ca intervalele de timp precizate sa fie mai mici) Calendarul organizrii i derulrii unei misiuni de evaluare instituional extern Nr.crt. 1 Activiti
Departamentul de Asigurare a Calitii din ARACIS ia act de Cererea de evaluare extern depus la Agenie de ctre universitate, sau de depunerea altui document legal n baza cruia se iniiaz evaluarea extern, i de ndeplinirea condiiilor contractuale pentru evaluarea instituional i a cel puin 20% din programele de studiu. Cererea de evaluare va conine i lista tuturor programelor de studii acreditate, din toate domeniile, pe pentru toate cele trei cicluri.

Interval de timp
Desemnarea directorului de misiune de evaluare extern se face de ARACIS, cu 6 luni nainte de vizita de evaluare, pe baza cererii de evaluare instituional sau a altui document legal n baza cruia se iniiaz evaluarea extern, depus la sediul Ageniei de ctre institutie. Desemnarea directorului de misiune se face n termen de cel mult o lun de la primirea

13

Cererii de evaluare extern.

2.

Vizita preliminar a directorului de misiune de evaluare. Directorul de misiune viziteaz instituia pentru a se ntlni cu reprezentanii instituiei i cu studenii n legtur cu viitoarea vizit de evaluare. n cadrul vizitei preliminare se definitiveaz lista programelor acreditate care vor fi supuse evalurii. Directorul de misiune discut i stabilete mpreun cu instituia calendarul procesului de evaluare extern, Metodologia de evaluare i ghidurile aferente. Instituia este reprezentat de persoana de contact.

Vizita preliminar a directorului de misiune de evaluare are loc cu cel mult 5 luni nainte de vizita de evaluare. ntlnirea cu persoana de contact se finalizeaz printr-un document semnat de ambele pri.

3.

La propunerea Departamentului de Asigurare a Calitii, n baza documentului prezentat de directorul de misiune, Consiliul Ageniei aprob lista programelor de studii care urmeaz a fi evaluate, precum i componena echipei de experi evaluatori: coordonatorul echipei, experii evaluatori. Datele referitoare la programe se comunic universitii pentru a pregti documentaia complementar necesar. Agenia primete Raportul (documentaia) de autoevaluare la nivel instituional (pe hrtie i n format electronic), documentaia pentru programele de studii selectate de Consiliul Ageniei pentru evaluare extern, precum i anexele in format electronic.

Se finalizeaz cu cel mult patru luni nainte de vizita de evaluare.

4.

Agenia se ateapt s primeasc Raportul de autoevaluare nsoit de documentaia complet cu cel mult dou luni nainte de vizita de evaluare. Dac documentele nu sunt primite n acest interval de timp sau se constat c sunt incomplete, Agenia i rezerv dreptul de a reprograma vizita la o data ulterioar care s nu perturbe calendarul celorlalte evaluri stabilite de Agenie. Se realizeaz la sediul ARACIS, cu cel mult o lun nainte de vizita de evaluare. n timpul vizite, comisia de experi poate solicita s evalueze un numr limitat de alte obiective, precum i unele modificri de orar.

5.

6.

7.

ntlnirea coordonatorului echipei de evaluare, cu persoana de contact i cu un reprezentant al studenilor pentru a identifica obiectivele de derulare a evalurilor de pe parcursul vizitei, posibilele domenii de evaluare tematic i calendarul, orarul i locul fiecrei etape din vizita de evaluare. Sunt de asemenea stabilite informaiile suplimentare care trebuie pregtite de instituie pn la vizita de evaluare extern. Echipa de evaluare viziteaz instituia. Directorul de misiune se altur echipei n ziua final a vizitei. Echipa de evaluatori se ntlnete cu personalul didactic i cu studenii pentru a discuta aspecte ce privesc evaluarea la nivel instituional i la nivel tematic i la programele de studii selectate de Agenie. Evaluarea programelor de studii i/sau domeniilor este efectuat, de regula, de unul - doi experi. Daca este cazul, instituia este informat despre o posibil solicitare a unei expertize specializate independente pentru un program de studii sau un domeniu n care au aprut neclariti sau ndoieli n legtur cu mecanismul intern de asigurare a calitii. Instituia poate furniza, pe parcursul ultimei zile a vizitei

Vizita de evaluare instituional extern se desfoar timp de trei zile lucrtoare (de regul, miercuri - vineri).

La nceputul celei de a doua zile a vizitei.

14

8.

9.

de evaluare, eventuale informaii complementare care pot contribui la clarificarea situaiei. Directorul de misiune trimite instituiei vizitate o scrisoare care conine rezultatele preliminare ale evalurii instituionale. Scrisoarea este elaborat cu acordul tuturor membrilor echipei de evaluare i contrasemnat de coordonatorul misiunii. Dac este necesar, directorul de misiune stabilete n termen de o sptmn, mpreun cu instituia, data/datele la care se vor prezenta experii evaluatori suplimentari pentru vizita suplimentar de evaluare de program, domeniu sau evaluare tematic. Aceast vizit are loc ntr-un interval de cel mult dou sptmni dup vizita de evaluare instituional. Instituia rspunde la scrisoarea care conine rezultatele preliminare ale evalurii instituionale. DEPARTAMENTUL DE EVALUARE EXTERN A CALITII discut i aprob Rapoartele de evaluare a calitii programelor de studii i Raportul comisiei de evaluare instituional pentru activiti manageriale i financiare. Departamentul redacteaz RAPORTUL DEPARTAMENTULUI DE EVALUARE EXTERNA A CALITII; RAPORTUL DEPARTAMENTULUI DE EVALUARE EXTERN A CALITII se prezint i se discut n CONSILIUL ARACIS, care ntocmete RAPORTUL DE EVALUARE INSTITUIONAL EXTERN AL AGENIEI, n prezena directorului de misiune. Consiliul dispune publicarea Raportului de evaluare instituional extern al ageniei pe site-ul ARACIS. Se recomand publicarea n anex a scrisorii de rspuns a instituiei evaluate.

n cel mult dou sptmni dup vizita de evaluare.

Experii evaluatori suplimentari depun la Departamentul de asigurare a calitii al ARACIS rapoarte n care sunt cuprinse concluziile noii vizite, n termen de o sptmn de la ncheierea acesteia.

10. 11.

n cel mult o lun de la vizita de evaluare instituional extern. n termen de cel mult dou luni de la vizita de evaluare instituional.

7.2. Detalii suplimentare privind desfurarea activitilor specificate in calendarul evalurii instituionale externe. Procesul de evaluare ncepe cu ase luni naintea vizitei de documentare, cnd Departamentul de Evaluare a Calitii din cadrul Ageniei desemneaz directorul de misiune i i pune la dispoziie cererea de evaluare extern depus de instituia de nvmnt superior. ntlnirea preliminar ntre directorul de misiune i instituia de nvmnt superior are loc cu aproximativ cinci luni naintea vizitei de evaluare. Rolul ntlnirii este acela de a clarifica scopul i procedurile evalurii. Se discut interaciunea dintre membrii echipei de evaluare, instituia evaluat i Agenie, coninutul documentaiei pregtite de universitate n vederea evalurii externe (pentru a se asigura faptul c documentele de autoevaluare acoper toate aspectele procesului de evaluare extern). Se stabilete baza de date pentru selectarea programelor de studii ce vor fi evaluate n cadrul misiunii. ntlnirea preliminar ofer, totodat, posibilitatea unor discuii ntre directorul misiunii i reprezentanii organismelor studeneti cu privire la contribuia studenilor n cadrul procesului de evaluare instituional extern.

15

Pe parcursul acestei ntlniri preliminare, Agenia discut cu instituia toate aspectele care, la cerere, urmeaz s fie evaluate mai profund dect n cadrul procedurii obinuite de evaluare a programelor de studii. Aceste evaluri suplimentare nu sunt incluse, de regul, n procesul de evaluare extern instituional, dar rezultatele lor sunt urmrite de instituie i (dac e relevant) de Agenie, iar constatrile pot avea o contribuie major la derularea unei viitoare runde de evaluare a programelor de studii (de exemplu, un domeniu sau un pachet de discipline cu o contribuie major n obinerea calificrii academice). Pe baza discuiilor preliminare cu instituia de nvmnt superior, precum i a informaiilor existente n Agenie, directorul de misiune propune spre aprobare Consiliului Ageniei programul calendaristic al misiunii de evaluare instituional, prezint lista tuturor programelor de studii ale instituiei i numrul minim de programe care urmeaz s fie evaluate n cadrul misiunii. Directorul de misiune solicit universitii s rspund n scris dac desfoar, la sediu sau n centre delocalizate, pe lng programele de studii autorizate s funcioneze provizoriu sau acreditate i alte programe. Toate informaiile sunt transmise in scris Consiliului Ageniei. Dac instituia desfoar astfel de programe, Consiliul Ageniei notific universitatea c nu efectueaz evaluarea instituional extern pn cnd nu se intr n legalitate cu toate programele de studii. Totodat, Agenia informeaz imediat n scris M.Ed.C. asupra situaiei constatate. n aceeai reuniune preliminar, Consiliul Ageniei stabilete, la propunerea Departamentului de Evaluare a Calitii, lista programelor de studii selectate pentru a fi evaluate, evaluatorul principal i experii-evaluatori. Cu aproximativ patru luni nainte de vizit, instituia este informat asupra programelor de studii care vor fi evaluate.

Documentaia iniial necesar

Instituia este solicitat s pun la dispoziia Ageniei documentaia iniial pentru evaluarea extern (un exemplar pe suport hrtie i cinci exemplare pe suport electronic), nu mai trziu de dou luni nainte de vizit. Documentaia iniial cuprinde raportul actualizat de autoevaluare instituional intern, rapoartele de autoevaluare intern a programelor de studii care au fost selectate n vederea evalurii externe, precum i alte date, informaii i documente pe care instituia dorete s le furnizeze n avans echipei de evaluare extern. In ANEXA 7.1. sunt prezentate elemente privind elaborarea documentelor de autoevaluare ale instituiei i recomandri privind structura Raportului de evaluare intern (autoevaluare). n ANEXA 7.2 sunt prezentate aspecte suplimentare legate de operarea i managementul informaiilor primite de ctre Agenie, inclusiv din partea studenilor. n momentul primirii documentaiei, aceasta este predat directorului de misiune pentru a asigura distribuirea sa n format electronic membrilor echipei de evaluare extern. Vizita de evaluare extern

De regul, misiunea de evaluare extern se deruleaz pe parcursul a trei zile lucrtoare, de miercuri pn vineri. Programul detaliat pentru fiecare reuniune de lucru cu personalul de conducere, cu personalul didactic i cu studenii este stabilit de ctre echip de comun acord cu instituia evaluat. O vizit are, de regul, urmtoarele obiective:

16

Consultarea documentaiei complementare furnizate de instituie, inclusiv rapoartele examinatorilor externi implicai n autoevalurile interne. Examinarea felului n care instituia abordeaz asigurarea calitii. Examinarea legturii dintre procedurile instituionale i aplicarea lor la nivel de program de studii sau de disciplin, punndu-se accent pe eficiena evalurilor interne ale programelor de studii. Examinarea modului n care instituia se raporteaz la cerinele de asigurare a cunotinelor, competenelor i aptitudinilor specificate n Cadrul Naional al Calificrilor n nvmntul Superior. Examinarea proceselor interne de evaluare a programelor de studii i/sau a evalurii tematice, incluznd discuii prestabilite, precum i evaluarea exemplelor ilustrative pentru aprecierea activitii studenilor. Examinarea acurateii, fiabilitii i caracterului complet al informaiilor publicate pe site-ul instituiei pentru studeni i publicul interesat, cu accent pe specificaiile din programele de studii (misiune, coninut, calificare academic la absolvirea programului). Evaluarea calitii declarate a programelor i a rezultatelor actuale ale studenilor, nu numai pe baza rezultatelor academice, dar i a modului n care sunt asistai studenii n procesul de nvare i a modului n care se optimizeaz folosirea oportunitilor de nvare. Examinarea modului n care au fost evaluate de CNCSIS rezultatele cercetrii i a modului n care a fost ndeplinit indicatorul de calitate CNFIS referitor la cercetare. La ncheierea vizitei de evaluare, sunt prevzute ntlniri cu personalul din conducerea instituiei, respectiv, atunci cnd este necesar, cu personalul din cadrul programelor de studii i/sau al disciplinelor selectate pentru a fi urmrite, n scopul clarificrii problemelor curente i a celor rezultate din derularea evalurii.

n ultima zi a vizitei, echipa lucreaz independent, fr participarea persoanei de contact din partea instituiei. Sub conducerea coordonatorului, echipa analizeaz concluziile/rezultatele finale ale evalurii externe att la nivel instituional, ct i de programe de studii: formuleaz aprecieri asupra ncrederii ce poate fi acordat instituiei pentru managementul calitii programelor sale de studii i standardelor academice anunate de aceasta la acordarea diplomelor. formuleaz aprecieri asupra ncrederii cu care pot fi luate n considerare, din punct de vedere al acurateii, integritii i caracterului complet i corect, informaiile pe care instituia le public n legtur cu calitatea programelor sale i a standardelor de absolvire. identific o serie de aspecte, precum buna practic n managementul calitii sau n procesul de predare-nvare i facilitarea nvrii etc. elaboreaz recomandri preliminare de mbuntire n continuare a calitii activitii i a informaiilor diseminate. Directorul de misiune din partea Ageniei particip alturi de membrii echipei la activitatea din ultima zi a vizitei de evaluare extern. De asemenea, echipa confirm n ultima zi a vizitei eventuale programe sau domenii pentru care dorete s dispun de opinia de specialitate a unor ali experi independeni. n msura posibilitilor, acestea sunt notificate instituiei evaluate n a doua zi a vizitei. Atunci cnd se 17

solicit opinia de specialitate suplimentar, rezultatele, evalurile i recomandrile echipei de evaluare extern formulate n ultima zi a vizitei sunt provizorii. La ncheierea vizitei de evaluare extern, nu se realizeaz nici o informare scris sau oral a instituiei vizitate. Conducerea instituiei primete n interval de dou sptmni de la vizit o scrisoare din partea Ageniei, n care se subliniaz principalele concluzii ale evalurii externe i probabilele recomandri care vor fi cuprinse n raportul preliminar. Dac urmeaz s se ia n considerare opinia de specialitate a unor experi suplimentari, Agenia trimite instituiei o scrisoare prin care o informeaz c a remis documentaia ctre acetia, dar instituia nu este informat asupra principalelor rezultate ale evalurii externe dect dup ce experii suplimentari au trimis propriile lor constatri ctre Agenie.

III. 2. EVALUAREA EXTERN A CALITII PROGRAMELOR DE STUDIU CA PARTE A EVALURII INSTITUIONALE 8. Evaluarea programelor de studii
8.1. Scopul evalurii programelor de studii ca parte a evalurii instituionale Evaluarea programelor de studii ca parte a evalurii instituionale urmrete: S verifice msura n care mecanismul de asigurare a calitii la nivelul instituiei opereaz n mod corespunztor la nivelul fiecrui program de studii examinat. S evalueze rezultatele reale (efective) obinute de studeni pe parcursul programului de studii fa de cele declarate de instituie i eficiena sprijinului oferit studenilor n procesul de nvare. S compare direct declaraia instituiei cu privire la acurateea, caracterul complet i corect al informaiei furnizate despre coninutul i calitatea programelor sale i despre standardele de absolvire cu experiena studenilor i a absolvenilor.

Numrul de programe de studii care urmeaz s fie examinat n cadrul fiecrei evaluri instituionale este determinat de Agenie, n funcie de mrimea i amploarea activitii instituiei, cuantificate n numr de calificri academice (diplome i certificate) distincte acordate de universitate fie la sediu, fie n centrele delocalizate de furnizare a aceluiai program de studii. Ca regul general, procedurile acoper 20% din programele instituiilor de nvmnt superior evaluate. n timpul perioadei de experimentare (pilotare) a aplicrii procedurilor de evaluare extern a calitii, Agenia poate s recomande instituiilor un grad mai mare de acoperire. Programele de studii evaluate corespund, n mod echilibrat, celor trei cicluri de studii universitare, respectiv licen, masterat i doctorat. Identificarea iniial a posibilelor programe de studii care urmeaz s fie supuse evalurii externe este realizat de ctre directorul de misiune. Scopul acestei evaluri externe de program este de a analiza eficacitatea modelului practicat de instituie pentru evalurile sale periodice interne n vederea stabilirii modului n care un plan de nvmnt acoper cerinele de formare n 18

respectivul domeniu de studii, corelat cu definirea calificrii universitare propuse studenilor la absolvire. Exist mai multe motive pentru care un program de studii (sau un domeniu in care sunt oferite mai multe programe) este selectat pentru a fi evaluat: Ofer o ilustrare recent a procesului instituional de asigurare a calitii programelor i standardelor de certificare. Prezint aspecte de interes particular la nivel instituional sau elemente inovatoare n procesul de predare-nvare. S-a constatat o lips de claritate la nivel instituional n documentele proprii de autoevaluare intern cu privire la angajamentele de asigurare a calitii i care pot fi clarificate prin examinarea de ctre echipa de evaluatori externi a unui anumit program, respectiv, a unei anumite arii disciplinare. Exist indicii n cadrul altor documente (inclusiv n rapoarte ale Ageniei sau ale altor organisme despre instituie) despre posibile deficiene. Atunci cnd se iau n considerare mai multe programe de studii, echipa de evaluare instituional extern trebuie s fie n msur s-i formeze o prere agregat asupra gamei de activiti ale instituiei. Daca unele programe de studiu evaluate recent (de regul, cu mai puin de doi ani nainte de data nceperii evalurii instituionale) au primit calificativul nivel ridicat de ncredere, se recomand selectarea pentru evaluare a altor programe. Evaluarea de programe de studii/domenii rspunde mai multor cerine generale pe perioada derulrii vizitei de evaluare instituional. Ea presupune activitatea a unul sau doi experi, dintre care cel puin unul deine o experien curent sau recent n legtur cu programul de studii sau aria disciplinar evaluat. n mod normal, cca. 25% din timpul vizitei este alocat aplicrii procedurilor specifice de evaluare a programelor de studii/ domeniilor selectate, adaptate la programele acreditate.

8.2. Modul de evaluare Modul de evaluare se desfoar dup cum urmeaz, urmrind elementele precizate in continuare. Documentele de autoevaluare a programelor de studii (sau a domeniilor) trebuie s fie puse la dispoziia echipei de evaluare instituional extern cu cel puin dou luni nainte de efectuarea vizitei. Un raport intern recent asupra fiecrui program de studiu supus evalurii, care cuprinde i modul de ndeplinire n continuare a Cerinelor normative obligatorii pentru autorizarea provizorie/acreditarea programelor de studii, care au stat la baza acordrii statutului respectiv, nsoit de specificaii relevante asupra planului de nvmnt (curriculum), precum i a standardelor specifice pe domenii/ programe, se consider a fi suficient n aceast etap a evalurii. Raportul de autoevaluare final, nsoit de anexe n format electronic, trebuie s conin toate elementele specificate in Fia vizitei, a) i b) pentru fiecare program de studii evaluat i, dup caz, documentele omoloage ale evalurii anterioare cele mai recente. In ANEXA 8.1. sunt prezentate Elemente privind elaborarea documentelor de autoevaluare a programelor de studii ca parte a evalurii instituionale. Furnizarea de documente suplimentare edificatoare (evidene interne cu privire la rezultatele studenilor, date prelucrate ale unor anchete de opinie n rndul studenilor i/sau al corpului profesoral, extrase de procese verbale ale unor edine de catedr sau de consiliu de facultate etc.) poate fi 19

solicitat cu cel mult o lun nainte de efectuarea vizitei, de regul cu prilejul ntlnirii persoanei de contact din partea instituiei cu directorul de misiune. n toate cazurile, documentaia trebuie s se limiteze la strictul necesar de informare a echipei, n conformitate cu cerinele formulate de acesta. Discuiile membrilor echipei de evaluare cu personalul didactic i cu studenii instituiei (la nivel de program de studiu) sunt purtate asupra unor teme specifice identificate de echip, dar ofer i posibilitatea personalului didactic i studenilor de a aduce n atenia echipei o serie de alte aspecte de interes pentru asigurarea sau mbuntirea calitii. Se poate solicita, de asemenea, participarea la discuiile din cadrul evalurilor interne a unui numr de persoane din afar (absolveni, parteneri n programe de formare etc.). Discuiile cu personalul didactic i cu studenii despre coninutul i modalitatea de transmitere a cunotinelor din programele analitice ale disciplinelor se poart pentru verificarea acurateii i fiabilitii, a caracterului complet al informaiilor pe care instituia le furnizeaz actualilor i potenialilor studeni, angajatorilor i altor persoane interesate despre calitatea programelor i standardele lor de absolvire. Verificarea legturii dintre programele de studii oferite i cunotinele, competenele i aptitudinile ateptate la absolvirea fiecrui program de studii se face prin discuii despre calitatea procesului de predare-nvare i asupra performanelor realizate de ctre studeni. Dup evaluarea fiecrui program de studii/ domeniu selectat si completarea Fiei vizitei, rezult o concluzie a echipei asupra modului n care angajamentele instituiei de asigurare a calitii opereaz n practic, la nivel de program/disciplin, asupra modului n care se asigur un nivel acceptabil al calitii i standardelor de absolvire. Se ateapt, n mod normal, ca evalurile echipei s confirme aprecierile instituiei. n cazul n care, documentul de autoevaluare asupra unui program de studii/domeniu indic deficiene, echipa de evaluare extern va cuta s se asigure c instituia nelege i adopt msurile corespunztoare pentru nlturarea acelor deficiene. n anumite circumstane, echipa se poate gsi n imposibilitatea de a elabora o concluzie n cadrul vizitei. Asemenea circumstane presupun: Identificarea unei performane potenial deosebite, dar pe care echipa nu o poate confirma n lipsa opiniei unor specialitilor independeni pentru aria disciplinar. Identificarea unei/unor deficiene majore n facilitarea procesului de studiu, pe care echipa nu o poate confirma fr opinia unor specialiti. Identificarea unei discrepane semnificative ntre informaia diseminat de ctre instituie i concluziile echipei. n aceste circumstane, dup consultarea directorului de misiune, echipa de evaluare notific instituia n penultima zi a vizitei (n condiiile n care procedura de evaluare a programului de studii/ domeniului este aproape complet pn la acel moment) c nu este n msur s elaboreze o concluzie fr a beneficia de o opinie din partea unor experi suplimentari. Dup notificare, pe parcursul ultimei zile a vizitei de evaluare, se d posibilitatea instituiei evaluate de a furniza echipei informaii suplimentare. Dac, n ziua final, echipa i confirm intenia de a solicita opinia unor ali experi independeni, Agenia va numi o echip de cel puin 2 experi care s realizeze n urmtoarele dou sptmni o evaluare separat a ariei disciplinare. ntr-o asemenea situaie, echipa de evaluare a Ageniei nu va adopta nici o concluzie final asupra unui program/domeniu fr a face referire/trimitere la punctul de vedere al acestor experi suplimentari. Trimiterea ctre experii suplimentari are ca scop derularea unui studiu mai aprofundat al programului de studii/domeniului, pentru aprofundarea unor aspecte particulare semnalate de 20

echipa Ageniei. Activitatea lor const n verificarea declaraiei instituiei cu privire la calitate, pe baza evidenei primare de evaluare intern i a activitii studenilor. Activitatea implic ntlniri cu studenii i personalul didactic i poate implica i examinatori externi pe care instituia i-a folosit n realizarea evalurii interne proprii. Acolo unde concluziile de specialitate au identificat posibile deficiene n facilitarea procesului de predare-nvare, evaluarea include, de asemenea, verificarea interaciunii dintre personalul didactic i studeni (reuniuni separate ale experilor independeni cu studenii i cu membrii ai corpului profesoral implicat). Rezultatele experilor nu sunt raportate instituiei evaluate, ci Ageniei, astfel nct aceasta din urm s le ia n considerare n cadrul evalurii finale. Proiectul de raport final se elaboreaz dup ce experii i desfoar propria activitate, i nu se pune la dispoziia instituiei, pn n momentul n care echipa i formuleaz concluziile finale. Concluziile formulate de experii suplimentari pot consta n recomandri pentru echipa de evaluare a Ageniei de a ntreprinde o evaluare complet la nivel de programe de studii. O asemenea recomandare poate avea loc atunci cnd aprecierile experilor de specialitate indic faptul c exist motive ntemeiate de preocupare n legtur cu calitatea programelor de studii i/sau a standardelor de absolvire.

n aceste condiii, Agenia poate propune instituiei realizarea unei evaluri separate a tuturor programelor de studii n baza procedurilor descrise n Ghidul de evaluare a programelor de studii, cu decalarea termenului de ntocmire a RAPORTULUI DE EVALUARE INSTITUIONAL EXTERN AL AGENIEI i cu renegocierea contractului.

III.3. EVALUAREA TEMATIC INSTITUIONAL 9. Evaluarea tematic

Evaluarea tematic instituional reprezint analiza la nivel instituional/inter-departamental a modului n care funcioneaz unele componente ale strategiei de asigurare a calitii. Ea poate fi derulat la cerere sau din propria iniiativ a echipei de evaluare, dac se consider c o anumit component a managementului calitii i standardelor anunate de instituie prezint un interes particular sau dac evaluarea face necesar verificarea unor aspecte ale formrii inter-disciplinare. Date relevante pentru evalurile tematice pot fi obinute att prin intermediul procedurilor de evaluare a programelor de studii, ct i pe parcursul discuiilor cu personalul didactic i cu studenii. Dac, pe parcursul evalurii tematice, echipa identific probleme la nivelul unor discipline de studiu ea poate solicita opinia experilor independeni de specialitate.

In raport cu Cadrul naional al calificrilor din nvmntul superior romnesc (n curs de elaborare), echipa analizeaz pe baza rezultatelor obinute cu prilejul evalurii programelor de studii, dac programele de studii supuse evalurii tematice corespund standardelor de absolvire stabilite de instituie sau celor specificate pentru profesiile reglementate prin angajamentele Romniei n calitatea sa de stat membru al Uniunii Europene.

21

III.4. RAPORTUL DE EVALUARE INSTITUIONAL EXTERN AL AGENIEI 10. Coninutul i structura Raportului de evaluare instituional extern al Ageniei
Constatrile evalurii instituionale externe se concretizeaz ntr-un Raport de evaluare instituional al Ageniei, care se d publicitii. Concluziile acestui raport reprezint evaluarea final n legtur cu credibilitatea care poate fi acordat managementului instituiei n materie de asigurare a calitii programelor de studii i de respectare de ctre acesta a standardelor academice de acordare a diplomelor de absolvire. Concluziile se bazeaz pe o serie de constatri ale evalurii, precum msura n care a fost asigurat calitatea, lund n considerare situaia real observat n timpul vizitei de evaluare, contextul/condiiile i misiunea instituiei, dar i felul n care a fost ea gestionat i reflectat n evidena primar a instituiei.

In Raportul de evaluare instituional extern al Ageniei se precizeaz una dintre cele trei afirmaii, cu caracter de concluzie sau de calificativ, legate de credibilitatea managementului asigurrii calitii n instituia evaluat, respectiv grad de ncredere ridicat, grad de ncredere limitat sau lips de ncredere. Pentru acordarea calificativelor, in Raportul de evaluare instituional extern se va specifica nivelul de ndeplinire a standardelor, prin indicatorii de performan realizai precum i ndeplinirea cerinelor normative obligatorii. Agenia se ateapt ca acetia s se situeze cel puin la nivelul corespunztor realizat la acreditarea de program i respectiv, instituional. Stabilirea gradului de credibilitate este, n esen, o apreciere cu un anumit nivel de relativitate. n termeni generali, atunci cnd echipa de evaluare apreciaz pe baza documentelor de eviden ale instituiei i a constatrilor din timpul vizitei, c instituia asigur corespunztor condiiile de calitate i standardele i, n acest temei, creeaz condiii i pentru asigurarea viitoare a calitii, se acord calificativul grad de ncredere ridicat. Atunci cnd echipa are unele ndoieli, fie n legtur cu asigurarea curent a calitii i a standardelor, fie n legtur cu capacitatea instituiei de a menine calitatea i standardele n viitor, se acord calificativul grad de ncredere limitat i se fac recomandri de remediere imediat a situaiei. Atunci cnd echipa acord calificativul lips de ncredere unei instituiii, ea trebuie s indice clar elementele care au stat la baza acestei aprecieri. n cazul acordrii ultimelor dou calificative, instituia este invitat ca in interval de un an universitar s ia msuri energice de remediere a lipsurilor sau neajunsurilor. n eventualitatea c instituia nu se angajeaz pe calea corectrii sau remedierii in perioada de un an universitar, Agenia propune MEdC iniierea procedurilor de anulare a autorizaiei de acreditare, conform legislaiei in vigoare.

Seciunea final a raportului de evaluare prezint, de asemenea, justificarea gradului de ncredere ce se poate acorda, n mod rezonabil, innd seama de acurateea, integritatea, caracterul complet i corect al informaiilor pe care instituia le disemineaz n legtur cu calitatea programelor sale i cu standardele de certificare a absolvirii acestor programe. n elaborarea aprecierilor sale, echipa acord o atenie deosebit cerinelor Ageniei n dou domenii cheie. Prima cerin este ca instituia s apeleze frecvent la evaluatori externi 22

independeni n cadrul procedurilor interne de autoevaluare instituional a asigurrii calitii. A doua cerin const n utilizarea n mod similar a unor experi independeni din strintate n aplicarea procedurilor de evaluare periodic intern la nivel de discipline, de programe de studii sau de cercetare. Echipa de evaluare instituional a Ageniei nu este n msura s fac o evaluare care s se finalizeze cu calificativul grad de ncredere ridicat, dac unul din aceste elemente este deficitar. Aprecierile legate de credibilitatea instituiei, respectiv grad de ncredere limitat i lipsa de ncredere sunt nsoite de recomandri, care urmeaz a fi luate n considerare de ctre instituie, n ordinea prioritilor, dup cum urmeaz: Recomandri eseniale se refer la msuri, pe care echipa de evaluare le consider a fi importante din punct de vedere al asigurrii calitii i care solicit aciuni corective urgente. Recomandri preventive se refer la aspecte pe care echipa le consider c sunt poteniale elemente sau surse de risc pentru calitate i care solicit aciuni corective preventive; Recomandri dezirabile se refer la msuri a cror aplicare ar putea mbunti calitatea programelor i ar asigura n viitor standarde de referin mai nalte.

Partea final a raportului poate sublinia, totodat, aspectele de bun practic n managementul calitii i n redefinirea standardelor de referin la nivel instituional i la nivel de programe de studii. Raportul de evaluare instituional extern al Ageniei cuprinde, de obicei, i unele comentarii asupra altor aspecte, precum: caracteristici organizatorice, puncte forte i limite n conceperea i aplicarea metodelor instituionale de asigurare a calitii; calitatea programelor de studii i standardele de absolvire. n raportul final se gsete, de asemenea, o apreciere de sintez pentru fiecare program de studiu cuprins n evaluarea instituional. Raportul enumer, totodat, domeniile n care exist motive ntemeiate pentru implementarea imediat a unui plan de msuri corective la nivel de program de studiu/de disciplin sau la nivel instituional. Structura Raportului de evaluare instituional extern al Ageniei este prezentat in ANEXA 10.1. In ANEXA 10.2. sunt prezentate indicaii privind situaii posibile n care rezultatele evalurii externe determin acordarea calificativelor grad de ncredere limitat sau lips de ncredere.

11. Modul de finalizare i difuzare a Raportului de evaluare instituional extern al Ageniei

Scrisoarea care conine rezultatele preliminare ale evalurii instituionale, n care sunt cuprinse elementele principale ale proiectului de raport, este pregtit i naintat instituiei, de regul, la dou sptmni dup efectuarea vizitei. Instituia este solicitat s semnaleze Ageniei n interval de o lun de la vizita de evaluare (dou sptmni de la primirea scrisorii referitoare la coninutul raportului preliminar) eventualele corecturi pe care le consider necesare ntruct sunt de natura erorilor la preluarea de date din documentele de autoevaluare sau de natura nenelegerii corespunztoare a unor informaii/aciuni. Proiectul de raport este eventual revizuit n baza sesizrilor instituiei, n msura n care aceste sesizri sunt deplin documentate. Elaborarea proiectului de raport este coordonat de directorul de misiune, iar forma i structura lui corespund elementelor prezentate in ANEXA 10.1. 23

Raportul de evaluare instituional extern al Ageniei aprobat de Consiliul Ageniei este dat publicitii de ctre Agenie i are drept scop furnizarea de informaii, att pentru publicul larg, ct i pentru profesioniti (personal universitar i de conducere, cercettori, factori de decizie etc.). De aceea, raportul cuprinde un rezumat destinat n mod deosebit publicului larg, n principal, studenilor, care este pus la dispoziie n mod separat de restul raportului. Pe de alt parte, instituia este solicitat s furnizeze o scurt declaraie de acceptare a concluziilor raportului pentru a fi publicat de Agenie ca anex la raport. Declaraia ofer instituiei posibilitatea de a prezenta evoluia nregistrat dup vizita echipei de evaluare, n mod particular, aciunile ntreprinse sau propuse i care sunt legate de recomandrile cuprinse n raport. n mod normal Raportul de evaluare instituional extern al Ageniei este fcut public pe site-ul (www.aracis.ro) ARACIS publicat de ARACIS n interval de maximum dou luni de la vizita de evaluare instituional. Aceast perioad poate fi ns extins dac potrivit opiniei experilor suplimentari de specialitate sunt necesare noi investigaii pentru aprecierea corect a asigurrii calitii n unul sau mai multe programe de studiu sau domenii, n condiiile renegocierii contractului ncheiat ntre universitate i agenie pentru acoperirea costurilor activitilor de evaluare suplimentare.

12. Modalitatea de valorificare a evalurii instituionale externe i aciuni ulterioare

Procesul de evaluare este considerat a fi terminat atunci cnd Consiliul Ageniei ia cunotin de coninutul Raportului de evaluare instituional extern al Ageniei , elaborat n form final, i l aprob. Dac raportul acord calificativul grad de ncredere ridicat, evaluarea extern este finalizat prin publicarea raportului. Acordarea calificativului grad de ncredere ridicat este, de obicei, nsoit de un set restrns de recomandri, care sunt considerate ca avnd efect preventiv. Nu e exclus nici posibilitatea enumerrii unor observaii care ar trebui s duc universitatea spre adoptarea unor msuri considerate a fi imediat necesare, dar nu va exista nici o observaie esenial. Acordarea acestui calificativ implic ncrederea echipei de evaluare a Ageniei n capacitatea i angajamentul instituiei de a identifica i aborda orice situaie ar avea potenialul de a amenina calitatea programelor i standardelor de certificare a absolvirii unui program de studii. Agenia realizeaz la un an de la publicarea raportului o succint investigaie prin coresponden cu instituia evaluat, pentru a se informa n legtur cu modul n care aceasta a luat n considerare observaiile i recomandrile din raport. Dup trei ani de la publicarea raportului Agenia urmeaz s efectueze o scurt vizit la sediul instituiei pentru a analiza mpreun cu aceasta progresul nregistrat dup evaluare i a discuta inteniile sale referitoare la managementul calitii i al standardelor de absolvire pn la urmtoarea evaluare instituional. Atunci cnd raportul acord calificativul grad de ncredere limitat, raportul este dat publicitii, dar se pune n aplicare un plan de aciune pentru mbuntirea calitii activitii instituiei. Agenia solicit instituiei adoptarea n termen de trei luni de la publicarea raportului de evaluare a unui plan de aciune i, prezentarea unui raport semestrial asupra implementrii planului de aciune. Rezultatele evalurii externe nu sunt considerate in mod oficial definitive dect atunci cnd Agenia este mulumit de implementarea cu succes a planului de aciune, cu 24

o limit maxim de timp de 18 luni, care permite acordarea n noile condiii a calificativului grad de ncredere ridicat. Dac ns persist incertitudini legate de eficiena aciunilor de remediere, Agenia ntreprinde o vizit suplimentar de evaluare extern, cu renegocierea contractului, i face public noul raport de evaluare extern, care devine document definitiv. Raportul este publicat i atunci cnd cuprinde calificativul lips de ncredere. n aceast situaie se aplic prevederile Ordonanei de urgen a Guvernului nr. 75/2005 privind asigurarea calitii educaiei, aprobat prin Legea nr.87/2006, Art.34 si Art.35 Daca raportul include recomandarea ca o evaluare complet s fie realizat la nivelul unui anumit program de studii sau a unei anumite arii disciplinare, analiza este derulat de Agenie n baza procedurilor descrise n Ghidul de evaluare a programelor de studii, ceea ce include o evaluare suplimentar n decursul unui an calendaristic, cu renegocierea contractului, pentru identificarea potenialelor elemente de risc remanente. La trei ani dup evaluarea instituional, Agenia efectueaz o vizit scurt n cadrul instituiei pentru a analiza progresul nregistrat de la finalizarea misiunii precedente de evaluare i pentru a discuta inteniile instituiei referitoare la mbuntirea continu a managementului calitii i la creterea standardelor de referin pe urmtorii doi ani, pn la urmtoarea misiune de evaluare. n etapa de pregtire a acestei vizite scurte, Agenia analizeaz toate rapoartele de evaluare intern relevante, elaborate de instituie pe parcursul celor trei ani de la finalizarea misiunii de evaluare. Dac vreunul dintre rapoarte ridic semne de ngrijorare fa de modul de abordare aplicat de instituie, Agenia poate devansa data urmtoarei misiuni de evaluare.

13. Administrarea procesului de evaluare i relaiile instituionale

Administrarea procesului are loc n conformitate cu Metodologia de evaluare extern, standardele, standardele de referin i lista indicatorilor de performan a ARACIS elaborat i publicat de Agenie. Responsabilitatea urmririi evalurii instituionale revine directorului de misiune, dar concluziile i recomandrile rezultate n urma auditului sunt elaborate de ntreaga echip de evaluare i de comisiile permanente de specialitate sub ndrumarea coordonatorului echipei de evaluare. Directorul de misiune are responsabilitatea justificrii concluziilor i recomandrilor cu date i dovezi corespunztoare din evidenele instituiei evaluate sau din constatrile fcute n timpul vizitei. Totodat, el verific mpreun cu membrii echipei i ai comisiilor permanente de specialitate dac informaiile cuprinse n raport sunt relevante, uor identificabile i accesibile. Agenia face toate demersurile pentru a se realiza o relaie strns i constructiv cu instituia evaluat, n sensul meninerii acesteia ntr-o form activ pentru a rspunde cerinelor specifice funcionrii la nivelul standardelor de referin pe care ea nsi le-a formulat i anunat public. Agenia depune toate eforturile pentru a asigura calitatea procesului de audit, prin adoptarea n mod explicit a principiilor i standardelor de operare, prezentate in ANEXA 1.1, i a unui mecanism de asigurare a calitii propriei activiti. Acesta ofer participanilor la diferitele misiuni de evaluare, inclusiv studenilor, posibilitatea s-i furnizeze un feed-back al experienei lor.

25

14. Procedura de soluionare a contestaiilor

Agenia depune toate eforturile pentru a avea cu fiecare universitate evaluat o relaie strns i constructiv, bazat pe comunicarea sistematic i continu ntre instituii. Totodat, dup vizita de evaluare directorul de misiune trimite universitii evaluate o scrisoare care conine rezultatele preliminare ale evalurii instituionale, pentru ca aceasta s poat transmite n scris eventuale comentarii i sugestii de corectare a unor date care au fost fie greit nelese, fie preluate necorespunztor. ntruct, datele folosite n argumentaia raportului sunt de natur public i au fost furnizate de instituie n scris sau n timpul vizitei de evaluare, universitatea poate contesta doar modul n care s-a desfurat procesul de evaluare extern pentru vicii de form. Dup publicarea Raportului de evaluare instituional extern al Ageniei pe site-ul ARACIS instituia poate contesta n scris calificativul acordat de Agenie, n termen de cel mult dou sptmni de la data publicrii, printr-o scrisoare nregistrat la Agenie n termenul menionat. De regul, n termen de cel mult 30 de zile de la primirea contestaiei, Biroul Consiliului Ageniei reanalizeaz raportul, invit pe rectorul universitii i persoana de contact la o discuie de clarificare, dup care supune aprobrii Consiliului propunerea sa. Preedintele Consiliului anun oficial universitatea despre rezultatul reexaminrii raportului. Agenia public pe site o not cu privire la felul n care a fost soluionat contestaia.

ANEXE LA GHIDUL PENTRU EVALUAREA INSTITUIONAL EXTERN

ANEXA 1.1. Principiile i standardele de operare promovate de Agenia Romn de Asigurare a Calitii n nvmntul Superior ANEXA 6.1. Selectarea i pregtirea experilor-evaluatori ANEXA 7.1. Elemente privind elaborarea documentelor de autoevaluare ale instituiei i recomandri privind structura Raportului de evaluare interna (autoevaluare). ANEXA 7.2 . Aspecte legate de operarea i managementul informaiilor primite de ctre Agenie, inclusiv din partea studenilor ANEXA 8.1. Elemente privind elaborarea documentelor de autoevaluare a programelor de studii ca parte a evalurii instituionale ANEXA 10.1. Structura orientativ a Raportului de evaluare instituional extern al Ageniei ANEXA 10.2. Indicaii privind situaii posibile n care rezultatele evalurii externe determin acordarea calificativelor grad de ncredere limitat sau lips de ncredere.

26

ANEXA 1.1 Principiile i standarde de operare promovate de Agenia Romn de Asigurare a Calitii n nvmntul Superior Agenia urmrete respectarea i promovarea principiilor generale enunate n continuare, att la nivelele strategice, ct i operaionale ale activitii sale: Inclusivitatea luarea n considerare a intereselor i ateptrilor tuturor persoanelor i grupurilor public interesate n nvmntul superior i facilitarea participrii acestora la toate aspectele activitii Ageniei. Deschiderea transparena activitii i metodelor Ageniei, construirea ncrederii instituionale ntre Agenie i universiti, furnizarea de informaii publicului larg asupra activitii Ageniei . Secvenialitatea necesitatea aciunii regulate, sistematice i la timp n toate activitile de evaluare i raportare, n scopul sprijinirii procesului decizional la nivel de Agenie i la nivelul sistemului de nvmnt superior. Comparabilitatea utilizarea experienei dobndite n cadrul Ageniei i a altor organizaii ca modaliti de informare n cadrul activitilor viitoare. Relevana asigurarea faptului c informaia furnizat de Agenie este util i neleas de ctre beneficiari.

Aceste principii sunt aplicate pentru a dezvolta servicii standard de evaluarea extern, potrivit Metodologiei prezentate pe site-ul Ageniei. Agenia face obiectul unei monitorizri interne sistematice i a unei evaluri a strategiei, procedurilor i proceselor sale, n scopul asigurrii credibilitii permanente i a perfecionrii continue a performanei sale. n acest sens funcioneaz Comisia consultativ a Consiliului ARACIS.

27

ANEXA 6.1 Selectarea i pregtirea experilor-evaluatori Introducere 1. Experii-evaluatori i experii suplimentari sunt selectai de Agenie n baza criteriilor de selecie publicate i, n general, din propria baz de experi-evaluatori. Experii suplimentari specialiti n anumite programe de studii sau domenii pot fi selectai i din rndul nominalizrilor realizate de ctre universiti i organisme profesionale. 2. Toate persoanele implicate n evaluarea extern, inclusiv directorii de misiune, beneficiaz de programe de pregtire coordonate de Consiliul Ageniei pentru a se asigura c au cunotin de scopurile, obiectivele i procedurile procesului de evaluare extern i c au competena de a asuma propriul rol n cadrul acestui proces. 3. Calitile solicitate persoanelor implicate n evaluarea extern sunt menionate mai jos ntr-o seciune distinct. Fiecare procedur de selectare urmrete s asigure echilibrul n cadrul grupului de evaluatori din punct de vedere al caracteristicilor sectoriale, disciplinare, geografice, pe sexe i etnie. 4. Atunci cnd este necesar solicitarea unei a doua opinii din partea unor experi independeni, acetia vor fi astfel selectai nct s se asigure competena necesar pentru examinarea coninutului unui program de studii sau a unei arii disciplinare i evaluarea nivelului standardelor academice de absolvire a unui program. 5. Pregtirea personalului implicat n evaluarea extern este realizat de ctre Agenie n colaborare cu furnizori adecvai de programe de pregtire. Scopul pregtirii este acela de a asigura faptul c: Sunt nelese scopurile i obiectivele procesului de evaluare extern. Sunt cunoscute procedurile pe care acesta le implic. Este neles propriul rol i vor fi ndeplinite propriile sarcini, dar se va lucra n echip pentru a rspunde ateptrilor Ageniei i a respecta regulile procesului. Este deplin valorificat oportunitatea de a explora i practica tehnicile de asimilare i analiz de date, de a elabora programe de vizit, de a construi i testa ipoteze, de a formula concluzii i declaraii asupra gradului de ncredere, de a pregti rapoarte. Calitile solicitate experilor evaluatori Experien relevant n managementul academic i n asigurarea calitii la nivel instituional n nvmntul superior; Credibilitate personal i profesional din partea conducerii instituiilor i/sau a factorilor de decizie care coordoneaz activitatea sectorului de nvmnt superior. Abilitate de a asimila o cantitate mare de informaii disparate, de a analiza date i fapte i a elabora concluzii pertinente despre aciuni complexe i de a ntreprinde cercetri i investigaii n cadrul unor evidene documentare i orale n scopul emiterii unor concluzii/aprecieri. Abiliti de comunicare clar oral i n scris; Dac reprezint un anumit domeniu academic, s aib experien curent sau recent n predare sau n susinerea procesului de nvare la nivelul ciclurilor de studii de licen, de master sau de doctorat, inclusiv prin utilizarea rezultatelor cercetrii tiinifice. Calitile solicitate experilor suplimentari solicitai pentru evaluarea extern, din ar sau din strintate

28

Credibilitate personal n domeniu, n nvmntul superior sau credibilitate profesional echivalent. Experien curent n procesul de predare sau de susinere a procesului de nvare la nivel de programe de licen sau de master n respectivul domeniu de studii universitare. Experien n a lucra cu specificaii de programe de studii elaborate pentru domeniul respectiv; o bun nelegere a cerinelor de admitere n cadrul programului de studii i abilitatea de a interpreta statisticile asupra performanelor studenilor; cunoatere a programelor comparabile din alte universiti i a standardelor de absolvire i certificare din alte instituii. Abilitatea de a asimila o cantitate mare de informaii disparate, de a analiza i a elabora o concluzie pertinent despre aciuni complexe . Abilitatea de a identifica, planifica i urmri direciile unei evaluri cu scopul de a rspunde sarcinilor specificate de ctre o echip de audit, prin utilizarea unor diferite surse, inclusiv evidene documentare i orale, n scopul elaborrii unei concluzii credibile.

29

ANEXA 7.1

Elemente privind elaborarea documentelor de autoevaluare ale instituiei i recomandri privind structura Raportului de evaluare intern (autoevaluare).

Scopul documentelor de autoevaluare ale instituiei 1. Documentele de autoevaluare ale instituiei sunt elementele iniiale de referin pentru echipa de experi-evaluatori. Importana lor rezult din preocuparea de a face cunoscute publicului interesat, pe de o parte, metodele instituionale de asigurare a calitii programelor de studii i standardelor de absolvire, iar pe de alt parte, atenia acordat de instituie calitii, consistentei i integralitii informaiilor publicate despre calitatea ofertei de formare exprimat n standardele proprii de referin. 2. Documentele de autoevaluare asigur instituiei posibilitatea: de a crea condiiile prin care, pe baza rezultatelor analizei i evalurii interne, s se confirme i certifice public prin procesul de evaluare extern punctele forte ale instituiei i s se aprecieze eficiena politicilor i procedurilor sale de management de asigurare i mbuntire continu a calitii. s-i prezinte propria evaluare asupra modului n care instituia i exercit responsabilitile n dou domenii de interes vital n cadrul evalurii instituionale: furnizarea de programe de calitate, argumentat public prin standarde de referin corespunztoare i, respectiv, exercitarea adecvat a responsabilitii publice n acordarea de diplome i certificate la absolvirea programelor de studii. s-i prezinte propria evaluare asupra eficienei structurilor i mecanismelor interne de asigurare a calitii; modalitatea n care este asigurat acurateea, caracterul complet i credibil al informaiilor publicate de instituie, practicile i procedurile sale n legtur cu misiunea i obiectivele principale ale evalurii instituionale. de a permite echipei de evaluare extern s neleag modul n care instituia asigur calitatea i standardele de absolvire a programelor de studii, pentru a face posibil adoptarea de ctre echip a unei concluzii asupra ncrederii care poate fi acordat managementului instituiei n prezent iar n viitorul apropiat n ceea ce privete calitatea i respectarea standardelor sau a standardelor de referin.

Stilul i dimensiunea documentelor de autoevaluare ale instituiei 3. Documentele de autoevaluare ale instituiei trebuie: S fie oneste i relevante. S fie concise i argumentate prin documente anexate, accesibile echipei de evaluare. S ofere o perspectiv larg la nivel instituional. S prezinte un echilibru corespunztor ntre descriere i autoevaluare. 4. Documentele de autoevaluare trebuie s furnizeze suficiente date pentru a face posibil nelegerea de ctre echipa de evaluare extern a principalelor caracteristici ale modului n care instituia abordeaz procesul de asigurare a calitii fat de standardele naionale/standardele 30

proprii de referin anunate public pe site-ul instituiei. Documentele trebuie s urmreasc eficiena i conciziunea modului de prezentare. Dac instituia i exprim ncrederea n propria eficien, documentele de autoevaluare ale instituiei trebuie concepute astfel nct s minimizeze nevoia de date i clarificri suplimentare pentru echipa de experi-evaluatori. Deoarece percepia i ncrederea acordat de echip depind (cel puin n faza incipient) de documentele de autoevaluare ale instituiei, este important ca acestea s fie clare i s poat fi uor verificate prin documentaia anex pregtit de instituie. 5. Raportul de autoevaluare intern are, n mod normal, cca. 40 de pagini, i se prezint pe hrtie i n format electronic. Anexele i documentele suplimentare se prezint numai n format electronic. n vederea facilitrii prezentrii omogene a Rapoartelor i analizelor ARACIS, toate documentele prezentate in format electronic vor fi scrise cu caractere Times New Roman, cu dimensiunea fontului 12, la 1,5 rnduri. Documentele vor fi redactate att in WORD, ct i in format pdf. Structura Raportului de evaluare interna (autoevaluare instituional) 6. Raportul de evaluare intern (autoevaluare instituional) este structurat astfel: Introducere (prezentarea instituiei i a dinamicii performanelor acesteia n perioada scurs de la ultima evaluare extern). Procesul de asigurare a calitii programelor de studii i a standardelor, respectiv, a standardelor de referin, ca parte a managementului strategic instituional. Prezentarea msurilor de asigurare a acurateei, caracterului complet i de ncredere al informaiilor diseminate de ctre instituie.

7. n elaborarea propriilor documente de autoevaluare, instituia este chemat: (i) s creeze condiiile pentru ca echipa de evaluare extern s identifice cu uurin dimensiunea, tipul de instituie, misiunea, ciclul/ciclurile de studii pentru care furnizeaz programe de studii, structura organizatoric i managerial a activitii de nvmnt i cercetare tiinific; (ii) s prezinte i s analizeze pe baz de documente progresele nregistrate n domeniul furnizrii programelor de studii de la ultima evaluare extern; (iii) s prezinte i s analizeze propriile constatri fcute cu prilejul evalurilor interne pe materii sau arii disciplinare, precum i despre modul n care au fost luate n considerare i soluionate neajunsurile constatate pentru a promova mbuntirea practicii instituionale; (iv) s descrie pe scurt principalele caracteristici ale propriului cadru instituional i propriilor activiti de asigurare a calitii i de meninere a standardelor academice de acordare a diplomelor i certificatelor de absolvire, de ameliorare continu a calitii programelor de studii i a sprijinului pentru procesul de nvare-formare;

31

(v) s descrie regulamentele profesionale interne ale profesorilor i studenilor i s sublinieze toate schimbrile importante operate la nivel instituional drept rspuns la aplicarea acestora;
(vi) s menioneze utilizarea eventualelor surse externe de referin, inclusiv Cadrul Naional al Calificrilor n nvmntul Superior i, acolo unde este posibil, standardele de referin ale domeniilor specifice fiecrui program de studii (Subject benchmark statements); (vii) s descrie i s comenteze pentru urmtorii patru ani propria strategie pentru consolidarea rezultatelor bune i pentru nlturarea deficienelor care au fost identificate; (viii) s identifice disciplinele sau domeniile la nivelul ntregii instituii care exemplific buna practic i ilustreaz afirmaiile formulate. 8. Atunci cnd instituia este antrenat pe parcursul evalurii externe ntr-un proces de schimbare a propriului sistem sau a procedurilor, Agenia accept lipsa de disponibilitate a evidenelor care ilustreaz eficiena noilor structuri. n aceste condiii, instituia trebuie s se refere la modul n care administreaz i monitorizeaz procesul de schimbare. Agenia se ateapt ca aceste schimbri s nu fie operate de instituie pe parcursul procesului de autorizare/acreditare. Prezentarea documentelor la Agenie 9. Instituia este solicitat s prezinte Ageniei autoevaluarea i celelalte documente i evidene anexate ntr-un exemplar pe suport hrtie i n format electronic conform Calendarului organizrii i derulrii procesului de evaluare instituional extern in vederea autorizrii/acreditrii, respectiv cu cel puin dou luni nainte de vizita de evaluare extern. Confidenialitatea 10. Coninutul documentelor de autoevaluare ale instituiei rmne confidenial la nivel de Agenie i de echip de evaluare extern. Totui, n cazul n care este necesar consultarea unor experi suplimentari pe domenii sau pe arii tematice, documentele de autoevaluare vor fi puse la dispoziia acestora, n condiiile de angajament de confidenialitate a datelor cu care opereaz.

32

ANEXA 7.2 Aspecte legate de operarea i managementul informaiilor primite de ctre Agenie, inclusiv din partea studenilor Introducere 1. Studenii reprezint obiectivul principal al fiecrei evaluri instituionale. De aceea, ei sunt invitai s participe la principalele etape ale acestui proces. Organismul reprezentativ al studenilor din cadrul instituiei n mod normal organizaia studeneasc sau echivalentul ei are posibilitatea de a participa la majoritatea etapelor unui proces de evaluare extern, ncepnd chiar cu vizita preliminar a directorului de misiune de evaluare instituional, care are loc cu cinci luni nainte de vizita propriuzis de evaluare. De asemenea, membrii din conducerea organismului reprezentativ i ali studeni sunt invitai s participe i la etapele vizitei de evaluare instituional. Aceste ntlniri ofer oportuniti studenilor pentru a se asigura c echipa de evaluare extern cunoate aspecte de prim interes pentru ei. 2. Pentru declanarea procesului de evaluare extern, universitatea trebuie s prezinte documentele de autoevaluare instituional, precum i declaraia prin care aceasta asigur Agenia c informaiile pe care le furnizeaz studenilor i altor categorii de public interesat sunt clare, complete i de ncredere. Agenia ncurajeaz universitatea s consulte studenii asupra coninutului documentelor de autoevaluare, i, de asemenea, s invite studenii, ca prin intermediul organismului lor reprezentativ, s elaboreze propriul lor raport scris. 3. Raportul scris al studenilor ofer posibiliti suplimentare prin care studenii, prin intermediul organismului lor reprezentativ, aduc la cunotina echipei de evaluare instituional extern aspecte de prim interes pentru ei. El reprezint rezultatul unei aciuni voluntare n cadrul procesului de evaluare extern i nici o instituie nu va fi penalizat dac studenii si nu doresc s nainteze un raport scris echipei de evaluatori. Formatul, dimensiunea i coninutul 4. Nu exist nici o regul prestabilit n ceea ce privete formatul i dimensiunea raportului scris al studenilor, sau vreo list prestabilit a ceea ce trebuie s conin. Studenii sunt liberi s furnizeze orice tip de informaie consider c este adecvat i util pentru obiectivele procesului de evaluare instituional extern i s l conceap aa cum doresc. 5. Totui, raportul include o prezentare a organismului studenesc, a reprezentativitii sale n rndul studenilor universitii, dac raportul are n vedere numai studenii dintr-un ciclu de nvmnt sau se exprim puncte de vedere ale tuturor categoriilor de studeni, informaii n legtur cu modul n care au fost culese opiniile i modul de redactare, relaia dintre organismul studenesc, managementul universitii i administraia instituiei, dac i cum au luat cunotin de coninutul documentelor de autoevaluare oficiale ale universitii etc. 6. Raportul nu reprezint o alternativ la documentele instituionale de autoevaluare i nici nu trebuie s mbrace forma unui comentariu al documentelor instituionale de auto-evaluare. Studenii pot opta pentru a lua n considerare rubricile utilizate de instituie n elaborarea documentelor sale de autoevaluare i/sau s ia n considerare domeniile de interes particular urmrite n cadrul evalurii instituionale externe i care sunt comunicate de directorul de misiune cu prilejul vizitei preliminare, cu cinci luni nainte de realizarea vizitei propriu-zise. Acestea includ: 33

Acurateea, caracterul complet i de ncredere al informaiilor publicate de instituie n legtur cu calitatea programelor sale i a standardelor de absolvire (aici s-ar putea include acurateea materialelor publicitare i referiri la specificaiile din programe); Informaiile primite de ctre studeni asupra performanelor academice ateptate, experiena lor rezultat din parcurgerea programelor de studii i modul n care performanele lor sunt evaluate (aici se pot include aspecte precum: caracterul util al ghidurilor de orientare profesional pentru programele de studii, evaluarea i feed-back-ul pe care studenii n primesc pentru performanele lor academice); Experiena studenilor n procesul de nvare (aici s-ar putea include calitatea suportului academic i non-academic i accesul la facilitile de nvare); Participarea studenilor la managementul calitii i standardelor de absolvire n cadrul instituiei (aceasta ar putea include posibilitatea de reprezentare n cadrul comitetelor la nivel universitar i de program, dar i alte modaliti de a furniza feed-back-ul ctre personalul didactic i de conducere al instituiei).

7. Raportul elaborat de studeni nu trebuie s comenteze competena unor membrii ai personalului didactic sau de conducere sau s conin revendicri/plngeri personale. Stilul 8. Raportul scris trebuie: S fie echilibrat i relevant; S fie concis; S realizeze un echilibru corespunztor ntre descriere i evaluare. Detalii de elaborare/redactare 9. Raportul studenilor trebuie transmis Ageniei cu cel puin dou luni naintea vizitei de evaluare instituional. Confidenialitatea 10. Agenia sprijin n mod deosebit dialogul ntre organizaia studeneasc i instituie i recomand ca studenii s transmit instituiei raportul scris, iar instituia s pun la dispoziia organizaiei studeneti documentele sale de autoevaluare. Aceast deschidere d posibilitatea echipei de evaluare extern s discute ambele documente n mod liber, att cu personalul universitii ct i cu studenii pe parcursul procesului de evaluare i s verifice acurateea coninutului acestora. Dac organizaia studeneasc dorete, ea poate solicita chiar la depunerea documentului ca raportul scris s nu fie pus la dispoziia instituiei i s fie pstrat confidenialitatea de ctre Agenie, de ctre echip i de ctre oricare expert independent solicitat s asiste echipa n cadrul activitii sale. Agenia va respecta aceast dorin, ns studenilor li se solicit s ia n considerare faptul c utilizarea confidenial a raportului lor determin un slab impact la nivel de universitate, de vreme ce personalului instituiei nu i este cunoscut opinia studenilor.

34

ANEXA 8.1

Elemente privind elaborarea documentelor de autoevaluare a programelor de studii ca parte a evalurii instituionale Date despre programe 1. Dup ce Agenia face cunoscut n scris universitii lista programelor de studii care urmeaz s fie evaluate n cadrul vizitei de evaluare instituional, universitatea dispune de dou luni pentru a pregti i pune la dispoziia echipei de evaluatori externi documentele de autoevaluare pentru fiecare program. 2. Acolo unde nu este disponibil o evaluare intern recent a programului de studii, universitatea poate pregti un scurt document de autoevaluare special pentru procesul de evaluare instituional. Un astfel de document de autoevaluare de program conine n jur de 3000 de cuvinte i acoper urmtoarele aspecte: Obiectivele educaionale ale programului de studii o prezentare a misiunii i obiectivelor programului prin prisma calificrii academice distincte pe care o confer absolvirea lui. Rezultatele ateptate ale procesului de nvare i evaluarea gradului de conformitate a rezultatelor efective cu obiectivele educaionale propuse prin program, fcndu-se trimitere la sursele interne (Subject benchmark statements) sau externe (Cadrul Naional al Calificrilor n nvmntul Superior). Planul de nvmnt (Curriculum), n concordan cu standardele specifice pe domenii ale ARACIS. Modul de evaluare/notare a studenilor n vederea nregistrrii progresiei spre nivelul academic de certificare/acordare a diplomei de absolvire. Calitatea oportunitilor procesului de nvare, care poate fi divizat n: o Predare i nvare evaluarea eficienei strategiilor de predare i nvare aplicate n cadrul programului pentru a asigura studenilor oportuniti sporite de nvare; o Admiterea studenilor i evoluia/progresul acestora evaluarea modului n care evoluia studenilor n cadrul programului de studii este sprijinit i monitorizat, de la admitere pn la absolvire; o Resursele de studiu evaluarea eficienei disponibilului de resurse umane i materiale care sprijin procesul de nvare al studenilor i eficiena corelaiei acestora cu rezultatele propuse ale procesului de nvare din cadrul programului/programelor. Meninerea i sporirea standardelor i a calitii evaluarea eficienei procedurilor de meninere i ntrire a calitii activitii de formare i de asigurare a standardelor academice de absolvire a programului. Anexe, in format electronic, care s conin datele necesare solicitate in Fia vizitei, seciunile a) si b) iar pentru fiecare program evaluat, FIA STANDARDE I INDICATORI DE PERFORMANT n vederea acreditrii din PARTEA I a EVALUAREA EXTERN N
VEDEREA ACREDITRII PROGRAMELOR DE STUDII.

3. n cadrul documentelor de autoevaluare a fiecrui program de studii, accentul trebuie s cad pe evaluarea rezultatelor studenilor, pe analiza facilitilor de studiu oferite studenilor. Descrierea programului trebuie s se limiteze la minimul necesar pentru a facilita nelegerea de ctre echipa de evaluatori externi a calitii i eficacitii experienei proprii de autoevaluare.

35

Prezentarea documentelor la Agenie 4. Universitii evaluate i se solicit s prezinte Ageniei documentele de autoevaluare a programelor de studii cu cel puin dou luni naintea vizitei de evaluare instituional. Confidenialitatea 5. Documentele de autoevaluare de program de studii rmn confideniale la nivel de Agenie i de echip de evaluare extern, ns, acolo unde este necesar, ele vor fi puse la dispoziia experilor independeni, care pot fi solicitai s furnizeze o opinie de specialitate.

36

ANEXA 10.1 Structura orientativ a Raportului de evaluare instituional extern al Ageniei Rezumatul Rezumatul (executive summary), are o structur comun pentru toate rapoartele de evaluare extern supuse ateniei Consiliului Ageniei i cuprinde n final rezultatele i concluziile evalurii. El este destinat publicului larg, n special potenialilor studeni, i este disponibil separat de restul raportului. Acest rezumat cuprinde: Declaraie introductiv cu privire la obiectivele generale ale evalurii. Rezumatul concluziilor echipei de evaluare. Credibilitatea informaiei diseminate de instituie. Aprecierea infrastructurii academice. Caracteristici de bun practic. Declaraia legat de ncrederea acordat instituiei. Recomandri pentru activitatea instituiei.

Raportul de evaluare instituional extern Raportul de evaluare instituional extern este pregtit pentru uzul universitii auditate i pentru baza de date a Ageniei. Dup aprobarea sa de ctre Consiliul Ageniei, acest raport se public pe siteul Ageniei mpreun cu scrisoarea universitii evaluate. Raportul principal cuprinde trei pri: (1) o introducere descriptiv cu coninut standard (dimensiunea, tipul, misiunea i particularitile instituiei, structura organizatoric, lista de programe pe cicluri de studii universitare, tipul de informaii diseminate de instituie pentru studeni i candidai, progresul nregistrat de la ultima evaluare academic); (2) o relatare a procesului de evaluare cu concluziile fiecrei etape de analiz a asigurrii calitii la nivel instituional i de programe de studii, a respectrii standardelor de absolvire; n aceast parte se fac i constatri cu privire la rezultatele confruntrii afirmaiilor din raportul de autoevaluare cu constatrile din teren i cu rezultatele discuiilor purtate cu reprezentanii corpului profesoral, cu studenii, cu absolvenii i, eventual, cu angajatorii absolvenilor; (3) aprecieri cu privire la credibilitatea, acurateea i caracterul complet al informaiilor publicate.

37

Rezultatele evalurii externe Rezultatele procesului de evaluare extern pe ansamblul instituiei se refer la capacitatea managerial a instituiei de a asigura i mbunti continuu calitatea programelor de studii; capacitatea de a sprijini eficient nvarea n vederea realizrii standardelor de absolvire. Aceste rezultate pot fi structurate astfel: Eficiena procedurilor instituionale de asigurare a calitii programelor. Eficiena procedurilor instituionale de garantare a standardelor de absolvire. Eficiena procedurilor instituionale n sprijinire a procesului de nvare. Rezultatele evalurii interne a calitii programelor de studii. Utilizarea de ctre studeni a infrastructurii academice. Utilitatea documentelor de autoevaluare n ilustrarea capacitii instituiei de a reflecta propriile posibiliti i limite i a modului de a le gestiona pe acestea pentru a ntri calitatea i standardele de absolvire. Credibilitatea informaiei diseminate de instituie cu privire la programele de studii. Aspecte de bun practic Declaraia legat de ncrederea acordat instituiei Recomandri pentru activitatea instituiei

38

ANEXA 10.2 Indicaii privind situaii posibile n care rezultatele evalurii externe determin acordarea calificativelor grad de ncredere limitat sau lips de ncredere. 1. Acordarea calificativului grad de ncredere limitat este determinat de faptul c exist dovezi evidente sau se constat aspecte conform crora capacitatea instituional de management al calitii programelor i/sau standardelor de certificare ntr-o manier solid i eficient este limitat sau potenial limitat n viitor. O astfel de concluzie se poate baza pe deficiene fie ale managementului structurilor i procedurilor instituionale sau n procesul de implementare la nivel de programe sau discipline. ncrederea poate fi limitat i datorit amplitudinii sau tipologiei deficienelor identificate n oricare domeniu sau program evaluat. De asemenea, Agenia poate decide asupra acordrii calificativului grad de ncredere limitat dac exist motive justificate de ndoial n a considera c informaiile furnizate de instituie i disponibile public sunt complete, corecte i de ncredere sau atunci cnd instituia utilizeaz ntr-o msur redus examinatori externi independeni n cadrul evalurilor periodice interne de discipline sau programe de studii. Acordarea calificativului grad de ncredere limitat conduce la un set de recomandri considerate a fi eseniale, eventual nsoite de recomandri cu caracter preventiv i/sau dezirabil.

2. Acordarea calificativului lips de ncredere indic faptul c exist dovezi substaniale legate de deficiene serioase i fundamentale ale capacitii instituionale de a asigura i menine calitatea programelor i a standardelor de certificare/acordare a diplomelor att la nivel instituional ct i de programe de studii. Decizia va fi nsoit de un numr semnificativ de exemple i recomandri considerate eseniale i, de asemenea, de un numr de recomandri considerate preventive i care ar trebui s fie urmate pentru a permite acordarea, n urma unei alte evaluri, a unui calificativ mbuntit. Nendeplinirea cerinelor normative obligatorii pentru programele de studii i la nivel instituional este un motiv serios pentru ca Agenia s acorde calificativul lips de ncredere.

39