EVALUAREA PROGRAMELOR Curs adaptat dup cursul doamnei lect. univ.

Raluca Antonie

Capitolul 2. Evaluarea de programe explicitarea conceptelor Studiul evalurii este relativ nou, ndeosebi n Romnia. Una dintre primele nregistrri ale unei evaluri la nivel internaional este evaluarea eficacitii terapeutice a sucului de lmie n rndul marinarilor realizat de marina britanic n secolul al XVIII1-lea. 2.1 Scurt istoric Evaluarea a debutat ca un domeniu practic i a devenit o disciplin recunoscut a cercetrii tiinifice ncepnd din anii 1960. Pe parcursul evoluiei s-au remarcat o serie de dispute privind terminologia, metodologia i etica evalurii. n 2004, FitzPatrick, Sanders i Worthern au identificat aproape 60 de modele aprute ntre 1960 i 1990 (J.L. Fitzpatrick, Sanders, J.R., i Worthen, B.R., 2004). Anul 1965, a nsemnat startul masiv n Statele Unite a unor programe destinate combaterii srciei (War on Poverty rzboi mpotriva srciei, denumirea general a setului de programe) (Sorin Dan andor, 2005: 73). Marea Societate. Revoltele din Watts. Rzboiul mpotriva srciei Un pachet de reforme n educaie, sntate, nvmnt, protecie social i protecia mediului fceau parte din planul preedintelui Johnson de a reconstrui America ca pe o Mare Societate (The Great Society)2. Iniial, acesta are suportul total al opiniei publice. Marea Societate urma s reprezinte cea mai complex reform de la Noua nelegere (New Deal) promovat de Ronald Reagan. n 1960, n pofida climatului de prosperitate, aproape un sfert din familiile americane triau sub limita srciei. Regiuni ntregi nu beneficiaser de prosperitatea economic din perioada postbelic. Mai mult, evoluia tehnologic din industrie i lsa pe cei nepregtii fr locuri de munc. n 1964, 44% dintre persoanele peste 65 de ani nu aveau asigurare de sntate. Starea precar de snatate, datorat naintrii n vrst determina intrarea lor automat n rndul celor sraci. n realitate, mai mult de unul din trei Americani sub 65 de ani triau sub limita srciei. Prin urmare, preedintele Johnson a considerat c Rzboiul mpotriva sraciei(War on Poverty) trebuia s ocupe centrul preocuprilor pentru construcia Marii
1

Eficacitatea sucului de lmie n combaterea scorbutului la marinari comandat de marina britanic n secolul XVIII! Francezii pretind c au realizat prima cercetare de acest gen chiar mai devreme cd armatele normande au realizat o evaluare privind eficacitatea relativ a diferitelor tipuri de arcuri n Models for the evaluation of elearning, http://wiki.ossite.org/index.php?title=Models_for_the_evaluation_of_elearning 2 dup John Gardner- Engineer of the great Society n http://www.pbs.org/johngardner/chapters/4.html

Societti. Un imbold semnificativ

n iniierea Rzboiului mpotriva srciei l-au

constituit Revoltele din Watts. Revoltele din Watts (Watts Riots3) au fost o serie de conflicte civile de mari dimensiuni, care au izbucnit n cartierul Watts din sudul oraului Los Angeles din Statele Unite ale Americii. Acestea au nceput in 11 August 1965 i au durat 6 zile. n urma lor, au fost ucii 34 de oameni, 1100 au fost rnii, 4000 de persone au fost arestate, 600 de cldiri au fost incendiate i s-au produs pagube de aproximativ 100.000.000 de dolari. Majoritatea daunelor s-au nregistrat n cazul afacerilor care au cauzat resentimente in cartier datorit nedreptilor sociale percepute. Domiciliile nu au fost atacate, ns unele eu luat foc din cauza apropierii de alte cldiri incendiate. O comisie guvernamental a investigat revoltele. Principalele cause au fost stabilite ca fiind: omajul, colile slabe i srace precum i alte condiii inferioare de via. Costurile cauzate de rzboiul din Vietnam, alturi de costurile programelor de reform, au determinat o mare presiune asupra economiei americane. Odat cu scderea n popularitate a rzboiului din Vietnam, preedintele Johnson i-a pierdut capitalul politic necesar pentru continuarea reformelor. Criticii Marii Societi pretind c aceste programe de reform au avut efecte departe de cele ateptate, dac nu chiar inverse, n pofida unor investiii publice de mari dimensiuni. S-au creat doar noi sisteme birocratice care au nghiit banii, fr a produce rezultatele scontate. Exemplul cel mai vehiculat este reforma privind asistena social care a produs o fragmentare a oraelor, cu consecinte dintre cele mai nocive. Aceasta a fost fcut responsabil pentru crearea dependenei de asisten social n rndul sracilor, pentru crearea unor cercuri vicioase ale srciei. Sume substaniale au fost investite pentru eradicarea unor probleme sociale, ns rezultatele dorite s-au lsat ateptate. S-a ajuns la concluzia c nu existau suficieni bani pentru rezolvarea tuturor problemelor existente. De asemenea, s-a observat c pentru rezolvarea problemelor cu care se confrunt comunitile, banii nu reprezint singura problem. Evaluarea programelor s-a lansat prin asumarea acestor dou constrngeri (Michael Quinn Patton, 1997) dar i prin adoptarea sistemului de bugetare Planning-

http://en.wikipedia.org/wiki/Watts_Riots

Programming Budgeting System (PPBS), care ncuraja monitorizarea i evaluarea programelor. Opinia public a devenit din ce n ce mai precaut, cernd dovezi pentru succesul programelor care urmau a fi susinute din bani publici. n aceste condiii, evaluarea a cunoscut un adevrat boom, numrul celor care o consider esenial pentru reuita unui program crescnd spectaculos. Dup cum se anticipa (Chelimski, Shadish, 1997) evaluarea se diversific metodologic nencetat, depete graniele naionale, i devine extrem de util ntr-o sfer din ce n ce mai larg de preocupri. 2.2 Materia prim a evalurii Materia prim a evalurii este constituit din proiecte, programe i politici publice. Proiectele reprezint unitatea cu gradul cel mai sczut de generalitate. Un proiect este efortul organizat de a pune n practic o idee. Desigur, ne referim n acest studiu mai ales la proiectele de dezvoltare socio-economic. Printre elementele eseniale ale unui proiect se numr: scopul, obiectivele, actorii implicai (iniiatori, beneficiari direci i indireci, finanatori, etc.) activitile, calendarul, resursele i efectele multiplicatoare. Proiectele pot fi iniiate i implementate de diferite entiti printre care: instituiile administraiei publice, organizaiile non-guvernamentale i chiar firmele din sfera privat. De regul proiectele reprezint punerea n aplicare a obiectivelor specifice ale unor programe. Programul este unitatea cu gradul de generalitate mai ridicat dect proiectul, ns cu o structur asemntoare. Implementarea unui program se realizeaz prin implementarea mai multor proiecte, care detaliaz i pun n aplicare unul sau mai multe dintre obiectivele programului. Politica public reprezint unitatea cu gradul cel mai ridicat de generalitate, ce corespunde unei direcii strategice de aciune ntr-un anumit domeniu. Un exempu de politic public, specific administraiei publice din Romnia este dezvoltarea capacitii administrative; un program subsecvent acestei politici este Modernizarea Administraiei Publice Locale, iar unul dintre proiectele care pun n aplicare acest program este Evaluarea Programelor n Administraia Public. Proiectul este impelmentat la nivelul unei primrii i detaliaz i aplic unul dintre obiectivele programului: creterea responsabilitii pentru cheltuirea banilor publici. Programele i proiectele pot fi finanate de instituii ale administraiei publice centrale i locale, de organizaii internaionale

(Uniunea European, Banca Mondial, etc.), organizaii non-profit i alte entiti. De obicei, finanatorul este cel interesat de rezultatele proiectului, de evaluarea ndeplinirii obiectivelor propuse. n numeroase cazuri, instituiile publice co-finaneaz sau sunt parteneri n proiectele de dezvoltare care afecteaz grupurile de oameni, comunitile din raza lor de aciune. Mai mult, un management performant presupune organizarea activitii instituiilor publice pe baz de proiecte, pentru a fi mai uor administrat, mbuntit, urmrit i verificat. Este o tendin susinut i ncurajat n ntreaga Uniune European. Nevoia de evaluare n sistemul administrativ este n continu cretere. Reforma administraiei publice, dezvoltarea capacitii administrative presupune dezvoltarea capacittii de evaluare. Aceasta poate fi realizat prin crearea unui cadru legislativ, a unei capaciti instituionale i prin dezvoltarea resursei umane n domeniul evalurii. 2.3 Definiii ale evalurii Evaluarea proiectelor i programelor n administraia public este o etap specific, extrem de util n planificarea i managementul proiectelor, o tehnic de cercetare i un instrument pentru realizarea politicilor publice, utilizat cu succes de ctre responsabili de managementul instituiilor i al organizaiilor, de coordonarea proiectelor i a programelor derulate din fonduri publice sau private. nali funcionari publici, politicieni, manageri, directori de instituii i organizaii, directori de programe i coordonatori de proiecte utilizeaz diferite modele de evaluare pentru a sesiza, n timp util, efectele interveniilor pe care le implementeaz sau intenioneaz s le implementeze. Scopul este de a sesiza i a contracara la timp efectele nedorite asupra grupurilor de oameni, comunitilor i societii, precum i pentru a ncuraja elementele pozitive ale programelor i proiectelor. Mai mult, scopul implicit al evalurii este de a colecta sistematic informaii despre rezultate, output si administrarea proiectelor pentru mbuntirea implementrii i generarea unor decizii performante n viitor. Pe scurt, diferitele modele de evaluare sunt utilizate pentru a minimiza pierderile i a maximiza beneficiile interveniilor asupra grupurilor sociale de mici sau mari dimensiuni. De-a lungul evoluiei sale, evaluarea a primit numeroase definiii. O sintez a definiiilor evalurii date de diferite dicionare relev anumii termini-cheie: determinarea

meritului, a valorii, estimare, preuire etc. Evaluarea de proiecte sau programe este strns legat de sensul acestor termeni, fr a se rezuma ns la ei. n definiiile evalurii apar de asemenea ca o constant o serie de elemente legate de metodologie. n cartea sa despre Analiz i cercetare n administratia public, Dan andor descrie sintetic faptul c evaluarea programelor se refer la o analiz sistematic pentru a vedea msura n care proiectele i programele au fost implementate conform inteniilor i i-au atins obiectivele. Comisia European propune cinci criterii relevante n evaluare: relevan, eficien, eficacitate, sustenabilitate i impact4. Pornind de la acestea, putem defini evaluarea ca fiind procesul prin care, cu ajutorul unor metode i instrumente specifice, putem msura gradul n care proiectele au obiective i rezultate relevante, resursele sunt consumate economic, pentru a atinge obiectivele propuse, dac proiectul are anse de a continua i dup ncheierea finanrii, msura n care activitile i ating grupul int i dac impactul lor este resimit pe termen lung. Cheia unei nelegeri corecte este diferena ntre sistematic i continuu din care rezult diferena ntre evaluare (sistematic dar secvenial- realizat n anumite momente din viaa unui program) i monitorizare (proces continuu de colectare a datelor n timpul implementrii unui program). La fel trebuie neleas i definiia dat de N.C Allum, M.W. Bauer, G. Gasgell - Quality, Quantity and Knowledge interests, Avoiding confusion in Bauer and Gasgell, Qualitative research. Termenul de evaluare se refer la activitatea de colectare, analiz i raportare sistematic a informaiilor care pot fi utilizate pentru schimbarea atitudinilor i pentru mbuntirea unui proiect sau program.(Allum, 2000: 3) Sintetiznd, putem reliefa urmtoarele elementele eseniale ale unei evaluri: Evaluarea este un instrument util n managementul politicilor, programelor i proiectelor; Implic aprecieri pe baza unor criterii; Evaluarea este util n oricare dintre stadiile dezvoltrii unui program: o n stadiul de design; o nainte de implementare- evaluarea ex-ante;
4

www.evalsed.info

o n timpul implementrii- evaluarea concomitent; o Ulterior implementrii- evaluarea ex-post; Evaluarea este un process explicativ: pornete de la anumite ntrebri pentru care gsete rspunsuri; Este mai comprehensiv dect monitorizarea; Evaluarea este o activitate sistematic i implic analize tiinifice (colectarea de date, analiza lor, compararea lor pe baza anumitor criterii); Evaluarea st la baza lurii unor decizii n legatur cu programul evaluat : modificarea designului sau a modului de implementare. Deciziile se pot referi la continuarea, modificarea sau chiar stoparea programului. n opinia unuia dintre autorii clasici n domeniul evalurii, Michael Quinn Patton, Evaluarea este colectarea sistematic de informaii despre activitile, caracteristicile i rezultatele programelor pentru a fi utilizate de anumite personane cu scopul de a reduce nesiguranele, pentru a spori eficacitatea i a lua deciziile oportune n legtur cu programele respective( Michael Quinn Patton, 1997: 23). Aceast definiie, dac nu este neleas adecvat poate produce confuzii. Cheia unei nelegeri corecte este diferena ntre sistematic i continuu din care rezult diferena ntre evaluare (sistematic dar secvenial- realizat n anumite momente din viaa unui program) i monitorizare (proces continuu de colectare a datelor n timpul implementrii unui program).

Pentru a ntelege ce este evaluarea, trebuie fcut distincia intre aceasta i ali termini cu utilizare paralel, interanjabili. Diferite autoriti sau agenii dau sensuri diferite acelorai termeni. Pentru a ne ncadra n contextul general al integrrii europene i pentru c ne referim la evaluarea de programe n sfera public, vom adopta terminologia utilizat de ctre Comisia European n domeniul evalurii de programe.

2.4 Monitorizarea Monitorizarea se refer la cuantificarea pe tot parcursul implementrii proiectului sau programului a evoluiei privind atingerea obiectivelor, consumarea resurselor, atingerea grupului int, cuantificarea sistematic a schimbrilor generate de implementarea

programului sau proiectului. n urma monitorizrii se poate sesiza n mod permanent raportul input output, venituri-cheltuieli, activitti planificate- activiti realizate, grup int propus-grup int atins, nregistrndu-se eventualele discordane. Evaluarea explic de ce respectivele discordane exist (dac exist). Monitorizarea este descriptiv, n timp ce evaluarea este explicativ. Legtura dintre monitorizare i evaluare este foarte strns. Evaluarea nu poate fi realizat (sau poate fi realizat extrem de dificil), dac nu exist un sistem coerent de monitorizare. Acest sistem presupune de regul un set de indicatori i un plan de monitorizare. Deasemenea anumite resurse trebuie alocate procesului de monitorizare. De obicei, resursele umane pentru monitorizare sunt mobilizate din echipa de implementare a proiectului. Dar nu este exclus, mai ales n cazul unor proiecte de mari dimensiuni, ca monitorizarea s fie asigurat de persoane specializate din afara echipei de implementare a proiectului.

2.5 Auditul Auditul reprezint o verificare a prevederilor financiare ale unui proiect i a msurii n care acestea sunt ndeplinite n conformitate cu criteriile legale i financiare specifice. Auditorii Comisiei Europene i agenii lor atribuie termenului de audit o sfer mult mai larg de semnificaii: verificarea necesitii proiectului, a msurii n care activitile i rezultatele proiectului sau programului justific investiia financiar, a existenei i vizibilitii n practic a unei plus-valori generate de proiectul sau programul respectiv (Hughes, 2000: 3).

2.6 Scopul evalurii Evaluarea reprezint un proces prin care se msoar performana unui program i se identific soluii la problemele existente. Mai exact, evaluarea poate avea, printre altele, scopul de a analiza rezultatele unui program, de a le compara cu costurile sale, de a ajuta autoritile s rspund n faa cetenilor pentru aciunile lor, de a ajuta la procesul de alocare a resurselor i de a ajuta la mbuntirea managementului programelor.

Datele rezultate n urma evalurii sunt utile att pentru mbuntirea procesului de implementare a programelor, ct i a celui de luare a deciziilor. Prin evaluare este determinat eficacitatea proiectelor i programelor, prin rspunsul pe care l d ntrebrilor: ce funcioneaz?, pentru cine? i n ce condiii? Evaluarea susine deasemenea procesul de planificare a activittilor viitoare, de repartizare a resurselor umane, financiare etc.

2.7 Criterii de evaluare Pe ce se bazeaz aprecierile evaluatorilor? Rspunsul este simplu: criteriile de evaluare. Abordarea UE are la baza 5 criterii: Relevan Eficacitate Eficien Impact Sustenabilitate Figura 1 . Principalele criterii de evaluare

Context socioeconomic

Nevoi, Probleme

Impact

Rezultate

Program

Obiective

Input

Output

Evaluare

Relevan

Eficienta Eficacitate Utilitate, Sustenabilitate

Sursa: Tavistock Institute et all, The Evaluation of Socio-Economic Development: The GUIDE, 2003

Relevana se refer la msura n care programul analizat reuete s rspund nevoilor reale ale actorilor implicai. De asemenea are n vedere eventualele schimbri de context care ar putea avea ca rezultat anumite modificri n tipul nevoilor la care programul ar trebui s se adreseze sau schimbri n ierarhia acestora. Un program este relevant dac pe tot parcursul implementrii sale ine cont de aceste modificri de context, are flexibilitatea necesar de a se replia de cte ori este necesar pentru a rspunde nevoilor la care i propune s rspund. Iar un program devine irelevant n momentul n care, pe parcursul existenei sale, eueaz n acoperirea nevoilor pe care-i propune s le acopere sau le acoper n mod defectuos, raportat la planul iniial. Un aspect al relevanei este i necesitatea ca anumite programe s fie susinute din bani publici. Care sunt aceste programe? Care sunt motivele pentru care statul trebuie s se implice n implementarea sa? Sectorul privat sau non-profit nu a reuit s acopere nevoile actorilor implicai? De ce? Pentru a afla dac un program este relevant i n ce msur, trebuie apreciate toate aceste elemente. Eficacitatea are n vedere msura n care programele i ating obiectivele propuse. De asemenea, gradul n care rezultatele proiectului corespund nevoilor identificate n faza de design este o msur a eficacitii unui program. Eficiena ia n calcul un aspect suplimentar, esenial n existena proiectelor i programelor: cel financiar. Mai mult, eficiena are n vedere i urmtoarele aspecte: Ar fi putut fi obinute aceleai rezultate cu mai puine resurse? Sunt costurile unitare prea ridicate? Chiar dac obiectivele sunt atinse, este proiectul/programul prea costisitor pentru a putea fi continuat? Impactul reprezint efectul net pe care un program l produce. Datorit variabilelor externe, distorsionante, impactul unui proiect este greu de calculat cu exactitate. Este greu s difereniezi efectul unui program ntr-un context socio-economic este extrem de complex. Totui folosind metode adecvate este posibil, cu o marj de eroare asumat s dm rspunsul la urmtoarele ntrebri:

10

Ce schimbri au rezultat n urma programului? Exist alte beneficii ale programului, alturi de cele preconizate?

O alt accepiune a impactului este aceea n care impactul prezint efectele unui program pe termen lung. Sustenabilitatea se refer la continuitatea programului dup ntreruperea finanrii din sursa iniial. Efectele programelor sau programele nsele continu dup ncheierea implementrii? Pot fi identificate surse alternative de finanare? Sustenabilitatea d, alturi de celelalte criterii msura performanei unui proiect sau program. Alturi de aceste criterii mai pot fi menionate i altele, la fel de importante pentru aprecierea performanelor unui program. Cele la care ne vom referii n continuare sunt echitatea i implicarea comunitii. Echitatea se refer la aspecte precum: accesul la serviciile furnizate de proiect indiferent de: vrst, sex, condiii materiale i sociale. De regul sunt promovate proiecte care descurajeaz discriminarea de orice tip. Participarea comunitii este un alt criteriu de care se ine cont n evaluarea anumitor proiecte. Desigur, este vorba despre proiectele care permit aceasta. Toate aceste criterii, alturi de altele pe care nu le-am menionat, dar care pot fi la fel de importante, sunt utilizate n precesul de evaluare. ns, n funcie de programul sau proiectul evaluat, se poate apela doar la o parte dintre acestea. Pe lng luarea n considerare a ct mai multe dintre criteriile enumerate, evaluarea ar trebui s fie analitic, sistematic, de ncredere, orientat pe probleme sau pe utilizatori, in funcie de modelul de evaluare utilizat.

11

Capitolul 3. Tipuri i sisteme de evaluare Exist numeroase criterii n functie de care putem clasifica tipurile de evaluare: dup scopul evalurii, dup momentul de timp n care se desfoar evaluarea, dup unitatea de analiz, dup poziia membrilor echipei de evaluare, etc. 3.1 Dup scopul evalurii: a. Evaluarea sumativ, care analizeaz rezultatele la un anumit moment de la nceperea programului cu scopul de a stabili performana programului i de a estima valoarea sa b. Evaluarea formativ se face de obicei n timpul implementrii (este o evaluare intermediar) cu scopul de a analiza situaia i de a uura mbuntirea programului. Aceasta terminologie a fost utilizata pentru prima data de Michael Scriven, (1991), ulterior fiind preluat de toate sursele relevante n domeniu. Robert Stake ofer n Standards-Based and Responsive Evaluation o definiie extrem de sugestiv a evlurii sumative i formative: Cnd buctarul gust supa, este evaluare formativ, iar cnd oaspeii gust supa, este evaluare sumativ (Robert Stake, 2003: 52). Robert Stake, evaluator de programe educaionale n Statele Unite ale Americii n perioada anilor 60-70, este unul dintre primii susintori ai metodelor calitative n evaluarea programelor sociale. Stake percepe evaluarea ca serviciu i ca reflectare de valori. Stake recomand evaluarea selectiv, pe care o definete ca fiind o abordare care sacrific o anumit precizie a selectrilor n sperana de a crete valoarea descoperirilor pentru persoanele din afara i din interiorul programelor (Shadish Jr., Cook, Leviton 1999: 278). Tot la Stake se regsete diferenierea ntre evaluarea prestabilit, recunoscut prin: afirmarea obiectivelor, utilizarea testelor obiective, utilizarea standardelor deinute de responsabilii programelor i a rapoartelor de tip cercetare i evaluarea reactiv, caracterizat prin urmtoarele elemente:

12

Pune un accent mai mare asupra activitilor unui program, dect Rspunde necesitilor publicului. Perspectivele valorice ale actorilor sunt luate n considerare n

asupra inteniilor sale.

menionarea eecurilor i a succeselor unui program. Termenul reactiv (provenit din relaia stimul rspuns) asociat procesului de evaluare promoveaz ideea evaluatorului-stimul n contrast cu evaluatorul-rspuns. Unul dintre principalele dezavantaje ale evalurii prestabilite este faptul c cercettorii (tradiional cantitativiti) se concentreaz asupra unor variabile care nu pot fi controlate de management, prin aceasta pierznd din utilitate. Stimulii standardizai generai de evaluarea prestabilit s-au dovedit adesea mai puin relevani dect stimulii care apar spontan n cadrul programului(cum ar fi reaciile actorilor, discuiile ulterioare desfurrii unei activiti, etc.). Cteva trsturi eseniale ale evalurii reactive sunt: accentul pus pe observaie i flexibilitate, preferina pentru metodele calitative i accentul pe mbuntirea practicilor locale. Evaluarea reactiv are o serie de avantaje i dezavantaje. Printre avantaje se numr: relevarea unor variabile importante ale programului, ncurajarea eforturilor de schimbare ale celor implicai ntr-un program, ncurajarea creterii controlului local. Totui, evaluarea prestabilit ar trebui preferat evalurii reactive atunci cnd este important s tim dac anumite scopuri au fost atinse, dac anumite promisiuni au fost inute i cnd urmeaz s fie investigate ipoteze sau aspecte predeterminate. ne putem atepta ca msurtorile prestabilite s fie mai obiective i mai de ncredere. (Shadish Jr., Cook, Leviton 1999: 283) n concluzie, trebuie avute n vedere ambele tipuri de evaluare n funcie de program. Evaluarea reactiv are o serie de elemente comune cu evaluarea formativ, n timp ce evaluarea prestabilit se suprapune parial evalurii sumative5. Tabelul 1. Puncte comune ntre evaluarea reactiv i formativ pe de o parte i evaluarea prestabilit i sumativ pe de alt parte

Este vorba de conceptele promovate de Michael Scriven.

13

Evaluarea reactiv

Flexibilitatea metodologic Preferina pentru metode calitative Concentrarea pe activiti Accentul pe mbuntirea practicilor Se realizeaz de regul pe parcursul unui program Preferina pentru metode cantitative

Evaluarea formativ

Evaluarea prestabilit

Evaluarea

Concentrarea pe obiective i pe gradul de sumativ realizare a acestora Se realizeaz, de obicei, la finalul unui program

Caracterizat de anumii critici ca fiind atractiv superficial (Shadish Jr., Cook, Leviton 1999: 317), distincia reactiv-prestabilit rmne valabil n teoria evalurii deoarece elucideaz anumite aspecte ale procesului de evaluare care, neconceptualizate rmn n penumbr: importana flexibilitii metodologice, utilitatea metodelor calitative, accentul care trebuie pus i pe activiti, nu numai pe obiective etc. Ambele sunt considerate relevante i utile pentru sectorul public. 3.2 Dup momentul evalurii: c. Evaluarea ex-ante d. Evaluarea interim e. Evaluarea ex-post

Evaluarea ex-ante Exaluarea ex-ante (Tavistock Institute, 2003: i, ii) este un tip de evaluare realizat n cea dinti etap a ciclului unui program sau proiect (faza de planificare i design), nainte de a fi luat decizia de implementare a sa, nainte de a se manifesta presiunea termenelor limit. Evaluarea ex-ante presupune o analiz SWAT, n cadrul creia vor fi luate n considerare caracteristicile definitorii ale localitii, regiunii, statului n care se

14

implementeaz proiectul, o analiz a nevoilor i anumite simulri ale efectelor socioeconomice. Acest tip de evaluare asigur relevana i coerena programului n functie de context. n cazul n care este vorba de un program care urmeaz a fi pus n aplicare prim mai multe proiecte, iar acestea vor fi selectate prin licitatie, evaluarea ex-ante a programului ajut la determinarea criteriilor de selecie a proiectelor i la selectarea proiectelor care urmeaz a fi finanate. De asemenea cu noul statut al Romniei de stat membru al Uniunii Europene trebuie acordat o atenie specific respectrii regulamentelor i standardelor Uniunii Europene de calitate n furnizarea de bunuri i servicii. Evaluarea interim Evaluarea interim se realizeaz n cea de-a doua etap a ciclului unui proiect sau program, n timpul implementrii. Scopul acestei evaluri este mbuntirea designului i a procesului de implementare a unui proiect sau program. Evaluarea interim are elemente comune cu evaluarea formativ n sensul c: urmrete gradul de realizare a obiectivelor pn n momentul evalurii, gradul de respectare a calendarului, ncadrarea n buget, gradul de utilizare a celorlalte resurse, etc. Prin comparaia cu situatia iniial, n cursul evalurii interim, pot fi semnalate anumite schimbri relevante n contextul socioeconomic care pot afecta programul. Tot n cursul evalurii interim trebuie sesizat orice deviere de la normele europene n furnizarea de bunuri i servicii. Evaluarea interim utilizeaz informaiile obinute n urma monitorizrii i n urma evalurii ex-ante. De regul evaluarea interim presupune analize ale rezultatelor intermediare ale proiectului, ns este recomandabil i o anali detaliat a impactului probabil care nc nu a avut timp s se manifeste, ns este inerent. Pe baza concluziilor evalurii interim poate fi mbuntit att designul ct i managementul programelor analizate, pot fi prevenite eventuale impacturi negative.

Evaluarea ex-post Evaluarea ex-post vizeaz analiza ntregului program n principal din perspectiva rezultatelor comparate cu obiectivele iniiale ct i din perspectiva impactului pe care l are. Exist numeroase elemente comune ntre evaluarea ex-post i evaluarea sumativ. Pe

15

lng metode de evaluare precum analiza rezultatelor i a impactului, evaluarea ex-post mai poate utiliza urmtoarele metode: benchmarking, analiza cost-beneficiu i costeficien, analiza proceselor i analiza multi-atribut. Scopul evalurii ex-post este multiplu: cuantificarea rezultatelor i efectelor intenionate sau nu ale unui program, analiza calitativ i cantitativ a performanelor, nvarea unor lecii pentru mbuntirea managementului unor programe viitoare, compararea performanelor programului evaluat cu performanele altor programe similare, etc. 3.3 Dup poziia membrilor echipei de evaluare Dup poziia membrilor echipei de evaluare exist dou tipuri eseniale de evaluare: a. Evaluarea intern b. Evaluarea extern a. Evaluarea intern este evaluarea realizat de personal specializat din interiorul instituiei care implementeaz programul. De regul, instituia implementatoare are personalul calificat i datele necesare pentru realizarea evalurii. Totui, n Romnia exist numeroase instituii (dac ne referim la sectorul public) sau organizaii (dac lum n calcul i sectorul non-profit) care nu beneficiaz de o capacitate intern de evaluare (nu au persoane specializate n domeniul evalurii), dei au specialiti pe diferite sectoare relevante pentru proiectul evaluat. Aceste instituii vor apela, chiar i pentru evaluarea intern a programelor la serviciile unor experi n evaluare din exterior, de preferin independeni (fr alte conexiuni cu proiectul evaluat sau cu echipa de implementare a proiectului). Scopul evalurii interne este furnizarea unei analize din perspectiva implementatorului care are acces la date mai uor dect orice alt actor implicat (fie el finanator sau evaluator extern). Prin urmare acest tip de evaluare este extrem de bogat n date, iar raportul de evaluare este unul foarte explicit i explicativ. Cei care au implementat proiectul cunosc cel mai bine teoria, procesele i rezultatele acestuia i motivele pentru care s-au implementat anumite modificri n designul iniial, eventual motivele pentru care nu a fost respectat calendarul iniial, s-a depit bugetul sau,

16

dimpotriv, nu s-au utilizat resursele, care au fost elementele distorsionante aprute pe parcurs i ce efecte au avut aceste elemente asupra programului. Evaluare intern este foarte potrivit pentru evaluarea formativ, ajutnd la controlul calitii evalurii i la dezvoltarea capacitii interne de evaluare. Dezavantajele evalurii interne sunt: lipsa unor expertize sectoriale i lipsa independenei. c. Evaluarea extern reprezint evaluarea realizat de ctre evaluatori independeni, de regul din afara instituiei sau organizaiei care implementeaz programul sau care se numr printre actorii care particip la realizarea programului. Avantajele principale ale acestui tip de evaluare sunt independena i potenialul unei game largi de expertiz. Evaluarea este potrivit mai ales evalurilor sumative. Dezavantajele acestui tip de evaluare sunt posibilele presiuni care pot limita independena, faptul c nu ajut la dezvoltarea capacittii interne de evaluare i costurile ridicate pe care le presupune. 4. Alte tipuri de evaluare Alturi de tipurile de evaluare amintite anterior, n literatura de specialitate sunt menionate i o serie de alte tipuri de evaluare, printre care evaluarea participativ i evaluarea bazat pe teorie. n evaluarea participativ, perspectiva evaluatorului este pe poziie de egalitate cu perspectivele actorilor implicai n program. Intenia este de a avea un proces de evaluare cu concluzii i recomandri relevante i utile pentru proiectele viitoare ale actorilor implicai. Acest tip de evaluare se potrivete attcu evaluarea sumativ ct i cu cea formativ. Implicarea tututor participanilor pe poziii de egalitate aduce de obicei un plus semnificativ de informaie n procesul de evaluare. Evaluarea participativ este adesea prezentat ca un tip modern de evaluare i este prezentat n opoziie cu evaluarea tradiional (Sorin Dan andor, 2005 :81) Evaluarea bazat pe teorie aplicat de anumii cercettori n domeniul abuzului de substane care creeaz dependen (Chen, 1990) sau n evaluarea iniiativelor comunitare comprehensive (Weiss, 1995). Acest tip de evaluare se caracterizeaz prin faptul c nu permite realizarea unor analize statistice ale datelor obinute, de cele mai multe ori datorit diveritii acestora. Prin urmare, vor fi utilizate preponderent metode calitative de cercetare. Utilitatea acestui tip de evaluare este evident mai ales n cazul evalurilor unor iniiative comunitare, ale cror efecte nu pot fi analizate statistic, dar care pot

17

furniza informaii despre eficacitatea acestui tip de iniiativ.

Anumii cercettori

(Schorr, Kubisch, 1995) susin c, prin combinarea datelor legate de rezultatele unui program cu informaii privind desfurarea procesului de implementare a proiectului, putem obine informatii valoroase privind efectele programului i impactul acestuia. Evaluarea bazat pe teorie pornete de la premisa c orice program de intervenie social are la baz o teorie despre cum funcioneaz un anumit proces, n ce condiii va atinge eficiena i eficacitatea maxim etc. Aceast teorie poate fi implicit sau explicit. Teoria unui program este, n linii mari, echivalent cu modelul logic al acestuia care explic modul su de funcionare. Acest tip de evaluare ofer numeroase informaii edificatoare pentru modul de implementare a unor programe complexe similare, indicnd riscurile, elementele-cheie i leciile nvate pe parcursul implementrii. Evaluarea impactului. n cadrul analizelor de impact, se msoar pe de o parte efectele nete ale interveniei (impactul net), iar pe de alt parte se cuantific efectele programului sau proiectului pe termen mediu i lung. Principala problem a determinrii impactului net este diferenierea efectelor datorate programului i a cele datorate altor cauze. Impactul net poate fi determinat att naintea implementrii (preconizarea impactului), n timpul implementrii i ulterior acesteia. Impactul pe termen mediu i lung poate fi anticipat anterior implementrii i n timpul acesteia, i poate fi calculat ulterior implementrii. Indiferent dac este vorba de determinarea impactului net sau a efectelor pe termen mediu i lung, evaluarea impactului poate fi extrem de util pentru mbuntirea designului proiectelor actuale i viitoare, pentru fundamentarea deciziilor privind continuarea sau stoparea anumitor iniiative. O abordare detaliat a analizelor de impact va fi prezentat n a doua parte a lucrrii. 3.4 Sisteme de evaluare: Evaluarea centralizat i evaluarea descentralizat Problema care se ridic n cazul sistemelor de evaluare este un loc comun n problematica administraiei publice: care este nivelul optim de centralizare/descentralizare n activitatea de evaluare a programelor. Ca i n cazul serviciilor publice, exist avantaje i dezavantaje, fie c se opteaz pentru centralizare, fie

18

c se alege descentralizarea ca model de organizare a sistemului de evaluare a programelor n Romnia. n timp ce o centralizare excesiv imprim lips de flexibilitate i induce lipsa discreiei administrative, descentralizarea poate atrage dup sine lipsa coerenei, utilizarea deficitar a metodologiei, etc. Din acest motiv se opteaz de cele mai multe ori pentru o soluie intermediar: nici centralizare, dar nici descentralizare excesiv. O atenie deosebit trebuie acordat nevoilor fiecrui domeniu de activitate. Chiar dac iniial dezvoltarea unui sistem de evaluare este legat de un anumit minister, ulterior, trebuie analizat nevoia de evaluare i la nivelul celorlalte ministere. Mai mult, dei o atenie deosebit va fi acordat evalurii programelor cu finanare european (PHARE, SAPARD, Fonduri Structurale, etc), nu trebuie ignorate i celelalte programe finanate din surse interne, dar i din alte surse externe. Sistemul de evaluare va ctiga astfel n complexitate. Irlanda este un exemplu n care au fost ncercate ambele modele. Modelul centralizat a fost adoptat n intervalul 2000-2006. Activitatea de evaluare a fost organizat i coordonat de ctre Unitatea de Evaluare a Ministerului Finanelor. n acest interval s-a asigurat o concentrare a eforturilor de evaluare pe programele operaionale. A fost o abordare consecvent i s-au semnalat costuri reduse. Un alt avantaj al sistemului centralizat de evaluare este faptul c Unitatea de Evaluare e exterioar Autoritii de Management care implementeaz programul operaional respectiv. Modelul descentralizat a fost implementat n intervalul 1994-1999. Evaluarea reprezenta n aceast perioad responsabilitatea fiecrei Autoriti de Management responsabile cu un Program Operaional. i aceast abordare are o serie de avantaje: permite Autorittilor de Management s conceap evalurile conform propriilor nevoi, iar acestea pot apela la Unitatea Central de Evaluare pentru expertiz tehnic. Modelul propus pentru Romnia de ctre specialitii din Unitatea Central de Evaluare pentru perioada 2007-2013 este o combinaie ntre modelul centralizat i cel descentralizat.

19

Capitolul 4. Metode de cercetare utilizate n evaluare Pentru fiecare tip de evaluare a fost dezvoltat o gam larg de metode de cercetare n conformitate cu scopul evalurii, cu tipurile de ntrebri la care evaluarea urmeaz s rspund, cu contextul organizaional i socio-economic, cu bugetul disponibil, cu capacitatea de cercetare i cu ali factori semnificativi. Evaluarea unui proiect sau program presupune utilizarea att a metodelor calitative de cercetare ct i a celor cantitative. Abordarea cel mai des utilizat este cea a metodelor multiple-o combinaie funcional ntre cele dou tipuri de metode. Un anumit grad de cuantificare este necesar n toate studiile de evaluare pentru a aprecia succesul interveniilor i amploarea efectelor adverse. n acelai timp, metodele calitative de cercetare sunt extrem de utile n rafinarea instrumentelor de cercetare i n aprofundarea informaiei colectate. n sociologie n particular i n tiinele socio-umane n general, termenii cantitativ i calitativ ajung s desemneze dou mari paradigme. Diferena ntre calitativ i cantitativ se face att la nivel epistemologic general, ct i privind anumite aspecte precum: rolul cercettorului, relatia cu subiectul, relaia teoretic-empiric, metodele principale utilizate i natura datelor obinute (Rotariu i Ilu 2001 : 25) n Ancheta sociologic i sondajul de opinie: Teorie i practic, Traian Rotariu i Petru Ilu demasc falsa opoziie dintre cele dou mari paradigme (Rotariu i Ilu 2001 : 24). De ce opoziie i de ce fals? Ideea de opoziie ntre cantitativ i calitativ are la baz distincia dintre abordarea pozitivist i cea fenomenologic, dintre Erklaren i Verstehen (Ilu 1997: 40). Erklarenexplicaia obiectiv, din afar i verstehen-ntelegerea subiectiv-din interior. Modelul cantitativist presupune descrieri i explicaii de tip pozitivist, dintr-o perspectiv exterioar, obiectiv-structural. Spre deosebire de acesta, modelul calitativist are la baz subiectivitatea uman. Socialul este construit prin interaciunea simbolurilor i reprezentrilor individuale sau de grup, iar cunoaterea este de tip comprehensiv. Una dintre diferenele majore dintre cele dou modele, la nivel metodologic este faptul c modelul cantitativ utilizeaz metode structurate, n timpce modelul calitativ se bazeaz pe metode i tehnici nestructurate. Exist numeroase motive pentru care opoziia dintre cantitativ i calitativ este un construct artificial. Dnd un rspuns la ntrebarea: Ce este abordarea calitativ a socio-

20

umanului?, P. Ilu genereaz o definiie a calitativului axat pe 12 dimensiuni (Ilu 1997: 63): orientarea general epistemologic, nivelul realitii vizat, natura realitii vizate, relevana punctului de vedere n explicarea i ntelegerea realitii, relatia dintre cercettor i subiect, relaia dintre teorie i cercetarea empiric, selecia unitilor de cercetat efectiv din populaia vizat, timpul afectat culegerii datelor, metodele principale utilizate, natura datelor obinute, stilul raportului de cercetare (al textului elaborat), preponderena n disciplinele socioumane(n sens restrns). Astfel, abordarea calitativ a socio-umanului este modelul care are la baz orientarea epistemologic fenomenologicocomprehensiv, idiografic, care se aplic la nivel microsocial, local, contextual, care vizeaz realitatea procesual i construit social de actor, care utilizeaz punctul de vedere al subiecilor n explicarea i nelegerea realitii, n care relaia dintre cercettor i subiect este una apropiat, iar relaia teoretic-empiric este una de emergen a teoriei pe parcursul cercetrii empirice. Acelai model calitativist utilizeaz ca uniti de cercetat ntrega populaie sau o eantionare teoretic, datele sunt culese pe parcursul unei perioade lungi, continue, iar metodele principale utilizate sunt: observatia participativ, interviul intensiv, (auto)biografiile, analiza calitativ a documentelor. Datele obinute sunt

complexe, de profunzime, este utilizat un limbaj natural, metaforic, cu putine date statistice i reprezentri grafice i e utilizat cu preponderen n antropologie cultural i istorie. Pentru a reliefa ct mai clar specificitatea modelului calitativ, autorul l prezint n comparaie, deci nu opoziie cu cantitativismul. Urmnd aceeai arhitectur a definiiei, orientarea general epistemologic a modelului cantitativ este una pozitivistexplicativist. Cercetarea cantitativ se aplic prepondernt nivelului macrosocial, global, formal, vizeaz realitatea static i exterioar actorului social, utilizeaz perspectiva cercettorului, intre cercettor i subiect exist o relaie distant(din exterior). n cercetarea cantitativ teoria este verificat prin cercetarea empiric(ipotezele sunt testate), selecia unitilor de cercetat din populaia vizat se face preponderent prin eantionare statistic, culegerea datelor se face episodic, i se ntinde pe perioade scurte de timp, metodele principale utilizate sunt: experimentul, ancheta cu chestionar standardizat, analiza cantitativ a documentelor i observaia sistematic din exterior. Datele obinute n urma cercetrilor cantitative sunt tari(valide, de mare fidelitate), ns nu surprind la fel de multe detalii ca i cercetarea calitativ i nu ating profunzimea coleciilor de date

21

calitative. Totui, datele cantitative sunt generalizabile, pot sta la baza contructiei unor noi axiome, teorii. Raportul de cercetare n cazul modelului cantitativist este consistent n cifre, tabele, grafice i comentarii n limbaj natural, iar frecvena cea mai mare a utilizrii acestui model este ntlnit n sociologie i psihologie social. Evident rmne faptul c cele dou paradigme sunt puse fa n fa cu scopul de a face o comparaie i nu pentru a sublinia un raport de opoziie. n Ancheta sociologic i sondajul de opinie: teorie i practic, Rotariu i Ilu expun cel puin patru motive pentru care opoziia cantitativ-calitativ este un construct artificial: 1. Tot ceea ce este subsumabil comprehensiunii poate servi ca punct de plecare n proiectarea unor cercetri pozitiviste (prin experiment, anchet cu ajutorul chestionarului, sau prin observaie neparticipativ). Mai mult, acelai bagaj comprehensiv este inevitabil prezent n faza de analiz i interpretare calitativglobalist a unor date statistice (Rotariu i Ilu 2001 : 25) . 2. Intuiia se poate nscrie alturi de procesele de cunoatere (inducie, deducie, asociere i imaginaie) ca un plus semnificativ nc neexplicat psiho-fiziologic (Rotariu i Ilu 2001 : 25). tiinele tari nu exclud intuiia(intuiionismul n matematic), deci comprehensiunea nu poate fi opus modelului pozitivist de tiin i exclus din modelul cantitativist. 3. Diverse alte dimensiuni ale comprehensiunii (e.g. empatia) pot fi cercetate n cadrul raionalului i descrise i explicate n termeni cantitativiti. 4. Expresiile subiectivitii umane (cuvintele rostite, gesturile, comportamentele, atitudinile, valorile, credinele) pot fi analizate nu doar prin metode intensive, specifice arsenalului metodologic calitativ ci i cu ajutorul unor metode i tehnici specifice modelului cantitativist(este ceea ce se ntmpl n general n sondaje, n cadrul ntrebrilor de opinie). Iar metodele intensive de cercetare nu pot pretinde c au acces la perspectiva actorului n esena sa, depind interpretatconstruitul. Prin urmare, relaia dintre cantitativ i calitativ este neleas inexact de ctre cei care pretind c este vorba despre un raport de opoziie. Aceast iluzie este indus de

22

cele mai multe ori de prezentarea lor fa n fa nu pentru c s-ar opune, ci pentru c sunt complementare, iar explicaia uneia, faciliteaz comprehensiunea celeilalte. 4.1 Metodele mixte de cercetare - o nou paradigm sau un magnet semantic? n Handbook of Mixed Methods in Social and Behavioral Research publicat n 2003, Tashakkori i Teddlie (editori) lanseaz noua paradigm a metodelor mixte de cercetare. Pe parcursul a douazeci i ase de capitole, Tashakkori i Teddlie, alturi de ali autori, analizeaz, nu de puine ori critic, noua paradigm. Fundamentele acestei noi paradigme se regsesc n lucrarea publicat de cei doi autori n 1998:

Mixed and

Methodology:

Combining

Qualitative

Quantitative Approaches. Mai mult, dup cum se observ din analiza de mai sus, aceast paradigm a fost
anunat n publicaiile autorilor romni Traian Rotariu i Petru Ilu care nc din 1997 susineau nexistena unei opoziii reale ntre calitativ i cantitativ (Rotariu i Ilu, 1997). Dincolo de reiterarea realitii inexistenei unui conflict ntre cele dou paradigme ale cercetrii clasice, Tashakkori i Teddlie aduc dou contribuii fundamentale prin popularizarea noii paradigme a metodologiei mixte: crearea unei tipologii a metodelor mixte de cercetare i a modelelor mixte de cercetare, precum i prezentarea unui ghid practic de utilizare a lor. Metodele mixte de cercetare presupun combinaii ale abordrilo cantitative i calitative n metodologia unei cercetri (spre exemplu n etapa colectrii datelor), n timp ce modelele mixte de cercetare combin cele dou abordri pe tot parcursul unui studiu (Tashakkori, Teddlie, 1998: ix). n cartea publicat n 2003, Handbook of Mixed Methods in Social & Behavioral Research, Tashakkori i Teddlie aduc elemente noi, de rafinament care clarific dimensiunile noii paradigme. Cercetarea prin metodele mixte sau cu metode multiple (multimethod) cum mai este numit, poate fi definit succint ca fiind practica utilizrii mai multor tipuri de metode de colectare a datelor(att de natura cantitativ, ct i de natur calitativ) n acelai studiu sau program de cercetare(spre exemplu, msurarea variabilelor att cu

23

ajutorul anchetei sociologice cu chestionar standardizat, ct i prin analiza calitativ a datelor, testarea ipotezelor att prin metode experimentale, ct i prin metode nonexperimentale, sau utilizarea metodelor calitative de cercetare empiric pentru a detalia informaiile furnizate printr-un sondaj de opinie (Tashakkori, Teddlie, 1998: 557). Metodele de cercetare difer nu numai prin tipul datelor pe care le pot oferi, ci i prin vulnerabilitatea lor la diferite tipuri de erori. Abordarea metodelor mixte poate fi considerat o strategie pentru eliminarea sau cel puin reducerea gradului de vulnerabilitate la eroare a ambelor tipuri de metode. n ce msur aceast paradigm reprezint o noutate, rmne de vzut. Promotorii si recunosc c metodele implicate de noua abordare sunt, n general, metodele utilizate n cercetarea contemporan n tiinele socio-umane. n acest sens, metodele mixte nu sunt o noutate (Tashakkori, Teddlie, 1998: 578). Ceea ce este nou este designul unei sinteze sistematice a celor dou modele diferite de cercetare (cantitativ i calitativ) cu scopul de a crete nivelul cunoaterii n tiinele sociale. A spune c metodele analizei statistice i cele ale analizei calitative a unui studiu de caz sunt complementare, nu este ceva nou. Cum nu este nou faptul c asocierile i corelaiile statistice pot sugera adesea noi direcii pentru cercetarea calitativ. Testarea ipotezelor prin metode de analiz cantitativ nu excludea nici pn acum utilizarea n paralel sau ulterior a unor ,etode calitative de cercetare pentru a ntri sau detalia concluziile. Dup cum susin chiar promotorii noii paradigme, nc din 1970 cercetarea multimetod sau cu ajutorul metodelor mixte era utilizat sub denumirea de triangulaie (Tashakkori, Teddlie, 1998: 579) 4.2 Rzboiul paradigmatic n evaluarea de programe Domeniul evalurii programelor preia aceast fals opoziie. Paradigmele dominante n metodologia evalurii de programe a anilor 70-80 sunt cantitativ versus calitativ. ncepnd cu deceniul nou, aceast lupt pierde teren (Shadish Jr, Cook i Leviton, 1991). Natura specific a investigaiilor calitative deriv din deschiderea acestora, din legtura strns a evaluatorului cu programul, din utilizarea observaiei i mai ales a interviului nestructurat care comunic respect respondenilor prin transformarea opiniilor proprii (exprimate n propriile lor cuvinte) ntr-o surs important de date pentru evaluare (Patton, 2002). Metodele cantitative implic analiza statistic a unor date obiective, de

24

regul cifre. Acestea sunt obinute prin numrarea beneficiarilor unui program, sau prin analiza secundar a unor date. Metodele calitative utilizeaz informaiile obinute n urma unor discuii, n urma unor observaii participative sau non-participative care sunt analizate i organizate tematic ulterior, urmnd a fi raportate ntr-un stil narativ. Metodele cantitative sunt utilizate pentru a insera diverse opinii i experiene n categorii predeterminate, pentru a ajunge la rezultate semnificative din punct de vedere statistic i generalizabile. Cu ajutorul metodelor calitative pot fi studiate n profunzime diverse probleme ale unui program. Ele genereaz date detaliate, de multe ori n propriile cuvinte ale participanilor dintr-un anumit program i nu exist metode cantitative adecvate pentru a descrie comportamentul variabilelor investigate. Studiile metodologice orientate spre cantitativ, apreciaz metodologia calitativ ca avnd prea puin impact asupra rezultatelor cercetrii, i c este util doar n fazele incipiente, exploratorii ale unei cercetri. Din aceast perspectiv, metodele calitative de cercetare sunt necesare pentru a produce ceea ce numim de obicei familiarizarea cu subiectul investigaiei, pregtind astfel terenul pentru cercetarea cantitativ. Aceasta presupune faptul c validitatea cercetrii este dat n tiinele sociale exclusiv de datele experimentale, de statisticile oficiale i de eantionarea aleatorie. Criticii metodelor cantitative susin c metodologia cantitativ nu este singurul mod n care poate fi demonstrat validitatea rezultatelor unei cercetri (Silverman, 2001: 32). Experimentele, statisticile oficiale i sondajele de opinie pot fi inadecvate pentru cercetarea anumitor probleme din tiinele sociale. Acetia accept faptul c n anumite circumstane metodele cantitative pot aduce informaii noi cercettorilor, dar, n acelai timp, pot lsa n umbr anumite aspecte eseniale. Iniial, evaluarea programelor a fost dominat de paradigma naturalist a metodologiei ipotetico-deductive care pune accentul pe cantitativ, pe designul experimental i pe analiza statistic. n 1995, la Conferina Internaional de Evaluare din Vancouver William Shadish Jr, Thomas D. Cook i Laura C. Leviton anun victoria paradigmei calitative (Patton, 1997: 266). Thomas D. Cook i Donald T. Campbell militeaz n acest sens nc din 1979 n Quasi-experimentation: Design and Analysis Issues for Field Settings. Totui, validitatea metodelor experimentale i a metodelor cantitative utilizate n mod adecvat nu a fost contrazis. Acum ns, metodele calitative

25

i-au ctigat drepturi egale celor cantitative. n 1991, Preedintele Asociaiei Americane pentru Evaluare, Lee Sechrest, punea preferina pentru metodele calitative pe seama simplitii acestora comparativ cu metodele cantitative mult mai dificil de abordat. Totui, Sechrest recunoate necesitatea metodelor calitative, ns doar n combinaie cu cele cantitative. Paradigma metodologic alternativ (calitativ) i are originile n antropologie, n sociologia calitativ i n fenomenologie. Doctrinar, aceast paradigm a fost plasat sub girul Verstehen-ului. Principalul motiv l reprezint faptul c oamenii au scopuri i emoii, i fac planuri, construiesc culturi i susin anumite valori, iar comportamentul lor este influenat de aceste valori, planuri i scopuri (Patton, 1997: 271). Tradiia Verstehen pune accent pe capacitatea uman de a cunoate i nelege alteritatea prin introspecie empatic i prin reflecii avnd la baz descrieri detaliate rezultate din observaia direct, interviuri nestandardizate i studii de caz. Paradigma alternativ cantitativului/experimentalului acord o atenie crescut semnificaiei comportamentului uman, contextului interaciunii sociale i legturii dintre strile subiective i comportament. n domeniul evalurii paradigma alternativ ctig din ce n ce mai muli adepi. Unul dintre cei dinti care se face auzit este Robert Stake.

4.3 Analiza cantitativ a documentelor Datele culese trebuie s aib o legatur direct cu proiectul sau programul care urmeaz a fi analizat. Informaia necesar poate fi adunat n mai multe moduri. Un prim pas l poate constitui revizuirea unor cercetri sau studii realizate anterior. n cazul evalurii unui program pot exista cercetri anterioare care s furnizeze informaii legate de programe similare, activiti cotidiene i diverse caracteristici ale unui anumit grup de persoane. Alteori nu exist asemenea informaii. n acest din urm caz se va apela la alte metode de colectare a datelor consecutiv operaiunilor preliminarii de analiz a situaiei. Uneori evalurile anterioare pot fi utilizate ca surse importante de date. Uneori, pentru comparaia dintre prezent i trecut se va recuge la memoria persoanelor implicate sau afectate de diverse intervenii sociale. Un caz particular l constituie problematica

26

schimbrii instituionale. Pentru aprecierea schimbrii instituionale se vor cuta indicatori utilizai n anii precedeni privind modul de aciune al instituiilor. Este dificil de definit n avans obiectul investigaiilor. Aceasta presupune de obicei studiul unor documente mai vechi sau discuii cu diferite persoane care pot duce la identificarea schimbrilor i a elementelor constante. O surs de date necesare pentru realizarea unui studiu de evaluare este cercetarea arhivelor, a datelor provenite din recensminte i a celorlalte date statistice existente. Este necesar colectarea unui set de principal de date cantitative care s se refere la calitatea vieii, nivelul veniturilor, al cheltuielilor etc. la nivel de comunitate. Aceasta mai ales cnd sunt studiate diferite comuniti pentru a asigura comparabilitatea tematic ntre acestea. Alturi de datele obinute prin cercetarea crilor i a articolelor publicate, o atenie deosebit ar trebui acordat informaiilor oferite de lucrrile de la diverse conferine, de rapoartele tehnice realizate n urma anumitor proiecte, intervenii sau cercetri. Este extrem de important ca rezultatul analizei documentelor s includ referiri la toate studiile empirice realizate, cu scopul unei abordri comparative privind domeniul, metodele i validitatea evalurii. Analiza documentelor va furniza informaii referitoare la probleme i variabile sociale relevante pentru proiectul sau programul respectiv care este n curs de implementare sau n faz de proiectare. ns, din moment ce fiecare proiect i program este unic, trebuie adunate informaii suplimentare depre situaia concret. Pentru fiecare program evaluat vor fi necesare date legate de variabile precum: participarea anterioar sau implicarea prezent n programe similare, stilul de via, angajarea, atitudinile, valorile sociale i credinele care caracterizeaz comunitile, organizarea social a acestora, dinamica populaiei, coordonatele demografice ale comunitaii i regiunii. Analiza cantitativ a documentelor are avantajul de a fi mai puin costisitoare n termeni de timp i alte resurse dect sondajele de opinie, dar potenialul de eroare este mai ridicat. Prin utilizarea bazelor de date existente, analistul poate formula modele despre performana unui program, impactul social potenial la nivelul grupurilor i al comunitilor, etc. Informaia care contrazice modelul construit, determin revizuirea acestuia, mai ales dac datele care nu se potrivesc modelului sunt considerate relevante. Analiza documentelor este preferat ca metod primar de culegere a datelor pentru

27

evaluare. Aceasta datorit virtuilor sale privind economia de resurse. Totui ea este de obicei utilizat mpreun cu alte metode, att cu scopul completrii informaiei, ct i cu scopul examinrii validitii datelor. Pentru a observa utilizarea metodelor de cercetare in evaluarea de proiecte, am nceput prin a analiza o parte din studiile de evaluare a impactului derulate de experii Bncii Mondiale n intervalul 2003-20056. Am realizat un eantion aleatoriu, stratificat, de evaluari, dup urmtoarele variabile: domeniul proiectelor evaluate (dezvoltare economic, educaie, infrastructur) i numrul beneficiarilor acestora (sub 50.000 indivizi, ntre 50.001 si 100.000 i peste sau egal cu 100.001 indivizi) (Tabelul 22). Am selectat aceste variabile pentru c: domeniul - d specificitatea analizelor la care se preteaz un proiect n cursul evalurii i numrul indivizilor din grupul int al proiectului ilustreaz de regul dimensiunea proiectului. Iar metodele de cercetare utilizate n evaluarea proiectelor sau programelor pot varia n funcie de aceste dou variabile. Aceasta este ipoteza de la care am pornit. Scopul a fost obinerea unei selecii omogene de studii de evaluare. Ulterior am notat care este metoda de cercetare utilizat cu predilecie (i am numit-o metoda principal), precum i metodele utilizate n completarea acesteia (metoda secundar i metoda teriar). Ulterior am notat apariia fiecrei metode de cercetare in studiile de evaluare, precum i poziia (primar, secundar sau teriar) pe care o ocup n studiul de evaluare. Am sesizat utilizarea n principal a trei metode de cercetare-analiza documentelor, sondajul de opinie i interviul individualmetode pe care le-am luat n calcul pe tot parcursul analizei realizate. Dup cum reiese din Tabelul 2 i 3, n eantionul de 40 de studii de evaluare a impactului social realizate de ctre Banca Mondial, 45% (18) utilizeaz analiza cantitativ a documentelor ca metod principal, iar alte 20 % (8) ca metod secundar. Tabelul 2. Metoda principal de cercetare utilizat n evalurile realizate de Banca Mondial Frecvena Procentul analiza doc 18 45,0

www.worldbank.org/oed/ (februarie 2005)

28

sondaj interviu ind alta Total

9 7 6 40

22,5 17,5 15,0 100,0

Este interesat de notat faptul c, dei ca metod primar este preferat analiza documentelor, urmat de ancheta sociologic, n topul metodelor secundare (de suport) ancheta este devansat de interviu. Este o dovad a utilitii paradigmei multimetod. Tabelul 3. Metoda secundar de cercetare utilizat n evalurile realizate de Banca Mondial Frecvena Procentul analiza doc sondaj interviu ind focus group Delphi Total 8 40 20,0 100,0 2 5,0 10 12 25,0 30,0 8 20,0

4.4 Metode cantitative utilizate n evaluarea de proiecte

Conjuncia copulativ i din Ancheta sociologic i sondajul de opinie (Rotariu i Ilu, 1997, 2001) atrage atenia asupra unor deosebiri ntre ancheta sociologic i sondajul de opinie, chiar dac anumii cercettori tind s pun semnul egalitii, echivalenei i chiar al identitii ntre cele dou noiuni. Diferenele ntre o anchet

29

sociologic i un sondaj de opinie sunt ilustrate ct se poate de clar n cartea profesorilor Traian Rotariu i Petru Ilu (Ancheta sociologic i sondajul de opinie: teorie i practic). Se remarc astfel existena a cel puin apte note distinctive ntre cele dou forme de cercetare: 1.O prim caracteristic specific a sondajului de opinie spre deosebire de ancheta sociologic se detaeaz din semnificaia termenului la nivel semantic. Sondajele de opinie au n centru pe de o parte sondajul, iar pe de alt parte opinia. Termenul sondaj este sinonim cu sintagma cercetare selectiv, iar sensul s se poate reduce n mod strict la operaia de selectare a indivizilor care urmeaz a fi chestionai (Rotariu i Ilu, 2001: 52). Aspect prin excelen subiectiv al realitii sociale, prin opinie se nelege o stare sau o predispoziie mental fa de un anumit referent (andor, 2005: 58). Opinia are la baz diverse credine, valori, atitudini, sentimente i aprecieri personale ale celor care o exprim. De multe ori, sondajul de opinie este utilizat interanjabil cu sintagma sondaj de opinie public. Dan andor prezint un model al formrii i manifestrii opiniilor n sfera public, i mai concret n sistemul administrativ i politic (andor, 2005: 59):

Instituii
Preedinte Parlament Tribunale Administraia central Administraia local

Opinii
Atitudini i credine pe termen scurt sau lung privind instituiile publice i politicile acestora

Participare
Interaciuni cu administraia Votul Participarea n aciuni de lobby

Agenii publice

Figura 2. Nivelul de manifestare al opiniilor n sistemul administrativ i politic. input (cereri sau sprijin) (Sursa: Sorin Dan andor, (2004),Analiz i cercetare, Cluj-Napoca: Accent, p.59, adaptare dup Robert G. Lehnen, American Institutions, Political Opinion & Public Policy, Dryden Press, 1976, p. 32) Detaliind noiunea de opinie public, sunt subliniate trei aspecte fundamentale: intensitatea opiniei, importana subiectului, i stabilitatea opiniilor (andor, 2005: 59).

30

Aceste elemente dau msura n care opinia public este relevant. Opinia public este ns considerat complex i greu de definit operaional (Rotariu i Ilu, 2001: 52). 2.O alt caracteristic specific a sondajului de opinie n comparaie cu ancheta sociologic este specificul problemelor cercetate. n cazul sondajului de opinie public, problemele sau temele abordate au un caracter de interes general (opiuni politice, atitudini fa de probleme instituionale, etc.), pe cnd ancheta sociologic poate fi centrat pe probleme care preocup un grup mai restrns(e.g. beneficiarii unui program sau proiect, o anumit categorie ocupaional, etc). Din acest motiv, n evaluarea de programe vom vorbi mai degrab de anchet sociologic dect de sondaj de opinie. 3. Sondajul de opinie este o subspecie a anchetei sociologice, care se remarc printr-un puternic caracter descriptiv. De cele mai multe ori, sondajele de opinie nu stau la baza unor cercetri explicative. 4. Spre deosebire de anchet, sondajul de opinie necesit, de regul, un timp mai scurt de desfurare. ntrebrile din chestionarele folosite sunt de cele mai multe ori clar structurate i relativ simple. Eantioanele selectate asigur o reprezentativitate rezonabil pentru evalurile cu caracter general urmrite. Ancheta sociologic, dimpotriv, necesit un timp mai indelungat de organizare i desfurare, ntrebrile din cadrul chestionarului specific anchetei pot fi structurate, semistructurate i chiar nestructurate, iar eantionarea se face dup proceduri mai complexe. 5. Rezultatele sondajului sunt prezentate ntr-o form uor accesibil. Ancheta sociologic are urmtoarele caracteristici (Hyman, 1973): presupune un numr mare de cazuri, selectarea acestora trebuie fcut dup criterii riguroase de eantionare;datele trebuie colectate n situaii normale, ct mai apropiate de viaa de zi cu zi; colectarea se face n conformitate cu proceduri standardizate iar datele sunt ntr-o form msurabil cantitativ, cea mai simpl fiind prezena sau absena unui atribut.

n evaluarea de proiecte i programe pentru administraia public cel mai adesea este utilizat ancheta sociologic. Aceasta poate avea ca populaie statistic cetenii-clieni ai unei anumite instituii (administraia financiar, poliia, cu sistemul educaional, etc.), beneficiarii unui program sau proiect. Populaia statistic poate consta i n membrii unei

31

uniti administrativ-teritoriale sau ai unui grup dintr-o anumit comunitate, int a unor intervenii susinute din bani publici. Toate acestea de mai sus sunt mai mult problematici din care pot fi puse ntrebri. Putem pune ntrebarea ntr-un mod apropiat de formularea propus sau pentru fiecare dintre ele putem formula mai multe ntrebri, astfel nct s nelegem mai bine fenomenul. Sondajul de opinie este utilizat ca surs principal de culegere a datelor n 22.5 %(9) din cazuri(Tabelul 1), ca metod secundar n 25%(10) din cazuri(Tabelul 2), iar ca metod teriar, tot n 25%(10) dintre cazuri dupa cum reiese din Tabelul 3. Tabelul 4 . Metoda teriar de cercetare utilizat n evalurile realizate de Banca Mondial

Frecvena analiza doc 10 sondaj 10

Procentul 25,0 25,0 10,0 15,0 20,0 5,0 100,0

interviu ind 4 focus group 6 Delphi 8

observaia 2 Total 40

Dac prin analiza documentelor este ncurajat utilizarea datelor deja existente, din motive de economie i eficient, analiza va evidenia de cele mai multe ori carene n datele avute la dispoziie ca o consecin a unor studii anterioare. Datele obinute prin sondajul de opinie aplicat n cadrul studiului de impact trebuie interpretate prin prisma i n contextul datelor regsite n arhive, datelor provenite din recensminte i al celorlalte date statistice existente.

32

Scopul unui astfel de sondaj ar fi : 1. s verifice valabilitatea datelor obinute iniial, pe un eantion mai larg i mai reprezentativ 2. adresarea unor ntrebri n legatur cu probleme care nu au fost abordate anterior Astfel se obin date predominant cantitative (legate de nivelul de angajare a forei de munc, sursele de venit). Dac se utilizeaz sondajul de opinie, trebuie avute n vedere urmatoarele elemente: utilizarea ntrebrilor potrivite construcia eantionului alegerea celor mai relevante tehnici de analiz a datelor

ntrebrile ar trebui s se concentreze pe problemele sociale cu care are legatur proiectul. Trebuie s existe o legatur direct ntre variabilele cu ajutorul crora se msoar impactul i ntrebrile chestionarului. Numrul i coninutul ntrebrilor trebuie s se plieze pe importana relativ a variabilelor. Accentul trebuie pus pe claritatea formulrii ntrebrilor. nc din aceast etap, o importan semnificativ o are influena variabilelor externe. Validitatea concluziilor depinde de masura n care poate fi anticipat i controlat influen acestora. Claritatea i relevana ntrebrilor, precum i ordinea n care ntrebrile sunt prezentate poate avea un impact semnificativ asupra validitii analizei. Problema variabilelor externe i a oportunitii ntrebrilor poate fi rezolvat prin pre-testarea instrumentului. n acest context, unii cercettori vorbesc despre procesul de clarificare sau de curare a instrumentului. nainte de a ncepe construcia unui chestionar n vederea utilizrii lui pentru evaluarea impactului social al unui proiect sau program, specialistul n tiinte sociale trebuie s in cont de dou realiti: realizarea unor cercetri noi presupun, de regul mult timp, i n al doilea rnd, este recomandabil utilizarea cercetrilor anterioare. Studiile cantitative trebuie corelate cu tehnicile inductive de analiz a informaiei existente, cu analiza informaiei calitative i cu observaia. Analiza statistic a informaiei cantitative 33

Nivelul de masur a caracteristicilor utilizat ( nominal, ordinal, interval sau raport ) va determina tipul instrumentelor utilizate pentru msurarea variabilelor. Pentru c marea parte a caracteristicilor msurate n tiinele sociale sunt nominale, sunt utilizate, de obicei, metode de analiz statistic elementare referitoare la asociere i semnificaie. i pentru evaluarea impactului social (EIS) metodele descriptive predomin, n defavoarea celor infereniale. Unde este posibil aplicarea unui chestionar, se poate recurge la metode de analiz statistic mai sofisticate. Anumite informaii de natur cantitativ vorbesc de la sine. Este cazul n care un grup de participani ntr-un anumit proiect obin o crestere semnificativ a veniturilor n comparaie cu un grup de control comparabil. n alte cazuri, pentru a ajunge la concluzii pertinente este necesar o analiz statistic sofisticat. Teoretic limitele de ncredere ntre care pot fi pstrate prin analiza statistic ar trebui s arate ct sunt de pertinente rezultatele. La nivel practic erorile sistematice nedetectate la nivelul datelor pot depi cu mult incertitudinile luate n calcul. Rezultatele vor mima riguarea tiinific, fr a o atinge. Totui, tehnicile pur calitative pot avea un grad ridicat de subiectiviate. O comparaie ntre tehnicile calitative i cantitative este adesea necesar. La fel cum pot ajuta la explicarea rezultatelor, inconsistenele evideniate prin triangulaia rezultatelor generate prin diferite metode de analiz pot ajuta i la identificarea erorilor sistemetice i a unor false interpretri care altfel ar trece neobservate. Acolo unde potenialul pentru erori sistematice este ridicat, metodele cantitative care presupun analize statistice sofisticate pot avea un raport cost-eficien mai sczut, iar n final s fie mai puin relevante dect o combinaie a unor metode cantitative i calitative mult mai simple. Pentru a determina ct de mare i ct de semnificativ este impactul unui proiect, cel mai important lucru este formularea ntrebrilor semnificative, implicarea persoanelor potrivite, inclusiv a evaluatorilor potrivii. Studiu de impact care utilizeaz analiza statistic Copestake coordoneaz n anul 2000 Studiul de impact a microcreditelor asupra srciei n Zambia. Acest studiu a avut la baz trei surse de date : Un sondaj de opinie cu un chestionar aplicat pe un eantion din participanii la program .

34

Un al doilea sondaj de opinie cu un chestionar aplicat pe o populaie mai larg de firme si gospodrii. Un set de focus-group-uri calitative n cascad. Identificarea caracteristicilor primitorilor de credite (gen, nivel de srcie, vechimea afacerii) pentru a estima nivelul atins de program Identificarea i estimarea impacturilor directe ale imprumuturilor asupra debitorilor, asupra afacerii lor i asupra gospodariilor acestora Identificarea efectelor indirecte ale programului

Analiza programului a avut trei scopuri:

Studiul de impact a comparat datele obinute din sondajul aplicat participanilor cu datele furnizate de trei surse secundare: Un sondaj de opinie oficial pentru determinarea nivelului actual al srciei n raport cu limita srciei calculat n funcie de consum Un studiu participativ de evaluare a gradului de urbanizare i un sondaj de opinie naional aplicat pe ntreprinderi mici i mijlocii Unde a fost posibil chestionarul utilizat pentru studiul eantionului participant n program a preluat ntrebri utilizate n aceste surse secundare. Acesta acoperea: Caracteristici ale respondenilor Activitile gospodariilor i afacerilor pe parcursul unei perioade standard de o lun. Respondenii au fost, de asemenea, rugai s estimeze care ar fi fost rspunsurile lor n aceeai lun, anul trecut / cu un an nainte. Chestionarul a inclus de asemenea ntrebri deschise i ntrebri de opinie, n timp ce informaiile despre mprumuturile primite au fost obinute direct din documentele proiectului. Regresia a fost utilizat pentru a evalua impactul direct al programului asupra afacerilor celor care au primit credite. Acesta a scos n eviden urmatoarele aspecte: Diferena ntre profitul mediu obinut de ctre firmele care au apelat la credit i cel obtinut de ctre grupul de control nu a fost semnificativ statistic. Diferena privind rata de cretere a profiturilor a fost semnificativ statistic. Profitul celor care au apelat la credite coreleaz cu trainingul oferit ca parte a programului.

35

Datele cantitative au fost completate cu cele obinute n urma ntrebrilor calitative prin care respondenilor li s-au cerut s explice motivele pentru schimbrile profitabilitii principalei lor afaceri de-a lungul ultimului an. O proporie mai mare a celor care au luat credit(comparativ cu cei care nu au luat) ale cror profituri s-au mrit au atribuit aceast cretere, creterii nivelului investiiilor, banilor reinvestii i diversificrii produciei. Acest caz ilustreaz avantajele utilizrii mai multor metode de cercetare n studiile de evaluare, i implicit, de impact. O abordare pozitivist a fost util n identificarea i cuantificarea celor mai importante impacturi. Analiza interpretativ (att a datelor obtinute prin metode cantitative ct i calitative) a fost necesar pentru a explica rezultatele, pentru a relata efectele variaiei n jurul mediei i pentru a plasa rezultatele analizei ntr-un context mai larg. Studiul de caz ilustreaz de asemenea importana comparaiilor nainte i dup intervenie. Pentru a avea un rezultat optim, metodele de cercetare se utilizeaz n combinaii de dou, trei sau chiar mai multe. Tabelul 5. Numr de metode de cercetare utilizate Numrul metodelor utilizate cumulativ Frecvena 2 3 4 5 Total 10 20 6 4 40

Dintr-un eantion de 40 de studii de evaluare a impactului social, observm c n 75% din cazuri(30) utilizeaz combinaii de doua sau trei metode. Nu exist nici un caz de EIS care are la baza o singur metod, 10%(4) utiliznd cinci metode. 4.5 Metode calitative utilizate n evaluarea de proiecte

36

Selectarea unei metodologii pentru evaluarea unui proiect sau a unui program i pune amprenta asupra ntregului proces de evaluare. De cele mai multe ori, selecia se fcea din rndul metodelor cantitative. Recent cercettorii metodelor de evaluare au observat anumite limitri ale tehnicilor cantitative privind rspunsul care trebuia dat anumitor ntrebri de evaluare. n acest referat voi sublinia anumite diferene existente ntre metodele cantitative i calitative de cercetare utilizate n procesul de evaluare. Tendina actual este de a combina cele dou abordri metodologice. Metodele calitative de colectare a datelor la care m refer cu predilecie sunt: interviurile individuale, observaia participativ i analiza documentelor. Toate acestea particip uneori la constructia unui studiu de caz.

Utilizarea metodelor calitative n evaluarea de programe Prin utilizarea metodelor calitative n evaluarea de programe, se obin o serie de descrieri ale organizrii i funcionrii programului, ale experienelor pe care le au cei implicai n program. Scopul acestor descrieri este oferirea unei imagini despre programul respectiv. Prin utilizarea metodelor calitative se ncearc gsirea unui rspuns la urmtoarele tipuri de ntrebri: 1. Cum funcioneaz programul? 2. Care este perspective participanilor n programul respective? Ct sunt ei de mulumii cu desfurarea sau cu rezultatele programului? Care este rolul fiecrui actor implicat? Care sunt principalele nemulumiri i care sunt cauzele acestora? 3. Cum s-au desfurat anumite activiti ale programului? Se urmrete descrierea tuturor aspectelor care pot fi relevante pentru nelegerea unui program. Din totalitatea informaiilor colectate prin interviuri, studii de caz, observaii de teren, vor fi ulterior selectate pentru raportul de evaluare acele informaii care ofer un rspuns pentru ntrebrile evalurii.

37

Observaia Observaia este o metod cu multiple avantaje n evaluarea de proiecte. Caracterul su non-invaziv este esenial n obinerea unor informaii nedistorsionate, spre deosebire de cele obinute prin interviu sau prin sondajul de opinie unde efectul de dezirabilitate social este mai pregnant. Evaluatorul poate realiza observaia i poate beneficia de informaiile culese prin aceast metod n cursul participrii n implementarea unui proiect, cu ocazia ntlnirilor i interaciunilor ocazionate de derularea proiectului. Datele astfel obinute trebuie notate imediat, nregistrrile fiind indicat s fie fcute ntr-un jurnal de observaie care urmeaz a fi analizat ulterior. Acest tip de date pot fi extrem de utile n evalurile de proces. De asemenea, evaluatorul poate colecta o serie de date prin analiza activitilor specifice unui program. n cursul interaciunilor cotidiene, un numr de detalii aparent nesemnificative se pot dovedi ulterior ca fiind eseniale. Ele pot atrage atenia evaluatorului asupra unor aspecte care urmeaz a fi analizate formal ulterior. De exemplu, dac n cazul evalurii activitii unui centru de zi pentru copii provenii din familii defavorizare, evaluatorul observ materialele didactice care se presupune c sunt utilizate zilnic n stare perfect(neatinse, neuzate) i poate pune ntrebri n legtur cu utilizarea efectiv a materialelor in timpul activitilor zilnice. Dac, n aceeai situaie, evaluatorul observ o atitudine de mirare a copiilor care intr n sala de mese la vederea fructelor i a feelor de mas, evaluatorul poate investiga ulterior condiiile n care copii iau masa de obicei, precum i dac sunt hrnii corespunztor. n evaluarea programelor observaia nu este folosit la adevrata sa valoare. O prim cauz este explicarea problemelor prin cauze sociale sau economice (de genul: srcia este datorat situaiei economice generale, salariilor mici, educaiei reduse, provenienei dintr-o familie cu mijloace reduse, etc.). n anumite cazuri astfel de explicaii nu sunt suficiente, comportamentul putnd fi cauza real, iar pentru studiul comportamentelor observaia este cea mai bun metod. O a doua cauz este costul n timp i for de munc pentru a face suficiente observaii referitoare la un grup mare de oameni sau la o comunitate. Cercetrile efectuate pe astfel de teme dureaz perioade mari de timp, exact ceea ce lipsete de

38

obicei ntr-o evaluare. Ca s dm un exemplu, cercetarea unui clasic al observaiei, William Foot Whyte, Street Corner Society: The Social Structure of an Italian Slum (1943) a durat 5 ani! Interviul individual Interviul individual este cel mai adesea utilizat in evaluarea unor programe de mici dimensiuni, cnd sunt implicai un numr relativ restrns de indivizi-cheie n implementarea unui program. Cnd utilizeaz acest tip de interviu, evaluatorul urmrete fie clarificarea modului de funcionare a programului, fie determinarea unor soluii pentru realizarea de schimbri n modul de funcionare (Chen, 2005: 79). Interviul individual este o ncercare de a obine informaii pentru evaluarea unui program prin intermediul unor ntrebri i rspunsuri din cadrul unor convorbiri ntre evaluator i participanii ntrun anumit program. La baza interviului, fie c este individual, fie c este de grup, st un ghid de interviu care precizeaz mai mult sau mai puin exact ntrebrile care urmeaz a fi utilizate n cursul interviului. Spre exemplu, pentru evaluarea unui program al crui obiect l constituie un Centru de Zi pentru educarea copiilor precolari provenii din familii defavorizate, putem recurge la un interviu semi-structurat. Interlocutorii vor fi prinii copiilor-beneficiari direci ai programului. n acest caz, putem utiliza urmtorul ghid de interviu: Ghid de interviu utilizat n evaluare:

Ghid de interviu pentru evaluarea Centrului de Zi pentru educarea copiilor precolari provenii din familii defavorizate

Vrsta interlocutorului ____________ Sexul interlocutorului_____________ 39

Data _____________________________

Bun ziua, numele meu este ____________. Scopul acestui interviu este s aflm prerea dumneavoastr despre acest CZ unde v aducei zilnic copilul. Sunt interesat n special de problemele pe care le-ai ntmpinat i de recomandrile pe care le avei. Dac suntei de acord, voi nregistra aceast convorbire, pentru a putea evita orice denaturare a conversaiei noastre. Tot ce vom vorbi aici rmne confidenial, doar un rezumat al prerilor tuturor persoanelor implicate n program, fr referin la numele acestora, va fi fcut public. Pentru nceput v rog s ne spunei dac avei vreun copil care frecventeaz centrul de zi i dac da, cum a fost ales copilul dvs. pentru programul Centrului de Zi? (Not: n funcie de rspuns se pot adresa alte ntrebri pentru clarificare). Avei cunotin s fi existat probleme n selecia participanilor n program? (Not: dac da, se continu cu ntrebri cum ar fi: Care au fost acestea?, tii de ce au aprut?, Cum au fost rezolvate? Sau Ce sugestii avei pentru rezolvarea unor astfel de probleme?). Ct de mulumit suntei de serviciile oferite? (Not: se poate continua cernd detalii despre serviciile la care se refer, i poate fi utilizat o scal de la 1 la 10 pentru evaluarea fiecrui serviciu). Care este programul zilnic al copiilor? (Not: dup ce se primete rspunsul se poate continua cu ntrebri cum ar fi: Cum ai aprecia prestaia educatorilor?, Cum apreciai comportamentul personalului auxiliar?). Cum colaborai cu personalul angajat al Centrului de Zi? (Not: se vor cere detalii i explicaii; se poate continua seria ntrebrilor cu: Ai participat la edintele cu prinii? Ct de des? Dar la serbri? Ce alte activiti implic participarea dumneavoastr?).

40

Ce credei c nu este bun n programul centrului de zi? Not: se vor cere detalii i explicai; se poate continua cu ntrebarea Care sunt soluiile pe care le propunei pentru eventualele probleme? Care ar fi elementele pozitive ale acestui program? De ce credei acest lucru? (Not: se va insista pe explicarea motivelor pentru care acestea au fost menionate). Dac ai mai avea un copil ntre 3 i 6 ani l-ai nscrie la Centrul de Zi? Ce prere avei despre ntregul program? (Not: se va insista pe aspectele care nu au aprut mai devreme n discuie). Ce alte lucruri ar merita tiute despre program? (Not: se vor cere detalii i explicaii).

Focus grupul (FG) FG este un interviu structurat aplicat asupra unui grup special constituit cu ocazia interviului. Se folosete mult n domeniul marketingului, n care se urmrete aflarea opiniilor despre anumite produse sau servicii i pentru a completa anumite cercetri sociologice (pentru triangulare). O variant este cea n care sunt convocai experi (metoda Delphi), n care se urmrete ajungerea la o soluie sau la evaluarea unor situaii. Principalul scop al FG este surprinderea ct mai detaliat a atitudinilor, credinelor, sentimentelor, experienelor i reaciilor respondenilor ntr-o manier mai puin specific celorlalte metode calitative de cercetare fie c este vorba de observaie, interviu individual sau studiu de caz). Particularitatea FG este interaciunea. n comparaie cu interviul individual, care intenioneaz cunoaterea atitudinilor individuale, FG agreg o multitudine de perspective i procese emoionale ntr-un context de grup. Fa de observaie, FG poate furniza o cantitate mai mare de informaii ntr-o perioad mai scurt de timp, economisind astfel resurse (timp, bani, personal). n timp ce n cadrul observaiei cercettorul asteapt ca lucrurile sa se ntmple, n cadrul FG el conduce direcia investigaiei n sensul dorit, prestabilit prin ghidul de FG. n acest sens, FG nu este un eveniment spontan, ci organizat.

41

FG poate fi utilizat n etapele preliminare sau exploratorii ale unei evaluri, n timpul acesteia, pentru a valida opiniile obtinute n interviurile individuale, i informaiile provenite din studiul documentelor sau ulterior implementrii unui program pentru a evalua impactul sau pentru a da noi direcii de evaluare. FG poate fi utilizat ca metod de evaluare de preferin n combinaie cu alte metode de cercetare pentru verificarea validitii evalurii. Organizarea interviurilor FG necesit mai multe resurse i o mai bun planificare dect celelalte tipuri de interviu. Selectarea participanilor, pregtirea i adunarea lor n locuri dotate cu toate dispozitivele tehnice necesare ia de obicei mult timp. Numrul recomandat de persoane participante la FG este de obicei ntre ase i zece (MacIntosh, 1981), ns anumii cercettori utilizeaz pn la 15 persoane (Goss, 1996), pe cnd alii se opresc la patru (Kitzinger, 1995). Numrul grupurilor variaz deasemenea, mergndu-se de la cte o ntlnire cu cele cteva grupuri formate, (Burgess 1996), la mai multe ntlniri cu un singur grup pan la mai multe intlniri cu mai multe grupuri. FG dureaz de obicei ntre o or si dou ore. Sunt preferate locaiile neutre pentru a evita orice tip de dezirabilitate i asocierile cu influenele pozitive i negative pe care le-ar putea genera un anumit context. Dealtfel, FG utilizate pentru evaluarea unui program pot fi organizate ntr-o varietate de locuri: sli nchiriate, sli de edin (n care, eventual, subiecii ca grup pre-determinat se intalnesc si cu alte ocazii, n timpul implementrii programului)etc. Selecia participanilor pentru FG nu este nici ea un proces simplu. Dac un grup e prea eterogen, sub aspectul genului sau al categoriei sociale sau ocupaionale, diferenele dintre participani pot avea un impact considerabil asupra contribuiilor acestora n cadrul FG. Deasemenea, dac un grup e omogen din perspectiva anumitor caracteristici, diverse opinii sau experiene ar putea fi omise. (Morgan 1988). Odat ce profilul participanilor a fost stabilit, urmtoarea provocare e reprezentat de localizarea lor. Recrutarea participanilor poate necesita timp, mai ales dac tema n discuie nu prezint beneficii imediate sau nu este ntr-un alt fel atractiv pentru participani. Acesta nu este ns cazul n evaluarea de programe, mai ales atunci cnd prin FG se testeaz satisfacia beneficiarilor fa de un anumit program, sau in

42

cazurile n care, programele sunt susinute de ctre anumii finanatori, iar actorii implicai i-au asumat obligaia transparenei. Odat ce ntlnirea a fost stabilit, rolul moderatorului devine esenial. El ofer informaii i explicaii clare n legatur cu scopul ntlnirii, i ajut pe participani s se simt n largul lor i nlesnete interaciunea dintre ei. n timpul ntlnirii moderatorul trebuie s anime dezbaterea prin ntrebri deschise, prin provocarea participanilor la a-i exprima opiniile. Rolul moderatorului se refer i la concentrarea continu a ateniei participanilor asupra subiectului. De asemenea, moderatorul trebuie s asigure fiecrui participant ansa de a interveni i n acelai timp, moderatorii trebuie s evite manifestarea propriilor opinii (Kreuger 1988), pentru a nu influena anumii participani. Moderatorul trebuie s posede caliti deosebite de comunicare interpersonal, s fie un bun asculttor neprejudiciat i adaptabil. Astfel va fi ncurajat un dialog deschis, interactiv, eficient. Nivelul controlului impus de moderatori depinde de tipul proiectului, de tipul i scopul evalurii. Dac sunt implicai doi sau mai muli moderatori trebuie s existe un acord prealabil n legtur cu aportul fiecruia. E recomandabil ca unul dintre moderatori s supervizeze interaciunea grupului, iar celalalt s ia notie n legtur cu aspecte ale discuiei care nu pot fi nregistrate, precum i cu opinii sau reacii care trebuie clarificate ulterior. n evaluarea de programe, metoda poate fi folosit n urmtoarele scopuri: 1. S nelegem de ce a aprut o anumit problem n mediul din care sunt selectai participanii i n ce msur programul respectiv o acoper; 2. Pentru identificarea nevoilor recunoscute, dar i a celor latente i a satisfaciei fat de modul n care programul rspunde la ateptrile lor; 3. Gsirea unor posibile soluii pentru eventualele probleme ale programului; 4. Pentru a afla posibilele reacii fa de anumite soluii propuse de diferiii actori implicai in program; 5. Aflarea atitudinilor fa de anumite instituii sau programe sau a ncrederii n acestea. n evaluarea unui program, pot fi utilizate mai multe focus grupuri, rezultatele fiind ulterior corelate. Este chiar recomandabil ca n momentul n care avem de a face cu

43

grupuri eterogene pe care vrem s le studiem, s construim mai multe focus grupuri. Este bine s evitm s reunim n acelai grup efii i subordonaii, persoane cu mai mult educaie i persoane mai slab educate, etc. pentru c difer modul n care se pun problemele, exist sentimente de team sau respect care pot mpiedica prezentarea unor puncte de vedere. De asemenea, populaia studiat poate fi mprit i pe faete ale problemei studiate. De exemplu, dac dorim s vorbim despre educaia contraceptiv n rndul tineretului ar fi bine s vorbim separat cu bieii i fetele. Metodele de colectare a informaiei cel mai des ntlnite n cazul evalurii programelor, precum i tipul de informaii obinute pot fi descrise astfel: Tabelul 6. Metode de colectare a informaiei Surse de date Arhive: Recensmnt Indicatori statistici Baze de date ale instituiilor Alte cercetri non- Aceste tehnici utilizeaz forme Date sau protocoale structurate, o percepii, de varietate de scale i modaliti de rspuns calitative: opinii, valori, observaii, Descriere Informaii obinute Date deja existente aflate n Date cantitative care ne ajut s arhivele instituiilor publice aflm care este starea actual sau private de fapt; pot aprea i indicaii ale unor anumite nevoi

Comunicare interactiv: Sondaje opinie Surse cheie Tehnica

de judeci de valoare

incidentului critic Grup Delphi Aceste tehnici presupun un Date n principal calitative: numr mai mic sau mai mare opinii, judeci ca expert; de persoane implicate n percepii i perspective de grup, valori i importan a nevoilor; diferite grade de interaciune

Comunicare interactiv: Forumuri ceteneti

44

Tehnica grupului nominal

Consens asupra scopurilor sau aciunilor; Informaie asupra cauzelor; Decizii asupra prioritilor

Focus grupuri

Sursa : Adaptare dup Belle Ruth Witkin, James W. Altschuld, (1995) Planning and Conducting Needs Assessments. A Pratical Guide, Sage Publications, p. 48 n andor, Sorin Dan (2005) Analiz i cercetare, Cluj-Napoca, Accent, p.54

n practic se folosesc cel mai des sondajele de opinie n rndul beneficiarilor, acestea fiind percepute ca fiind mai profesionale i mai uor de administrat. Din pcate instrumentul folosit, chestionarul, este lipsit de finee i rezultatele obinute nu sunt ntotdeauna cele mai bune. De asemenea, este greu s surprinzi nevoile latente (care nu au fost contientizate nc) printr-un sondaj. De aceea este preferabil ca n limita timpului, a banilor i a personalului pe care le avem la dispoziie s ncercm s mbinm ct mai bine ct mai multe dintre metodele menionate mai sus.

Analiza documentelor Analiza documentelor este sursa de informaii cel mai adesea exploatat de ctre evaluatori mai ales din motive de economie de resurse: timp, bani, personal. n cadrul procesului de evaluare, analiza documentelor se poate referi la analiza rapoartelor, evidentelor contabile i nu numai, a planurilor anuale, a tuturor detaliilor legate de un anumit proiect sau program. Proveniena documentelor poate fi divers: organizaia finanatoare, implementatoare, contractant sau subcontractant. Marele avantaj este faptul c datele sunt deja adunate, nu mai este necesar organizarea unui sondaj de opinie, sau a altor metode de colectare a datelor. Una dintre problemele care apar n cazul utilizrii metode de analiz a documentelor este faptul c ele nu conin ntotdeauna totalitatea informaiilor necesare legate de rezultatele unui proiect sau program. Tocmai de aceea, n cadrul unui proces de evaluare, este necesar utilizarea mai multor metode de colectare a datelor. Informaiile obinute din analiza de documente pot fi completate prin utilizarea interviului, observaiei i chiar a chestionarului acolo unde este necesar. 45

Documentele unui program trebuie privite critic, din punctul de vedere al informaiei coninute. O atenie deosebit trebuie acordat att cantitii informaiei, ct i calitii acesteia. Harry P. Hatry ofer o clasificare a principalelor probleme care pot aprea n procesul de analiz a documentelor i a metodelor de ameliorare a acestora (Tabelul 7). Tabelul 7. Clasificarea principalelor probleme care pot aprea n procesul de analiz a documentelor i a modalitilor de ameliorare a acestora Problema 1. Date lips Modaliti de ameliorare sau Cercetarea documentaiei conexe Intervievarea personalului implicat n program pentru acoperirea a ct mai multe lipsuri. Reevaluarea obiectivelor i inteniilor evalurii (eventuala modificare sau anulare a unora dintre ele) 2. Date disponibile ntr-o form agregat extrem de sunt Excluderea datelor lips sau estimarea ct mai exact a valorilor lips Cercetarea nregistrrii datelor, dac acestea exist i sunt disponibile Realizarea unor colecii de date noi, originale Renunarea la datele detaliate care nu sunt disponibile 3. Date care nu Realizarea , acolo unde este posibil, a operaiilor prin care datele pot deveni comparabile Concentrarea ateniei asupra procentelor i mai puin asupra valorilor absolute. Renunarea la aceste date, atunci cnd problema este insurmontabil.
Sursa: Joseph S. Wholey (Editor), Harry P. Hatry (Editor) i Kathryn E. Newcomer (Editor) (2005), Handbook of Practical Program Evaluation 2nd Edition, p.398

incomplete

comparabile

46

Dup colectarea tuturor informaiilor relevante se recurge la clasificarea acestora i stabilirea categoriilor necesare pentru a oferi un rspuns ct mai clar i in acelai timp comprehensiv pentru ntrebrile evalurii. De exemplu, una dintre aceste ntrebri se poate referi la satisfacia beneficiarilor fat de un anumit program. Pentru nceput se adun toat informaia necesar, urmnd ca aceasta s fie subdivizat n categorii, modele i teme care o fac mult mai accesibil, uor de neles i de utilizat. Evaluatorul ncepe, de obicei prin lectura materialelor adunate (interviuri, studii de caz, observaii de pe teren), i prin ataarea de note pe marginea acestora (Wholey, Hatry, Newcomer, 2005).

Metode complexe de cercetare Studiul de caz Studiul de caz este metoda utilizat cu predilecie de Robert Stake. Cazul poate fi orice sistem delimitat care este interesant. O instituie, un program, o responsabilitate, o colecie sau o populaie poate reprezenta cazul (Stake, dup Shadish Jr, Cook, Leviton, 1995: 286). El face o clasificare a caracteristicilor specifice studiilor de caz i identific urmtoarele categorii (Stake, dup Shadish Jr, Cook, Leviton, 1995: 287): 1. Descrieri care sunt complete, holistice i care implic miriade de variabile care nu sunt foarte clar izolate; 2. Date care se pot aduna, cel puin n parte, prin observaii personale; 3. Un stil de scriere informal, probabil narativ, posibil cu citate ad-literam, ilustraii i chiar aluzii i metafore; 4. Comparaiile sunt mai degrab implicite dect explicite; 5. Temele i ipotezele pot fi importante, dar ele rmn subordonate pentru nelegerea cazului. Metoda studiului de caz este utilizabil in evaluarea de programe mai ales cnd sunt ndeplinite urmtoarele condiii (Shadish Jr, Cook, Leviton, 1995: 320): 1. Evaluatorul opteaz pentru un spectru larg al analizei, mai degrab dect pentru fidelitate; 2. Anterior evalurii, sunt cunoscute prea puine probleme i ntrebri legate de obiectul evalurii;

47

3. Evaluarea va fi folosit n principal de cititori care, neavnd experiena programului, doresc o informaie contextual extensiv pentru a decide n ce msur programul acoper nevoile identificate; 4. Studiile de caz vor fi considerate ca fiind suficient de credibile de ctre client; 5. Descoperirea este o prioritate mai mare dect confirmarea. De multe ori, studiul de caz nu este menionat printre metodele clasice de colectare a datelor n cercetrile sociale. Acest lucru se ntmpl datorit faptului c nu avem de a face cu o metod n sine, ci mai degrab cu o metod care folosete la rndul ei alte metode, cum ar fi: analiza documentelor, observaia participativ sau nonparticipativ sau interviul (andor, 2005: 54). Principalul punct forte al studiului de caz, recunoscut chiar de ctre criticii lui Stake este facilitarea generalizrii naturaliste, mai avantajoas pentru elaborarea unor teorii i pentru studii exploratorii, dect pentru confirmarea unor teorii sau testarea unor ipoteze (Shadish Jr, Cook, Leviton, 1995: 321). n funcie de tipul i de scopul evalurii, studiile de caz pot fi exploratorii, explicative i descriptive (andor, 2005: 54). Studiile de caz exploratorii sunt cele prin care se investigheaz o problem prea puin cunoscut pentru a fi formulate ntrebri i a fi definite probleme premergtor evalurii. Cele explicative ncearc identificarea unor relaii (de exemplu cauz-efect) care explic fenomenul studiat. Studiile de caz descriptive sunt cele care se raporteaz la o teorie i ncearc s vad n ce msur cazul studiat corespunde respectivei teorii. n How

to Use Qualitative Methods in Evaluation, Michael Q Patton

prezint un procesul pentru construcia unui studiu de caz care poate fi utilizat pentru evaluarea de programe. Pasul 1 al modelului const n adunarea tuturor datelor disponibile despre programul pe care dorim s l analizm. Aceasta este material prim a studiului de caz. Pasul 2 este organizarea datelor brute adunate la pasul 1, clasificarea lor astfel nct s fie uor accesibile. Pasul 3 reprezint descrierea cazului, n stil narativ. Studiul de caz este aadar, o imagine descriptiv a programului care este evaluat, care face accesibil cititorului informaia necesar pentru a nelege programul respectiv. Informaiile cuprinse n studiul de caz sunt prezentate fie cronologic, fie tematic, uneori

48

fiind posibil i util utilizarea ambelor criterii. Studiul de caz prezint o imagine comprehensiv, holistic a programului (Patton,1987: 149). Fie c trebuie evaluat un program avnd ca obiect nfiinarea unui centru de zi, fie c evalum un proiect prin care s-a nfiinat un muzeu, sau unul privind ordinea i curenia public, metodele de cercetare sunt extrem de utile. Programele publice, prin natura lor i prin impactul social pe care l au, impun utilizarea metodelor complexe de cercetare. Una dintre acestea este studiul de caz, care implic utilizarea interviului, observaiei, analizei documentelor i chiar a anchetei sociologice sau a sondajului de opinie. Primul pas n realizarea studiului de caz i a unei evaluri este adunarea a ct mai multe informaii despre program. Acest lucru poate fi realizat pornind de la o fi a proiectului n care apar principalele categorii de informaii necesare n procesul de evaluare (ANEXA 2). Metodele de cercetare din arsenalul paradigmei calitative sunt frecvent utilizate pentru completarea informatiilor cerute n fia de proiect. Spre exemplu, pentru descrierea contextului unui program sau proiect pot fi utilizate, preferabil complementar, urmtoarele metode de cercetare: interviul, observaia, analiza calitativ a documentelor; pentru analiza structurii organizationale utilizm de regul analiza calitativ a documentelor i interviul individual; pentru analiza documentelor programului putem apela la analiza calitativ a documentelor, iar pentru descrierea activitilor unui program cele mai complete informaii ne pot fi aduse de ctre utilizarea n paralel a interviului individual (cu coordonatorul proiectului), a focus-grupului (n care pot participa reprezentani ai tuturor prilor mplicate n program), a analizei calitative a documentelor proiectului(cerere de finanare, plan metodologic, plan strategic i operaional) i a observaiei participative. Metodele calitative sunt de un real folos i n studiul actorilor implicai, a resurselor angajate, a rezultatelor ateptate i a celor efectiv realizate. Prin urmare, metodele calitative de cercetare sunt arhiprezente in arsenalul evalurii de programe. n cazul proiectelor de mari dimensiuni, informaiile aduse de acestea sunt completate prin date obinute n urma aplicrii metodelor cantitative de cercetare.

49

4.6 Eantionarea Eantionarea unei populaii implicate ntr-un anumit proiect este ntotdeauna dificil din mai multe motive: participarea ntr-un anumit proiect nu este ntotdeauna bine delimitat, rolul de beneficiar primar, secundar, teriar ntr-un proiect nu este ntotdeauna clar. Un proiect sau program poate fi conceput pentru a se adresa unui anumit grup int. Mai ales n cazul proiectelor din zona public, grupul int nu contientizeaz ntotdeauna i nu i asum prin urmare rolul de beneficiar. Pentru o eantionare reuit, trebuie identificat un eantion echilibrat de indivizi alei n funcie de gradul de participare n proiect, de rolul pe care l au, de reziden i de caracteristicile demografice: vrsta, sex, etc. Regulile de eantionare trebuie urmate cu consecven pentru a avea un studiu valid din punct de vedere stiintific. Cunoaterea tehnicilor de eantionare pentru EIS presupune cunoaterea problematicii eantionarii n general i specificitatea grupurilor afectate de un anumit program, al crui impact social intenionm s l calculm. Prin urmare, pentru eantionare conteaz att tipul evalurii, numrul indivizilor din grupul int ct i domeniul proiectului sau programului. Este dificil de adoptat o metod specific de eantionare, valabil pentru EIS. n evaluarea satisfaciei beneficiarilor fa de un program n care sunt implicai se vor construi eantioane aleatorii (dac dimensiunea programului nu permite o cercetare exhaustiv). n evaluarea sumativ sau formativ se vor construi de multe ori eantioane nealeatorii pentru a se aplica msurtori nainte, pe parcursul i ulterior interveniei i a putea compara rezultatele obinute n cazul grupurilor de control i a celor experimentale. Construcia eantionului difer n funcie de natura programului sau proiectului analizat. Este interesant de observat cum numrul metodelor de cercetare utilizate depinde de numrul indivizilor care fac parte din grupul int (T8 i T9), dar i de domeniul specific n care se ncadreaz proiectul/programul analizat. Tabelul 8. Asocierea ntre numrul metodelor utilizate i numrul indivizilor din grupul int

50

nr indivizi gr.int >50.000 ntre > sau

Total

50.001 si egal cu 100.000 100.001 numr metode utilizate 4 5 Total 14 14 6 4 12 6 4 40 2 3 8 6 8 2 6 10 20

Tabelul 9. Testul hi-ptrat. Asocierea ntre numrul metodelor utilizate i numrul indivizilor din grupul int al proiectului Valoare Grade de Semnificaia libertate Pearson Hi-Ptrat Nr. de cazuri valide O legatur interesant se stabilete i ntre numrul de indivizi din grupul int i metoda principal utilizat (T10 i T11) i nu la fel de semnificativ ntre domeniul proiectului i metoda principal (T12 i T 13). Chiar dac n acest din urm caz, legtura nu este att de puternic, se poate identifica un model dup care se face alegerea metodelor de cercetare: pentru proiectele cu un numr mare i foarte mare de indivizi n grupul-int (peste 50.000), remarcm o predilecie pentru analiza documentelor i sondaj ca metode principale de cercetare a impactului social. Pentru proiecte care au un grup int mai mic sau egal cu 50.000, se prefer analiza de documente combinat cu interviul individual. Este absolut firesc dac avem n vedere amploarea mai redus i, n acelai timp, bugetul mai redus al acestora. 51 40 30,381 6 ,000

Tabelul 10. Asocierea ntre numrul indivizilor din grupul int al proiectului i metoda principal utilizat n evalurile Bncii Mondiale metoda principal analiza doc <50.000 nr ntre 5 5 9 sondaj interviu ind 3 6 14 14 alta Total

indivizi 50.001 i gr.int 100.000 > sau egal cu 100.001 Total 18 9 7 6 40 8 4 12

Tabelul 11. Testul hi-ptrat. Asocierea ntre numrul indivizilor din grupul int al proiectului i metoda principal utilizat n evalurile Bncii Mondiale Valoare Grade de Semnificaia libertate Pearson Hi-Ptrat Nr. de cazuri valide Pentru analiza impactului social al unui proiect economic se va opta ca metod principal de colectare a datelor pentru analiza documentelor. La fel pentru un proiect educational. Pentru un proiect legat de infrastructur se va opta fie pentru analiza documentelor, fie pentru sondaj sau interviu individual ca metod principal de cercetare. (T12) Totui nu se poate spune c exist o relaie de asociere ntre domeniul proiectului i metoda principal(T13). 40 33,938 6 ,000

52

Tabelul 12. Asocierea ntre domeniul proiectului evaluat i metoda principal utilizat n evalurile Bncii Mondiale metoda principal analiza sondaj doc interviu ind alta Total

economic domeniu proiect educaional infrastructura altul Total

7 6 4 1 18

3 3 4 2 9 7 4

3 2

13 11 12

1 6

4 40

Tabelul 13. Testul hi-ptrat. Asocierea ntre domeniul proiectului evaluat i metoda principal utilizat n evalurile Bncii Mondiale Valoare Grade de Semnificaia libertate Pearson Hi-Ptrat Nr. de cazuri valide Se remarc o asociere i ntre metoda secundar de colectare a informaiei i domeniul specific proiectului(T14 i T15). Astfel, pentru un proiect de natur economic, se va prefera ca metod secundar interviul individual, pentru unul de natur educaional , sondajul de opinie, iar pentru un proiect legat de infrastructur, metoda Delphi(T14). 40 13,615 9 ,137

53

Tabelul 14. Asocierea ntre domeniul proiectului evaluat i metoda secundar utilizat n evalurile Bncii Mondiale metoda secundar analiza sondaj interviu doc domeniul proiectului economic educaional infrastructura altul Total 3 2 2 1 8 7 2 1 10 2 12 2 8 ind 8 2 2 6 focus group 2 13 11 12 4 40 Delphi Total

Tabelul 15. Testul hi-ptrat. Asocierea ntre domeniul proiectului evaluat i metoda secundar utilizat n evalurile Bncii Mondiale Valoare Grade de Semnificaia libertate Pearson 32,509 Hi-Ptrat Nr. cazuri valide O asociere aproape la fel de semnificativ se remarc i n privina legturii dintre domeniul proiectului i metoda teriar(vezi T16 i 17), i ntre metoda principal i cea secundar (T18i T19). Tabelul 16. Asocierea ntre domeniul proiectului i metoda teriar utilizat n evalurile Bncii Mondiale de 40 12 ,001

54

metoda teriar sondaj interviu ind. domeniul proiectului educaional infrastructur altul Total 10 4 2 6 2 2 1 6 2 2 2 8 2 2 1 5 economic 2 focus Delphi observatia alta group 3 4 4

Total

13

11 12 4

10 40

Tabelul 17. Testul hi-ptrat. Asocierea ntre domeniul proiectului evaluat i metoda teriar utilizat n evalurile Bncii Mondiale Valoare Grade de Semnificaia libertate Pearson Hi-Ptrat Nr. de cazuri valide Tabelul 18. Asocierea ntre metoda principal i metoda secundar utilizat n evalurile Bncii Mondiale metoda secundar analiza doc sondaj interviu ind. analiza metoda principal doc sondaj 2 5 2 9 7 7 focus group 4 18 Delphi Total 40 24,862 15 ,052

55

interviu ind alta Total 6 8

6 10 12 2 8 40

Tabelul 19. Testul hi-ptrat. Asocierea ntre metoda principal utilizat i metoda secundar utilizat n evalurile Bncii Mondiale Valoare Grade de Semnificaia libertate Pearson Hi-Ptrat Nr. de cazuri valide Aceeai asociere semnificativ se remarc i ntre metoda principal i metoda teriar.(T20i T21). Tabelul 20. Asocierea ntre metoda principal i metoda teriar utilizat n evalurile Bncii Mondiale metoda teriar sondaj interviu ind analiza doc sondaj metoda principal interviu ind alta Total 10 4 4 6 6 8 2 10 3 7 6 40 6 4 focus Delphi observaia group 1 7 2 7 18 9 alta Total 40 51,349 12 ,000

56

Tabelul 21. Testul hi-ptrat. Asocierea ntre metoda principal utilizat i metoda teriar utilizat n evalurile Bncii Mondiale Valoare Grade de libertate Semnificaia Pearson Hi-Ptrat 78,452 Nr. de cazuri valide 40 15 ,000

Rezumnd, n funcie de natura proiectului al crui impact se dorete a fi calculat, n funcie de numrul indivizilor care constituie grupul int (ca un indicator al amplorii proiectului) putem avea o serie de combinaii. Din metaanaliza celor 40 de studii EIS , se configureaz modelele din tabelul 22. Tabelul 22. Analiza metodelor de cercetare utilizate n 40 de studii de evaluare selectate de pe site-ul Grupului pentru Evaluare Independent a Bncii Mondiale

(www.worldbank.org/oed/ -februarie 2005) Domeniul proiectului Numarul indiv. n Met.princ. gr.int </=50.000 ntre Economic 100.000 50.001 Analiza doc/alta si Sondaj/ Analiza doc. >/=100.001 Analiza doc. Analiza doc./Delphi Interviu individ/ Analiza doc. Interviu individ/ Delphi </=50.000 Analiza Sondaj/ Focus Group Sondaj Sondaj Focus Group Met. sec. Met. ter.

doc/interviu Analiza doc. ind/ alta Educaional ntre 100.000 50.001 si Analiza doc Interviu individ/ Analiza doc. Sondaj

57

>/=100.001

Analiza

Sondaj/

Sondaj/ Interviu individ

doc/interviu Interviu ind Infrastructura </=50.000 Analiza individ

Delphi/Sondaj/ Alta

doc/interviu Analiza doc ind Intre 100.000 50.001 si Analiza doc. Sondaj >/=100.001 Analiza doc/interviu ind Delphi/Sondaj Sondaj/ Interviu individ / Analiza doc. Sondaj/Delphi

Prin urmare, ipoteza de la care am pornit se confirm doar parial: domeniul de intervenie nu dicteaz metodele utilizate n evaluare, dar numrul indivizilor din grupul int are un impact major asupra metodologiei utilizate. Fie c este vorba de un proiect de dezvoltare economic, fie c este vorba de un proiect esducaional sau de infrastructur, metodele selectate nu prezint diferene semnificative. Aceste diferene apar cnd este vorba de dimensiunea grupului int. Un proiect de mici dimensiuni (sub 50.000 de persoane) este mai permisiv i presupune, de regul utilizarea complementar a mai multor metode.

4.7 Surse de documentare Sursele de date secundare Printre cele mai utilizate surse de date secundare se numar datele obinute prin recensmnt, datele oferite de statisticile oficiale, datele geografice, datele oferite de diferite institute, organizaii non-guvernamentale sau fundaii (ICCV, SOROS, MMT, INSOMAR, ISOP etc.), datele oferite de diverse instituii publice centrale sau descentralizate (direcii, inspectorate, agenii etc.) sau provenite din diverse cercetri publicate sub form de articole sau cri. O alt surs de date secundare sunt arhivele. 58

Aceste surse de date pot fi utilizate n coroborare cu informaiile oferite n cadrul unor interviuri de persoane care au o legatur direct cu producerea sau administrarea lor. O atenie deosebit trebuie acordat verificrii ncruciate a memoriei celor intervievai, precum i potenialelor surse de eroare sau influen a datelor. Date primare Sondajele de opinie i interviurile de diverse tipuri reprezint exemple de date primare, colectate pentru a verifica datele din alte surse. Dac un evaluator al impactului social susine c impactul unui proiect este diferit ntr-o anumit zon, n comparaie cu alte zone, va trebui sa apeleze la aceste surse de date primare, pe care i va fundamenta n cele din urm concluziile. Datorit unui background specific, i a structurii unice, fiecare comunitate poate reaciona n modul sau propriu la diferitele proiecte care aduc schimbarea. Managementul datelor insuficiente Datorit resurselor limitate de cele mai multe ori, specialitii sunt nevoii sa dezvolte strategii pentru a face fa situaiei n care datele sunt insuficiente. Urmtoarele trei elemente trebuie luate n considerare de cte ori resursele se dovedesc insuficiente pentru a obine toate datele necesare. Ele asigur o prioritizare absolut necesar: 1. Este mai important identificarea celor mai probabile impacturi sociale, dect msurarea exact a impacturilor evidente. 2. Este de preferat o abordare conservatoare n probabil. 3. Cu ct avem date mai insuficiente sau de o calitate mai ndoielnic, cu att pentru utilizarea lor este necesar un personal mai specializat. Standarde de verificare i de documentare Preocuprile privind lipsa datelor, precizia informaiei i schimbarea sistemelor sociale n procesul de adaptare la noi condiii de mediu face importanta fixarea standardelor de verificare i documentare n vederea realizrii evaluarii impactului social. descrierea impactului social

59

Primul standard care trebuie respectat este acurateea factual. Toate datele utilizate n EIS trebuie sa fie verificabile. Al doilea standard este validitatea extern. Pot fi datele rezultate din evaluarea impactului social al unui program fie generalizate pentru alte programe i comunitai similare? Cheia verificrii acurateii datelor i rezultatelor este validarea repetat(incruciat), sau verificarea dac prin investigarea unor situaii similare se obin rezultate asemntoare. Spre exemplu, aceast validare poate fi facut prin compararea datelor obinute din dou sau mai multe focus-group-uri, sau analiznd seturile de date din surse diferite i comparnd rezultatele. Dac analizele ajung la aceleai concluzii, EIS poate fi considerat valid. Sursele de documentare, metodele de cercetare i ipotezele utilizate pot fi o surs suplimentar a verificrii validitii EIS. Cercettori independeni ar trebui s poat utiliza aceleai seturi de date, aceleai metode i aceleai ipoteze i s ajung la aceleai rezultate. Documentarea riguroas n EIS reprezint un element important al validitii EIS.

Capitolul 5. Metode i modele de evaluare a programelor Un prim pas n nelegerea metodelor de evaluare este realizarea distinciei ntre tipuri de evaluare, metode de evaluare i tehnici de evaluare. Tipurile de evaluare reprezint perspectivele teoretice din care poate fi abordat evaluarea. Aici se ncadreaz, n funcie de diferitele tipuri de clasificare, urmtoarele: evaluarea formativ, sumativ, reactiv, prestabilit, ex-ante, interim, ex-post, analiza impactului, evaluarea bazat pe teorie etc. Metoda reprezint, ca i n cercetare, o modalitate general, strategic (din punct de vedere metodologic i nu teoretic) de abordare a realitii. Spre exemplu putem realiza o evaluare formativ utiliznd ca metod de evaluare evaluarea procesului sau evaluarea rezultatelor intermediare. Printre cele mai utilizate metode se numr: analiza

60

nevoilor, analiza SWOT, analiza cost-beneficiu, analiza cost-eficien, evaluarea rezultatelor i evaluarea proceselor. 5.1 Metode i tipuri de evaluare Exist metode care uneori sunt considerate tipuri de evaluare, la fel cum exist tipuri de evaluare considerate uneori metode. Schematic, inventarul celor mai des utilizate metode i tipuri de evaluare este reprezentat n tabelul urmtor. n prima coloan sunt reprezentate tipurile de evaluare (explicitate mai sus), n a treia coloan sunt enumerate metodele de evaluare, iar n coloana a doua apar tipurile care uneori sunt consirate metode i metodele appreciate uneori ca fiind tipuri.

Tabel.20

TIPURI DE EVALUARE 1. evaluarea formativ 2. evaluarea sumativ 3. evaluarea reactiv 4. evaluarea prestabilit 5. evaluarea ex-ante 6. evaluarea interim 7. evaluarea ex-post 8. evaluarea participativ 9. evaluarea bazat pe teorie 10. evaluarea impactlui

METODE DE EVALUARE a. evaluarea procesului b. evaluarea rezultatelor c. evaluarea nevoilor d. analiza SWOT e. analiza cost-beneficiu (ACB) f. analiza cost eficien

Pentru realizarea fiecrui tip de evaluare, pot fi utilizate una sau mai multe metode de evaluare. Spre exemplu, pentru evaluarea ex-ante poate fi utilizat una sau mai multe din urmtoarele metode: Evaluarea nevoilor, analiza SWOT, ACB.

61

Figura 3. Metode de evaluare compatibile cu evaluarea ex-ante

Prin evaluarea nevoilor vom putea determina relevana proiectului. Desigur, nu este vorba doar de nevoile beneficiarilor, ci de nevoile tuturor celor implicai n proiect. Vom identifica i ierarhiza nevoile grupului int, ale implementatorilor, ale finanatorilor i ale societii n general. Dup o corect ierarhizare a acestor nevoi n funcie de obiectivele proiectului, vom putea aduce mbuntiri designului proiectului. Prin analiza SWOT pot fi identificate punctele tari, cele slabe, oportunitile i ameninrile semnificative pentru programul sau proiectul evaluat. Analiza SWOT se refer n principal la contextul proiectului. Analiza cost-beneficiu se refer la dimensiunea financiar a proiectului. Rspunde la ntrebri precum: Care sunt costurile i care sunt beneficiile preconizate ale proiectului? Aceasta n cazul unei evaluri ex-ante. n cazul unei evaluri interim sau ex-post putem vorbi despre costurile i beneficiile realizate pn ntr-un anumit moment al programului, respectiv pn la finalul implementrii.

Figura 4. Metode de evaluare compatibile cu evaluarea formativ

62

Evaluarea procesului (sau a implementrii), care se concentreaz asupra modului n care programul a fost implementat i asupra proceselor i procedurilor prin intermediul crora acesta funcioneaz; Evaluarea rezultatelor are n vedere analiza raportului obiective-rezultate. Aici vor fi analizate att rezultatele intenionate, ct i rezultatele neintenionate ale programului.

Metodele, ca i tipurile de evaluare, se selecteaz n funcie de prioritile strategice i de cele ale prilor implicate, de caracteristicile programului, de stadiul de implementare al programului, de datele disponibile, de stadiul evalurii i de msura n care programul poate fi evaluat. Figura urmtoare este ilustrativ n acest sens.

63

Figura 5 . Alegerea metodelor

Prioriti strategice Prioritile prilor implicate

Caracteristicile programului

Stadiul programulu i

ntrebrile evalurii

Tipul abordrii

Stadiul evalurii

Selectarea metodelor

Alegerea tehnicilor Datele disponibile Evaluabilitate Assessment

Sursa: Tavistock Institute et all, The Evaluation of Socio-Economic Development: The GUIDE, 2003,
p.104

64

5.2 Modele utilizate n evaluarea de programe Cercetarea privind modelele de evaluare a programelor i proiectelor a cunoscut o dezvoltare deosebit n ultimii ani, ns a fost mereu n atenia cetcettorilor i practicienilor. Designul modelelor de evaluare i selectarea modelului potrivit pentru evaluarea unui anumit proiect sau program au devenit scopul a numeroase investigaii. Demersul este specific autorilor clasici in domeniul evalurii (Michael Quinn Patton, Michel Scriven, Peter H. Rossi), crora li s-au alaturat o serie de autori provenii mai ales din mediul academic (Daniel Stufflebeam, Egon Guba,Yvonna Lincoln, Ernest R. House, Kenneth R. Howe, Hanne Foss Hansen etc). Instrumentarul este vast: evaluarea formativ, evaluarea sumativ, cea care pune un accent pe beneficiari, pe experi sau pe diveri participani n proiect, evaluarea realist, cea bazat pe teorie sau orientat pe utilizarea practic sunt doar cteva exemple. Un model de evaluare stipuleaz ntrebarea la care un anumit tip de evaluare ncearc s rspund i stabilete criteriile luate n considerare pentru evaluare (Hansen, 2005). Literatura de specialitate ofer o mare varietate a abordrilor privind modelele de evaluare. Hansen (2005) i Scriven (2003) propun unele dintre cele mai noi tipologii ale modelelor de evaluare. Acestea au n vedere ase categorii de modele de evaluare, care se regsesc i n contribuiile altor autori: Birkmayer i Weiss, Pawson, Jorgensen i Stame (2004). Modelele orientate spre rezultate (modelul scopului ndeplinit i modelul efectelor produse) se nscriu n evaluarea sumativ. Modelul scopului ndeplinit este modelul clasic n care rezultatele sunt evaluate strict prin prisma scopului i a obiectivelor prestabilite ale unui program. ntrebarea de baz este n acest caz: n ce msur au fost realizate obiectivele?, iar criteriile de evaluare sunt derivate din scopul i obiectivele programului. Modelul efectelor produse urmrete identificarea tuturor consecinelor pe care un program sau un proiect le produce sau ar putea s le produc.

65

Acest model este ns adesea criticat pentru inexistea unor criterii clare de evaluare. Evaluatorul poate reduce aceast problem prin aplicarea modelului la o analiz nainte i dup intervenie. ntrebarea fundamental n cazul acestui model este: Care sunt efectele evidente ale programului?, iar criterile de evaluare sunt deschise, din moment ce toate consecinele ar trebui dezvluite. Modelele explicative sunt modele orientate pe proces i corespund evalurii formative. Acest model de evaluare urmrete evoluia proiectului din momentul designului, pe parcursul implementrii i pn dup implementare. ntrebrile: Ct de mulumitor este nivelul activitilor?, Exist probleme de implementare? sunt specifice acestui tip de model, iar performana este analizat pe tot parcursul proiectului, de la idee pan la finalizare i la impactul asupra grupului int, i reaciile acestuia. Modelele sistemice, materializeaz o abordare sistemic n cmpul evalurii. Acestea analizeaz input-ul, structura, procesele i output-ul n termeni de rezultate. Evaluarea poate fi organizat pe compararea dintre input-ul, procesul i output-ul planificat i cele realizate efectiv sau pe anumite tipuri de benchmarking care compar rezultatele unui anumit proiect cu rezultatele unor proiecte similare implementate de organizaii similare ntr-un context comparabil, care sunt considerate excelente. ntrebarea fundamental n acest caz este dac a funcionat programul ca un ntreg, iar performana este analizat fie comparnd input-ul, procesul i output-ul realizat cu cele preconizate, fie comparndu-le cu cele dintr-un alt proiect considerat reper de bun practic. Modelele economice (cost-eficien, cost-eficacitate si cost-beneficiu) au la baz, pan la un anumit nivel, perspectiva sistemic. Ele sunt diferite de modelele sistemice pentru c raporteaz rezultatele la costurile implicate de proiect. Modelul cost-eficien, are ca interogaie de baz gradul n care productivitatea este la un nivel satisfctor. Criteriul de evaluare este comparaia dintre rezultate obinute i cheltuielile implicate. Modelul cost-eficacitate este preocupat de msura n care proiectul sau programul a fost construit i implementat eficace, iar criteriul de performan pune fa n fa efectele proiectului cu resursele implicate. Modelul cost-beneficiu are ca preocupare principal msura n care utilitatea proiectului este mulumitoare, iar criteriul de evaluare este utilitatea raportat la costuri.

66

Modelele centrate pe actorii implicai (modelul orientat pe beneficiar, modelul orientat pe participani, modelul orientat pe opinia experilor) au la baz criterii de evaluare propuse de participanii la proiect, fie c este vorba de iniiatori, implementatori, contractori, subcontractori sau de beneficiari. Modelul orientat pe beneficiar are ca ntrebare de baz nivelul de satisface al beneficiarului, iar criteriile de evaluare sunt formulate de beneficiari. Modelul orientat pe participant i propune s afle dac participanii la proiect sunt mulumii, i tot participanii sunt cei care stabilesc criteriile de evaluare. Modelul orientat pe opinia experilor i propune s investigheze msura n care calitatea profesional a proiectului este satisfctoare. Criteriile de evaluare sunt stabilite n cazul acestui model de ctre experii ntr-un anumit domeniu. Modelele centrate pe teorie evalueaz validitatea teoriei programului care st la baza unei anumite intervenii. n literatura de specialitate exist cteva variante pentru modelele care intr n aceast categorie: fie teoria programului este reconstruit i comparat cu analiza empiric a programelor (Birkmayer si Weiss, 2003), fie observaia empiric este utilizat pentru analiza relaiilor dintre context, mecanisme i rezultat, dup cum este sugerat n abordarea sintezei realiste (Pawson, 2002). Modelele centrate pe teorie sunt considerate a fi o extensie a modelelor orientate spre rezultate (Hansen, 2005). ns, modelele clasice orientate spre rezultate au n vedere obiectivele i efectele concrete ale interveniilor, iar scopul evalurii este analiza rezultatelor acestora, n timp ce, n cazul modelelor centrate pe teorie accentul se pune pe cutia neagr deschis prin teoria programului care relev mecanisme care ridic ntrebri asupra unui conglomerat de activiti i intervenii. ntrebrile specifice acestui model sunt : Ce funcioneaz i n ce context? Exist erori detectabile n teoria programului? Pentru evaluare, teoria programului este reconstituit si evaluata pe baza analizelor empirice-criteriul de evaluare cel mai sigur in acest caz. Exist un numr din ce n ce mai mare de modele propuse n literatura de specialitate. Din perspectiva actualului proiect de cercetare, pe lng modelele propuse mai sus, rein atenia i urmtoarele modele de evaluare, att prin actualitatea lor, ct i prin posibilitatea de a fi aplicate n administraia public romneasc. Modelul CIPP (Stufflebeam, 2002)-context, input, proces, produs (rezultat)transpune evaluarea bazat pe rezultate ntr-o evaluare a eficacitii i sustenabilitii,

67

facilitnd n acelai timp metaevaluarea i sinteza. ntrebrii de la care pornete acest tip de evaluare, Este programul un succes? i sunt subsumate ntrebri care verific impactul, eficacitatea i sustenabilitatea: A fost atins grupul int?, Au fost acoperite nevoile grupului int?, Beneficiile obinute n urma proiectului sunt sustenabile? Procesul prin care au fost obinute aceste beneficii este adaptabil pentru alte contexte? etc. Criteriile de evaluare sunt derivate din scopul i obiectivele programului. Modelul constructivist (Egon Guba & Yvonna Lincoln, 2001) are la baza trei abordri fundamentale: ontologic, epistemologic i metodologic: Abordarea ontologic a constructivismului este relativismul, potivit caruia, efortul uman de organizare a experienei ntr-o form inteligibil este un construct, independent de orice realitate fundamental. Relativismul pornete de la premisa c nu exist un adevr obiectiv. Aceasta nu nseamn c orice aciune este validat, dup cum reiese din criteriile epistemologice i metodologice; Abordarea epistemologic a constructivismului este subiectivismul tranzacional, conform cruia realitatea i adevrul depind de nivelul informrii i al sofisticrii informaiilor deinute de indivizii aflai n poziii de decizie; Abordarea metodologic a constructivismului este hermeneutica-dialectic, potrivit creia, opiniile actorilor implicai ntr-un proiect sunt ntr-o prim etap teoretice, iar apoi primesc sens practic prin confruntarea cu realitatea empiric. Potrivit acestui model, intrebarile de baza sunt: Cine este clientul pentru aceast evaluare?, Cine sunt ceilali actori implicai?, Care este perspectiva fiecruia?, Care sunt ateptrile lor?, Care este nivelul de satisfacie al actorilor implicai fa de procesul i rezultatele proiectului? etc. Criteriile de evaluare sunt stabilite prin cooperare de actorii implicai n proiect. Modelul calitativ (Michael Q. Patton, 2003) propune utilizarea metodelor calitative (observaie, interviu individual, focus-group, metoda Delfi) pentru evaluarea de programe, cu precdere n anumite situaii, cnd este necesar aprofundarea unor aspecte ale programului evaluat. n cazul acestui model de evaluare ntrebrile sunt de natur calitativ: Cum au fost indeplinite obiectivele programelor?, De ce nu au fost realizate anumite obiective?, etc. Criteriile de evaluare sunt stabilite prin obiectivele proiectului.

68

Modelul centrat pe utilizarea practic a evalurii (Michael Q. Patton, 2002) respect principiile evalurii formative. Conform acestui model, procesul de evaluare debuteaz n momentul designului unui proiect i se incheie ulterior implementrii acestuia. Accentul se pune pe utilizrile posibile pe care diferiii actori-utilizatori le pot da evalurii. n funcie de acestea, mai exact de scopul i obiectivele evalurii se profileaz structura evalurii. ntrebrile principale n cadrul acestui model sunt: Cine sunt utilizatorii evalurii? Care sunt obiectivele lor?, Care sunt informaiile de care au acetia nevoie? etc. Criteriile de evaluare sunt stabilite de catre utilizatorii evalurii.

Modelul transdisciplinar privete evoluia evalurii de la stadiul de practic la cel de disciplin specializat (Scriven, 2003). Scriven identific principalele trei dimensiuni ale evalurii care stau la baza evalurii: epistemologic, politic i tiinific (Scriven, 1993). Dimensiunea epistemologic are la baz obiectivismul. Evaluarea are valoare n msura n care se bazeaz pe logic, raiune i afirmaiile fcute corespund realitii. Dimensiunea politic se traduce prin orientarea evalurii spre consumator (Scriven, 1993: 9), iar Stufflebeam consider c aceast abordare este extrem de dificil, impunnd implicarea unor experi credibili i foarte bine pregtii (Stufflebeam, 2001). Caracterul tiinific al evalurii se regsete n posibilitatea disciplinei de a avea un sistem metodologic i de a-l mbunti i aplica n alte discipline i n domenii interdisciplinare. Grafic, dimensiunile modelului transdisciplinar poate fi reprezentat tridimensional, fiecare dintre dimensiuni fin reprezentat pe una dintre axe: Planul vertical dintre axele x i y reprezint disciplinele (dimensiunea tiinific), planul situat ntre axele y i z reprezint domeniile evalurii (dimensiunea epistemologic), iar planul orizontal descris de x i z reprezint domeniile de aplicare a evalurii (dimensiunea politic), ca i n Figura 5 (Coryn, Hattie, 2006). Oricrei evaluri i corespunde un anumit punct sau volum. Figura 6. Modelul Transdisciplinar

69

ld Fie

n atio alu v fE so

Discipli nes

Fiel ds o

f Ap

plic atio n

Cu ajutorul acestui model poate fi reprezentat orice evaluare. Evaluarea unui program n domeniul sntii public ar putea fi reprezentat, innd cont de cele trei dimensiuni. Figura 7. Reprezentarea spaial a evalurii unui program de sntate public, conform Modelului Transdisciplinar
y

x z

Asociind Modelul Transdisciplinar cu casa evalurii descris de M. Scriven (Scriven, 1991: 13), acesta poate fi mbuntit i dezvoltat dup cum reiese din Figura 7. 70

Figura 8. Modelul Transdisciplinar i Casa Evalurii

y

v iv iii ii

i z

(i) Planul orizontal reprezentnd baza cubului se refer la dimensiunea aplicativ a evalurii. Aceasta este urmat n sens ascendant de planurile corespunztoare (ii) dezvoltrii instrumentelor, (iii) metodelor, (iv) teoriei i (v) metateoriei care corespunde podului din casa evalurii. Desigur aceste trepte nu trebuie privite restrictiv, ci pot fi nuanate n funcie de scopul cercetrii. Banca Mondial (BM) utilizeaz la scar larg n special modelele economice de evaluare, fapt explicat de profilul organizaiei. ns, scopul principal al BM este combaterea srciei, de aceea evalurile centrate pe rezultate i cele orientate pe proces sunt frecvent utilizate. n acest sens, tendina imprimat de Michael Q. Patton care are n centru metodele calitative de cercetare are o rezonan aparte. Cu un ntreg departament pus n slujba evalurii, Banca Mondial realizeaz astfel de studii pentru fiecare dintre proiectele pe care le finaneaz. Experii BM realizeaz evalurile dup metodologii clar specificate. Pe site-ul BM apar actualmente 134 documente care pot fi accesate i care conin elemente ale modelelor de evaluare. Pe site sunt fcute publice metodologia utilizat, colecii de date i sursele acestora i, selectiv, anumite studii de evaluare

71

organizate dup modelul de evaluare utilizat i dup ara n care au fost realizate. Atrag atenia numeroase studii de evaluare, datorit diversitii metodelor aplicate, a proiectelor investigate. Sunt prezentate o serie de manuale care explic metodologia i procesele presupuse de un studiu de evaluare. Printre cele mai recente este i cea a lui Judy Baker: Evaluating the Impact of Development Projects on Poverty: A Handbook for Practitioners, Directions in Development, World Bank, Washington, D.C aparut n anul 2000. n Sourcebook for Poverty Reduction Strategies, World Bank, Washington D.C., apare n acelai an Monitoring and Evaluation, scris de Prennushi, G., G. Rubio, si K. Subbarao. Trebuie menionat i impresionanta serie de articole semnate de experi ai BM printre care James J. Heckman, Jeffrey A. Smith, Nancy Clements, Christopher Taber Grossman, Jean Baldwin Karen Fulbright-Anderson, Anne C. Kubisch si James P. Connell alturi de numeroi alii. Nota distinctiv const n faptul c totalitatea studiilor sunt realizate pe proiecte finanate de BM, centrate pe combaterea srciei. Prin urmare, un accent mai mare este pus pe aspectul economic al evalurii. Dar, din perspectiva modelelor de evaluare, tocmai acest profil socio-economic al proiectelor BM avantajeaz utilizarea n complementaritate a trei tipuri de modele : economice (care subliniaz inputul financiar), cele centrate pe rezultate i a modelului calitativ. Este firesc, avnd n vedere misiunea asumata de BM : reducerea srciei. Nu exist o deosebire major ntre instrumentele propuse de BM i cele realizate de comunitatea academic. Totui, aria extins de aciune din punct de vedere geografic i cultural i pune amprenta pe metodologia utilizat de BM. Recent, Comisia UE a propus o lista orientativ de indicatori care ar trebui urmrii n evaluarea programelor. Printre acetia se regasesc: coeziunea social (integrarea social, dimensiunile srciei sau ale srciei extreme, riscul srciei i al excluziunii sociale, coeziunea social, geografic, omajul de lung durat, accesibilitatea serviciilor de interes general), calitatea angajrii (sigurana profesional, drepturile muncitorilor, organizarea pieei muncii, echilibrul ntre viaa personal i cea profesional, oportunitile de angajare i integrare prin angajare, etc.) protecia social i serviciile sociale (nivelul proteciei, accesibilitate, etc.) interesele consumatorului, educaie, capital social, viaa comunitar, drepturile fundamentale ale omului, etc. Deasemenea, pe site-ul

72

Comisiei se regsete i un manual de implementare a studiilor evaluare (www.evalsed.info). Acesta explic pas cu pas procedurile care trebuie utilizate pentru evaluarea proiectelor derulate din Fondurile Structurale. Totui, el trebuie particularizat pentru fiecare ar n parte, i nu este oportun a fi aplicat ca atare. Modelele de evaluare promovate de Comisia Uniunii Europene sunt modele mixte, situate la intersecia ntre modelele economice (care subliniaz inputul financiar), cele centrate pe rezultate si modelele calitative. Organizaiile non-profit, mai ales cele care ofer granturi sunt de regul interesate n evaluarea centrat pe rezultate i pe proces. Principalii finanatori i-au dezvoltat propriul arsenal de instrumente i modele pentru evaluare. Astfel, Fundaia Ford, USAID, Rockefeler etc. au publicat pe paginile web propriile instrumente de evaluare a programelor, nsoite de numeroase studii de caz. Unul dintre scopurile acestora este desigur afirmarea legitimitii aciunilor pe care le ntreprind. De remarcat ns c evalurile respect metodologia propus de cercetarea academic i utilizat de organizaiile internaionale. Desigur, modelele de evaluare i metodele i tehnicile de cercetare utilizate n tiinele sociale nu trebuie reinventate. Aplicarea lor este ns dirijat de interesele celor care le finaneaz i de profilul cultural al cercettorilor care au conceput instrumentul i care realizeaz efectiv studiul .

n privina modelelor de evaluare a programelor, literatura romneasc n domeniu este relativ srac. Exist studii referitoare la modele de evaluare, dar cel mai adesea este vorba de evaluri tehnice, economice sau specifice altor domenii (construcii, protecia mediului, software, etc.) i nu de evaluri ale unor programe, cu att mai puin ale unor programme finanate sau co-finanate din bani publici: modele de evaluare ale riscului de ar, modele de evaluare a siguranei structurilor construciilor, modele de evaluare a dispersiei poluanilor n atmosfer, modele de evaluare a costului testrii software, etc. Totui, n materie de evaluare, n Romnia, ncepnd cu anul 2002 apar primele referiri la studii de evaluare. Acestea sunt fie contribuiile cercettorilor sau colaboratorilor Institutului de Cercetare a Calitii Vieii (ICCV), fie ale unor cercettori din sfera academic, sau practicieni din domeniul profit i non-profit. Chiar dac este vorba de

73

cri, de anumite capitole din cri, de articole, de lucrri prezentate cu ocazia unor conferine sau de rapoarte de cercetare realizate pentru teri, majoritatea contribuiilor romneti abordeaz doar adiacent problematica modelelor de evaluare. Astfel, n 2002, S. Ilie scrie Formal and informal incomes of the Romanian Households ntr-un volum coordonat de Rainer Neef i M. Stnculescu: The Impact of Informal Economies n Eastern Europe, Ed. Ashgate U.K. n acelai volum apare studiul Households economic strategies between state, market and the informal economies al M. Stanculescu. Ambele lucrri ofer informaii pentru evaluarea impactului social al unor programe, ns nu abordeaz probleme specifice modelelor de evaluare i nici a metodologiei evalurii. n 2003, avndu-l printre co-autori pe M. Stnculescu , apare la Editura Institutul European, n ediie bilingv, Impactul pre-aderrii. Politici de coeziune i dezvoltarea regional economc i social a Romniei/Pre-Accesion Impact Studies. EU Cohesion Policy and Romania's Regional Economic and Social Development. Din nou, contribuia romneasc este limitat la furnizarea anumitor date, i realizarea unor analize care au doar o legatur indirect cu evaluarea. n Quality of life in Romania si in Politica Sociala. Studii 1990-2004, aprute n 2004 la editura Expert, Ioan Marginean identific anumii indicatori sociali utili ntr-o evaluare, fr a face referire la mixtura de modele de evaluare utilizate. Actualmente, n Romnia, nu exist publicaii sau cercetri care abordeaz direct problema modelelor care pot fi utilizate pentru evaluarea programelor, cu att mai puin pentru evaluarea unor programe sau proiecte finanate parial sau integral din bani publici.

Tendina pe plan internaional este de a utiliza concomitent mai multe modele de evaluare atent alese i adaptate. Studiile i rapoartele de evaluare trebuie s rspund din ce n ce mai mult att unor ntrebri privind procesul, ct i unor ntrebri privind rezultatele; intereseaz n acelai timp efectele economice i cele de impact social. Mai ales n cazul proiectelor finanate din bani publici, tendina este de a utiliza modelele de evaluare care se concentreaz pe rezultate ct i modele de evaluare care au la baz perspectiva beneficiarilor direci ai proiectelor (cetenii). Pentru aceasta, este necesar utilizarea

74

unor modele de evaluare orientate att pe rezultate ct i pe actorii implicai n program. Acestea sunt modele complexe, obinute prin selecia, analiza i sinteza unor modele simple de evaluare.

75

Capitolul 6. Impactul social al programelor -stadiul actual al cunoaterii Actualmente, stadiul cunoaterii n domeniul evalurii impactului social, pe plan internaional, este extrem de avansat, n pofida timpului relativ scurt (35 de ani) trecut de la apariia primelor abordri sistematice. Contribuiile eseniale vin dinspre cercetarea academic (care colaboreaz strns cu practicanii din administraiile locale i centrale din numeroase state), dinspre sectorul non -profit i din cel privat (care finanteaz diverse intervenii cu impact asupra indivizilor, grupurilor, comunitailor i societailor), i dinspre organizaii internaionale, care, la rndul lor, implementeaz o serie de programe si proiecte n numeroase state i comunitai (Comisia Uniunii Europene, Banca European pentru Reconstrucie si Dezvoltare, Banca Mondial, Fondul Monetar Internaional, OECD, USAID etc.). Definirea impactului social Impactul social al unui program are trei accepiuni: efectele pe termen lung pe care programul le produce, efectele nete ale unui program i efectele unui program asupra unor grupuri de indivizi (beneficiari, actori implicai). Aspecte tehnice n privina aspectelor tehnice, a metodologiei utilizate, exist un anumit consens. Evaluarea impactului social are la baz utilizarea metodelor clasice de cercetare sociologic, att cantitative(statistice), ct i calitative (observaia, interviul, studiile de caz etc). Pentru impactul social s-a dezvoltat o metodologie variat, n funcie de contextul socio-economic, cultural i organizaional n funcie de natura interveniei, de variabilele care prezint interes, n funcie de bugetul disponibil, de capacitatea de cercetare i de o serie de ali factori. Sintetiznd cele mai recente apariii n domeniu, n materie de design al evalurilor de proiecte i programe facem distincia ntre principalele dou tipuri de design ale evalurii: experimental i quasi-experimental. Rossi, Freeman i Lipsey prezint un catalog al categoriilor de design al analizelor de impact organizat n funcie de strategiile de selecie a grupurilor experimentale i de control, specificitatea interveniei i strategiile utilizate pentru colectarea datelor (Rossi, Freeman , Lypsey, 1999: 261).

76

6.1 Principii ale impactului social Principiile studiilor de evaluare a impactului social sunt aceleai cu principiile evalurii de programe n general. Pentru a fi valid din punct de vedere tiinific, evaluarea trebuie s fie imparial, independent, credibil, s asigure participarea tuturor actorilor implicai, s fie util, i s fie prezentat ntr-o manier accesibil. Imparialitatea i independena se refer la calitatea unei evaluri de a nu reprezenta prtinitor anumite interese. Procesul de evaluare ar trebui s fie independent i de managementul programului. Este destul de dificil pentru cineva implicat n designul i implementarea unui program s sesizeze eventualele erori. O opinie din exterior poate fi mai obiectiv. Prin urmare, imparialitatea i independena pot fi asigurate prin separarea procesului de evaluare i a unitii responsabile de realizarea acestuia de restul echipei de proiect. Aceasta nu nseamn lipsa oricrei comunicri. Pentru c, att n faza de design, ct i n etapele de implementare implicarea evaluatorilor este esenial. Ei trebuie s adune date i s le analizeze n diferitele momente de pe parcursul unui proiect. Important este ca evaluatorii s nu fie i cei care implementeaz proiectul sau programul respectiv. Aceasta nu presupune faptul c evaluatorii externi sunt preferati celor interni. Capacitatea intern de evaluare ste binevenit i nu contrazice acest principiu. Evaluatorii din interiorul unei instituii pot aprecia uneori cu mai mult pertinen un anumit program, dect evaluatorii externi. Doar c este important s nu fie implicat aceeai persoan att n managementul programului, ct i n evaluarea lui. Ct despre sistemul de evaluare pentru administraia public, acest principiu ar putea fi respectat dac ar exista o unitate central de evaluare care s fie responsabil cu raportarea rezultatelor evalurii ministerului care coordoneaz programul, direct ministrului sau unui comitet director din ministerul respectiv. Instituiile administratiei publice responsabile cu implementarea anumitor proiecte ar putea raporta rezultatele evalurii unitii centrale de evaluare de unde ar ajunge direct la un nivel suficient de nalt pentru a sta la baza anumitor decizii.

77

Credibilitatea este asigurat pe de o parte prin respectarea principiilor descrise anterior (impartialitate i independen). ns, pentru a fi credibil o evaluare trebuie s respecte o anumit metodologie prezentat explicit tuturor prilor implicate. Mai mult, credibilitatea este dat de acurateea datelor colectate i a procesului de analiz aacestor date. Raportul unei evaluri credibile trebuie s evidenieze att aspectele pozitive ale derulrii programului (care trebuie ncurajate), ct i aspectele negative (care necesit msuri de mbuntire). Pentru a avea un raport credibil, trebuie implicai evaluatori specializai, recunoscui n domeniile de expertiz necesare pentru analiza proiectului. Pentru evaluarea unui proiect sau program educaional vom avea nevoie n echipa de evaluare de experi n domeniul educaional. Pentru evaluarea unui program de sntate public vom avea vevoie de experi n sntate public, .a.m.d. Alturi de aceti experi pe anumite domenii echipa de evaluare trebuie s cuprind i experi n colectarea i analiza datelor. Acetia vor aduce un plus de credibilitate prin efectuarea unor cercetri pertinente din punct de vedere metodologic. Participarea tuturor actorilor implicai reprezint un principiu al evalurii n sensul necesitii de a fi luate n considerare, n timpul procesului de evaluare, perspectivele tuturor actorilor implicai n desfurarea unui program. Perspectivele multiple reprezint, alturi de un plus informaional, un plus de autenticitate. Nu este vorba de implicarea tuturor actorilor n realizarea evalurii, ci doar ca input informaional. Utilitatea evalurii i prezentarea sa ntr-o manier accesibil sunt principii ale evalurii strns legate ntre ele. Dac nu este prezentat ntr-o manier accesibil, evaluarea are puine anse de a fi util. Iar utilitatea presupune, n cazul unei evaluri, msura n care recomandrile fcute n urma procesului de evaluare pot fundamenta decizii care duc la mbuntirea managementului programului. Prezentarea ntr-o manier accesibil a datelor rezultate n urma evalurii este o condiie sine qua non a utilizrii respectivei evaluri. n funcie de utilizatorii evalurii, trebuie ales un anumit tip de limbaj, iar prezentarea datelor trebuie s in cont de cunotinele metodologice ale utilizatorilor respectivului studiu.

78

6.2 Cercetarea academic Cercetarea academic are un aport rezonant la stadiul actual al cunoaterii EIS prin cercettori precum Christopher Barrow, Frank Vanclay, Hank Becker, Rabel J. Burdge, Allan Dale, Nicholas Taylor, Marcus Lane, Bryan Hobson i Colin G. Goodrich, alturi de muli alii. Acetia promoveaz studiul impactului social la nivel teoretic i practic prin publicaii de specialitate, prin Asociatia International a Evaluarii Impactului( IAIA-International Association for Impact Assessment), iar n cadrul acesteia prin numeroase activiti precum organizarea de cursuri, seminarii, conferine, liste de discutii, prin editarea unor publicaii de specialitate i prin actualizarea permanent a paginii web de profil: www.iaia.org .O trsatur distinct a contributiilor recente este accentul pus pe aplicabilitatea practic a informaiilor propuse. De aceea, o bun parte a publicaiilor nou aprute se concentreaz pe definiii, justificare i propun metodologii care, urmate pas cu pas, duc la realizarea studiilor de evaluare a impactului social.Un recent exemplu n acest sens este cartea lui Christopher Barrow Social Impact Assessment: An Introduction (Evaluarea Impactului Social: O Introducere(tr.n.), publicat n 2004, la Oxford University Press. Barrow prezint EIS ca fiind orientate cu predilecie spre obiective practice i avnd cel puin unul dintre urmatoarele scopuri: s ofere informaii despre schimbrile normelor, credinelor, percepiilor, valorilor i efectele lor, s anticipeze posibilele impacturi ale interveniilor sau schimbrilor de orice tip, fie ele negative sau pozitive, s sugereze dezvoltarile alternative care trebuie evitate. Pe scurt, trebuie s reduc sau s contracareze problemele i sa maximizeze beneficiile (Barrow, 2003: 3). Un alt exemplu, este contribuia lui Rabel J. Burdge, A Community Guide to Social Impact Assessment, Editia a 3-a, 2004. Ghidul este un instrument pentru practicienii de la toate nivelele - cercettori n stiintele sociale, angajai ai ageniilor statale, lideri comunitari, voluntari - pentru realizarea evaluarilor impactului social. Publicaia se adreseaz chiar i celor fr o pregtire consistent n domeniul tiintelor sociale. Burge organizeaz informaia astfel: n prima parte a lucrrii ofer informaii de fond, o scurt istorie a studiilor de impact social, un model conceptual i metode de colectare a datelor pentru msurarea variabilelor EIS. A doua parte se refer la cinci categorii de variabile EIS - schimbrile la nivel de populaie, organizarea comunitar i

79

instituional, comunitai n tranziie, impactul asupra individului i a familiei, i nevoile comunitaii vis--vis de infrastructur. n ultima parte, Rabel J. Burge ofer un ghid de lucru n care face un rezumat al variabilelor EIS i a modalitatilor n care datele obinute pot fi utilizate n procesul de mbunataire a respectivelor programe/proiecte (Burge, 2004). Tot n 2004, Rabel Burdge public The Concepts, Process and Methods of Social Impact Assessment, care vine n completarea ghidului descris mai sus. Aceast carte urmrete dezvoltarea conceptului EIS, descrie procesele i metodele EIS, prezint studii de caz recent realizate, descrie legatura dintre EIS i participarea public, i spre final, prezint EIS n context internaional. Aici se nscrie i Frank Vanclay care mpreun cu ali autori din IAIA public n 2003 International Principles for Social Impact Assessment. Azi, obiectivele Studiilor de Impact Social sunt de a asigura ca dezvoltarile sau interveniile planificate care au loc, maximizeaz beneficiile i minimizeaz costurile respectivelor dezvoltari, n special costurile suportate de comunitate (Vanclay, 2003: 1). El se refer n mod deosebit la externaliti, costuri care, de regul, nu sunt apreciate adecvat. Cei care iau deciziile, autoritaile i cei care promoveaz dezvoltarea nu le iau n calcul, parial pentru ca sunt greu cuantificabile i identificabile (Vanclay, 2003: 10-25). C. Nicholas Taylor, C. Hobson Bryan i Colin G. Goodrich public n 2004 Social Assessment: Theory, Process and Techniques. Noutatea pe care o aduc cei trei autori const n abordarea EIS la nivel strategic Aplicarea impactului social la nivel strategic are loc n cadrul procesului de dezvoltare i implementare a programelor i politicilor. Autorii, practicieni cu experien n EIS, susin numeroase cursuri i seminarii de specializare pentru organizaii naionale i internaionale, publice, private i non-profit. i de aceasta data avem de a face cu un ghid care explic etapele realizrii EIS (Taylor, Nicholas, Hobson, Goodrich: 2004). Chiar dac provin dintr-o varietate de surse, direcii si experiene, lucrrile aprute au urmtoarea structur tipic: 1.Aprecieri istorice 2.Definiii ale evalurii impactului social i consideraii terminologice 3.Descrierea tehnicilor i metodelor existente 4.Dezvoltarea unor noi instrumente

80

5.Descrierea procesului de aplicare a instrumentului 6.Identificarea metodelor de a integra EIS n activitaile de planificare i luare a deciziei. Desigur, fiecare dintre autori accentueaz cu predilecie anumite aspecte. Semnificativ este faptul c, n ciuda acestor diferente de coninut, similaritatea definiiilor, instrumentelor i a pailor metodologici propui este surprinztor de mare. Consistena denot un acord in privina nevoilor i metodelor, ns i un fenomen de repetitivitate i generalizare care impune o nevoie accentuat de a contextualiza metodologia n funcie de coordonate precum: locaia geografic, evolutia istoric, tipul de cultur, etc. Repetitivitatea se explic n parte prin faptul c acest instrument de evaluare a fost utilizat, preponderent, de ctre entitai aparinnd statelor dezvoltate, cu un anumit tip de cultur, cu o tradiie democratic ndelungat, cu o structura organizaional i instituional stabil i clar definit. Trile n curs de dezvoltare, aflate n tranziie spre un regim democratic, cu o dinamic accentuat a organizarii instituionale, din care face parte i Romnia, sau cele mai puin dezvoltate, care au un regim totalitar, i o organizare rudimentara a instituiilor i organizaiilor, nu au beneficiat dect precar de propria infrastructura de cercetare n domeniul analizei impactului social. Singurele cercetari de aceast natur au fost realizate aici de ctre instituii sau organizaii internaionale, iar interesul national nu a fost ntotdeauna apreciat. Vanclay admite faptul c exist o diferen semnificativ ntre evaluarea impactului social n medii diferite din perspective gradului de dezvoltare. De asemenea Vanclay afirm c pentru trile mai puin dezvoltate exist puin metodologie pentru studiile de impact (Vanclay, 2003: 10). Astfel se explic, cel putin parial, respectiva repetitivitate a literaturii n domeniu pe plan internaional i, n acelai timp, precaritatea literaturii romnesti de profil. 6.3 Organizaiile internaionale Banca Mondial utilizeaz la scar larg EIS. Cu un ntreg departament pus n slujba evaluarii impactului social, Banca Mondial (BM) realizeaz astfel de studii pentru fiecare dintre proiectele pe care le finanteaz. Expertii BM analizeaz impactul social dup metodologii clar specificate. Pe site-ul BM (www.worldbank.org) apar actualmente 134 documente care pot fi accesate i care contin elemente de calcul al impactului social. Pe site sunt fcute publice metodologia utilizat, colectii de date i sursele acestora i,

81

selective, anumite studii de impact organizate dup tipul de impact i dup tara n care au fost realizate. Atrag atenia numeroase studii de impact social, datorit diversitatii metodelor aplicate, a proiectelor investigate. Sunt prezentate o serie de manuale care explic metodologia i procesele presupuse de un studio de impact. Printre cele mai recente este i cea a lui Judy Baker: Evaluating the Impact of Development Projects on Poverty: A Handbook for Practitioners, Directions in Development, World Bank, Washington, D.C aparut n anul 2000. n Sourcebook for Poverty Reduction Strategies, World Bank, Washington D.C., apare n acelasi an Monitoring and Evaluation. realizat de Prennushi, G., G. Rubio, i K. Subbarao . Trebuie menionat i impresionant serie de articole semnate de experi ai BM printre care James J. Heckman, Jeffrey A. Smith, Nancy Clements, Christopher Taber Grossman, Jean Baldwin Karen Fulbright-Anderson, Anne C. Kubisch si James P. Connell alturi de numeroi alii. Nota distinctiv const n faptul c totalitatea studiilor sunt realizate pe proiecte finanate de BM centrate pe combaterea srciei. Prin urmare un accent mai mare este pus pe aspectul economic al impactului social. Este firesc, avnd n vedere c misiunea asumat de BM este reducerea srciei. Nu exist o deosebire major ntre instrumentele propuse de BM i cele realizate de comunitatea academic. Aria extins de actiune din punct de vedere geo-politic i cultural i pune amprenta pe metodologia utilizat de BM. Recent, Comisia UE a propus o list orientativ de indicatori care ar trebui urmrii n analizele de impact. Printre acestia se regsesc:coeziunea social (integrarea social, dimensiunile srciei sau ale srciei extreme,riscul srciei i al excluziunii sociale, coeziunea social geografic, somajul de lung durat, accesibilitatea serviciilor de interes general), calitatea angajrii (sigurana profesional, drepturile muncitorilor, organizarea pieei muncii, echilibrul ntre viaa personal i cea profesional, oportunitaile de angajare i integrare prin angajare, etc.) protecia social i serviciile sociale(nivelul protecteciei, accesibilitate,etc) interesele consumatorului, educaie,capital social, viaa comunitar, drepturile fundamentale ale omului, etc. De asemenea, pe site-ul Comisiei se regseste i un manual de implementare a studiilor de impact (www.evalsed.info). Acesta explic pas cu pas procedura care trebuie utilizat pentru un

82

studiu de impact n cadrul UE. Totui el trebuie particularizat pentru fiecare tar n parte, i nu este oportun a fi aplicat ca atare. 6.4 Organizaiile non-profit Organizaiile non-profit, mai ales cele care ofer granturi sunt de regul interesate n EIS. Principalii finanatori i-au dezvoltat propriul arsenal de instrumente pentru EIS. Astfel, Fundaia Ford, USAID, Rockefeler etc. au publicat pe paginile web propriile instrumente de evaluare a impactului social, nsoite de numeroase studii de caz. Unul dintre scopurile acestora este desigur afirmarea legitimitaii aciunilor pe care le ntreprind. De remarcat ns, c studiile de impact respect metodologia propus de cercetarea academic i utilizat i de organizaiile internaionale. Desigur, metodele i tehnicile de cercetare n tiinele sociale nu trebuie reinventate. Aplicarea lor este ns dirijat de interesele celor care le finanteaz i de profilul cultural al cercettorilor au conceput instrumentul i care realizeaz efectiv studiul . n International Handbook for Social Impact Assessment Vanclay i colaboratorii si sesizeaz acest neajuns i ncearc sa creeze un instrument aplicabil pretutindeni. Aceasta ns este o misiune practic imposibil, fiind condamnat s rmn la un grad de generalitate i abstractizare prea ridicat (Vanclay, 2003: 388). Actualmente, nu exist o metodologie a studiilor de impact social adaptat specificului societii romneti.

6.5 Diferena dintre EIS i alte tipuri de evaluare i analiz EIS este metoda de msurare a consecinelor sociale ale diverselor proiecte, aciuni i politici. Dac n opinia lui Howard i Rossi analiza de impact presupune cuantificarea efectelor nete ale unei aciuni, evaluarea impactului social nu este altceva dect estimarea efectelor nete ale aciunilor, proiectelor, politicilor i alternativelor acestora asupra calitii vieii oamenilor (Rossi, Freeman, Lypsey, 1999: 261). Scopul i logica EIS se suprapun n linii mari cu elementele analizei impactului asupra mediului nconjurtor: determinarea condiiilor sociale n diverse

83

domenii sau n cadrul unor populaii care pot fi afectate de respectivele proiecte sau programe. Un alt scop este anticiparea unor efecte sociale viitoare ale prezentului status quo i estimarea efectelor sociale rezultate la nivel local, regional i national, precum i descrierea alternativelor ce pot fi luate n calcul. ntrebrile de baz la care trebuie s rspund o EIS sunt: 1. Cine va fi afectat? 2. Ce se va ntmpla cu indivizii afectai? 3. Care sunt schimbrile sociale implicate de fiecare alternativ propus? 4. Cum vor afecta schimbrile respective dinamica structurii sociale? 6.6 Diferena ntre evaluarea impactului social i evaluarea impactului economic Impactul social e adesea n mod eronat confundat cu impactul economic. Dei au anumite puncte comune, cele dou tipuri de analiz nu se suprapun. Desigur, economia este considerat a fi o disciplin socio-uman, iar analiza economic are un instrumentar uneori comun cu tiintele socio-umane. Aceasta nu presupune ns limitarea sferei impactului social la impactul economic. Analiza impactului economic se refer cu precdere la msura n care investiiile de capital i alte resurse sunt transformate n beneficii prezente i viitoare pentru societate. Un exemplu ar fi analiza msurii n care beneficiile economice ale unui proiect sau ale unei politici depesc costurile. Evaluarea impactului economic mai face referire la furnizarea de resurse, la preuri, locuri de munc, cerere i ofert, etc. Cele dou tipuri de analiz difer substanial n privina perspectivei de abordare a obiectului cercetrii, a ntrebrilor fundamentale i a metodelor de investigaie. Prin urmare, aceleai date pot fi analizate i interpretate diferit din punct de vedere economic i din punctul de vedere al impactului social. Spre exemplu, n timp ce impactul economic al unui proiect de nfiinare a unei prtii de schi nseamn o cretere a locurilor de munc, a comertului local i a impozitelor datorate la stat, aceleai date, supuse analizei impactului social vor indica schimbri la nivelul comunitii, datorate schimbrii tipului de angajare a indivizilor (multe locuri de munc sunt

84

sezoniere), scad ansele ca un individ s gseasc un loc de munca permanent i apare efectul subocuprii forei de munc. 6.7 Tendine Tendina pe plan internaional este de a asocia EIS cu dezvoltarea durabil. Vanclay leag evaluarea impactului social cu problematica dezvoltrii durabile. n acest sens, definete EIS ca filosofia despre dezvoltare i democraie (care vizeaz) patologiile dezvoltrii(e.g. impacturile duntoare), scopurile dezvoltrii( ca diminuarea srciei), i procesele dezvoltrii( e.g. participarea, crearea de capacitate)( (Rossi, Freeman, Lypsey, 1999: 389). Studiile Bncii Mondiale confirm aceast tendint. n contextul dezvoltrii durabile, impactul social este corelat cu impactul economic i cu cel asupra mediului. Cele trei tipuri de impact sunt considerate a constitui evaluarea integrat a impactului, a crei natur variaz n funcie de tipul interveniei, scopul acesteia i raportul costeficien a ntregului pachet de studii de impact.

85

Capitolul 7. Metodologia de evaluare a impactului social Evaluarea impactului social (EIS) ncepe de obicei cu un proces de analiz a contextului n care este implementat proiectul, n timpul cruia sunt identificate problemele status quo-ului i sunt descrise toate alternativele posibile. Procesul de evaluare a impactului social continu cu analiza factorului social al status quo-ului (problema de baz) i estimarea schimbrii sociale induse de fiecare alternativ a acesteia. Procesul EIS se ncheie cnd analistul redacteaz impactului social n derularea proiectelor i/sau activitilor. 7.1 Modele de evaluare a impactului social - Etape specifice Exist numeroase abordri privind etapele tipice ale unei EIS. Mai ales cnd este vorba despre aciuni sau proiecte de dimensiuni mici relativ simple, n cazul n care EIS este necesar, aceasta poate fi realizat relativ rapid. Va avea la baz documentele existente i sursele de date uor de accesat ale instituiilor publice, ale librriilor, ale internetului i consultri concise cu prile implicate n proiect. Cu ct proiectul i efectele sale sunt mai complexe cu att EIS va fi mai complex. Evaluarea impactului social presupune utilizarea metodelor clasice de cercetare sociologic, att cantitative (statistice), ct i calitative (observaia, interviul, studiile de caz etc). Fiecare EIS implic cercetarea contextului : dimensiunile comunitii, grupul de beneficiari direci i indireci, dimensiunile sociale, educaionale, economice i etnice, valori i nevoi. Consultarea unor experi este de obicei necesar. Interaciunea cu comunitile i grupurile afectate este esenial din moment ce aspectele sociale i culturale ale contextului, valorile indivizilor sunt intrinsec legate de acestia. Exist multiple metode prin care aceast interaciune este realizabil, prin care se pot studia caracteristicile grupurilor, comunitilor, societilor. De la observaia participativ (in care analistul trieste n comunitate pentru a afla cum functioneaz aceasta) pna la interviuri de grup, individuale i sondaje de opinie. Alegerea metodelor se va face n funcie de timpul i resursele financiare disponibile, n funcie de tipul comunitaii i n raportul de evaluare a impactului, iar cei care au prerogativele necesare integreaz rezultatele evalurii

86

funcie de opinia experilor vis-a-vis de problemele sociale i nevoile respectivei comuniti. Chiar dac fiecare proiect este diferit i fiecare EIS este unic, n majoritatea cazurilor sunt recunoscui anumii pai standard ai analizei pentru ca aceasta sa-i ating scopul. Majoritatea surselor propun ntr-o form sau alta urmtorii opt pai7: 1. Identificarea nevoilor i a problemelor sociale 2. Identificarea participanilor i beneficiarilor 3. Identificarea i descrierea alternativelor de aciune Alternativele sunt concepute pe baza scopului i a nevoii de aciune. Analistul EIS trebuie s determine alternativele i s adune datele necesare pentru fiecare dintre acestea. Urmatoarele informaii de baza sunt necesare de regul pentru identificarea fiecrei alternative: Locaia Legile i regulamentele sub incidena crora cade proiectul Nevoile de infrastructur Orarul de implementare Dimensiunile forei de munc necesare Dimensiunea i natura facilitilor (dac este cazul) Nevoia de fort de munca local Resurse instituionale

4. Definirea condiiilor iniiale Ulterior stabilirii metodelor de interaciune cu grupurile afectate i obinerii datelor de baz pentru fiecare alternativ, analistul urmeaz s defineasc condiiile existente n fiecare dintre domeniile potenial afectate. ntr-un cuvnt este necesar analiza contextului social. Analistul va cuta raspunsul la urmatoarele ntrebri:
7

Ce grupuri de indivizi vor fi afectate? Sunt acestea concentrate sau dispersate? Cum se raporteaza fiecare grup la mediul su de viaa?

Validai i de ctre Banca Mondial

87

Care este contextul istoric al fiecarui grup? Ce tip de valori culturale i ce atitudini caracterizeaz fiecare grup? Care sunt caracteristicile demografice i economice relevante? Exist acces la utiliti? Educaie? Transport? Exist modele stabile de imigrare i emigrare?

Desigur, acestea sunt informaiile minime necesare. Ele pot fi adunate din documentele publice, din cercetrile anterioare publicate, prin consultarea experilor i a comunitaii. Pentru un proiect mai complex sunt necesare cercetri suplimentare. 5. Msurarea impactul direct al proiectului sau programului prin analiza datelor obinute cu ajutorul sistemului de monitorizare. Ce se ntmpl ns cnd nu exist un sistem de monitorizare? La aceast problem ncercm s identificm o soluie n modelul de evaluare a impactului pe care l propunem, adaptat la contextul instituional romnesc. 6. Aprecierea impactului indirect i cumulativ al proiectului Acesta nu este vzut ca un pas n procesul analitic ci mai degrab ca un aspect al mai multor pai. De cele mai multe ori impactul social nu este direct. Acesta poate deveni evident la mult timp dup ce implementarea proiectului i a aciunilor presupuse de acesta este finalizat. De asemenea este posibil ca impactul sa fie resimit n domenii i locaii fr legatur direct cu proiectul.

7. Recomandarea unor alternative de aciune Odat cu identificarea unui impact negativ semnificativ trebuie propuse alternative care ar putea ameliora problemele. Printr-o colaborare strns cu coordonatorii proiectului i cu grupurile implicate trebuie vzut dac aceste alternative pot fi puse n practic. nainte de aceasta, trebuie ns analizat impactul social al acestor alternative.

8. Dezvoltarea unui plan de contracarare a efectelor nedorite Efectele sociale nedorite pot fi contracarate cu ajutorul cooordonatorilor de proiect i prin implicare grupurilor afectate. n acelai timp trebuie dezvoltate programe de 88

monitorizare care s asigure punerea n practic a planurilor de contracarare a efectelor nedorite. Obinerea i utilizarea informaiei care duce n ultim instan la nelegerea impactului interveniei necesit un design metodologic care se pliaz pe tipul de impact investigat. Aceasta presupune n primul rnd formularea atent a ntrebrilor de identificare a proiectului a crui impact urmeaz a fi cercetat. Ulterior, e necesar definirea problemelor cheie, specificarea semnificatiei diferitelor tipuri de impact i identificarea cazurilor n care impactul social nu poate fi msurat. Aceste operaii sunt urmate de: identificarea metodelor i tehnicilor de colectare a datelor, obinerea datelor necesare, analiza preliminar a acestora i integrarea rezultatelor studiului de impact n intervenie. 7.2 Un nou model de evaluare adaptat realitilor romneti n urma studiului aplicabilitii mai multor metode n contextul instituional public romnesc, propunem urmtorul model pentru evaluarea impactului unui program mai ales atunci cnd nu ne putem baza pe beenficiile unui sistem de monitorizare i cn nu putem aplica metode experimentale. Modelul de evaluare propus cuprinde zece etape: 1. Prezentarea programului/proiectului n administraia public romneasc nu s-a realizat nc trecerea la un sistem de bugetare pe baz de proiecte i programe. De aceea exist numetoase activiti ale instituiilor publice care nu au fost concepute sub forma unor proiecte sau programe, ns funcioneaz astfel i ar putea fi evaluate i monitorizate. Acestea sunt proiecte nestandardizate, (nu au prcizate clar obiectivele, activittile calendarul) pentru a cror evaluare este necesar standardizarea activitilor unei instituii i transformarea lor n proiecte. Aceasta poate fi realizat prin completarea unei Fie a proiectului. Standardizarea activitilor Standardizarea activitilor unei instituii este necesar ori de cte ori dorim s le transformm n programe sau proiecte pentru a le evalua i monitoriza, sau pentru a 89

atrage resurse financiare suplimentare. Standardizarea activitilor este un prim pas necesar pentru a trece la sistemul de bugetare pe baz de programe. Procesul de standardizare se realizeaz prin completarea unei fie a proiectului. Fia proiectului (ANEXA 2) trebuie s conin elemente privind contextul programului: un scurt istoric al programului (detalii despre origine, iniiator), sumarul activitilor i al metodelor de furnizare/asigurare a serviciului, informaii despre programe similare organizate/realizate de ctre alte instituii/organizaii, precum i detalii privind unicitatea programului. Un alt element al fiei programului este structura organizaional (organigrama, distribuia responsabilitilor), documentele programului, din care trebuie extrase informaii referitoare la: scopul i obiectivele programului, strategiile pentru atingerea scopurilor i obiectivelor programului cu planurile de implementare, rezultate pe termen scurt, mediu i lung, lista indicatorilor de performan, rezultatele monitorizrilor anterioare, etc. Din fia programului, nu trebuie s lipseasc descrierea activitilor programului unde vor fi incluse elemente referitoare la denumirea i catalogarea tuturor activitilor aferente proiectului, locaia activitilor, calendarul iniial al activitilor i eventualele modificri i stadiul actual de desfurare a activitilor. Se vor meniona toate informaiile disponibile legate de actorii implicai, de resursele angajate, de rezultatele ateptate i de cele efectiv realizate, precum i de colaboratori, evaluatori interni i externi, metode de marketing i publicitate (acolo unde este cazul). Orice fi de evaluare este indicat s cuprind un capitol de observaii i notificri suplimentare. Fia proiectului trebuie completat prin interviuri repetate cu prile implicate. Iniiatorii programului pot furniza informaiile referitoare la contextul programului. Detaliile organizatorice vor fi furnizate de cei care implementeaz programul. Ei vor fi i cei care pot da informaii n legtur cu documentele programului, i chiar pot pune aceste documente la ndemna evaluatorului. Documentele unui program se pot referi la: cererea de nfiinare a programului i/sau aplicaia pentru finanare, contractele care s-au semnat pentru acordarea finanrilor, pentru contractarea i subcontractarea unor activiti, instrumentele metodologice utilizate n vederea implementrii, rapoartele i planurile anuale de activiti, bugetul i execuia bugetului precum i alte evaluri realizate anterior.

90

Dup analiza tuturor acestor informaii, avem deja o imagine de ansamblu asupra programului i suntem pregtii s trecem la designul evalurii. Categoriile pe care le propunem nu sunt fixe. n funcie de specificitatea programului investigat, de tipul i de scopul evalurii, aceste categorii de informaii pot fi modificate, detaliate sau anulate.

2. Precizarea obiectivelor studiului de evaluare a impactului social n aceast etap este prezentat att scopul, ct i obiectivele evalurii impactului social. Uneori, cuantificarea impactului net al unui program nu poate fi realizat, cel mai adesea datorit lipsei unor sisteme de monitorizare. Totui, n aceste situaii putem msura anumite aspecte ale impactului, cum ar fi: efectele programului percepute de ctre un grup de persoane, actori implicai in desfurarea programului. Este necesar prezentarea perspectivei din care este evaluat impactul social (perspectiva beneficiarilor, perspectiva tuturor actorilor implicai, perspectiva finanatorului, a implementatorului, etc.). Tot aici trebuie precizat dac se dorete o cuantificare a impactului direct i indirect, a celui pozitiv i negativ sau a altor tipuri specifice de impact. Prin aceste precizri se realizeaz o delimitare a sferei investigaiei. 3. Concluzii ale unor evaluri anterioare n cazul n care s-au realizat anumite evaluri anterioare, este necesar precizarea sintetic a concluziilor acestora. Este util a fi precizate mai ales punctele tari i punctele slabe identificate anterior. n categoria evalurilor anterioare pot intra att procesele de acreditare, ct i evalurile i autoevalurile realizate pe parcursul programului sau proiectului. 4. Construcia unui sistem de indicatori i indici pentru msurarea impactului social Sistemul de indicatori i indici poate fi construit prin procesul operaionalizare a conceptelor fundamentale. Aceasta este o procedur specific metodologiei de cercetare secifice tiinlor socio-umane. Primul pas este transformarea conceptelor n variabile. Variabilele obinute reprezint indicatorii viitorului sistem de

91

monitorizare i evaluare. Pe baza lor pot fi fcute anumite calcule i pot fi obinui indici care s exprime, condensat, diferite tendine. Tot n aceast etap trebuie stabilit tipul indicatorilor (de impact, de impact net, de eficien, eficacitate, performan, etc.). 5. Selectarea i aplicarea metodelor de cercetare utilizate n evaluarea impactului social al programului Din arsenalul metodologic al cerectrii socio-umane pot fi utilizate n evaluare att metodele cantitative de cercetare, ct i cele calitative. Mai mult, n funcie de tipul programului i de scopul evalurii trebuie utilizate diferite combinaii de metode cantitative i calitative. Prin urmare, este de preferat ncadrarea n paradigma multi-metod. 6. Interpretarea datelor i completarea sistemului de indicatori Interpretarea datelor se face cu ajutorul metodelor statistice i/sau prin interpretarea calitativ a datelor. Scopul acestui proces este completarea i validarea sistemului de indicatori. 7. Aprecierea impactului direct i indirect i/sau pozitiv i negativ Chiar dac este fcut ntr-un mod succint, aprecierea tipului impactului be baza

sistemului de indicatori este absolut necesar.

8. Dezvoltarea unui plan de contracarare a efectelor nedorite Acesta este un proces care este mai degrab legat de managementul intern al instituiei, dar la care evaluarea poate s aduc un in-put semnificativ, venind cu explicaii legate de aspectele care funcioneaz i care nu funcioneaz, care au un impact pozitiv i care au un impact negativ. Totui, planul de contracarare a efectelor negative nu face parte din evaluarea propriu- zis.

9. Redactarea raportului de evaluare Raportul de evaluare reprezint sinteza studiului de evaluare. Nu face nici el parte din evaluarea propriu-zis, ci este un document elaborat pe baza evalurii, destinat segmentului managerial al instituiilor, finanatorilor, celor care trebuie s ia decizii i pe

92

care informaiile rezultate n urma evalurii i-ar putea ajuta. n raportul de evaluare trebuie incluse elemente referitoare la scopul i metodologia evalurii, cu un accent deosebit pe concluziile evalurii i recomandrile rezultate n urma evalurii. 10. Redactarea unui plan de integrare a rezultatelor evalurii impactului social n designul activitilor i programelor viitoare. Redactarea unui plan de integrare a rezultatelor evalurii impactului social n designul activitilor i programelor viitoare reprezint ca i planul de contracarare a efectelor negative i raportul de evaluare, un document suplimentar, adiional evalurii propriu-zise, ns extrem de util pentru creterea performanei activitilor pe viitor. 7.3 Cnd msurm si cnd nu msurm impactul social Impactul social nu este ntotdeauna msurabil. Membrii unei comuniti nu consider necesar ca toate motivele pro i contra unui proiect s fie reduse la valori numerice sau monetare, pentru c pot lua decizii identificnd valoarea relativ i nu cea absolut a proiectelor. Totui, pentru a populariza date legate de nivelul de trai, pentru a face comparaii cu alte intervenii i pentru a identifica implicaii pe care proiectele le au asupra politicilor publice este necesar o cuantificare a datelor. Aceasta nu ns cnd msurarea este att de arbitrar i artificial nct rezultatele produc mai multe ntrebri dect rspunsuri.

7.4 Identificarea variabilelor unui studiu de impact social Variabilele unui studiu de impact social, care devin indicatorii sistemului de monitorizare i evaluare sunt identificate pornind de la conceptele fundamentale specifice proiectelor i programelor, prin procesul de operaionalizare. Variabilele (indicatorii) vizeaz schimbrile msurabile n structura, percepiile i atitudinile populaiilor umane, comunitilor, n relaiile sociale ca urmare a implementrii unui proiect, program, politic public. Construirea unui sistem coerent i consistent de indicatori reprezint condiia de baz pentru realizarea unei evaluri i pentru realizarea unui studiu de impact. Totui, numrul indicatorilor utilizai n evaluare nu trebuie s fie foarte mare. O cantitate prea mare de informaie poate duce la pierderea esenialului. Cercetri care abordeaza probleme ale schimbarii la nivel de comunitate,

93

industrializarea rural, dezvoltare infrastructurii, dezvoltarea resurselor naturale i schimarea social n general, propun urmatoarele variabile (***, Banca Mondial, 1994) pentru identificarea impactului social al unor proiecte sau programe: 1. Caracteristicile populaiei 2. Structurile instituionale 3. Resursele politice i sociale 4. Schimbrile la nivel individual i familial 5. Resursele comunitii Caracteristicile populaiei reprezint structura demografic actual i schimbrile anticipate, diversitatea etnic i rasial, migraia cetenilor cu reziden temporar, precum i situaia rezidenilor sezonieri i dac este cazul, a turitilor. Percepiile, opiniile i atitudinile grupurilor de indivizi constituie o categorie aparte de caracteristici ale populaiei. Structurile instituionale se refer la mrimea, structura i nivelul de organizare a administraiei locale i a legturilor acesteia cu sistemul politic. Ele se refer, de asemenea la modelele de angajare prezente i trecute, la divestitatea industrial, la dimensiunea i nivelul de activitate al organizaiilor non-guvernamentale, religioase, a gupurilor de interes i a modurilor n care acestea cominic i se intercondiioneaz. Resursele sociale i politice se refera la distribuia puterii, a prerogativelor la nivel de comunitate i regiune. Schimbrile la nivel individual i familial se refer la factori care influeneaz viaa cotidian a indivizilor i a familiilor: atitudini, percepii, valori, caracteristici ale familiei i ale grupurilor de prieteni. Aceste schimbri difer de la o atitudine conservatoare la atitudini non-conservatoare de diverse tipuri. Aceste variabile stau la baza construciei indicatorilor, alegerii metodelor i a construciei instrumentelor de colectare a datelor necesare analizelor de impact.

94

Capitolul 8. Designul indicatorilor unui studiu de impact social Indicatorii utilizai n evaluarea programelor n general i n studiile de impact social n special sunt percepui ca un suport pentru monitorizarea atitudinilor grupurilor de oameni, nivelului de trai i a schimbrii sociale. Este din ce n ce mai dificil de fcut distincia ntre schimbrile imprimate de anumite intervenii sociale (programe) i cele cauzate de tendinele socio-economice. n lipsa indicatorilor este imposibil de cuantificat efectul unui program asupra grupului int, iar n lipsa unui sistem de indicatori riguros conceput este imposibil calcularea efectelor nete ale unei intervenii asupra grupurilor, comuniii i a societii. Indicatorii sunt elemente care msoar aspecte considerate eseniale pentru desfurarea unui program. De regul, ei au legtur direct cu obiectivele programului, cu modul de desfurare a activitilor, cu calendarul, resursele,cu grupul int i cu celelealte elemente ale unui program. Un indicator este o informaie identificabil i uor de neles. Cteva exemple de indicatori: numrul beneficiarilor mulumii de un anumit program, numrul locurilor de munc create, numrul de locuinte date n folosin, etc. Un sistem de indicatori se construiete pornind de la identificarea informaiilor necesare pentru stabilirea nivelului de performan al unui program. E preferabil ca un indicator s fie msurat n mod sistematic. Colectarea datelor ar trebui fcut de ctre entiti independente, neimplicate direct n intervenie. Datele provin din numeroase surse, cum ar fi: documentele proiectului/programului (care stau la baza cererii de finanare, teoria programului, etc.), input-uri, calenarul de desfurare al programului, surse secundare (statistici oficiale, rapoarte, cercetri), surse primare (observaii, anchete sociologice, interviuri) etc. Comisia European propune o clasificare complex a indicatorilor (Comisia European, 1995). Dintre criteriile propuse in aceast clasificare, cele mai relevante sunt: 1. Dup informaiile vizate: a. Indicatori de context b. Indicatori ai programului

95

8.1 Indicatori de context Indicatorii de context sunt cei care se refer la elementele care pot influena rezultatele programului, ns nu fac parte din acesta. Spre exemplu, ntr-un program de reinserie profesional, care are ca scop angajarea omerilor n urma unui training professional, un indicator de context este creterea economic. Un alt indicator de context ar putea fi cererea de pe piaa muncii din zona n care se implementeaz programul. Att o cretere economic general, ct i modificri majore n evoluia cererii de pe piaa muncii (e.g. creterea cererii de for de munc prin deschiderea unui supermarket n zon) pot influena numrul de omeri care vor fi angajai. ns, angajarea acestora poate s nu se datoreze att programului din care fac parte, ct modificrilor din context. Indicatorii de context pot avea astfel o influen major asupra rezultatelor programelor i proiectelor. Acestea pot fi alterate masiv sub influene externe programului. De aceea evoluia contextului trebuie, pe ct posibil, analizat, monitorizat i anticipat. 8.2 Indicatorii programului Indicatorii programului sunt cei care ofer informaii despre un anumit program sau proiect, afecteaz rezultatele acestuia i reprezint elemente intrinseci ale programului. Dac ne referim la programul de reinserie profesional dat ca exemplu mai sus, printre indicatorii programului se pot numra: numrul omerilor cuprini n grupul int, gradul de participare a acestora la cursurile oferite, nivelul satisfaciei lor fa de treining-ul urmat etc. Acestea sunt informaii clare, care pot fi colectate n mod sistematic, pe tot parcursul desfurrii programului i care stau la baza sistemului de monitorizare i evaluare. Un alt sistem de clasificare a indicatorilor ine cont de etapele specifice din desfurarea programului. Astfel avem: 1) Indicatori de resurse 2) Indicatori de output 3) Indicatori de rezultat 4) Indicatori de impact 1) Indicatorii de resurse sunt cei prin care se msoar resursele disponibile, gradul de consum al resurselor, n orice moment al programului. Acest tip de indicatori se refer la toate tipurile de resurse: umane, organizaionale, materiale, de timp,

96

etc. Rolul acestora este de a furniza informaii legate de resursele disponibile. n cadrul monitorizrii indicatorii de resurse arat n fiecare moment din viaa proiectului gradul de epuizare a resurselor, iar n cadrul procesului de evaluare, indicatorii de resurse arat n ce msur s-a consumat bugetul, dac acesta a fost depit, care au fost resursele necesare pentru anumite activiti, etc. Exemple de indicatori de resurse: bugetul total al proiectului, numrul persoanelor implicate n implementarea proiectului, numrul instituiilor i organizaiilor implicate, proporia finanrii din fonduri publice, autofinanrii, finanrii din fonduri europene, rata absorbiei resurselor, etc. 2) Indicatorii de output exprim produsele directe ale activitilor unui program. Mai exact, output-ul se refer la tot ceea ce a fost obinut prin consumarea resurselor. Exemple de indicatori de output: numrul de kilometri de strad construit sau reabilitat, numrul de omeri care au beneficiat de training profesional finanat printr-un anumit program. 3) Indicatorii de rezultat se refer la beneficiile imediate care sunt resimite ca urmare a proiectului de ctre beneficiarii direci sau indireci. n acelai timp, indicatorii de rezultat urmresc dac programul i-a ndeplinit obiectivele. Spre exemplu: timpul economisit de ctre utilizatorii unei autostrzi nou-construite, abilitile dobndite de participanii la un curs de recalificare, ndeplinirea unor atribuii de ctre participanii la un anumit program, etc. Rezultatele pot fi cuantificate n momentul n care serviciile sunt furnizate de ctre beneficiari. 4) Indicatorii de impact reprezint consecinele ulterioare ale programului pe termen mediu i lung sau efectele sale asupra unui grup de persoane. Spre exemplu, traficul de pe o autostrad la un an dup ce a fost construit, procentul omerilor angajai la un an dup absolvirea cursului de recalificare. n funcie de principalele criterii de evaluare, indicatorii se mpart n: 1) Indicatori de eficien 2) Indicatori de eficacitate 3) Indicatori de performan 4) Indicatori de relevan

97

5) Indicatori de sustenabilitate 6) Indicatori de impact net 1) Indicatorii de eficien se refer la msura n care rezultatele proiectului au fost atinse cu minimum de resurse. Spre exemplu, suma investit pentru construcia unui kilometru de autostrad ar putea fi un indicator de eficien, ca dealtfel i suma cheltuit de un angajator pentru perfecionarea unui angajat. 2) Indicatorii de eficacitate sunt cei prin care se exprim msura n care prin rezultatele unui proiect au fost ndeplinite obiectivele. Un exemplu ar fi notele obinute la un test de aptitudini profesionale de ctre omerii cuprini ntr-un program de reconversie profesional, note care exprim msura n care omerii au dobndit noi aptitudini (obiectiv al programului). 3) Indicatorii de relevan se construiesc pornind de la evaluarea nevoilor pe care proiectul intenioneaz s le acopere.Un exemplu de indicator de relevan este timpul necesar pentru a parcurge o anumit distan dup construcia unei autostrzi. 4) Indicatorii de sustenabilitate se refer la msura n care programul sau proiectul supravieuiete dup ncheierea finanrii prin care a fost nfiinat. Spre exemplu, perioada de timp, de dup ncheierea finanrii, n care serviciile continu s fie livrate. 5) Indicatorii de impact net cuantific efectele nete ale proiectului asupra grupului int. Un exemplu relevant este numrul omerilor care au fost angajai ca efect direct al unui program de reinserie profesional. Este foarte greu de cuantificat impactul net al unui proiect, pentru c, uneori, este dificil dac nu imposibil de msurat n ce msur rezultatele proiectului sunt afectate de elemente ale contextului socio-economic. n ce msur o cretere economic general este responsabil pentru angajarea unor omeri cuprini n acelai timp intr-un program de reinserie profesional? n ce msur s-au angajat ei datorit programului? Uneori este greu de spus. Alteori este ns posibil, cu ajutorul interviului sau a altor metode de cercetare specifice tiinelor socio-umane.

98

6) Indicatorii de performan se refer la cuantificarea msurii n care proiectul/programul rspunde la ateptrile calitative i cantitative ale beneficiarilor sau ale actorilor implicai.

8.3 Indicatorii sociali Termenul de indicatori sociali cumuleaz mai multe sensuri. El se refer n acelai timp la date statistice din sfera socio-demografic (Mary Bunch, 1995), la indici compui din mai multe variabileprivind diverse aspecte ale interveniilor sociale, dar i la modelele care explic obinerea anumitor efecte sociale pornind de la anumite resurse. Ca domeniu de cercetare modern, indicatorii sociali au aprut n Statele Unite ale Americii n anii 1960. Mai exact originea acestor indicatori a fost identificat n cadrul ageniei spaiale americane, NASA, care ncerca s detecteze, s cuantifice i s anticipeze efectele programelor spaiale asupra societii americane. Acest proiect a sc os la iveal lipsa nu numai a datelor necesare ci i a conceptelor i a metodologiei adecvate. Se presupune c Raymond Bauer, directorul proiectului, care a inventat conceptul de indicatori sociali. n opinia sa, indicatorii sociali sunt statistici, serii statistice, i toate celelalte dovezi care fac posibil evaluarea situaiei prezente i anticiparea situaiei viitoare privind scopurile i valorile umane (Bauer, 1966: 1). Printre predecesorii cercetrii moderne n domeniul indicatorilor sociali se numr W.F. Ogburn 8 i Jan Drenowski9. Heinz-Herbert Noll identific patru etape principale ale dezvoltrii indicatorilor sociali. Prima etap ncepe la mijlocul anilor 1960 i dureaz pn n anii 1970. Trstura principal a acestei perioade este contientizarea necesitii indicatorilor sociali, dezvoltarea programelor, realizarea unor cercetri i studii sociale semnificative.

autor al cunoscutului raport "Recent Social Trends in the United States" care a fost publicat n 1933 de ctre preedintele Comitetului pentru Tendine Sociale, John Hoovers. 9 mpreun cu o comisie de experi ai ONU a ncercat s mbunteasc metodologia de cuantificare a nivelului de trai prin identificarea unor indicatori sociali.

99

Cea de-a doua etap coincide cu anii 70 i const n popularizarea masiv a indicatorilor sociali la nivel internaional. Consecina imediat a fost un val semnificativ de publicaii, acceptarea indicatorilor sociali ca domeniu al cercetrii n tiinele sociale i stabilirea unor sisteme de raportare i monitorizare n numeroase ri. La fel de important este i crearea infrastructurii metodologice de generare a datelor cum ar fi: barometrele de cercetare a calittii vieii, a nivelului de trai, a opiniei publice, etc. A treia etap debuteaz la finalul anilor 70 i continu pn la jumtatea anilor 80. Este o etap n care interesul pentru indicatorii sociali stagneaz sau chiar descrete. Aceasta se observ prin scderea numrului de publicaii n domeniu, prin ntreruperea proiectelor ncepute i nu datorit lipsei fondurilor (caz valabil doar n Statele Unite) ci a scderii interesului10 n domeniu. Au aprut i unele explicaii ale acestui trend: criza economic de la nceputul anilor 1980 care a redirecionat atenia spre problemele economice, schimbrile aprute n climatul politic i n programele de politici sociale, tranziia dinspre liberalism spre ideologia conservatoire, rutinizarea ideilor, a standardelor metodologice i a ariilor de cercetare n tiinele socio-umane, etc. Cea de-a patra etap care a nceput n anii 1980 i contiu pn n prezent reprezint o revitalizare a practicii i a cercetrii n domeniul indicatorilor sociali. Un nou val de cercetri i publicaii la nivel global, noi instrumente metodologice, noi paradigme, noi instituii pentru managementul bazelor de date, pentru monitorizarea indicatorilor sociali la nivel local, regional, naional i internaional, organizarea din ce n ce mai extensiv a activitii guvernamentale pe baz de programe i proiecte, etc.

Scopul general al indicatorilor sociali const n oferirea unor informaii plauzibile, msurabile i verificabile despre situaia prezent a grupurilor de mici sau mari dimensiuni, mbuntirea bazelor de date existete i realizarea de predicii privind starea i comportamentul viitor al grupurilor. Nevoia care a condus la dezvoltarea unor sisteme de indicatori sociali a fost cea de a monitoriza i raporta mai adecvat condiiile i

10

OECD este un exemplu n acest sens.

100

procesele sociale, nevoia de a dezvolta metodele de cuantificare a acestor fenomene i a crete capacitatea de a colecta i nmagazina date (Johnston, 1988). n accepiunea modern a termenului, indicatorii sociali au dou funcii principale: monitorizarea schimbrii sociale i cuantificarea nivelului de trai. Indicatorii sociali sunt astfel date care aduc informaii noi despre structuri i procese, scopuri i realizri, valori i opinii. Indicatorii sociali au reuit nu doar s aduc noi informaii despre condiiile sociale (Innes, 1990). Modelarea efectelor sociale cu ajutorul metodelor multivariate pentru stabilirea relaiilor cauzale s-a ncercat n numeroase domenii: n cel educaional (Rowley, Leckie 1977), n sntate (Wolfson, 1994), cultur (Ekos Research Associates Inc. 1987) i asisten social (Bronfenbrenner, U. 1979). n toate aceste cazuri, modelele au fost construite prin introducerea variabilelor relevante pentru diversele intrvenii ca variabile independente (predictori). Heinz-Herbert Noll se refer la distincia ntre indicatori sociali obiectivi care reprezint fapte sociale independente de opiniile i evalurile personale i indicatori sociali subiectivi care au la baz percepii i evaluri individuale ale condiiilor sociale (Heinz-Herbert Noll, 1996). Distincia ntre indicatorii subiectivi i obiectivi a fost fcut anterior i de ali cercettori. Ea apare, spre exemplu i n Ctlin Zamfir (coord.), Indicatori i surse de variaie a calittii vieii, Editura Academiei, 1984. n prima categorie, cea a indicatorilor sociali obiectivi se nscrie: rata omajului, rata srciei, orele de munc pe sptmn, rata mortalitii perinatale etc. Iar printer indicatorii sociali subiectivi se numr: nivelul satisfaciei fa de condiiile de via, fa de locul de munc, percepia fa de justiie, fa de alte instituii, etc. Knox aduce n prim plan nivelul de analiz i de utilizare a indicatorilor (Knox, 1975). La nivel naional-indicatorii sociali ajut n procesul de stabilire a prioritilor naionale raportate la numrul mare de obiective, la nivelul resurselor i la natura preferinelor . La nivel regional sau local indicatorii sociali ar fi mai potrivii pentru

101

monitorizarea schimbrilor sociale, pentru evaluarea programelor i politicilor de intervenie social. Utilizarea indicatorilor subiectivi sau obiectivi depinde de fenomenul care trebuie cuantificat i de cum este el definit. Lund ca exemplu conceptul de nivel de trai, vom observa c el este cuantificat n mod diferit n Statele Unite fa de rile scandinavice. n Statele Unite ale Americii nivelul de trai este neles din perspective calittii vieii, urmnd tradiia cercetrilor realizate n domeniul sntii mintale de ctre W.I Thomas. Bunstarea subiectiv este cel mai de ncredere etalon de apreciere a nivelului de trai. Prin urmare indicatorii sociali subiectivi vor fi cei preferai. n rile scandinavice, dimpotriv, dup tradiia iniiat de Jan Drenowski i Richard Titmus msurarea nivelului de trai se face exclusive prin indicatori sociali obiectivi. Nivelul de trai este definit ca resursele deinute la nivel individual, cu ajutorul crora o persoan poate s-i controleze i s-i auto-influeneze condiiile de via; iar resursele sunt definite n termini de bani, proprieti, cunotine, energie fizic i psihic, relaii sociale, siguran, etc.( Erikson, Uusitalo, 1987). Una dintre cele mai importante aplicaii ale cercetrilor realizate n domeniul indicatorilor sociali este prezentarea rapoartelor cu date agregate la nivel naional sau regional din care rezult informaii privind structurile i procesele sociale, condiiile i efectele politicilor sociale Astfel de informaii sunt colectate sistematic, continuu de ctre instituii specializate n clolectarea i prelucrarea statistic a datelor. Aceste date permit evaluarea condiiilor de via n diverse ri, monitorizarea eventualelor schimbri i realizarea de comparaii la nivel internaional i regional. n prezent, n Europa, exist foarte puine ri n care nu se realizeaz cercetri sistematice ale nivelului de trai sau ale calitii vieii care au la baz indicatori sociali (Tabelul 23).Cele mai celebre i longevive iniiative de monitorizare i raportare a indicatorilor sociali n mod systematic sunt cea britanic Social Trends, olandez Social and Cultural Report, francez Donns Sociales" (Noll, 1996). Tabelul 23. Rapoarte sociale din anumite ri europene

102

ara Instituia Austria Statistisches Zentralamt Denmark Danmarks Statistics/

Titlul/ raportului

Numele

Prima ediie

Ultima ediie

Periodicitate

Sozialstatistische Daten

1977

2002

4/5 ani

Levevilkar Danmark

1976

2004

4 ani

Socialforskninginstit. Germany Statistisches Bundesamt

1985ff mit Sfb 3; 1992, 1994m. WZB u. ZUMA France Institut Nationale de la Statistique Economique Great Britain et des

Datenreport

1983

2004

2 ani

Donnes Sociales

1973

2005

3 ani

Central Statistical Office

Social Trends

1970

2005

1 an

Hungary Tarki

1990 Social Report english 1992

1990 english 2004 5 ani

Italy Instituto Statistica Netherlands Social and Cultural Nationale di

Sintesi della Vita Sociale Italiana

1990

2005

5 ani

Social and Cultural Report

1974

2004

2 ani

103

Planning Office Norway Statistics Norway Portugal Instituto Estatistica Spain Instituto Estadistica Sweden Statistics Sweden Romnia Institutul de Cercetare a Calittii Vieii
Sursa: adaptare dup Heinz-Herbert Noll, 1996, The International Experience: Social Indicators, cercetare prezentat n cadrul "Symposium on Measuring Well-Being and Social Indicators", Toronto

Sosialt

Utsyn

1974 1993

2003 2003

3/4 4 ani

ani

Leveka i Norge

Nacional

de

Portugal 1985-1990

Social

1992

2004

4 ani

Indicadores Nacional de Sociales Panoramica Social Perspectiv Valfarden pa

1991 1974

2005

3 ani

2001

Fr peridiocitate

Raport anual

1991

2005

1 an

Raportarea datelor adunate pornind de la indicatorii sociali se practic i n afara Europei i a Statelor Unite ale Americii. n continuare sunt prezentate cteva exemple. ncepnd din 1994, Biroul Australian de Statistic public un raport annual sub denumirea de Australian Social Trends . Comisia Economic a Naiunilor Unite a publicat ncepnd din anii 90 cteva rapoarte similare cu numele de "Social Panorama of Latin America", iar Departamentul de studii sociale i de dezvoltare al Universitii din Natal monitorizeaz schimbrile din societatea sud-african elabornd raportul "Indicator South Africa: The Barometer of Social Trends" o dat la trei luni. Agenia guvernamental de planificare economic din Japonia ("Economic Planning Agency") aduce elemente noi n raportarea tendinelor sociale.

104

n 1975, Kenneth C. Land propune trei dintre principalele motive pentru construcia unui sistem de indicatori sociali (Land, 1975). n primul rnd, Land se refer la mbuntirea capacitii de a cuantifica shimbarea social, prin completarea indicatorilor economici cu indicatori socio-demografici. Un al doilea scop identificat este cel de a monitoriza progresul social , atingerea anumitor scopuri stabilite. Land face referire i la un al treilea scop al indicatorilor sociali-cel de a ajuta la evaluarea programelor guvernamentale i de a contribui la stabilirea prioritilor n designul politicilor sociale. Mai recent, problema indicatorilor sociali apare n trebuie s rspund pentru aciunile lor. paradigma reinventrii

guvernmntului (Ekos Research Associates Inc. 1996) potrivit creia, guvernanii

Pentru cuantificarea impactului social al unui program pot fi utilizai indicatorii de orice tip i din orice categorie care dau informaii referitoare la efectele unui program asupra unui grup de indivizi. Un indicator de impact poate fi n acelai timp un indicator de performan, de rezultat sau de eficacitate.

8.4 Efecte perverse ale indicatorilor Uneori indicatorii pot provoca efecte negative, chiar n contradicie cu scopul lor. Principalele efecte nedorite pe care le poate cauza un sistem de indicatori sunt (European Commission, 1995): 1. selectarea cazurilor cu potenial de succes 2. convergena spre medie 3. subordonarea fa de sistemul de indicatori 1.Selectarea cazurilor cu potenial de succes este cazul n care performana unui training pentru reinserie profesional se msoar prin numrul de omeri angajati la finalul programului. Pentru a fi asigurat succesul, sunt selectai doar omeri considerai

105

cu un mare potenial de a fi angajai. Acest efect este nedorit pentru c duce la concentrarea eforturilor asupra persoanelor care ar avea cel mai puin nevoie de ajutor. 2.Convergena spre medie este o alt problem cu care se poate confrunta un sistem de indicatori. Acest efect apare cnd exist tendina de a ncuraja serviciile mai puin performante, n ncercarea de a le ncuraja i a le ntri performana. Ca urmare, o parte din fondurile care, n mod normal, ar alimenta serviciile deja performante sunt redirecionate. n consecin, performana aceastora scade, aceasta n timp ce performana serviciilor anterior neperformante poate avea o tendin cresctoare. Acest efect este nedorit tocmai pentru c existena unui sistem de indicatori nu are ca scop scderea performanei anumitor servicii pentru a ridica performana altora. Scopul sistemului de indicatori este de a conduce spre excelen, i nu spre medie. 3.Subordonarea fa de sistemul de indicatori produce inevitabil efecte adverse n timp. Dup o utilizare ndelungat orice sistem de indicatori produce efecte nedorite. Soluia este revizuirea indicatorilor care produc probleme, analiza lor cu ajutorul unui panel de experi i nicidecum renunarea la msurarea performanei.

8.5 Exemple de indicatori-cheie utilizai n monitorizarea i evaluarea programelor 1. Pentru un program de reconversie profesional, adresat omerilor i avnd ca obiectiv principal organizarea de cursuri de specializare n domeniul construciilor de imobile Tabelul 22. Indicatori pentru un program de reconversie profesional Tipul indicatorilor 1.indicatori de resurse Resurse umane: Angajai temporari n echipa de implementare a proiectului (numr angajai x umr luni de activitate) Numrul institutiilor implicate n acordarea de asisten Exemple de indicatori

106

beneficiarilor Numrul de consultani mobilizai pentru a acorda consultan beneficiarilor Resurse financiare: Rata de absorbie a bugetului (% din fondurile alocate) % din buget destinat msurilor de protectie a mediului % din buget alocat aciunilor de promovare a sectorului de servicii % din buget alocat publicitii proiectului numrul obiectivelor ndeplinite/ % din obiective respectarea calendarului (%) numrul de omeri instruii % din beneficiari care aparin grupurilor prioritare (omeri de lung durat, persoane cu grad redus de colarizare) % din beneficiari provenii din zone dezavantajate Numrul omerilor care au beneficiat de training Numrul de ore de training furnizate Numrul orelor de consiliere furnizate (dac este cazul) Numrul beneficiarilor multumii i foarte mulumiti de training i % din totalul beneficiarilor Utilizarea cunotintelor dobndite Numrul beneficiarilor angajai n firme de construcii de imobile Rata angajrii (%din beneficiari care au reuit s se angajeze n domeniu) la un an dup finalizarea cursului Perspectiva beneficiarilor Servicii finanate prin program: 2. Indicatori Nivelul implementrii: de output

Atragrea i selecia beneficiarilor

3. Indicatori Satisfacia beneficiarilor de rezultat

4. Indicatori Succesul pe termen lung de impact

107

Valoarea adugat ( e.g. venitul beneficiarilor n euro/an/angajat) la un an dup finalizarea cursului.

2. Cazul unui program de construcie a unei autostrzi Tabelul 23. Indicatori pentru un program de construcie a unei autostrzi 2. Indicatori de eficien 3. Indicatori

1.indicatori de eficacitate

Numrul de kilometri construii Vilumul traficului de marf i persoane Creterea vitezei de deplasare Costul unui km de autostrad Costul pentru un beneficiar Gradul de acoperire a nevoilor (%) Costul intreinerii raportat la venitul din taxa perceput pentru tranzit.

de relevan 4. de sustenabilitate 5. Indicatori Creterea costului propriettilor imobiliare din zon Creterea/ dezvoltarea serviciilor Creterea ocuprii forei de munc Creterea polurii (aer, ap, sol) Indicatori

de impact net

8.6 Tendine Pe baza informaiilor existente n literatura de specialitate pot fi identificate cteva tendine de dezvoltare ale sistemelor de indicatori. Acestea se refer n primul rnd la redefinirea conceptelor de dezvoltare socio-economic, de nivel de trai sau de calitate a vieii. O a doua direcie de dezvoltare este reevaluarea i reconstrucia periodic a indicilor compozii i promovarea unor noi indici atunci cnd este necesar (Pronk, Haq,

108

1992). Utilizarea datelor longitudinale i a analizelor dinamice este o alt tendin semnificativ alturi de accentuarea perspectivei comparate asupra indicatorilor (benchmarking social). Apar statistici realizate de ctre organizaii internaionale: Comisia European, OECD, ONU, Banca Mondial etc. care cresc nivelul de responsabilizare a factorilor de decizie n domeniul politicilor sociale.

109

Partea a II-a Evaluarea Programului Educaional de Administraie Public-UBB

110

Capitolul 9: Evaluarea Programului Educaional de Administraie Public-UBB11 n acest capitol vom aplica modelul de evaluare adaptat la realitile administraiei publice romneti, prezentat n partea teoretic. Specificetatea acestui model const n faptul c nu are la baz un sistem de indicatori de monitorizare, i, n consecin, nici un set de date colectate sistematic pe baza unui asemenea sistem. Totui, dup cum urmeaz s artm, evaluarea impactului social este posibil i ntr-un astfel de context. Am evaluat Programul Educaional al Seciei de Administraie Public de la Facultatea de tiine Politice, Administrative i ale Comunicrii, Universitatea Babe Bolyai, Cluj-Napoca datorit mai multor aspecte. n primul rnd, este vorba despre un program finanat parial din bani publici, apoi, este vorba de accesul la date, care mi-a fost facilitat prin poziia mea de asistent de cercetare i cadru didactic asociat la departamentul de Administraie public. De asemenea, este vorba de interesul meu i al colegilor mei vis-a-vis de rezultatele unei astfel de evaluri i de intenia noastr de a crea un sistem de evaluare adaptat programului de Administraie public, care s ne ajute s nelegem n orice moment impactul social al programului, mai ales perspectiva impactului asupra studenilor. Dup cum am explicitat n partea teoretic, impactul social al unui program are trei accepiuni: efectele pe termen lung pe care programul le produce, efectele nete ale unui program i efectele unui program asupra unor grupuri de indivizi (beneficiari, actori implicai). Studiul de evaluare realizat n acest capitol se nscrie n cea de-a treia accepiune a conceptului de impact social. Mai mult, evaluarea realizat nu i propune s msoare exhaustiv efectele programului. Aceasta n primul rnd pentru c nu exist sistemele de date necesare (legate de nivelul de trai i stilul de via al studenilor din acest program i din alte programe, legate de nivelul de trai i stilul de via al celor care se nscriu n program, dar prefer, din diferite motive, s nu l urmeze, fie pentru c opteaz pentru un alt program, fie pentru c prefer s renune la continuarea studiilor care vor trebui s fac obiectul unor cercetri ulterioare) iar n al doilea rnd pentru c nu a existat un sistem de monitorizare a impactului programului asupra studenilor, care s duc la colectarea sistematic de date (dup fiecare an de studiu) pentru a se face
11

Cercetare realizat n colaborare cu Daniela Bolganschi

111

comparaii. Totui, studiul de evaluare realizat face un pas important prin construcia unui sistem de indicatori pentru monitorizarea i evaluarea efectelor programului din perspectiva studenilor participani n program i prin realizarea unei evaluri avnd la baz acest sistem de indicatori, care va butea servi ca baz de comparaie pentru evalurile viitoare. Prin urmare studiul de evaluare realizat msoar efectele programului educaional AP-UBB din perspectiva studenilor. Pornind de la modelul de evaluare propus i prezentat n subcapitolul 7.2, realizm evaluarea impactului pe care programul educaional de Administraie public l are asupra beneficiarilor si, studenii.

Ulterior parcurgerii modelului de evaluare, vom putea elabora concluzii specifice vis-a-vis de impactul pe care programul l are asupra studenilor i recomandri legate de optimizarea impactului pozitiv i diminuarea impactului negativ. De asemenea vom putea propune o list de indicatori care pot sta la baza unui sistem de monitorizare a programului, facilitnd astfel evalurile viitoare. 1. Prezentarea Programului educaional de Administraie Public: Avnd la baz un grant, programul educaional evaluat este deja standardizat, deci nu mai necesit aplicarea fiei proiectului. Vom prezenta, pe scurt, elementele eseniale ale acestuia. Departamentul de tiine Politice a fost creat n 1992 n cadrul Facultii de Istorie al Universitii Babe-Bolyai, demers promovat de Reforma Educaional din anul 1989 pentru dezvoltarea tiinelor sociale. n 1994 departmentul a obinut un grant acordat de USAID, administrat de ACLS/IREX, pentru a dezvolta curricula n domeniul tiinelor sociale. Avnd asigurate resursele de baz pentru fucionare (grantul USAID i asistena acordat de Uniunea Europeana via Tempus), s-a separat de Facultatea de Istorie i mpreun cu Facultatea de Jurnalism au infiinat o coal proprie n 1994 (Facultatea de tiine Politice i Administrative).

112

n 1995, n cadrul Universitii Babe-Bolyai, care dorea s-i extind programele academice, a fost deschis Catedra de Administraie Public n Cluj-Napoca. La acea vreme Catedra de Administraie Public era prima nfiinata cu asisten din Vest i cu o abordare interdisciplinar a curriculei (Elias, 2006: 17-18). n prezent Catedra de Administraie Public ofer program de studii universitare de licen n 3 limbi: romn, maghiar i german, ceea ce-i ofer unicitate printre instituiile de nvmnt din ar. Catedra de Administraie Public ofer de asemenea i un program de master cu urmtoarele specializri: Managementul Serviciilor Publice, Dezvoltare Comunitar, Managementul Finanelor Publice Locale i Managementul ONG-urilor. Programul de master este n totalitate desfurat n limba englez i organizat ca form de cooperare instituional ntre Departamentul de Administraie Public i alte universiti europene i americane. Exist, deasemenea, i un program specializat de master pentru funcionarii publici din instituiile publice locale din Transilvania. n cadrul Catedrei de Administraie Publice funcioneaz, cu o experien de peste 10 ani, Centrul de Cercetare n Administraie Public. Centrul desfoar studii n domeniul reformei legislative administrative, reforma manageriala n administraia local, dezvoltarea abilitilor n analiza politicilor publice, politica de mediu, evaluarea programelor etc. Centrul a condus o serie de cercetari: Procesul de creare a bugetelor locale n Romnia, Ungaria i Polonia (20012002); Evaluarea reformei n Administraia Public (2006, 2007, 2008); Evaluarea impactului social al proiectelor i programelor n Administraia Public ( 2006-2007); Promovarea parteneriatului ABC (Administrare-Bunele practice-Ceteni) pentru sprijinirea Romniei de a se integra in Spaiul Administrativ European (n parteneriat cu Academia de Studii Economice, Bucureti), 2006-2007; Tehnicile i metodele de evaluare n Administraia Public (2004-2007); Proiectul de cercetare social (2005-2007). Un alt domeniu studiat i iniiat de Centrul de Cercetare este Reforma Managerial n Romnia, implicndu-se n activiti de consultare i cercetare n domeniul managementului performanei, evaluarea programelor i activiti de planificare strategic la cererea instituiilor administrative locale i centrale din Romnia i din strintate. Obiectivul prioritar al catedrei de Administraie Public este pregtirea specialitilor cu studii superioare n domeniul Administraiei publice i cercetrii tiinifice de profil.

113

Relevana social: nsuirea unor cunotine teoretice i formarea abilitilor practice n concordan cu exigenele i cerinele angajatorilor, n principal autoriti sau instituii publice, dar i persoane juridice private, care s asigure intrarea cu succes a absolvenilor pe piaa muncii din Romnia, U.E. i S.U.A. Competenele generale i de specialitate (Elias, 2006: 54) vor asigura un nivel de calificare adecvat exercitrii profesiei de specialist n tiine administrative, practic absolvenii fiind calificai pentru a ocupa funcii publice numite sau alese, de conducere sau de execuie, precum i funcii sau ocupaii din domeniul privat. Universitai de referin care au servit ca modele de elaborare a planurilor de nvmnt au fost: Graduate School of Public Affairs, Nelson Rockefeller College of Public Affairs and Policy, State University of New York at Albany; Michigan State University, East Lansing, MI; National Association of Schools of Public Affairs and Administration (Washington DC, USA); Florida International University, Miami, Florida, University of Delaware, USA; Universite Paris XI, Frana.

114

2. Precizarea obiectivelor studiului de impact social Aceast evaluare este un studiu de impact social al Programului educaional de Administraie public. Scopul este cuantificarea impactului pe care pregtirea educaional oferit de Secia de Administraie Public a avut-o asupra studenilor. Datele prezentate sunt o evaluare din perspectiva beneficiarilor programului educaional de Administraie Public. Printre obiectivele evalurii se numr: determinarea satisfaciei studenilor fa de programul educaional pe care l urmeaz i a percepiei lor asupra perpectivelor profesionale i asupra abilitilor dobndite. Se urmrete dac impactul programului asupra studenilor este perceput de ctre acetia ca unul pozitiv sau dimpotriv. 3. Concluzii ale unor evaluri anterioare ale programului educaional de Administraie Public-UBB La nivelul universitii Babe-Bolyai exist o comisie pentru monitorizarea calitii i alte cteva comisii responsabile pentru evaluarea intern i acreditate a programelor de licen i master. Aceste programe trebuie s fie mai nti acreditate n interiorul universitii din care fac parte nainte de nceperea activitii i de obinerea acreditrii ARACIS. Programul de licen al Catedrei de Administraie Public este acreditat de CNEA, proces care a durat 3 ani (1997-2000). Programul de master a fost de asemenea acreditat intern n 2001. Pentru creterea calitii programelor sale, departamentul a utilizat informaiile i recomandrile de la Adunrile Asociaiei Romne a colilor i Institutelor de Administraie Public. Toate evalurile naionale claseaz Catedra de Administraie Public din Cluj printre cele mai bune din ar. n 2006 Catedra de Administraie Public a realizat o evaluare experimental pe baza criteriilor de acreditare NASPAA. Studiul a avut drept scop demonstrarea faptului c secia de Administraie Public a preluat cele mai bune practici (benchmarks) n formularea curriculumului de la universitile din SUA. Chiar dac acest proces nu a fost conceptualizat drept benchmark, paii efectuai de ctre membrii catedrei n vederea structurrii curriculei i a celorlalte componente, corespund perfect setului de criterii specifice metodei de benchmark (Elias, 2006: 39).

115

Evaluarea obiectivelor programului educaional de Administraie Public (Elias, 2006: 25) este efectuat de ctre conducerea catedrei de Administraie Public-UBB. Printre evalurile relevante derulate n cadrul seciei au fost menionate cele realizate de ctre visiting profesorsi ali consultani de la universitile din vest cu care catedra are stabilite relaii de parteneriat. Un alt tip de evaluare menionat este evaluarea individual a membrilor din cadrul seciei. Criteriile utilizate n cadrul acestui tip de evaluare sunt asociate cu productivitatea academic i administrativ (Elias, 2006: 26) (numrul de articole publicate, numrul de proiecte implementate, etc.) precum i nivelul de satisfacie al studenilor. Studiile care vizeaz evaluarea satisfaciei studenilor sunt planificate a fi aplicate la sfiritul fiecrui semestru (Elias, 2006: 26). Cu toate acestea, frecvena acestora este mult mai sczut. Un alt studiu de autoevaluare realizat n cadrul seciei de Administraie Public a fost acreditarea EAPAA12 a programului de master oferit de secia de Administraie Public. Printre punctele forte menionate ale programului au fost: Programul de Administraie Public-UBB are o reputaie excelenta att n cadrul Cadrele didactice sunt foarte bine pregtite .Majoritatea din ei au beneficiat de burse la Parteneriatul catedrei de Administraie Public cu numeroase universitti sonore din Europa i SUA ofer acces la informaii preioase i la servicii performante ale unor specialiti de top din domeniul Administraiei Publice. Printre punctele slabe menionate ale programului sunt: Lipsa unui program de internship; Implicarea n procesul de predare a practicienilor care lucreaz n structurile administraiei publice centrale i locale poate fi imbunatatita; Absolventii (Alumni) considerati resurse importante pentru dezvoltarea programului de Administratie Publica, nu este utilizata corespunzator; comunitii academice ct i n mediul administraiei publice locale i centrale. cele mai prestigioase universiti din Europa i SUA.

12

EAPAA Accreditation, Self Evaluation Report Master of Public Administration (MPA), Public Administration Department, Faculty of Political Science, Public Administration and Communication, Babes Bolyai University, Cluj Napoca, Romania.

116

 Trebuie acordata mai multa atentie modului in care absolventii sunt absorbiti si integrati pe piata fortei de munca; Lipsa serviciilor formalizate de consiliere a studentilor; Lipsa unei strategii de marketing pentru atragerea potenialilor studeni. n urma unui studiu realizat n anul 2004 de ctre membrii catedrei de Administraie Public s-a ajuns la conluzia c cea mai important surs de informaie pentru viitorii studeni ai seciei sunt absolvenii programului educaional de Administraie Public.

4. Construcia unui sistem de indicatori pentru msurarea impactului social al programului, cu accent pe satisfacia studenilor Pentru a evalua impactul programului asupra studenilor vom avea n vedere urmtoarele 8 concepte fundamentale, care vor fi prelucrate prin operaionalizare, obinndu-se astfel un sistem complex de indicatori i indici.

Conceptele care stau la baza sistemului de evaluare a impactului sunt: a. Eficacitatea educaional b. Satisfacia fa de disciplinele curriculare c. Abilitile obinute n cadrul Programului Educaional de Administraie Public d. Baza material e. Nivelul personal de satisfacie a studenilor f. ansele de angajare ale studenilor g. Utilitatea meninerii legturii cu catedra h. Msura n care se declar dispui s recomande specializarea de Administraie Public altor poteniali studeni i. Msura n care utilitatea meninerii contactului cu facultatea dup ncheierea studiilor are legtur cu nivelul personal de satisfacie fa de programul educaional de AP

117

Prima etap n construcia sistemului de indicatori este operaionalizarea conceptelor fundamentale prin transformarea lor n variabile. a) Conceptul eficacitate educaional poate fi operaionalizat prin urmtoarele variabile: 1.Profesorii au fost foarte bine pregtii pentru cursuri. 2. Proseforii au reuit s se transmit informaiile ntr-un mod clar i explicit. 3.Au oferit exemple practice. 4.Au ncurajat studiul bibliografiei suplimentare. 5.Au stimulat spiritul critic. 6.Profesorii dispun de strategii actualizate de predare pentru fiecare curs. 7.Au evaluat obiectiv cunotinele studenilor. 8.Au oferit consiliere pentru direcionarea carierei. 9.Au oferit recomandri pentru alte activiti educaionale (coli de var, conferine, master, internship, etc.,) 10.Profesorii au fost disponibili pentru consultaii n afara cursurilor. 11. Au organizat dezbateri n cadrul cursurilor/seminariilor. n cadrul sistemului de monitorizare i evaluare, aceste variabile vor avea rolul de indicatori de eficacitate, impact i rezultat. b) Conceptul satisfacia fa de disciplinele curriculare poate fi operaionalizat prin urmtoarele variabile: 1. Satisfacia fa de Elemente de drept civil 2. Satisfacia fa de Operare PC 3. Satisfacia fa de Introducere n tiinele comunicarii i a relaiilor publice 4. Satisfacia fa de Bazele economiei de pia 5. Satisfacia fa de Sistem constituional i instituii politice n Romnia 6. Satisfacia fa de Relaii cu publicul i elaborarea documentelor oficiale 7. Satisfacia fa de Drept administrativ 8. Satisfacia fa de Finane i bugete publice 9. Satisfacia fa de Descentralizare i politici regionale 10. Satisfacia fa de Metode de cercetare n tiine sociale

118

11. Satisfacia fa de Teorii organizaionale 12. Satisfacia fa de Sisteme administrative comparate 13. Satisfacia fa de Etic n administraia public 14. Satisfacia fa de Managementul resurselor umane 15. Satisfacia fa de Managementul ONG-urilor 16. Satisfacia fa de Management financiar 17. Satisfacia fa de Management public 18. Satisfacia fa de Drept comunitar instituional 19. Satisfacia fa de Drept penal 20. Satisfacia fa de Teoria argumentarii 21. Satisfacia fa de Seminar de cercetare 22. Satisfacia fa de Evaluarea programelor n administraia public 23. Satisfacia fa de Introducere n tiinele politice Aceti indicatori se refer la fiecare dintre disciplinele de specialitate studiate de-a lungul celor patru ani. n cadrul sistemului de monitorizare i evaluare, aceste variabile vor avea rolul de indicatori de performan i impact.

c) Conceptului

competenele obinute n cadrul Programului Educaional de

Administraie Public, i corespund urmtoarele variabile: 1.Capacitatea de a consulta, a interpreta i de a aplica reglementrile n domeniul administraiei publice. 2. Capacitatea de analiz, sintez i prognoz, manifestate prin: spirit analitic i sintetic de interpretare a informaiilor, prin spirit inovator, discernmnt, realism, adaptabilitate i flexibilitatea gndirii. 3. Capacitatea de a rezolva probleme de o manier inovatoare. 4. Capacitatea de a folosi limbajul juridic i economic, specific tiinelor administrative. 5. Abiliti n ceea ce privete fundamentarea deciziilor publice. 6.Capacitatea de a utiliza tehnologiile informaionale specifice domeniului administraiei publice.

119

7.Cunoaterea, interpretarea i aplicarea reglementrilor legale din domeniul organizrii i funcionrii autoritilor i instituiilor publice, n domeniul funciei publice i a funcionarilor publici, actelor administrative, contractelor publice, prestrii serviciilor publice. 8.Cunoaterea practicii administrative i spirit de iniiativ n analiza i rezolvarea problemelor practice. 9.Posibilitatea de a evolua profesional datorit unei atitudini flexibile i deschise la nou. 10.Utilizarea tehnicilor informaionale. 11.Luarea unor decizii etice. 12.Capacitatea de a lucra n echp. 13.Construirea si aplicarea instrumentelor de cercetare. 14.Interpretarea rezultatelor cercetrilor. n cadrul sistemului de monitorizare i evaluare, aceste variabile vor avea rolul de indicatori de rezultat i de impact. d) Baza material este un concept care poate fi operaionalizat prin urmtoarele variabile: 1. Procesul de admitere al studenilor 2. Procesul de nregistrare al studenilor. 3.Sprijinul material acordat (burse de studiu, burse de merit, burse sociale). 4. Dotarea bibliotecii cu resursele necesare programului educaonal de Administraie Public. 5. Dotarea slii de calculatoare. 6. Spaii adecvate procesului de mvmnt. 7. Spaii de cazare pentru studeni. 8. Calitatea serviciilor de consiliere. n cadrul sistemului de monitorizare i evaluare, aceste variabile vor avea rolul de indicatori de impact i rezultat.

120

e) Nivelul personal de satisfacie a studenilor este un concept care poate fi explicat prin urmtoarele variabile: 1. profesorii sunt foarte bine pregtii pentru cursuri 2. acetia reuesc s transmit informaiile ntr-un mod clar i explicit 3. sunt ajutai n gasirea unei instituii pentru realizarea stagiului de practic n cadrul sistemului de monitorizare i evaluare, aceste variabile vor avea rolul de indicatori de impact. f) ansele de angajare ale studenilor este un concept urmtoarele variabile: 1. n timpul realizrii stagiului de practic instituia a oferit studentului posibilitatea de implicare, 2. studentul a avut posibilitatea de a lua contact cu sectorul executiv i 3. studentul a reuit s-i stabileasc contacte n cadrul acestuia. n cadrul sistemului de monitorizare i evaluare, aceste variabile vor avea rolul de indicatori de impact. g) Utilitatea meninerii legturii cu catedra este un concept care poate fi operaionalizat prin variabilele: 1. studentul manifest un nivel ridicat de satisfacie fa de programul educaional, 2. studentul este hotarat s lucreze n sectorul public i doresc s-i mbunteasc nivelul de competene n cadrul sistemului de monitorizare i evaluare, aceste variabile vor avea rolul de indicatori de impact. h) Iar Msura n care se declar dispui s recomande specializarea de Administraie Public altor poteniali studeni este un concept operaionalizabil prin urmtoarele variabile: 1. satisfacia acestora fa de programul educaional 2. obiectivitatea evalurii studenilor de ctre profesori 3. satisfacia fa de modul de predare a cunotinelor

care poate fi explicat prin

121

n cadrul sistemului de monitorizare i evaluare, aceste variabile vor avea rolul de indicatori de impact. Variabilele obinute n urma procesului de operaionalizare reprezint indicatorii viitorului sistem, pe baza crora pot fi construii indici sau cu ajutorul crora pot fi efectuate operaii mai complexe. Pentru prezentul sistem de indicatori vom calcula patru indici: 1. Eficacitatea educaional compus 2. Indicele satisfaciei fa de disciplinele predate 3. Indicele abiliti 4. Baza material compus Eficacitatea educaional compus este un indice format prin nsumarea valorilor variabilelor corespunztoare conceptului eficacitate educaional i prin calculul mediei acestora. Indicele satisfaciei fa de disciplinele predate este un indice format prin nsumarea valorilor variabilelor corespunztoare conceptului satisfacia fa de disciplinele predate i prin calculul mediei acestora. Indicele abiliti este un indice format prin nsumarea valorilor variabilelor corespunztoare conceptului abiliti dobndite i prin calculul mediei acestora. Indicele baza material compus este un indice format prin nsumarea valorilor variabilelor corespunztoare conceptului baza material i prin calculul mediei acestora.

5. Metode de cercetare utilizate n evaluarea impactului social al programului Acest studiu de impact reunete avantajele utilizrii interviului, sondajului de opinie i analizei secundare a datelor pentru completarea informaiilor cerute de sistemul de indicatori.

122

Interviul n cercetrile sociale interviul se definete ca o tehnic de obinere prin ntrebri i rspunsuri, a informaiilor verbale de la indivizi i grupuri umane n vederea verificarii ipotezelor sau pentru descrierea tiinific a fenomenelor sociale socioumane pentru recoltarea unor informaii suplimentare celor obinute prin alte metode (Chelcea, 2001:123). Scopul interviul a avut explicarea opiniilor, percepiilor i atitudiniilor profesorilor fa de activitatea de evaluare a calitii n nvmntul superior. Durata interviul a fost n medie de 25 de minute. Persoanele intervievate au fost cadrele didactice (5 profesori) din cadrul catedrei de Administraie Public.

Sondajul de opinie Sondajul de opinie realizat prin intermediul chestionarului a fost aplicat n perioada 28.05.07-8.06.07 n cadrul facultii de tiine Politice, Administrative i ale Comunicrii. Chestionarul13 a cuprins ntrebri deschise, nchise i mixte. Obiectivele chestionarului: Identificarea i explicarea motivaiilor de alegere a specializarii de Administraie Public; Evidenierea factorilor care influeneazalegerea acestei specializri; identificarea elementelor care definesc satisfacia i analiza satisfaciei studenilor; evaluarea valorii percepute fa de: disciplinele de nvamnt, eficacitatea educaional, stagiul de practic profesional i fa de baza material de care dispune secia. Analiza secundar a datelor Sursele statistice ofer posibilitatea obinerii rapide de informaii de natur primar i secundar. Din categoria surselor statistice am consultat: Evidene interne ale facultii;

13

Prezentat n Anexa 1

123

Literatura de specialitate , cercetri efectuate n domeniu, lucrri de cercetare naionale i internaionale care vizeaz evaluarea calitii n nvmntul superior;

Lucrri i evidenele intituiilor: ARACIS; Ministerul Educaiei i Cercetrii; EAPAA; NASPAA; Planning and Evaluation Service, SUA; Education Resources Information Center, SUA; Open Source Software in Higher Education, SUA; The National Academy for Academic Leadership, SUA;

Publicaii de specialitate (JSTOR).

6. Interpretarea datelor i completarea sistemului de indicatori a. Eficacitatea educaional Eficacitatea educaional este o variabil fundamental a sistemului propus. Ea se refer la msura n care programul i ndeplinete obiectivele i poate fi operaionalizat printro serie de 11 indicatori: 1.Profesorii au fost foarte bine pregtii pentru cursuri. 2. Proseforii au reuit s se transmit informaiile ntr-un mod clar i explicit. 3.Au oferit exemple practice. 4.Au ncurajat studiul bibliografiei suplimentare. 5.Au stimulat spiritul critic. 6.Profesorii dispun de strategii actualizate de predare pentru fiecare curs. 7.Au evaluat obiectiv cunotinele studenilor. 8.Au oferit consiliere pentru direcionarea carierei. 9.Au oferit recomandri pentru alte activiti educaionale (coli de var, conferine, master, internship, etc.,) 10.Profesorii au fost disponibili pentru consultaii n afara cursurilor. 11. Au organizat dezbateri n cadrul cursurilor/seminariilor. Din rezultatele chestionarului aplicat studenilor de la Secia de Administraie Public, anul 4 am obinut urmatoarele rezultate: cel mai mare scor a fost obinut pentru indicatorul Profesorii au fost foarte bine pregtii pentru cursuri-3.79. 20 dintre studeni

124

au acordat nota 4 (satisfacie mare) i 13 studeni au acordat nota 5 (mare) din totalul de 48 de studeni chestionai. Tabelul 24: Eficacitate educaional
Statistics prof esorii au f ost foarte bine pregatiti pentru cursuri 48 0 3.79 prof esorii au transmis informatiile intr-un mod clar si explicit 48 0 3.81 au incurajat studiul bibliograf iei suplimentare 48 0 3.27 prof esorii dispun de strategii actualizate de predare 48 0 3.44

N Mean

Valid Missing

prof esorii au of erit exemple practice 48 0 3.88

au stimulat spiritul critic 48 0 3.27

Tabelul 25: Eficacitate educaional (continuare)

Statistics prof esorii au f ost disponibili pentru consultatii in af ara cursurilor 48 0 3.29

N Mean

Valid Missing

au ev aluat obiectiv cunostintele studentilor 48 0 3.38

au of erit consiliere pentru directionarea carierei 48 0 2.63

au of erit recomandari pentru activ itati educationale 48 0 3.29

au organizat dezbat eri in cadrul cursurilor/se minariilor 48 0 3.79

Media cea mai mare pentru indicatorii Eficacitii educaional a fost obinut pentru indicatorul Profesorii au oferit exemple practice-3.88. n acelai timp cei mai muli studeni (33 din cei 48 chestionai, 41.7 %-satisfacie mare i 27.1 %-satisfacie foarte mare) au apreciat indicatorul Profesorii au fost foarte bine pregtii pentru cursuri cu nota 4 (mare) i respectiv 5 (foarte mare). Tabelul 26: Nivelul de pregtire a profesorilor la cursuri

125

profesorii au fost foarte bine pregatiti pentru cursuri Frequency 2 4 9 20 13 48 Percent 4.2 8.3 18.8 41.7 27.1 100.0 Valid Percent 4.2 8.3 18.8 41.7 27.1 100.0 Cumulat iv e Percent 4.2 12.5 31.3 72.9 100.0

Valid

f oarte mica mica relativ a mare f oarte mare Total

Profesorii au fost foarte bine pregtii pentru cursuri

60 40 20 0 1 2 foarte mic mic relativ mare foarte mare

Figura 9. Nivelul de pregtire a profesorilor la cursuri Indicatorul Au evaluat obiectiv cunotinele a fost notat cu nota 4 (mare) de ctre 21 de respondeni i cu nota 5 (foarte mare) de ctre 6 studeni. Tabelul 27: Obiectivitatea evalurii studenilor
au evaluat obiectiv cunosti ntele studentilor Frequency 2 11 8 21 6 48 Percent 4.2 22.9 16.7 43.8 12.5 100.0 Valid Percent 4.2 22.9 16.7 43.8 12.5 100.0 Cumulat iv e Percent 4.2 27.1 43.8 87.5 100.0

Valid

f oarte mica mica relativ a mare f oarte mare Total

126

Obiectivitatea evaluarii studenilor

60 40 20 0 4.2 f.mic mic relativ mare f.mare 22.9 16.7 43.8

12.5

Figura 10. Obiectivitatea evalurii studenilor Al doilea indicator din domeniul Eficacitii educaionale care a obinut valoarea cea mai mare este Profesorii au evaluat obiectiv cunotinele. Studenii au afirmat c majoritatea profesorilor au dat dovad de obiectivitate n apreciere i au cunoscut de la nceputul semestrului metodele de evaluare pentru fiecare disciplin. Din rspunsurile obinute prin intermediul interviurilor cu profesorii de la catedra de Administraie Public am obinut raspunsul c Catedra dispune de un pachet de tehnici/metode de examinare a studenilor care sunt aduse n mod consecvent la cunotima tuturor studenilor.14 Tabelul 28. Consiliere pentru direcionarea carierei
au oferi t consiliere pentru directionarea carierei Frequency 10 13 13 9 3 48 Percent 20.8 27.1 27.1 18.8 6.3 100.0 Valid Percent 20.8 27.1 27.1 18.8 6.3 100.0 Cumulat iv e Percent 20.8 47.9 75.0 93.8 100.0

Valid

f oarte mica mica relativ a mare f oarte mare Total

14

Interviu realizat cu D-ul Asist.univ. drd. Marton Balogh, 23.05.2007, ora 14:10

127

Nivelul de consiliere al studenilor

30 25 20 15 10 5 0 f.mic mic relativ mare 27.1 20.8 27.1 18.8

6.3

f.mare

Figura 11. Consiliere pentru direcionarea carierei Valorile cele mai mici au fost nsa obinute pentru indicatorul Profesorii au oferit consiliere pentru direcionarea carierei.Doar 9 studeni au apreciat acest indicator cu 4 (mare) i 3 studeni au acordat nota 5 (foarte mare). Studenii au menionat ca nu exist o structur instituionalizat de orientare pentru consilierea acestora n ceea ce privete alegerea cursurilor opionale i a carierei. Se practic informal tutoratul ntre studenii din anii mai mari i ceilali. Profesorii menin, ns, legtura cu studenii prin e-mail, fiind receptivi la ntrebrile acestora, i pot fi consultai n cadrul progrmului care este afiat pe ua biroului. Opinia studenilor fa de eficacitatea educaional reiese foarte clar i concis din indicele eficacitate educaional compus, format prin nsumarea scorurilor acordate de ctre studeni la cele 11 variabile i raportarea la 11. Tabelul 29. Indicele eficacitatea educaional compus
Eficacitatea educationala compusa EF.ED.11 N Valid Missing Media

48 0 3.4394

Media de 3.43 nu este foarte mare, ns, comparativ cu ceilali indici, am putea spune c studenii consider c Programul educaional de Administraie public este unul eficace, adic i atinge obiectivele.

128

b. Satisfacia fa de disciplinele curriculare Evaluarea de curriculum este o activitate de obinere a unor informaii obiective privind nevoile i direciile de schimbare ale unui curriculum, astfel nct aceasta s rspund mai bine finalitilor educative prioritare ale programului la un moment dat.(Diaconu, 2004: 10) Tabelul 30: Satisfacia fa de curriculum
Statistics satisfactia f ata de materia Bazele Economiei de Piata 48 0 3.81 satisfactia f ata de materia de satisfactia f ata relatii cu satisfactia f ata de materia de Publicul si de materia de Drept Elaborarea Drept Constitutional Documentelor Administrativ 48 48 48 0 0 0 4.21 3.56 4.17 satisfactia f ata de materia Finante si Bugete Publice 48 0 3.96

N Mean

Valid Missing

satisfactia f ata de materia de Drept Civil 48 0 3.27

satisfactia f ata de materia Operare PC 46 2 2.91

satisfactia f ata de materia de CRP 48 0 3.21

Programele de studiu sunt rezultatul unei analize comparate cu alte programe similare din ar i din strintate i sunt n acord cu dinamica cerinelor pieei muncii.15 Tabelul 31: Satisfacia fa de curriculum (continuare 1)
Statistics satisf actia f ata de materia Descent raliz are si Politici Regionale 48 0 3.35 satisf actia f ata de materia de Metode de Cercetare in Stiintele Sociale 48 0 3.19 satisf acti a f ata de materia de Teorii Organizati onale 48 0 3.21

N Mean

Valid Missing

satisf actia f ata satisf actia f ata satisf actia f ata de materia de de materia de de materia de satisf actia f ata Sisteme Et ica in Managementu de materia de Administrativ e Administratia l Resurselor Managementu Comparate Publica Umane l ONG_urilor 48 48 48 48 0 0 0 0 3.42 3.54 3.96 3.79

satisf actia f ata de materia de Management ul Financiar 48 0 3.40

Tabelul 32: Satisfacia fa de curriculum (continuare 2)

Statistics satisf act ia f ata de materia de Drept Comunitar 48 0 3.88 satisf act ia f ata de materia de Seminar de Cercetare 48 0 3.10 satisf act ia f ata de materia de Ev aluarea Programelor in AP 48 0 3.67 satisf act ia f ata de materia de Introducere in Stiintele Politice 48 0 2.63

N Mean

Valid Missing

satisf act ia f ata de materia de Management Public 48 0 4.27

satisf act ia f ata de materia de Drept Penal 48 0 3.15

satisf act ia f ata de materia de Teoria Argumentarii 48 0 2.63

15

Interviu cu D-ul Asist. Univ. Marius Dodu, 21.05.2007, ora 14:05

129

Tabelul 33: Satisfacia fa de materia Management Public

satisfacti a fata de materi a de Management Publi c Frequency 4 4 15 25 48 Percent 8.3 8.3 31.3 52.1 100.0 Valid Percent 8.3 8.3 31.3 52.1 100.0 Cumulat iv e Percent 8.3 16.7 47.9 100.0

Valid

mica relativ a mare f oarte mare Total

Satisfacia fa de materia de Management Public

60 40 20 0 8.3 mic 8.3 relativ mare f.mare 31.3 52.1

Figura 12. Satisfacia fa de materia Management Public Evaluarea disciplinelor curriculare i propune s identifice satisfacia studenilor fa de materiile incluse n oferta educaional a programului educaional de Administraie Public. Cea mai mare nota acordat de ctre studenii chestionai a fost n favoarea desciplinei de Management Public: 25 dintre studenii chestionai au apreciat cu nota 5 (foarte mare) i 15 studeni cu nota 4 (mare). Tabelul 34. Satisfacia fa de materia Drept Constituional
satisfacti a fata de materi a de Drept Constituti onal Frequency 12 14 22 48 Percent 25.0 29.2 45.8 100.0 Valid Percent 25.0 29.2 45.8 100.0 Cumulat iv e Percent 25.0 54.2 100.0

Valid

relativ a mare f oarte mare Total

130

Satisfacia fa de materia de Drept Constituional

60 40 20 0 1 25 29.2 45.8

relativ mare foarte mare

Figura 13. Satisfacia fa de materia Drept Constituional Cea de-a doua disciplin care se afl n topul preferinelor studenilor din anul 4 este disciplina de Drept Constituional n favoarea careia au optat 22 de respondeni, care au apreciat-o cu nota 5 (foarte mare) i 14 respondeni acordndu-i nota 4 (mare). Tabelul 35. Satisfacia fa de materia Teoria Argumentrii
satisfacti a fata de materi a de Teoria Argumentarii Frequency 12 11 12 9 4 48 Percent 25.0 22.9 25.0 18.8 8.3 100.0 Valid Percent 25.0 22.9 25.0 18.8 8.3 100.0 Cumulat iv e Percent 25.0 47.9 72.9 91.7 100.0

Valid

f oarte mica mica relativ a mare f oarte mare Total

Satisfacia fa de Teoria Argumentrii

25 20 15 10 5 0 f.mic mic relativ mare 25 22.9 25 18 8.3

f.mare

Figura14. Satisfacia fa de materia Teoria Argumentrii

Materia cea mai slab cotat a fost materia de Teria Argumentrii. Doar 4 studeni au oferit note de 5 (foarte mare) i 9 pentru nota 4 (mare).

131

Studenii au menionat ca marea majoritate a cursurilor i seminariilor utilizeaz metode moderne de predare, interactive i centrate pe studeni. Procedeele de examinare sunt anunate studenilor la nceputul semestrului i urmresc s evalueze nsuirea i capacitatea de folosire a abilitilor i deprinderilor cerute de fiecare materie n parte.
Indicele sati sfactiei fata de discipli nele predate INDICE_M N Valid Missing Medie

46 2 3.4924

Tabelul 36. Indicele satisfaciei fa de disciplinele predate Indicele Satisfacia fa de disciplinele curriculareare o valoare medie de 3.49, ceea ce denot o satisfacie relativ crescut a studenilor fa de disciplinele predate pe parcursul programului.

c. Abilitile dobndite n cadrul Programului Educaional de Administraie Public Obiectivul Seciei de Adminstraie Public este de a pregti specialiti cu studii superioare n domeniul Administraiei publice i cercetrii tiinifice de profil.16 Programului prevede nsuirea de ctre studeni a unor cunotine teoretice i formarea abilitilor practice n concordan cu exigenele i cerinele angajatorilor, n principal autoriti sau instituii publice, dar i personae juridice private, care s asigure intrarea cu succes a absolvenilor pe piaa muncii din Romnia, U.E. i S.U.A. Competenele generale i de specialitate intenioneaza s asigure un nivel de calificare adecvat exercitrii profesiei de specialist n tiine administrative, practic absolvenii fiind calificai pentru a ocupa funcii publice numite sau alese, de conducere sau de execuie, precum i funcii sau ocupaii din domeniul privat. n urma aplicrii chestionarelor studenii au notat fiecare competen, apreciind n ce masur programul educaional a contribuit la formarea acestei competeme. Astfel s-au obinut urmatoarele rezultate. Cea mai apreciat competen a fost capacitatea de a lucra

16

Interviu cu D-ul conf. univ. dr.Dan Sorin Sandor, 15.06.2007, ora 13:15

132

m echip, 37.5 % din studeni au notat aceast compen cu nota 4 ( mare) i 33.3 % au apreciat-o cu nota 5 (foarte mare). Tabelul 37. Abiliti dobndite
Abil itati dobandite (partea I) capacit atea de utilizare a tehnologiilor inf ormat ional e 48 0 3.44 cunoasterea, interpretarea si aplicarea reglementaril or legale 48 0 3.42

N Media

Valid Missing

capacit atea de a consulta reglementaril e din AP 48 0 3.27

capacit atea de analiza, sinteza, prognoza 48 0 3.50

capacit atea de rezolv are a problemelor 48 0 3.31

capacit atea de a f olosi limbajul juridic 48 0 3.71

abilitati de f undamentare a deciziilor 48 0 3.35

Tabelul 38. Abiliti dobndite (continuare)

Abil itati dobandite (partea a II-a) posibilitatea de a ev olua prof esional datorita unei atitudini f lexibile 48 0 3.44

N Media

Valid Missing

cunoasterea practicii administ rativ e 48 0 3.27

utilizarea tehnicilor inf ormat io nale 48 0 3.38

luarea unor decizii etice 48 0 3.94

capacitatea de a lucra in echipa 48 0 3.96

construirea si aplicarea instrumentelo r de cercet are 48 0 3.38

interpretarea rezult atelor cercetarilor 48 0 3.46

Tabelul 39: Capacitatea de a lucra n echip

capacitatea de a lucra i n echi pa Frequency 4 10 18 16 48 Percent 8.3 20.8 37.5 33.3 100.0 Valid Percent 8.3 20.8 37.5 33.3 100.0 Cumulat iv e Percent 8.3 29.2 66.7 100.0

Valid

mica relativ a mare f oarte mare Total

133

Capacitatea de a lucra n echip

40 30 20.8 20 10 0 8.3 37.5 33.3

mic

relativ

mare

f.mare

Figura 15. Capacitatea de a lucra n echip Din totalul de competene enumerate studenii au oferit cea mai mare not competenei Capacitatea de a lucra n echip. 18 dintre studeni au oferit nota 3 (mare) i 16 dintre studeni au acordat nota 4 (foarte mare). Tabelul 40: Cunoaterea practicii administrative
cunoasterea practicii administrative Frequency 3 9 15 14 7 48 Percent 6.3 18.8 31.3 29.2 14.6 100.0 Valid Percent 6.3 18.8 31.3 29.2 14.6 100.0 Cumulat iv e Percent 6.3 25.0 56.3 85.4 100.0

Valid

f oarte mica mica relativ a mare f oarte mare Total

Cunoaterea practicii administrative

40 31.3 30 20 10 0 6.3 f.mic mic relativ mare f.mare 18.8 29.2 14.6

Figura 16. Cunoaterea practicii administrative n cadrul indicatorului Cunoaterea practicii administrative predomin valorile de mijloc. Astfel 29.2 % dintre studeni au acordat nota 4 (mare) i 14.6% au apreciat

134

cu nota 5 (foarte mare), 6.3% dintre studeni au notat acest indicator cu nota 1 (foarte mic), 18.8% au notat cu nota 2 (mic) i 31.3% dintre studeni cu nota 3 (relativ). Tabelul 41: Indicele abilitilor
Indice abi litati IND_AB N Valid Missing Media

48 0 4.4375

Media obinut n cazul indicelui abilitilor are o valoare foarte ridicat, care se apropie de maxim, ceea ce denot faptul c studenii consider c au dobndit abilitile pe care programul i le propune s le transmit, ntr-o msur foarte ridicat. d. Satisfacia fa de baza material Potrivit criteriilor de acreditare ARACIS: Dotarea slilor de curs/seminar trebuie s corespund stadiului actual de dezvoltare a cunoaterii tiinifice i trebuie s fie comparabil cu cea din universitile dezvoltate din Europa i cu bunele practici internaionale. Echipamentele tehnice de nvaare, predare i comunicare trebuie s faciliteze activitatea cadrelor didactice i receptivitatea fiecarui student. (ARACIS, 2006: 17) Pentru msurarea satisfaciei fa de baza material am utilizat urmtoarele 7 variabile-elemente ale indicatorului baz material: 1. Procesul de admitere al studenilor 2. Procesul de nregistrare al studenilor. 3. Sprijinul material acordat (burse de studiu, burse de merit, burse sociale). 4. Dotarea bibliotecii cu resursele necesare programului educaonal de Administraie Public. 5. Dotarea slii de calculatoare. 6. Spaii adecvate procesului de nvmnt. 7. Spaii de cazare pentru studeni.

135

Ulterior analizei acestora, am compus o variabil care s reprezinte n mod proporional toate aceste caracteristici. Denumirea ei este baza material compus. Aceast variabil a fost obinut prin nsumarea valorilor propuse de fiecare individ pentru fiecare dintre cele 8 variabile. Indicatorii tendinei centrale obinui pentru aceast nou variabil vor arta ct se poate de precis i sintetic nivelul satisfaciei studenilor fa de baza material. Tabelul 42. Satisfacia fa de fiecare din elementele indicatorului baza material
Sati sfactia fata de elementele indicatorului baza material a BZ14_4 dotarea bibliotecii cu resursele necesre 48 0 2.60

N Mean

Valid Missing

BZ14_1 procesul de admitere al studentilor 48 0 3.00

BZ14_2 procesul de inregistrare al studentilor 48 0 3.13

BZ14_3 sprijinul material acordat 48 0 3.29

BZ14_5 dotarea salii de calculatoare 48 0 2.06

BZ14_6 spatii adecv ate procesului de inv atamint 48 0 2.79

BZ14_7 spatii de cazare pt studenti 48 0 2.38

Valorile obinute pentru seciunea Baza material sunt cele mai sczute pe care le-au oferit studenii din totalul domeniilor cuprinse n chestionar. Tabelul 43. Procesul de admitere
procesul de admitere al studentil or Frequency 2 13 19 11 3 48 Percent 4.2 27.1 39.6 22.9 6.3 100.0 Valid Percent 4.2 27.1 39.6 22.9 6.3 100.0 Cumulat iv e Percent 4.2 31.3 70.8 93.8 100.0

Valid

f oarte mica mica relativ a mare f oarte mare Total

136

Procesul de admitere al studenilor

50 40 30 20 10 0 f.mic mic relativ mare f.mare 4.2 6.3 27.1 22.9 39.6

Figura 21. Procesul de admitere Facultatea are un set de criterii de admitere obiective care asigur selectarea studenilor pe criterii de merit, pe baza competenelor profesionale17: performana de pe parcursul anilor de liceu i media la testul de bacalaureat. 39.6 % dintre respondeni au apreciat procesul de admitere cu satisfacie relativ, 22.9 % au apreciat cu satisfacie mare iar 6.3 % cu satisfacie foarte mare.

Tabelul 44. Sprijinul material acordat

sprijinul material acordat Frequency 1 10 16 16 5 48 Percent 2.1 20.8 33.3 33.3 10.4 100.0 Valid Percent 2.1 20.8 33.3 33.3 10.4 100.0 Cumulat iv e Percent 2.1 22.9 56.3 89.6 100.0

Valid

f oarte mica mica relativ a mare f oarte mare Total

Sprijinul material acordat

40 30 20 10 2.1 0 f.mic mic relativ mare f.mare 20.8 10.4 33.3 33.3

17

Interviu cu D-ul conf. univ. dr.Dan Sorin Sandor, 15.06.2007, ora 13:15

137

Figura 22. Sprijinul material acordat Facultatea dispune de un regulament de acordare a burselor sociale pe care l aplic n mod consecvent. Pentru acest indicator am obinut 2 valori de mijloc egale: 33 % dintre studeni i-au exprimat satisfacia drept relativ i 33.3 % pentru satisfacie mare.10.4 % dintre studeni i-au exprimat satisfacia fa de indicatorul sprijinul material acordat cu nota 5 (foarte mare). Tabelul 45. Dotarea bibliotecii cu resursele necesare
dotarea bibl iotecii cu resursele necesre Frequency 7 16 14 11 48 Percent 14.6 33.3 29.2 22.9 100.0 Valid Percent 14.6 33.3 29.2 22.9 100.0 Cumulativ e Percent 14.6 47.9 77.1 100.0

Valid

f oarte mica mica relativ a mare Total

Dotarea bibliotecii
40 30 20 10 0 f.mic mic relativ mare 14.6 33.3 29.2 22.9

Figura 23. Dotarea bibliotecii cu resursele necesare Raportul dintre resursele de mvaare disponibile i studeni trebuie s fie astfel stabilit nct fiecare student s aib acces liber la orice resurs, conform obiectivelor i cerinelor programului de studiu. (ARACIS, 2006: 29) Studenii chestionai cu privire la dotarea bibliotecii cu resursele necesare au oferit urmatoarele note n ceea ce privete satisfacia: 14.6 % au apreciat acest indicator cu 1 (foarte mic), 33.3 % cu 2 (mic), 29.2 % cu 3 (relativ) i 22.9 % cu 4 (mare). Studenii au mai menionat c materiale existente sunt puine i nu acopera necesitile de studiu al acestora.

138

Tabelul 46: Dotarea slii de calculatoare

dotarea sal ii de calculatoare Frequency 16 18 9 5 48 Percent 33.3 37.5 18.8 10.4 100.0 Valid Percent 33.3 37.5 18.8 10.4 100.0 Cumulativ e Percent 33.3 70.8 89.6 100.0

Valid

f oarte mica mica relativ a mare Total

Dotarea slii de calculatoare

40 30 20 10 0 f.mic mic relativ 18.8 10.4 33.3 37.5

mare

Figura 24. Dotarea slii de calculatoare Dei facultatea dispune de o bun dotare tehnic i informaional (reea de calculatoare, videoproiectoare, acces la internet, bibliotec proprie, etc.,) am obinut media cea mai mic- 2.06 % din totalul indicatorilor din domeniul bazei materiale. Studenii au menionat n principal urmtorul aspect: calculatoarele din dotare sunt foarte vechi, insuficiente pentru numrul total de studeni prezeni la laboratorul de informatic. Tabelul 47. Spaii adecvate procesului de nvmnt
spati i adecvate procesului de invatamint Frequency 5 14 18 8 3 48 Percent 10.4 29.2 37.5 16.7 6.3 100.0 Valid Percent 10.4 29.2 37.5 16.7 6.3 100.0 Cumulat iv e Percent 10.4 39.6 77.1 93.8 100.0

Valid

f oarte mica mica relativ a mare f oarte mare Total

139

40 30 20 10 0

Spaii adecvate pentru procesul de nvmnt 37.5 29.2 16.7 10.4 6.3

f.mic

mic

relativ

mare

f.mare

Figura 25. Spaii adecvate procesului de nvmnt Rezultatele obinute reflect o satisfacie sczut fa de acest indicator. Valorile cele mai mari au fost obinute pentru satisfacia relativ-37.5 %, iar 29.2 % dintre studeni au apreciat cu satisfacie mic. Spaiile de nvmnt sunt cu greu suficiente pentru desfurarea activitilor didactice (cu precizarea c situaia este n curs de mbuntire-un nou corp de cldire este n construcie); privind activitile de cercetarespaiile de desfurarea acestei activiti sunt suficiente. Figura 26: Spaii de cazare pentru studeni

Spaii de cazare pentru studeni

30 20 10 0 29.2 22.9 18.8 29.2

f.mic

mic

relativ

mare

Spaiile de cazare sunt apreciate la nivel sczut fa de studeni. Astfel 29.2 % dintre studeni au apreciat foarte mic satisfacia n raport cu acest indicator i 29.2 % au apreciat satisfacia relativ. Aceast satisfacie sczuta se refer la numarul sczut de locuri de cazare disponibile pentru studenii din cadrul Seciei de Administraie Public. Studenii din cadrul Seciei de Administraie Public sunt cazai n cminul 1

140

din campusul universitar B.P.Hadeu, camin care a fost complet renovat i dat n exploatare la nceputul anului universitar 2006-2007. Satisfacia fa de baza material reiese explicit din indicele baza material compus.
Indicele "baza materiala compusa" B. MAT.7 N Valid Missing Media

48 0 2.7500

Tabelul 48. Indicele Baza material compus Media de 2.75 denot un scor redus pentru indicele satisfacia studenilor fa de baza material , n comparaie cu scorul obinut pentru ceilali indicatori.

e. Nivelul personal de satisfacie a studenilor Nivelul personal de satisfacie a studenilor fa de programul educaional de AP nu este unul foarte ridicat, ns nici unul prea sczut, media scorurilor fiind de 3.35. Tabelul 49. Nivelul de satisfacie fa de programul educaional de AP
Statistics I15_1 niv elul personal de sat isf actie f at a de programul educat ional de AP N Valid 48 Missing 0 Media 3.35

141

Nivelul de satisfacie fa de programul educaional de AP

40 30 20 10 0 f.mic mic 4.2 12.5

37.4

35.4

10.4

relativ

mare

f.mare

Figura 17. Nivelul de satisfacie fa de programul educaional de AP n ceeea ce privete Nivelul personal fa de Programul educaional de Administraie Public al studenilor n raport cu dezvoltarea profesional i personal, 37.5 % au apreciat satisfacia ,,relativ, 35.4 % au apreciat satsisfacia mare i 10.4 % din cei chestionai au apreciat-o cu foarte mare. nsumnd procentul studenilor care au i-au exprimat satisfacia, acordnd note de 3, 4, 5 respectiv satisfacie relativ, mare, i foarte mare, obinem un procent cumulat de 83.3 din totalul studenilor, ceea ce reprezint un nivel de satisfacie ridicat. Din discuiile purtate cu studenii, majoritatea au apreciat pozitiv mediul de nvare/dezvoltare oferit de ctre secie. Interesant ar fi s vedem dac nivelul personal de satisfacie al studenilor vis-a-vis de programul educaional de Administraie Public este ridicat pentru c profesorii sunt foarte bine pregtii pentru cursuri, acetia reuesc s transmit informaiile ntr-un mod clar i explicit i sunt ajutai n gasirea unei instituii pentru realizarea stagiului de practic.(Ipoteza 1) Tabelul 50. Ipoteza 1-Modelul de regresie
Model Summary Model 1 R .682a R Square .465 Adjusted R Square .428 St d. Error of the Estimate .740

a. Predictors: (Constant), prof esorii au transmis inf ormatiile intr-un mod clar si explicit, cat edra de AP m-a ajutat sa-mi gasesc o institutie pentru realizarea stagiului, prof esorii au f ost f oarte bine pregatiti pentru cursuri

n tabelul de mai sus avem valoarea lui R-ptrat care seminfic c 46.5% din variaia variabilei dependente nivelul de satisfacie fa de programul de Administraie

142

Public este datorat variaiei variabilelor independente: profesorii au transmis informaiile ntr-un mod clar i explicit, catedra de AP m-a ajutat sa-mi gasesc o instituie pentru realizarea stagiului de practic i profesorii au fost foarte bine pregtii pentru cursuri. Tabelul 51. Ipoteza 1-ANOVA
ANOVAb Model 1 Sum of Squares 20.908 24.072 44.979 df 3 44 47 Mean Square 6.969 .547 F 12.739 Sig. .000a

Regression Residual Total

a. Predictors: (Const ant), prof esorii au transmis inf ormat iile intr-un mod clar si explicit, catedra de AP m-a ajutat sa-mi gasesc o institutie pentru realizarea stagiului, prof esorii au f ost f oart e bine pregatit i pent ru cursuri b. Dependent Variable: niv elul personal de sat isf actie f at a de programul educational de AP

n tabelul prezentat mai sus, semnificaia 0.000 ne arat c modelul de regresie propus este semnificativ din punct de vedere statistic, adic variabila dependent nivelul de satisfacie fa de programul de Administraie Public este ntr-adevr influenat de variabilele independente: profesorii au transmis informaiile intr-un mod clar i explicit, catedra de AP m-a ajutat sa-mi gasesc o instituie pentru realizarea stagiului de practic i profesorii au fost foarte bine pregtii pentru cursuri. Tabelul 52: Ipoteza 1-Coeficieni

a Coeffi ci ents

Model 1

(Constant) catedra de AP m-a ajutat sa-mi gasesc o institutie pentru realizarea stagiului prof esorii au f ost f oarte bine pregatiti pentru cursuri prof esorii au t ransmis inf ormat iile intr-un mod clar si explicit

Unstandardized Coef f icients B St d. Error .729 .449 .033 .078

St andardized Coef f icients Beta

t 1.624 .426

Sig. .112 .672

.048

.292

.174

.320

1.683

.099

.373

.187

.383

1.995

.052

a. Dependent Variable: niv elul personal de satisf actie f at a de programul educational de AP

143

Coeficientul standardizat Beta arat care este variabila independent care influeneaz cel mai puternic variabila dependent. Astfel, nivelul de satisfacie fa de programul de Administraie Public este influenat n principal de variabila independent profesorii au transmis informaiile ntr-un mod clar i explicit cu coeficientul lui Beta de 0.383 . Urmtorul coeficient care are valoarea absolut mare i deci influeeneaz variabila dependent este profesorii au fost foarte bine pregtii pentru cursuri avnd coieficientul Beta de 0.32. Catedra m-a ajutat sa-mi gsesc o instituie pentru realizarea stagiului de practic influieneaza variabila dependent cu 0.048, avnd coeficientul Beta cel mai mic. Putem concluziona c ipoteza menionat se confirm. f. ansele de angajare ale studenilor Tabelul 53. anse de angajare n AP
Statistics M1 sansele de angajare N Valid 48 Missing 0 Media 3.10

ansele de angajare n AP sunt percepute ca fiind relativ sczute (Media=3.1), ceea ce reprezint o atitudine pesimist asupra posibilitilor de a-i dezvolta o carier n domeniul public. Ar fi interesant de observat care sunt explicaiile acestei atitudini. Vom ncerca o explicaie cu ajutorul modelului de regresie care urmeaz. ansele de angajare ale studenilor n serviciile publice cresc daca n timpul realizrii stagiului de practic instituia a oferit studentului posibilitatea de implicare, studentul a avut posibilitatea de a lua contact cu sectorul executiv i a reuit s-i stabileasc contacte n cadrul acestuia.(Ipoteza 2) Tabelul 54. Ipoteza 2-Modelul de regresie

144

Model Summary Model 1 R .455a R Square .207 Adjusted R Square .133 St d. Error of the Estimate .774

a. Predictors: (Constant), st agiul de pract ica mi-a permis stabilirea de contacte in sectorul pub., posibilitatea de a lua contact cu sect orul execut iv , realizarea st agiului de practica a contribuit la def inirea alegerei v iitoare, pe parcursul stagiului institut ia a of erit posibilit atea de implicare

n tabelul de mai sus valoarea lui R patrat este de 0.207, care semnific existena unei relaii mai puin puternice ntre ansele de angajare i variabilele independente stagiul de practic mi-a permis stabilirea de contacte n sectorul public, posibilitatea de a lua contact cu sectorul executiv, realizarea stagiului de practic a contribuit la definirea alegerei viitoarei cariere i pe parcursul stagiului de practic instituia a oferit posibilitatea de implicare. Tabelul 55: Ipoteza 2-ANOVA
ANOVAb Model 1 Sum of Squares 6.713 25.766 32.479 df 4 43 47 Mean Square 1.678 .599 F 2.801 Sig. .037a

Regression Residual Total

a. Predictors: (Const ant), stagiul de practica mi-a permis stabilirea de contacte in sectorul pub., posibilitat ea de a lua contact cu sectorul executiv , realizarea stagiului de practica a contribuit la def inirea alegerei v iitoare, pe parcursul st agiului institutia a of erit posibilitatea de implicare b. Dependent Variable: sansele de angajare

Semnificaia modelului de regresie ne demonstreaz c modelul propus este unul semnificativ din punct de vedere statistic.

Tabelul 56: Ipoteza 2-Coeficieni

145

a Coeffi ci ents

Model 1

(Constant) posibilitatea de a lua contact cu sectorul executiv realizarea st agiului de practica a contribuit la def inirea alegerei v iitoare pe parcursul stagiului institutia a of erit posibilitatea de implicare stagiul de practica mi-a permis stabilirea de contacte in sectorul pub.

Unstandardized Coef f icients B St d. Error 1.878 .415 .344 .123

St andardized Coef f icients Beta

t 4.530 2.798

Sig. .000 .008

.431

-.043

.119

-.063

-.363

.718

.077

.128

.110

.603

.550

.026

.118

.038

.224

.824

a. Dependent Variable: sansele de angajare

Variabila care influeeaz cel mai mult variabila dependent ansele de angajare este posibilitatea de a lua contact cu sectorul executiv cu valoarea coeficientului Beta de .431. Urmtoarea variabil cu putere de influen este pe parcursul stagiului de practic instituia a oferit posibilitatea de implicare cu valoarea Beta de 0.110. Cea mai slab influen o exercit coeficientul Beta corespunztor variabilei realizarea stagiului de practic a contribuit la alegerea viitoarei cariere cu valoarea de -0.063. n urma analizei acestor date, ipoteza ansele de angajare ale studenilor n serviciile publice cresc daca n timpul realizrii stagiului de practic instituia a oferit studentului posibilitatea de implicare, studentul a avut posibilitatea de a lua contact cu sectorul executiv i a reuit s-i stabileasc contacte n cadrul acestuia se confirm, ns avem de-a face cu un model de regresie a crui putere explicativ nu este foarte mare. Aceasta ar putea s creasc prin eliminarea din model a variabilei care are cea mai mic putere explicativ, realizarea stagiului de practic a contribuit la alegerea viitoarei cariere cu valoarea coeficientului standardizat Beta de -0.063. g. Utilitatea meninerii legturii cu catedra

146

Statistics M8 utilit at ea mentinerii legaturii pentru student cu f acult at ea N Valid 48 Missing 0 Mean 3.19

Tabelul 57. Utilitatea meninerii legturii cu facultatea Pentru utilitatea meninerii legturii cu facultatea, studenii acord scoruri medii, ceea ce este caracteristic unei situaii neclare, de indecizie. Se impune luarea unor msuri de constituire a unei asociaii a absolvenilor i de dezvoltarea a unei culturi organizaionale n acest sens. Studenii sunt dispui s menin legtura cu catedra n condiiile n care acetia manifest un nivel ridicat de satisfacie fa de programul educaional, sunt hotri s lucreze n sectorul public i doresc s-i mbunteasc nivelul de competene. (Ipoteza 3)

Tabelul 58. Ipoteza 3-Modelul de regresie

Model Summary Model 1 R .686a R Square .470 Adjusted R Square .377 St d. Error of the Estimate .999

a. Predictors: (Constant), au of erit consiliere pentru directionarea carierei, masura de imbunatat ire a niv elelui de competente, posibilitatea de a ev olua prof esional datorita unei at itudini f lexibile, hotarirea de a lucra in AP, calitatea serv iciilor de consiliere, au of erit recomandari pentru act iv itati educationale, niv elul personal de satisf act ie f ata de programul educat ional de AP

n tabelul de mai sus avem valoarea lui R ptrat de 0.470. Prin urmare, 47% din variaia variabilei dependente este datorat variaiei variabilelor independente. Tabelul 59: Ipoteza 3-ANOVA

147

ANOVAb Model 1 Sum of Squares 35.403 39.910 75.313 df 7 40 47 Mean Square 5.058 .998 F 5.069 Sig. .000a

Regression Residual Total

a. Predictors: (Const ant), au of erit consiliere pentru directionarea carierei, masura de imbunatatire a niv elelui de competente, posibilitatea de a ev olua prof esional datorita unei atitudini f lexibile, hot arirea de a lucra in AP, calitat ea serv iciilor de consiliere, au of erit recomandari pentru activ itati educationale, niv elul personal de satisf actie f ata de programul educational de AP b. Dependent Variable: utilit atea mentinerii legaturii pentru st udent cu f acultatea

n tabelul prezentat mai sus semnificaia modelului (0.000) ne arat c modelul de regresie propus este unul bun, adic variabila dependent utilitatea meninerii legturii studentului cu facultatea este ntr-adevr influenat de variabilele independente profesorii au oferit consiliere pentru direcionarea carierei, msura de mbuntire a nivelului de competene, posibilitatea de evalua profesional datorit unei atitudini flexibile la nou, hotrrea de a lucra n Adminstraia Public, calitatea serviciilor de consiliere, profesorii au oferit recomandri pentru activiti educaionale, hotrrea de a lucra n Adminstraia Public i nivelul de satisfacie fa de programul educaional de Adminstraie Public.

Tabelul 60: Ipoteza 3-Coeficieni

148

a Coeffi ci ents

Model 1

(Constant) niv elul personal de satisf actie f ata de programul educational de AP masura de imbunatatire a niv elelui de compet ente posibilitatea de a ev olua prof esional datorita unei atitudini f lexibile hotarirea de a lucra in AP au of erit recomandari pentru activ itat i educationale calit atea serv iciilor de consiliere au of erit consiliere pentru directionarea carierei

Unstandardized Coef f icients B St d. Error -.808 .921 .479 .211

St andardized Coef f icients Beta

t -.878 2.275

Sig. .385 .028

.370

.120 .179 .263 .047 -.020 .103

.163 .183 .129 .174 .142 .166

.093 .127 .260 .041 -.019 .098

.739 .983 2.031 .267 -.139 .623

.464 .332 .049 .791 .890 .537

a. Dependent Variable: utilit atea mentinerii legaturii pentru student cu f acultatea

Coeficientul standardizat Beta corespunztor variabilei independente nivelul personal de satisfacie fa de programul educaional de Adminstraie Public care are cel mai mare impact asupra variabilei dependente meninerea legturii studentului cu facultatea este de 0.370. Urmtorul coeficient care are valoarea absolut mare i influieneaz variabila dependent este hotrirea de a lucra n Adminstraia Public avnd coeficientul Beta de .260. Posibilitatea de a evolua profesional datorit unei atitudini flexibile la nou este variabila independent cu coeficientul Beta de 0.127. Variabila dependent cu coeficientul Beta avnd valoarea absolut cea mai mic este calitatea serviciilor de consiliere -.019 care influeneaz negativ i foarte puin variabila dependent i ar trebui eliminat dintr-un model de regresie construit ulterior. n final i aceast ipotez se confirm. h. Msura n care se declar dispui s recomande specializarea de Administraie Public altor poteniali studeni

149

Studenii se declar dispui s recomande specializarea altor poteniali studeni, ns nu ntr-o msur foarte mare.
Statistics I15_2 dorinta de a recomanda programul unui prieten N Valid 48 Missing 0 media 3.31

Tabelul 61: Dorina de a recomanda programul unui prieten Pentru a investiga cauzele acestei situaii, de ce anume depinde nclinaia lor spre a recomanda Programul de Administratie public unui prieten, propunem urmtoarea ipotez: Recomandarea specializrii de Administraie Public de ctre studeni depinde de satisfacia acestora fa de programul educaional, de obiectivitatea evalurii studenilor de ctre profesori i de modul de predare a cunotinelor.(Ipoteza 4)

Tabelul 62: Ipoteza 4-Modelul de regresie

Model Summary Model 1 R .891a R Square .794 Adjusted R Square .745 St d. Error of the Estimate .660

a. Predictors: (Constant), prof esorii au f ost f oarte bine pregatiti pentru cursuri, spatii adecv ate procesului de inv atamint, posibilitatea de a lua contact cu sect orul executiv , posibilit atea de a ev olua prof esional dat orita unei atitudini f lexibile, prof esorii dispun de strategii actualizate de predare, calitatea serv iciilor de consiliere, au ev aluat obiectiv cunostintele studentilor , niv elul personal de satisf actie f ata de programul educational de AP, prof esorii au t ransmis inf ormatiile intr-un mod clar si explicit

Pentru a testa ipoteza conform creia dorina de a recomanda urmarea studiilor de licen n cadrul Seciei de Adminstraiei Publice este influenat de variabilele independente profesorii au transmis informaiile ntr-un mod clar i explicit, spaii adecvate procesului de nvmnt, posibilitatea de a lua contact cu sectorul executiv, posibilitatea de a evolua profesional datorit unei atitudini flexibile, calitatea serviciilor de consiliere, profesorii dispun de srategii actualizate de predare, nivelul personal de satisfacie fa de programul educaional de AP, au evaluat obiectiv cunotinele

150

studenilor i profesorii au fost foarte bine pregtii pentru cursuri am construit un model de regresie. R-ptrat ne arat c 79,4% din dorina de a recomanda programul educaional este datorat variabilelor independente menionate mai sus. Tabelul 63: Ipoteza 4-ANOVA
ANOVAb Model 1 Sum of Squares 63.738 16.574 80.312 df 9 38 47 Mean Square 7.082 .436 F 16.237 Sig. .000a

Regression Residual Total

a. Predictors: (Const ant), prof esorii au transmis inf ormat iile intr-un mod clar si explicit, spat ii adecv at e procesului de inv at amint , posibilitatea de a lua contact cu sectorul executiv , posibilit at ea de a ev olua prof esional datorita unei atitudini f lexibile, calitat ea serv iciilor de consiliere, prof esorii dispun de strat egii actualizate de predare, niv elul personal de satisf act ie f ata de programul educational de AP, au ev aluat obiectiv cunostintele studentilor , prof esorii au f ost f oarte bine pregatiti pentru cursuri b. Dependent Variable: dorinta de a recomanda programul unui prieten

n tabelul ANOVA avem prezentarea unei relaii seminficative care exist ntre variabila dependent i variabilele independente (semnificaia este 0.000). Tabelul 64. Ipoteza 4-Coeficieni

151

a Coeffici ents

Model 1

(Constant) niv elul personal de satisf actie f ata de programul educational de AP spatii adecv ate procesului de inv atamint prof esorii dispun de strategii actualizate de predare posibilitatea de a lua contact cu sectorul executiv posibilitatea de a ev olua prof esional datorita unei atitudini f lexibile calit atea serv iciilor de consiliere au ev aluat obiectiv cunostintele student ilor prof esorii au f ost f oarte bine pregatiti pentru cursuri prof esorii au t ransmis inf ormat iile intr-un mod clar si explicit

Unstandardized Coef f icients B Std. Error -.990 .535 .898 .152

Standardized Coef f icients Beta

t -1.851 5.917

Sig. .072 .000

.672

-.012 -.102

.097 .115

-.010 -.085

-.127 -.888

.900 .380

.087

.106

.069

.821

.417

-.041 -.043 .171 -.079

.124 .101 .135 .174

-.028 -.041 .145 -.065

-.331 -.430 1.273 -.455

.743 .670 .211 .652

.363

.200

.279

1.818

.077

a. Dependent Variable: dorinta de a recomanda programul unui prieten

Astfel cei mai mari coeficieni Beta: 0.672 pentru variabila independent nivelul personal de satisfacie fa de programul de AP i coeficientul Beta de 0.279 pentru variabila independent profesorii au transmis informaiile ntr-un mod clar i explicit indic variabilele independente care afecteaz n cea mai mare msur variabila dependent. Cei mai mici coeficieni Beta obinui sunt coeficientul Beta de -0.085 pentru variabila strategii actualizate de predare. Un aspect interesant pentru concluziile prezentei evaluri ar fi s aflm msura n care dorina de a menine legtura cu facultatea depinde de nivelul personal de satisfacie. Pentru a vedea dac exista o asociere ntre variabila dependent meninerea legturii cu

152

facultatea i nivelul personal de satisfacie am utilizat asocierea i am obinut urmatoarele rezultate: Msura n care utilitatea meninerii contactului cu facultatea dup ncheierea studiilor are legtur cu nivelul personal de satisfacie fa de programul educaional de AP (ipoteza 5) Tabelul 65. Ipoteza 5-Asociere variabile
utilitatea mentinerii l egaturii pentru student cu facultatea * nivelul personal de satisfactie fata de programul educational de AP Crosstabulation Count niv elul personal de sat isf actie f at a de programul educational de AP f oarte mica mica relativ a mare f oarte mare 1 1 2 0 0 1 4 5 2 1 0 1 7 2 0 0 0 2 8 2 0 0 2 5 2 2 6 18 17 5

Total 4 13 10 12 9 48

utilit atea mentinerii legaturii pent ru student cu f acult atea

f oarte mica mica relativ a mare f oarte mare

Total

Tabelul 66. Ipoteza 3-Testul Hi-ptrat

Chi-Square Tests Value 28.533a 31.067 16.815 48 df 16 16 1 Asy mp. Sig. (2-sided) .027 .013 .000

Pearson Chi-Square Likelihood Ratio Linear-by -Linear Association N of Valid Cases

a. 25 cells (100.0%) hav e expected count less than 5. The minimum expected count is .17.

n tabelul de mai sus avem valoarea lui Hi ptrat de 0.027 care ne arat c ntre variabila dependent utilitatea meninerii legturii studentului cu Secia de Administraie Public i variabila independent nivelul personal de satisfacie exista o relaie semnificativ. Tabelul 67. Ipoteza 3-Gamma

153

Symmetric Measures Value .678 48 Asy mp. a St d. Error .104 Approx. T 5.580
b

Ordinal by Ordinal N of Valid Cases

Gamma

Approx. Sig. .000

a. Not assuming the null hy pothesis. b. Using the asy mptotic standard error assuming the null hy pothesis.

Valoarea lui Gamma de 0.678 prezint amploarea i direcia relaiei care este una puternic i pozitiv: cu ct studenii sunt mai satisfcui de calitatea programului educaional de Administraie Public cu att acetia sunt mai dispui s menin legtura cu catedra. Se impune nevoia crerii unei asociaii a absolvenilor n cadrul Seciei de Administraie Public cu care s se menin legtura. Aceast asociaie este inexistent chiar i la nivelul Universitii Babe-Bolyai. Este necesar s se stabileasc mai nti ce servicii vor fi oferite absolvenilor prin identificarea nevoilor acestora i mai apoi s se pun bazele unei astfel de asocoaii18.

Utilitatea unui sistem de indicatori este de a prezenta sintetic un tablou al situaiei unui anumit program, astfel nct situaia s poat fi urmrit de-a lungul timpului. Pentru c impactul social al unui program este cel mai adesea indirect i poate fi sesizat n timp, rolul sistemului de indicatori este crucial. Tabelul 68. Sistemul de indicatori (partea I) Variabile Denumire Indicatori Tip Indici Media Denumir Media scoruril e scoruril or or obinut obinut e e 3.79 Eficacitat 3.43 ea educaion al Tipul impactu lui

a) Eficacit atea

1.Profesorii au fost foarte bine pregtii pentru cursuri.

Eficacitat e, Rezultat, impact

18

Conf. univ. dr. Sorin Dan andor, interviu realizat n data de 15.06.2007, ora 13:15

154

educaio 2. Proseforii au reuit s se nal transmit informaiile ntrun mod clar i explicit. 3.Au oferit exemple practice. 4.Au ncurajat studiul bibliografiei suplimentare. 5.Au stimulat spiritul critic. 6.Profesorii dispun de strategii actualizate de predare pentru fiecare curs. 7.Au evaluat obiectiv cunotinele studenilor. 8.Au oferit consiliere pentru direcionarea carierei. 9.Au oferit recomandri pentru alte activiti educaionale (coli de var, conferine, master, internship, etc.,) 10.Profesorii au fost disponibili pentru consultaii n afara cursurilor.

3.81

compus

3.88 3.27

3.27 3.44

3.38

2.63

3.29

3.29

155

11. Au organizat dezbateri n cadrul cursurilor/semina riilor. Performa b) Satisfac 1. Elemente de drept civil n, ia fa Impact 2. Operare PC de 3. Introducere n discipli tiinele comunicarii i a nele relaiilor publice curricul 4. Bazele economiei de are pia 5. Sistem constituional i instituii politice n Romnia 6. Relaii cu publicul i elaborarea documentelor oficiale 7. Drept administrativ 8. Finane i bugete publice 9. Descentralizare i politici regionale 10. Metode de cercetare n tiine sociale 11. Teorii organizaionale 12. Sisteme administrative comparate 13. Etic n administraia public 14. Managementul resurselor umane

3.79

3.27 2.91 3.21

Indicele 3.49 satisfaci ei fa de discipline le predate

3.81

4.21

3.56

4.17 3.96 3.35

3.19

3.21 3.42

3.54

3.96

156

15. Managementul ONG-urilor 16. Management financiar 17. Management public 18. Drept comunitar instituional 19. Drept penal 20. Teoria argumentarii 21. Seminar de cercetare 22. Evaluarea programelor n administraia public 23. Introducere n tiinele politice 1.Capacitatea de Rezultat, c) a consulta, a Impact Abiliti interpreta i de a aplica le reglementrile n obinute domeniul administraiei n publice. cadrul 2. Capacitatea de Progra analiz, sintez i prognoz, mului manifestate prin: Educai spirit analitic i sintetic de onal de interpretare a Admini informaiilor, prin spirit inovator, straie discernmnt, Public realism, adaptabilitate i flexibilitatea gndirii.

3.79

3.40 4.27 3.88

3.15 2.63 3.10 3.67

3.63 3.27 Indicele abiliti 4.43 ++

3.50

157

3. Capacitatea de a rezolva probleme de o manier inovatoare. 4. Capacitatea de a folosi limbajul juridic i economic, specific tiinelor administrative. 5. Abiliti n ceea ce privete fundamentarea deciziilor publice. 6.Capacitatea de a utiliza tehnologiile informaionale specifice domeniului administraiei publice. 7.Cunoaterea, interpretarea i aplicarea reglementrilor legale din domeniul organizrii i funcionrii autoritilor i instituiilor publice, n domeniul funciei publice i a funcionarilor publici, actelor administrative, contractelor publice, prestrii serviciilor publice.

3.31

3.71

3.35

3.44

3.42

158

d) Baza material

8.Cunoaterea practicii administrative i spirit de iniiativ n analiza i rezolvarea problemelor practice. 9.Posibilitatea de a evolua profesional datorit unei atitudini flexibile i deschise la nou. 10.Utilizarea tehnicilor informaionale. 11.Luarea unor decizii etice. 12.Capacitatea de a lucra n echp. 13.Construirea si aplicarea instrumentelor de cercetare. 14.Interpretarea rezultatelor cercetrilor. 1. Procesul de admitere al studenilor 2. Procesul de nregistrare al studenilor. 3.Sprijinul material acordat (burse de studiu, burse de merit, burse sociale). 4. Dotarea bibliotecii cu resursele necesare programului educaonal de Administraie Public.

Rezultat, impact

3.27

3.44

3.38

3.94 3.96 3.38

3.46

Rezultat, impact

3.00

Baza material compus

2.75

3.13

3.29

2.60

159

5. Dotarea slii de calculatoare. 6. Spaii adecvate procesului de mvmnt. 7. Spaii de cazare pentru studeni.

2.06 2.79

2.38

Tabelul 69. Sistemul de indicatori (partea a II-a) Tip Media Indicator scorurilor obinute e) Nivelul personal de impact 3.35 satisfacie a studenilor

Indicatorii explic 1.

care

o Tipul impactului sunt +

profesorii

foarte bine pregtii pentru cursuri 2. acetia reuesc s transmit informaiile ntr-un mod clar i explicit 3. sunt ajutai n gasirea unei instituii pentru realizarea

stagiului de practic f) ansele de angajare ale impact 3.1 studenilor 1. n timpul realizrii + stagiului de practic instituia studentului posibilitatea implicare, 2. studentul a avut posibilitatea de a lua contact cu sectorul executiv i de a oferit

160

3. studentul a reuit s-i contacte acestuia. g) Utilitatea meninerii impact 3.19 1. studentul manifest + un nivel ridicat de satisfacie programul educaional, 2. studentul public este i s-i hotarat s lucreze n sectorul doresc mbunteasc nivelul de competene h) Msura n care se declar impact 3.31 dispui s recomande de Public 1. satisfacia acestora + fa de programul educaional 2. evalurii obiectivitatea studenilor fa de stabileasc n cadrul

legturii cu catedra

specializarea Administraie altor poteniali studeni

de ctre profesori 3. satisfacia fa de modul de predare a cunotinelor

Siatemul de indicatori rezultat este compus din dou pri. n prima parte sunt prezentate variabilele fundamentale pentru evaluare, indicatorii rezultai din acestea n urma operaionalizrii i media scorurilor obinute, indicii compui pornind de la acetia i mediile valorilor corespunztoare lor. Indicii prezint sintetic situaia specific variabilelor i indicatorilor de impact respectivi. n cea de-a doua parte sunt prezentate o

161

a doua serie de avriabile fundamentale, media scorurilor obinute i indicatorii care, conform modelelor de regresie prezentate, ajut la explicarea lor. 7. Aprecierea impactului pozitiv i negativ Tipul impactului este prezentat ca pozitiv sau negativ n funcie de valoarea mediilor obinute la nivel de indici i variabile. Astfel dac aceste medii de situeaz ntre 1 i 2 avem de-a face cu un impact puternic negativ (--), ntre 2 i 3 vom avea un impact negativ (-), ntre 3 i 4, impactul este perceput ca fiind pozitiv (+), n timp ce ntre 4 i 5 vom avea un impact puternic pozitiv asupra grupului int. Impactul puternic negativ sau cel negativ vor trebui avute n vedere pentru a dezvolta un plan de contracarare a efectelor nedorite, iar impactul pozitiv sau puternic pozitiv trebuie ncurajat. n cazul prezentei evaluri, impactul programului educaional asupra studenilor este unul preponderent pozitiv. Aceasta desigur din perspectiva studenilor i avnd mai degrab n vedere probleme legate de satisfacia acestui grup de beneficiari vis-a-vis de program. Totui, observm un element care are un impact negativ (baza material), precum i o component care manifest un impact puternic pozitiv (abiliti dobndite).

8. Dezvoltarea unui plan de contracarare a efectelor nedorite n legtur cu planul de contracarare a efectelor nedorite, acesta deja exist. Prin extinderea sediului faculttii vor fi rezolvate att problema dotrii bibliotecii, ct i cea a slii de calculatoare i a spaiilor destinate nvmntului. Singura problem care rmne este cea a spaiilor pentru cazare. Impactul puternic pozitiv al abilitilor dobndite trebuie meninut deoarece astfel se ndeplinesc misiunea i obiectivele programului educaional.

9. Redactarea raportului de evaluare Redactarea raportului de evaluare se va face dup consultarea principalilor actori interesai, n legtur cu rezultatele evalurii. Raportul va descrie sintetic: 1. Scopul evalurii

162

2. Metodele de evaluare utilizate 3. Sistemul de indicatori utilizat 4. Metodele de cercetare utilizate pentru completarea sistemului de indicatori 5. Metodele de analiz i interpretare a datelor 6. Principalele concluzii i recomandri 7. Elemente ale planului de contracarare a impactului negativ 10. Redactarea unui plan de integrare a rezultatelor evalurii impactului social n designul activitilor i programelor viitoare este ultima etap prevzut n modelul de evaluare propus. Acest plan se realizeaz ulterior diseminrii rezultatelor evalurii i se refer n principal la ealonarea calendaristic a msurilor care trebuie luate pentru ncurajarea efectelor pozitive i contracararea efectelor negative ale programului. Aceast ultim etap, face parte mai puin din metodologia de evaluare a impactului unui program, innd mai mult de nivelul managerial i de organizarea intern al instituiilor care implementeaz prezentul program.

Concluzii Impactul Programului educaional de Administraie public asupra studenilor este predominant pozitiv. Evaluarea impactului programului a fost realizat din perspectiva beneficiarului cu un accent specific pe elemente legate de satisfacia studenilor. Impactul social al unui program educaional este resimit n primul rnd de beneficiarii acestuia, studenii, iar calitatea unei faculti st n modul n care ea satisface nevoile studenilor. Aceasta ar putea varia ntre angajarea sigur i cu un salariu mare, pn la a deveni un foarte bun profesionist. Studenii au nevoie s i aleag exact drumul pe care l consider cel mai bun pentru ei i s fie motivai i implicai n propria lor formare. Ateapt medii i experiene de nvare eficiente, interesante i motivante precum i condiii de studiu care s le ofere confortul fizic i psihic pentru a da randament. Evaluarea realizat n acest capitol se nscrie n cea de-a doua accepiune a conceptului de impact social: msurarea efectelor nete ale unui program. Studiul de evaluare realizat a reuit construcia unui sistem de indicatori pentru monitorizarea i evaluarea efectelor programului din perspectiva studenilor participani n program i

163

realizarea unei evaluri avnd la baz acest sistem de indicatori, care va putea servi ca baz de comparaie pentru evalurile viitoare. Sistemul de indicatori a fost construit pornind de la un proces specific cercetrii n tiinele socio-umane: operaionalizarea conceptelor. Conceptele fundamentale au fost transformate n variabile (care reprezint baza sistemului de indicatori), iar pe baza lor au fost calculai indici. n urma evalurii, am constatat c din perspectiva studenilor, efectele programului educaional AP-UBB asupra lor au fost preponderent pozitive: indicele eficacitii educaionale compuse (3.43), indicele satisfaciei fa de disciplinele predate (3.49) i indicatorii: nivelul personal de satisfacie a studenilor (3.35), ansele de angajare ale studenilor (3.1), utilitatea meninerii legturii cu catedra (3.19), msura n care se declar dispui s recomande specializarea de Administraie Public altor poteniali studeni (3.31), au valori care semnific un impact pozitiv (+). ansele de angajare ale studenilor este indicatorul cu valoarea cea mai apropiat de un impact negativ (scoruri ntre 2 i 3). Trebuie remarcat c angajarea studenilor depinde doar indirect de programul educaional. Totui, trebuie acordat o atenie sporit programelor de practic profesional care pot crete ansele de angajare. Singurul indice care dezvluie un impact negativ al programului este cel care privete baza material (baza material compus: 2.75). Pentru contracararea efectelor negative generate de o baz material neadecvat s-au luat deja msuri i este n construcie un al doilea corp de cldire, n care se va organiza o bibliotec i un laborator pentru calculatoare, precum i spaii suplimentare pentru desfurarea activitilor educaionale. Evaluarea a dezvluit i un element cu un impact puternic pozitiv - abilitile dobndite n cadrul Programului Educaional de Administraie Public (indicele abiliti: 4.43), pe care va trebui s se pun n continuare acelai accent pentru a fi meninut efectul puternic pozitiv. Indicatorii care ajut la construirea indicilor dezvluie informaii suplimentare legate de aspectele care trebuie ncurajate. Sunt momente cnd studenii nu sunt foarte siguri de alegerile fcute i atunci au nevoie de sfaturi i ndrumare pentru a lua cele mai bune decizii. Discuiile cu profesorii sau chiar cu colegii din ani mai mari, sau serviciile birourilor de consiliere n carier ar putea constitui un ajutor preios. Indicatorul referitor la consilierea pentru direcionarea carierei are valoarea de 2.63. Deci, o alt premis a optimizrii impactului ar fi oferirea unor servicii performante de consiliere i orientare.

164

Studenii i doresc s fie acei specialiti care au ncredere n puterile proprii, pentru c au practic i sunt bine pregtii n raport cu situaiile pe care le pot ntlni la locul de munc. Deci, impact pozitiv nseamn i eficacitate n raport cu obiectivele reale. Un accent suplimentar n acest sens se impune a fi plasat asupra activittilor care privesc indicatorii Au oferit recomandri pentru alte activiti educaionale (coli de var, conferine, master, internship, etc.,) i Profesorii au fost disponibili pentru consultaii n afara cursurilor care au obinut un scor de doar 3.29. De asemenea, se impune popularizarea exemplelor de bun practic a susinerii cursurilor i seminariilor, dezvluite prin prezenta evaluare i mprtirea lor ntre membrii catedrei prin participarea cadrelor didactice la cursuri i seminarii ale colegilor de catedr. Exemplele de bun practic dezvluite de studeni in acest sens sunt: Management public (4.27), Drept administrativ (4.17), Sistem constituional i instituii politice n Romnia (4.21) care au un impact puternic pozitiv. Tot aici trebuie s menionm i disciplinele care au obinut scoruri foarte apropiate de un impact puternic pozitiv, chiar dac nu au depit pragul de 4: Managementul resurselor umane (3.96). n urma analizei datelor i a concluziilor la care am ajuns n urma evalurii, propunem urmtoarele recomandri pentru optimizarea impactului pozitiv asupra studenilor: Proiectarea i dezvoltarea bazei materiale a seciei. Creterea frecvenei de aplicare a chestionarelor i sondajelor de opinie pentru monitorizarea satisfaciei studenilor Monitorizarea i msurarea proceselor de predare i de evaluare a calitii cursurilor Evaluarea calitii documentelor editate ca suport de curs i seminarii. Testarea i evaluarea abilitilor i cunotinelor dobndite de ctre studeni n procesul de nvmnt al Seciei de Administraie Public ndrumarea studenilor spre utilizarea consultaiilor acordate de profesori . Urmrirea rezultatelor absolvenilor obinute la concursurile de ocupare a posturilor (locurilor de munc). mbuntirea continua a condiiilor de studiu prin modernizarea bazei materiale. Finane i bugete publice (3.96) i

165

Diversificarea gamei de cri (manuale, cursuri universitare, cultur general, legislaie etc.) din biblioteca universitii i crearea unei biblioteci virtuale. mbuntirea continua a comunicrii ntre cadre didactice i studeni. Mecanismul de management al calitii din cadrul catedrei este o oportunitate pe

care trebuie s o valorificm i menine pentru a mbunti impactul pozitiv reieit n urma prezentei evaluri.

166

Partea a III-a Cultura i capacitatea de evaluare n Romnia

167

Capitolul 10. Cultura evalurii i capacitatea de evaluare n administraia publica din Romnia 10.1 Prezentarea problemei Programele i proiectele finanate din fondurile de pre-aderare au avut parte de un sistem de monitorizare i evaluare foarte bine stabilit. Acest fapt a condus la iniierea dezvoltrii culturii de monitorizare i evaluare n Romnia, rmnnd un pas important chiar dac n fapt a nsemnat mai mult o expunere dect o evaluare. Cultura evalurii este considerat a fi una dintre obligaiile instituionale de a nva din evaluare. (USGAO, 2003: 3) n practic, cultura evalurii se exprim prin msurarea sistematic a programelor i proiectelor n derulare, schimbrile ce trebuie operate n designul acestora i tehnicile de implementare. Capacitatea de evaluare implic, dincolo de o cultur solid de evaluare, elemente precum: sisteme de monitorizare, expertize analitice i reele de comunicare(USGAO, 2003). Cultura evalurii este uneori vzut ca o pre-condiie pentru o bun dezvoltare a capacitii de evaluare. Astfel, relaia dintre capacitatea de evaluare i cultura evalurii pare a fi una de subordonare, dup cum arat fig. 28:

capacitatea de a evalua

cultura evalurii Figura 18. Relaia de subordonare dintre cultura evalurii i capacitatea de evaluare

Dar, lipsete capacitatea de evaluare pentru o instituie sau un grup de instituii care nu au o cultur de evaluare sau au una extrem de precar? Reprezint cultura evalurii o condiie sine qua non pentru o capacitatea de evaluare? Am iniiat n acest sens o cercetare, pentru a afla cum putem determina dac elementele de cultur a evalurii n instituiile locale publice din Romnia determin sau nu capacitatea de evaluare a 168

acestora. n primul rnd am menionat elementele specifice a culturii evalurii i pe acelea ale capacitii de evaluare pe care le analizm de-a lungul cercetrii. Elementele specifice ale culturii de evaluare sunt: experiena trecut n evaluare i nelegerea nevoii de evaluare. Variabilele culturii de evaluare care urmeaz a fi msurate sunt: 1) n instituie exist planuri detaliate de implementare a interveniilor (Q.4.1); 2) Se ncearc n permanen s fie gsite cele mai bune modaliti de a le efectua (Q.4.2); 3) Obiectivele interveniilor sunt foarte concrete i msurabile (Q.4.3); 4) Pentru fiecare intervenie efectuat sunt colectate informaii n mod regulat (Q.4.4); 5) Informaiile colectate sunt folosite pentru a ne da seama cum merg lucrurile (Q.4.5); 6) Informaiile pot fi accesate de toi cei interesai (Q.4.6); 7) Gradul de ndeplinire al obiectivelor este cunoscut pe tot parcursul interveniei (Q.4.8); 8) Activitile desfurate n cadrul interveniei sunt monitorizate n permanen (Q.4.9); 9) Cheltuielile efectuate n cadrul interveniei pot fi cunoscute n orice moment al acesteia (Q.4.10); 10) La nivelul instituiei exist preocupri serioase pentru a vedea ct de bine merg lucrurile (Q.4.11); 11) Exist analize periodice ale performanelor nregistrate (Q.4.12) ; 12) alizele sunt supuse dezbaterii (Q.4.16); 13) Exist preocupri permanente de a mbunti capacitatea de analiz (Q.10); 14) Numrul evalurilor n care instituia a fost implicat (Q.12.1); Prin capacitatea de evaluare nelegem resursele umane antrenate n analiza de date, statistic i evaluare, sisteme de monitorizare existente, expertiza analitic i reele de comunicare. Dincolo de variabilele prezentate ca msurnd cultura de evaluare, mai este un alt set de variabile care pe care trebuie s le avem n vedere cnd msurm capacitatea de evaluare. 1) Exist cel puin un angajat pregtit n evaluare; 2) Exist cel puin un angajat/ un departament responsabil pentru implementarea
strategiilor, politicilor i programelor;

3) Numrul angajailor pregtii n metode de cercetare sau statistic ;

169

4) Gradul de dificultate n adunarea informaiei de la alte instituii; 5) Msura n care performana evalurii implic specialiti din alte instituii; 6) Msura n care exist o preocupare constant de a mbunti capacitatea de evaluare; ntr-un studiu recent Assessment of the Evaluation Culture in Romania Hilary Curley i Eugen Perianu au ncercat s aprecieze cultura evalurii n Romnia dintr-o perspectiv diferit (Curley, Perianu, 2006). Aceasta este vzut ca un element cheie n constituirea capacitii de evaluare la nivel naional. Aciunile19 i studiile anchetei privind capacitatea de evaluare n noile membre state (inclusiv Romnia), deseori comparat cu vechile state membre a fost chestionat (Malan, 2004). Rezultatele unui chestionar aplicat de EAG (dup Curley si Perianu, 2006) n rile candidate, n 2003 arat evident c: Comisiile de evaluare sunt rare i cerinele naionale sunt practic inexistente ; Expertiza evalurii se face n principal prin evaluatori externi; Evalurile interim Phare nu sunt de obicei diseminate n afara grupului de management; Rezultatele evalurii nu sunt expuse i nu atrag dezbateri; Evalurile nu au un impact semnificativ asupra consideraiilor i a leciilor nvate pentru mbuntirea planificrii; Factorii instituionali (e.g. reglarea) sunt slab dezvoltate i nu exist o puternic direcie informal (e.g. grupurile de aciune civil); Monitorizarea programelor/ proiectelor este n principal orientat ctre procesul de evaluare al EC Phare; Rezultatele bazate pe monitorizare (ca opuse monitorizrii financiare i contractuale) nu sunt bine dezvoltate; Un alt studiu de referin din 2004 compar capacitatea de evaluare din noile state membre (Malan, 2004) cu cea din cele 15 state membre mai vechi. Jack Malan,

19

The Evaluation Advisory Group (EAG) initiated by the European Commissions Directorate General for Enlargement in 2002 as a forum for the exchange of good practice in monitoring and evaluation capacity building between Member States and Candidate Countries.

170

cercettor la Centre for Strategy and Evaluation Services a ajuns la o serie de concluzii relevante pentru instituiile publice din Romnia Capacitatea de evaluare este nc larg considerat subdezvoltat n noile state membre; Exist o lips de evaluatori cu aptitudini necesare n noile state membre; Exist o percepie n noile state membre privind autoritile publice ca nefiind suportive suficient pentru a ajuta competenele de dezvoltare a evalurii; O cultura a evalurii nu exist n Lituania, Ungaria, Romnia, Cipru i Republica Ceh; n cele 15 state vechi membre formarea unei culturi robuste a evalurii a durat o decad (acceptnd c nu toate statele membre au o cultur robust a evalurii); Noile state membre au cerut mai multe informaii i suport n evaluare, precum ghiduri, metodologii i exemple de bun practic; Motivrile comerciale de a mbunti capacitatea de evaluare i expertiz par a fi cei mai semnificativi factori ai schimbrii; Eecul n asigurarea rezultatelor evalurii n perspectiva construirii unei politici pare a fi una dintre problemele practice cele mai serioase; n noile state membre, lipsa unui ghid de date i definirea precar a unor scopuri i indicatori de performan constituie chestiunile metodologice cele mai provocatoare; O treime din respondenii din noile state membre declar calitatea studiilor de evaluare din rile lor ca fiind srccioas, n timp ce dou treimi declar c este doar acceptabil fr ca vreunul s o aprecieze ca fiind acceptabil sau excelent. Astfel, studiile de cercetare conduse pn n prezent au demonstrat c n Romnia, asemenea situaiilor din celelalte state membre, nu exist o cultur dezvoltat a evalurii. Cercetarea prezent se apropie mai mult de instituiile Administraiei Publice din Romnia pentru a identifica elementele specifice posibilele rdcini pentru o viitoare cultur a evalurii. Aceste elemente vor fi considerate ca aparinnd unei pre-culturi a evalurii.

171

Evaluarea programelor n reforma Administraiei Publice Primele eforturi de reform privitoare la administraia public n Romnia au nceput n 1990. n 2004 guvernul Romniei a adoptat o Strategie pentru accelerarea reformei n Administraia public ncercnd s grbeasc procesul de modernizare. Programele Operaionale pentru construirea Capacitii Administrative n perioada 2007-2013 n structura Strategiei Naionale National Strategic Reference a identificat problemele existente: Slaba capacitate administrativ; Lipsa pregtirii profesionale, probleme n criteriile de selecie; Capaciti strategice sczute; Coordonare slab; Transparen sczut;

O post-evaluare independent condus de programul PHARE (MWH, 2006) argumenteaz c schimbrile frecvente din conducerea politic au ca rezultat o discontinuiti n voina politic pentru a promova reforma mpreun cu dificultile de separare a funciilor politice de cele administrative Nefinalizarea procesului de creare a unui serviciu civil puternic a mpiedicat, pn n prezent, apariia unei practici de evaluare. Deoarece practica evalurii are nevoie de procese i proceduri administrative stabile i coerente este nepotrivit ca acestea s fie dezvoltate ntr-un mediu instituionale problematic i de nencredere. Un raport tematic (ECOTEC, 2006) realizat de un evaluator independent argumenteaz c mult din ceea ce nc trebuie realizat este parte din baza, n sensul a) unei legislaii primare i secundare tranzitorii, b) crearea de novo, sau dezvoltarea structurilor administrative, standardelor i procedurilor, i c) asigurarea resurselor financiare i umane suficiente pentru a le asigura sustenabilitatea.

10.2 Metodologia Pentru a analiza cultura evalurii i capacitatea de evaluare n instituiile publice romneti, am realizat o cercetare. Scopul acesteia a fost de a afla n ce msur putem vorbi despre o capacitate de evaluare i despre o cultur a evalurii la nivel regional i

172

local. Cecetarea propriu-zis a fost precedat de sun studiu pilot. Metoda de cercetare a fost ancheta sociologic, iar instrumentul, chestionarul. n cadrul studiului pilot chestionarul a fost aplicat pentru cinci instituii publice, iar n cadrul cercetrii propriuzise, eantionul a fost reprezentat de 97 de instituii publice din ntreaga ar, majoritatea fiind primrii din oraele-municipii i consilii judeene. Realizarea eantionului i aplicarea chestionarului a fost realizat n colaborare cu Ministerul Administraiei i Internelor (actualmente Ministerul Internelor i a Reformei Administrative). Eantionul selectat a fost unul exhaustiv, chestionarul fiind trimis spre toate prefecturile i primriile din reedinele de jude. Pe lng acestea, chestionarul a fost aplicat i unora dintre primriile unor orae care nu sunt reedine de jude, ns sunt considerate semnificative din perspectiva numrului de locuitori. Instituiile investigate n studiul pilot sunt: Prefectura Cluj, Primria Satu-Mare, Universitatea Babe-Bolyai i Inspectoratul teritorial pentru fora de munc, Cluj. Managerii instituiilor au fost rugai s selecteze cea mai potrivit persoan angajat a instituiei care poate furniza sau colecta informaiile cerute. Ulterior, persoana desemnat colecteaz informaiile i completeaz chestionarul n numele instituiei. Studiul pilot a fost realizat n perioada 3-6 Martie 2007, iar cercetarea propriu-zis n perioada aprilie-mai 2007. n urma cercetrii pilot, am decis ca studiul propriu-zis s se concentreze asupra primriilor i consiliilor judeene, urmnd ca, ulterior s organizm o alt cercetare, cu metode i instrumente diferite pentru instituiile descentralizate i deconcentrate, datorit specificitii lor. Chestionarele au fost transmise electronic, iar rata de rspuns a fost de 85% (97 raspunsuri din 114 instituii chestionate-datorit sprijinului acordat de Ministerul Internelor i a Reformei Administrative, prin d-nul Secretar de Stat, Lector Univ. Liviu Radu). 10.3 Rezultate ntrebai dac exist o persoan sau un departament responsabil pentru designul si implementarea programelor, reprezentanii instituiilor dau rspunsuri concludente. 63.9% dintre respondeni declar c n instituii exist o persoan responsabil cu

173

designul i implementarea proiectelor, n timp ce 73.2% declar c n cadrul lor exist un departament responsabil cu designul i implementarea proiectelor. Aceast diferen de aproape 10 procente denot existena unor confuzii n ceea ce privete diseminarea responsabilitii n privina designului i a implementrii proiectelor. 10% dintre instituii declar c au un departament, ns nu au o persoan responsabil cu designul i implementarea programelor i proiectelor, sau aceast persoan nu poate fi identificat cu exactitate.
exista o persoana responsabila pentru design si implementare
Missing 7.2% nu 28.9%
Missing 2.1% nu 24.7%

exista un departament pentru design si implementare

da
da

63.9%

73.2%

Fig. 19 Persoana responsabil pentru design i implementare

Fig. 20 Departament responsabil pentru design i implementare

10% nseamn o proporie destul de mare a instituiilor publice care nu sunt nc orientate n mod evident spre un sistem de bugetare pe baz de programe - Planning, Programming, Bugeting System (PPBS), avnd n vedere c se fac eforturi n acest sens de mai bine de 10 ani. Totui, din rspunsurile primite la aceast ntrebare, reiese c 90% dintre instituiile investigate se nscriu n aceast tendin, ceea ce reprezint o premis ncurajatoare pentru dezvoltarea unei capaciti solide de evaluare i a unei culturi de evaluare pe msur. Cultura evalurrii a fost operaionalizat printr-un set de 12 variabile:
1. Existena n instituie a unor planuri detaliate de implementare a interveniilor 2. Efortul permanent de a gsi cele mai bune modaliti de a implementa/efectua interveniile 3. Gradul de msurabilitate a obiectivelor

174

4. Colectarea de informaii n mod regulat pentru fiecare intervenie efectuat 5. Gradul de utilizare a informaiilor colectate 6. Accesibilitatea informatiilor n cadrul instituiei 7. Gradul de ndeplinire al obiectivelor este cunoscut pe tot parcursul interveniei 8. Monitorizarea permanent a activitilor 9. Cheltuielile efectuate n cadrul interveniei pot fi cunoscute n orice moment al acesteia 10. La nivelul instituiei exist preocupri serioase pentru a vedea ct de bine merg lucrurile 11. Existena unor analize periodice ale performanelor nregistrate 12. Msura n care sunt evaluate rezultatele

Fiecare dintre aceste variabile au fost msurate pe o scal de la 1 la 4, (1 nsemnnd n foarte mic msur, iar 4, n foarte mare msur). Ulterior, am creat o noua variabila prin nsumarea scorurilor de la cele 12 variabile anterioare. Scorul maxim este de 48 de puncte, aceasta nsemnnd c respondentul a selectat scorul maxim la toate cele 12 caracteristici. Ulterior, am realizat o scal, pe care s putem reprezenta exact nivelul culturii evalurii n instituiile administrative regionale i locale romneti. Astfel, ntre 0 i 10 puncte, se situeaz cultura stadiu zero, caz n care respondentul acord scorul minim pentru fiecare dintre cele 12 caracteristici i este indecis n legtur cu o parte dintre variabile. Cultura stadiu zero presupune nu numai lipsa elementelor specifice unei culturi a evalurii, dar i lipsa unor elemente care prefigureaz sau pregtesc cultura evalurii. ntre 11 i 20 de puncte putem vorbi despre o precultur a evalurii, n care nu avem de-a face cu scoruri suficient de mari pentru a vorbi de o cultur a evalurii, dar, anumite caracteristici sunt prezente sau uor dezvoltate, astfel nct este anunat posibilitatea de a se dezvolta, n viitor o astfel de cultur. Cultura slab presupune scoruri cuprinse ntre 21 i 30 de puncte. Aici putem identifica elemente specifice culturii evalurii, ns nu suficient de consolidate. Vom ntlni monitorizri fragmentare ale activitilor, i chiar forme incipiente, predominant formale de evaluare a acestora. Cultura dezvoltat (ntre 31 i 40 de puncte) se remarc n instituiile orientate spre PPBS, n care exist sisteme de monitorizare a activitilor, costurile evalurii pot fi 175

identificate, exist evaluatori i personal pregtit n metodologia de cercetare specific tinelor socio-umane. Cultura expert (ntre 41 i 48 de puncte) este cea caracteristic instituiilor care nu numai c lucreaz pe sistemul PPBS i au sisteme de management al informaiilor bine puse la punct, sisteme de monitorizare i evaluare, dar rezultatele evalurii sunt utilizate n scopul mbuntirii activitii viitoare i sunt diseminate ca exemple de bun practic pentru ali actori interesai. Ct privete cultura evalurii, n cazul celor 97 de instituii investigate, am nregistrat 85 de rspunsuri valide. Tabelul 70. Cultura evalurii. Tendina central

N Media Mediana Modul Suma

Valid Missing

CULTURA EVALUARII (scoruri absolut e) 85 12 22.33 22.00 26 1898

CULTURA EVALUARII (v alori grupate) 85 12 2.65 3.00 3 225

Dintre acestea, majoritatea prezint o cultur slab a evalurii. 46 de instituii au acumulat ntre 21 i 30 de puncte la analiza multi-criteriu realizat. Aceasta nseamn c administraia public din Romnia a depit stadiul de precultur n privina evalurii, i s-a nscris deja n trendul dezvoltrii unei culturi a evalurii. Tabelul 71. Cultura evalurii. Distribuia de frecvene

176

Cultura evaluarii Cumulat iv e Percent 41.2 95.3 98.8 100.0

Valid

Missing Total

2 precultura (11p-20p) 3 cultura slaba (21p-30p) 4 cultura dezv oltata (31p-40p) 5 cultura f oarte dezv oltata (41p-48p) Total Sy stem

Frequency 35 46 3 1 85 12 97

Percent 36.1 47.4 3.1 1.0 87.6 12.4 100.0

Valid Percent 41.2 54.1 3.5 1.2 100.0

Totui, aa cum reiese din tabel, nc exist o proporie destul de mare (41.2%) dintre instituiile investigate care se situeaz n zona preculturii evalurii. Acestea mai trebuie s fac progrese n privina sistemelor de management a datelor, a utilizrii experienelor anterioare n scopul mbuntirii activitii de ansamblu i chiar n direcia organizrii activitii lor pe baz de programe.

cultura evaluarii (scoruri absolute)

12 10 10 8 6 4 2 0 13 1 15 17 19 21 23 25 27 5 4 3 3 2 1 29 2 1 1 1 1 32 37 4 4 4 9 7 6 6 5 5

Frecventa

puncte

Figura 21. Cultura Evalurii

177

Fig. reprezint repartiia instituiilor publice investigate pe scala utilizat pentru a msura cultura evalurii. Sesizm c valoarea modala este scorul 26 (10 cazuri), ns foarte aproape se situeaz scorul 19 (9 cazuri), ceea ce denot tendina mai degrab spre precultur, dect spre o cultur dezvoltat. Capacitatea de evaluare cuprinde alturi de caracteristicile specifice culturii de evaluare i urmtoarele patru variabile:
1. Gradul ce acces la informaii oferite de ctre alte instituii 2. Msura n care analizele sunt n competena exclusiv a conducerii 3. Msura n care n analize sunt deseori implicai specialiti din exterior 4. Msura n care exist preocupri permanente de a mbunti capacitatea de analiz

La rndul su, capacitatea de evaluare poate fi apreciat pe o scal de la 1 la 5, n funcie de scorurile obinutela toate cele 16 caracteristici. La nivelul 1 se situeaz capacitatea stadiu zero (0-15 puncte). Instituiile care intr n aceast categorie nu au capacitate de evaluare, nu i organizeaz munca n conformitate cu principiile PPBS, nu au sisteme de management a datelor, sisteme de monitorizare i evaluare, nu au specialiti pregtii n metode i tehnici de cercetare n tiinele socio-umane i nici personal specializat n evaluare, nu pot identifica costurile presupuse de o evaluare, beneficiile care rezult n urma monitorizrii i evalurii de programe i nu au participat niciodat la evaluarea unor activiti. Capacitatea foarte redus de evaluare presupune prezena celor 16 caracteristici ntr-o msur foarte mic: 16-30 de puncte. Capacitatea redus este semnalat de scoruri ntre 31 i 45 de puncte. ntre 46 i 55 de puncte avem de-a face cu o capacitate mare de evaluare, iar ntre 56 i 64 de puncte identificm capacitatea expert. Tabelul 72. Capacitatea de evaluare. Tendina central

178

N Media Mediana Modul Suma

Valid Missing

Capacitat ea de ev aluare (v alori absolute) 82 15 31.88 31.00 26 2614

Capacitat ea de ev aluare (v alori absolute grupate) 82 15 2.57 3.00 3 211

Observm c n cazul capacitii de evaluare avem 82 de rspunsuri valide, iar media valorilor absolute de situeaz n jurul valorii 31 de puncte (31.88), ceea ce reprezint zona de mijloc a scalei, cu tendin mai degrab spre partea mai sczut (mai aproape de 0 p dect de 64 p). Din tabelul urmtor reiese c 45.1% din instituiile care dau rspunsuri valide au o capacitate de evaluare foarte redus, n timp ce 52.4% prezint o capacitate redus. Trebuie remarcat faptul c nu exist nici un caz de capacitatea stadiu zero, ns exist dou cazuri de capacitate mare. Tabelul 73. Capacitatea de evaluare. Distribuia de frecvene

capacitatea de evaluare_valori absolute grupate (alt_4.7 + con_4.13 + ext_4.14 + cap_4.15 + cultev) Cumulat iv e Percent 45.1 97.6 100.0

Frequency Valid 2 capacitate f oarte redusa (16p-30p) 3 capacitate redusa (31p-45p) 4 capacitate mare (46p-55p) Total Sy stem 37 43 2 82 15 97

Percent 38.1 44.3 2.1 84.5 15.5 100.0

Valid Percent 45.1 52.4 2.4 100.0

Missing Total

179

Din graficul valorilor absolute negrupate reiese evident c valoarea modal este 26, similar cu modusul descoperit la cultura evalurii. n cazul capacitii de evaluare ns aceast valoare modal se situeaz mai spre stnga, sub medie, n timp ce, n cazul culturii de evaluare, valoarea modal se situa peste medie. Acesta reprezint un aspect pozitiv, deoarece cultura este un ingredient de baz al capacitii de evaluare.

capacitatea de evaluare (valori absolute)

10 8

6 5 4 4 3 2 0 1 20 1 23 25 27 29 2 3 4 5

6 5 4 3 5

6 5

Frecventa

3 2 1 1 1 1 42 50

31

33

35

37

40

Figura 22. Capacitatea de evaluare Pentru a completa imaginea capacitii de evaluare n administraia regional i local romneasc, am inclus n chestinar ntrebri referitoare la eventuala experien n evaluare i la resursele umane pregtite n domeniul evalurii, sau cu experien practic n evaluarea de programe.

180

existenta in structura a unor angajati pregatiti in evaluare

NS/NR 2% DA 35%

NU 63%

nevoia in structura de angajati pregatiti in evaluare

NU 20% NS/NR 4%

DA 76%

Figura 23. Existena n structura a unor angajai pregtii n evaluare

Figura 24. Nevoia n structura a unor angajai pregtii n evaluare

Faptul c 63 % dintre instituiile investigate nu au n structur astfel de angajai i 76% contientizeaz aceast nevoie, denot c 13 procente, dei au angajai specializai n evaluare, contientizeaz nevoia de a avea mai muli specialiti n acest domeniu. Aceasta indic trendul de dezvoltare al capacitii de evaluare i sesizeaz existena indubitabil a culturii evalurii n instituiile publice romneti. Capacitatea de evaluare presupune o resurs uman pregtit nu numai n evaluare, ci i n metode de cercetare n tiinele sociale, i n statistic. Pornind de la aceast premis am inclus n chestionar i civa itemi care se refer la existena n instituiile publice romneti a unor specialiti n MTCS i statistic.

181

existenta in structura a unor angajati pregatiti in MTCS

NS/NR 2% DA 19%
NU 30%

nevoia in structura de angajati pregatiti in MTCS

NS/NR 3%

DA

NU 79%

67%

Figura 25. Existena n structura a unor angajai pregtii n MTCS

Figura 26. Nevoia n structura a unor angajai pregtii n MTCS

n privina MTCS, 79% declar c nu au angajai care s fie specializai, ns doar 67% contientizeaz nevoia unor astfel de angajai ceea ce nseamn c nu este contientizat coninutul de fond al domeniului evalurii de programe i c se impun msuri de popularizare a faptului c nu se poate face evaluare fr a cunoate temeinic metodele de cercetare, asta cu att mai mult n sectorul public unde trebuie mereu avut n vedere impactul social.

existenta in structura a unor angajati pregatiti in statistica

NS/NR 3% DA 15%

nevoia in structura de angajati pregatiti in statistica

NU 30.9% NS/NR 3.1%

NU 81%

DA 66.0%

Figura 27. Existena n structura a unor angajai pregtii n Statistic

Figura 28. Nevoia n structura a unor angajai pregtii n Statistic

Aceast situaie este nc mai accentuat n cazul statisticii. 81% dintre instituii sesizeaz lipsa, ns doar 66% sesizeaz nevoia de angajai specializai n statistic. Ori n afara

182

statisticii nu poate fi vorba despre evaluare de programe, n special cnd acestea sunt de mari dimensiuni.

capacitatea de a estima resursele necesare

NS/NR 3.1% DA 33.0%

NU 63.9%

Figura 29. Capacitatea de a estima resursele Capacitatea de evaluare mai este dat i de capacitatea de a estima resursele necesare, care, n cazul prezentei cercetri este foarte sczut, doar o treime dintre instituiile respondente fiind capabile de a estima costurile unei evaluri.

implicarea in evaluari de proiecte/programe

NS/NR 5.2% DA 30.9%

NU 63.9%

Figura 30. Implicarea n evaluri de proiecte/programe Deasemenea, implicarea n evaluri de proiecte i programe, sau contientizarea acestei implicri este extrem de redus (de doar 30.9%), dei majoritatea instituiilor investigate

183

au participat la evaluri i s-au autoevaluat n cazul proiectelor finanate din fonduri europene.

expertiza dobandita prin training/activitati practice

NS/NR 6.2% DA 26.8%

NU 67.0%

Figura 31. Expertiza dobndit prin training/activiti practice Iar dac este vorba despre expertiza dobndit prin training i/sau activiti practice, situaia ncepe s fie i mai dramatic. De aici rezult o nevoie accentuat de training n domeniul evalurii i a metodelor de cercetare, precum i nevoia crescut de proiecte de cercetare care s vizeze evaluri de proiecte i programe i s implice colaborarea cu funcionarii publici. Existena unor analize periodice ale performanelor nregistrate depinde de existena unor obiective concrete i msurabile, de colectarea informaiilor n mod regulat pentru fiecare intervenie i de utilizarea efectiv a acestor informaii pentru a vedea cum stau lucrurile. Aceast ipotez se confirm. Aceste variabile pot fi integrate ntr-un model de regresie.

Tabelul 74. Modelul de regresie

184

Model Summary Adjusted R Square .257 St d. Error of the Estimate .60

Model 1

R R Square .531a .282

a. Predictors: (Constant), UTIL_4.5 inf ormatiile colectate sunt utilizate pent ru a ne da seama cum stau lucrurile, OB_4.3 obiectiv ele interv entiilor sunt f oart e concrete si masurabile, INFO_4.4 pentru f iecare interv entie ef ect uata sunt colectate inf ormatii in mod regulat

Modelul de regresie este semnificativ din punct de vedere statistic (semnificaia modelului: 0.000), ns nu are o putere explicativ foarte mare (R-ptrat este de 0.282). Doar 28.2% din variaia variabilei dependente existena unor analize periodice ale performanelor nregistrate este explicat de variaia variabilelor independente existena unor obiective concrete i msurabile, de colectarea informaiilor n mod regulat pentru fiecare intervenie i de utilizarea efectiv a acestor informaii pentru a vedea cum stau lucrurile.

Tabelul 75. ANOVA

ANOVAb Sum of Squares 12.519 31.948 44.467

Model 1

df 3 88 91

Regression Residual Total

Mean Square 4.173 .363

F 11.495

Sig. .000a

a. Predictors: (Constant), UTIL_4.5 inf ormatiile colectate sunt utilizate pentru a ne da seama cum stau lucrurile, OB_4.3 obiect iv ele interv ent iilor sunt f oarte concret e si masurabile, INFO_4.4 pentru f iecare interv entie ef ect uata sunt colectate inf ormatii in mod regulat b. Dependent Variable: AN_4.12 exista analize periodice ale perf ormantelor inregistrate

185

Variabila independent cu cea mai mare putere explicativ este utilizarea informaiilor colectate pentru a vedea cum stau lucrurile (cu coeficientul standardizat beta de 0.414), iar variabila cu cea mai mic putere explicativ este colectarea informaiilor n mod regulat pentru fiecare intervenie efectuat (cu coeficientul standardizat Beta de -0.013). Tabelul 76. Coeficieni
a Coeffi cients

Model 1

(Constant) OB_4.3 obiectiv ele interv entiilor sunt f oarte concrete si masurabile INFO_4.4 pentru f iecare interv entie ef ectuata sunt colectate inf ormatii in mod regulat UTIL_4.5 inf ormatiile colectate sunt utilizate pentru a ne da seama cum stau lucrurile

Unstandardized Coef f icients B St d. Error .788 .219 .210 .114

St an dardi zed Coef f icient s Beta

t 3.601 1.846

Sig. .001 .068

.198

-1.185E-02

.117

-.013

-.102

.919

.442

.132

.414

3.352

.001

a. Dependent Variable: AN_4.12 exista analize periodice ale perf ormantelor inregistrate

Prin urmare, pentru a dezvolta o capacitate de evaluare puternic, trebuie s avem un sistem de colectare a datelor, iar acestea, odat colectate s fie utilizate n mod constructiv. Rezultatele aprecierii capacitii de evaluare ne confirm ipoteza. Instituiile publice din Romnia nu beneficiaz nc de o capacitate de evaluare dezvoltat ns exist cu certitudine o promisiune n acest sens. Ministerul de Interne i Administraie Public n consultaiile avute cu Ministerul de Finane a apreciat oportunitile oferite de fondurile structurale pentru dezvoltarea unei culturi a evalurii performante ca pas final n procesul implementrii de programe i proiecte.

186

Interesul n evaluare, ca cercetare academic, este n cretere i se distinge ca i disciplin academic la diferite niveluri. Limbajul folosit n prezent pentru descrierea evalurii este confuz, ceea ce conduce la percepia evalurii ca fiind una diferite la diferite niveluri de decizie. O parte din aceste probleme se datoreaz interanjabilitii din limba romn a termenilor de msurare, ("assessment"), audit (audit) i evaluare ("evaluation"). De asemenea nu exist nc o literatur suficient de variat pentru a se clarifica dimensiunile evalurii: un instrument de control sau un instrument de management, intern versus extern, diferite tipuri de evaluare. Evaluarea este nc neleas ca un instrument de control pentru a superviza i detecta n special erorile dintr-un sistem. Familiarizarea cu ceea ce nseamn evaluarea i monitorizarea este n continu cretere n cadrul administraiei publice, mai ales n zona managementului de proiecte i a politicilor publice. Exist un discurs limitat n privina evalurii n celelalte sectoare ale administraiei publice. La mijlocul anului 2005 the Autoritatea de Management20 din cadrul Ministerului de Finane Publice a nceput elaborarea unei strategii de evaluare naional n grila unui contract de asisten tehnic finanat de PHARE 2003. Strategia Naional de Evaluare este un instrument important care ar putea aduna tendinele de dezvoltare a evalurii n Romnia. i reprezint o oportunitate pentru dezvoltarea culturii evalurii ce va susint o guvernare mai eficient n cadrul rii. Ca ultim scop, Strategia Naional de Evaluare caut s fie un sistem de evaluare funcional la nivel naional, n care prile sistemului se susin reciproc i include sectorul public i privat, precum i societatea civil; s contribuie la managementul efectiv al interveniei publice i la rspunderea politicilor i a managerilor publici. Aceast Strategie de Evaluare a fost proiectat n noiembrie 2006 i ncearc s dea o tendin unitar standardelor n evaluare aplicate n present n Romnia. Strategia este conceput ca un pas pentru construirea i dezvoltarea unei culture a evalurii n Romnia.

20

Care coordoneaz evaluarea i monitorizarea programului PHARE i a Programelor Operaionale finanate din Fondurile Structurale Europene

187

Pentru implementarea strategiei, activitile au fost defurate astfel nct s creasc responsabilitatea i s mbunteasc capacitatea de evaluare a administraiei publice n Romnia (a politicilor i a factorilor de decizie), a reprezentanilor poteniali n evaluare, a evaluatorilor i a companiilor de evaluare local potenial, a mediului academic i a organizaiilor implicate. Avnd n vedere importana capacitii de evaluare n administraia public, activitile au fost concentrate pe structurile ce administreaz fondurile EU. Interesul n evaluare este n cretere dar cererea concret pentru evaluare este nc la nceput. Nu exist exemple n care evaluarea (ex-ante, interim or ex-post) a fost conceput n afara unei grile de programme finanate din fondurile UE. Cerina pentru evaluare este dependent de existena unei legislaii care prevede ca evaluarea s fie condus i bazat pe o recunoatere general a necesitii i utilitii politicilor de implementare, managementului strategic i a ciclurilor de buget formulate. Pn n prezent, problema este c n lipsa unui cadru legal adecvat aceasta nu se va dezvolta. Evaluarea a avut loc la nceput n cadrul fondurilor UE sau a altor programe finanate din strintate i n prezent nelegerea evalurii se afl la un nivel destul de sczut n administraia public vis-a-vis de interveniile publice naionale. Astfel nu exist o instituionalizare a evalurii n administraia public cu excepia structurilor care gestioneaz fondurile UE. Pare cu certitudine a fi vorba de o disfuncionalitate ntre monitorzare i funciile evalurii. Cei care fixeaz sistemele de monitorizare ar trebui s aib o pregtire i cunoatere n evaluare, cci monitorizarea datelor este cea care construiete viitoarea evaluare. Datorit nivelului sczut de conducere a evalurilor din prezent exist o slab diversitate a scopurilor.

10.4 Strategia Naional de Evaluare Strategia Naional de Evaluare (SNE) a fost conceput i lansat n contextul mai general al Reformei Administraiei Publice (RAP): In 2006, administraia public

188

romneasca se afl n al 15-lea an de modernizare i n cel de-al 6-lea an de reform a administraiei publice (RAP), derulat de administraii succesive21. Argumentul de fond pentru necesitatea lansrii strategiei este performana sczut a msurilor anterioare de reform: Raportul tematic pregtit de un evaluator independent22 conchide c ceea ce a mai rmas de fcut se refer la aspecte de baz, precum (a) adoptarea legislaiei primare i secundare; (b) crearea de novo, sau dezvoltarea structurilor administrative, a standardelor i procedurilor, i (c) oferirea de resurse financiare i umane suficiente pentru a asigura sustenabilitatea acestora. Evaluarea ex-post a programului Phare (MWH, 2006) concluzioneaz c eforturile de a promova schimbarea n sectorul administraiei publice au fost considerabile, ns progresele au fost mai mici dect s-a preconizat i acest fapt este cauzat, printre altele, de: Schimbrile frecvente ale conducerilor politice care au avut ca rezultate o voin politic lipsit de continuitate pentru a promova reforma; Dificultatea de a separa funciile politice i administrative; Nefinalizarea procesului privind stabilirea unui corp puternic de funcionari publici. Actuala strategie naional de evaluare este un prim efort de a stabili un sistem unitar de standarde pentru evaluarea de programe, care a existat i anterior, ns coordonat mai degrab de metodologii importate. 10.5 Concluzii i recomandri n analiza culturii evalurii n instituiile publice romneti de la nivel regional i local devine evident c experiena n msurarea i aprecierea rezultatelor, a impactului
21

Programul EU-Phare a fost o surs important de finanare pentru programele de reform ncepnd cu 1997. Printre exemplele de programe cu finanare Phare putem enumera: Reforma Administraiei Publice Locale RO-9701; Dezvoltarea Administraiei Publice Locale RO-9707; Crearea unui Corp de Manageri Publici Profesioniti n cadrul Serviciului Public RO-0106.03; Descentralizarea i dezvoltarea Administraiei Publice Romne 2002/000-586.03.02; ntrirea Capacitii Administrative n Sprijinul Reformei Administraiei Publice 2003/005-551.03.01
22

" Raportul tematic cu privire la sprijinul acordat APCJ Administraiei Publice i Capacitii Judiciare n Romnia i Bulgaria " ECOTEC, mai 2006

189

interveniilor (e.g. strategiile de evaluare, politicile, programele i proiectele) sunt mai degrab o noutate. Experiena srac n evaluarea de programe n Romnia este o cauz mai mult a unei nelegeri limitate printre potenialii funcionari a beneficiilor evalurii. Cei care gestioneaz i supervizeaz evaluarea sunt primii care trebuie convini de necesitatea evalurii i c beneficiile sunt ntotdeauna mai mari dect costurile. Prin alocrile PHARE 2005 Autoritatea de Management din cadrul Ministerului Finanelor va continua s ntreasc capacitatea de evaluare prin dezvoltarea unui cadru general pentru mbuntirea culturii evalurii (e.g. standardele evalurii) precum i s asigure o reea de suport a acesteia (prin mediul academic i evaluatorii sectorului privat) i s faciliteze accesul la evaluare astfel nct s ncurajeze managementul public s i evalueze interveniile. Att reeaua de evaluatori public ct i cea privat a fost instituit cu suportul Ministerului Finanelor Publice i a programelor finanate de UE. Reeaua de ealuare public este coordinat de Evaluation Central Unit din Minterul de Finane Publice. Reeaua public de asemenea conine uniti de evaluare consolidate n cadrul Autoritii de Management a altor Ministere. Un sistem de msurare performant trebuie s fie stabilit (inclusiv la nivelul programului) cu o baz de date coerent i unitar. Acesta ar trebui de asemenea fcut disponibil pentru toate instituiile publice din Romnia. Primul pas ar putea fi similar cu cel fcut de ctre GPRA n SUA (Legea Guvernrii, Performan i a Rezultatelor - Governance, Performance and Results Act). Mai mult, evaluarea ar trebui adus la nivel local. O posibilitate viabil o consituie Unitile de Politici Publice. O atenie special ar trebui orientat ctre dezvoltarea capacitii de evaluare intern i ctre o abordare participativ a evalurii.

Puine publicaii sau cercetri abordeaz direct problema evalurii programelor sau a impactului social. Iar acestea o fac la cererea terilor care sunt, de obicei, instituii internaionale(cu preponderen Banca Mondial). Avndu-l drept co-autor pe M.S. Stanculescu, Toward Country - Led Development. A Multi-Partner Evaluation of the

190

Comprehensive Development Framework. Findings from Six Country Case Studies: Bolivia, Burkina, Faso, Ghana, Romania, Uganda, Vietnam face referiri directe, chiar dac succincte la impactul social, prin variabilele pe care le propune analizei. Se remarc, deasemenea, D. Chiriac i C. Huma care public Impactul socio-economic al fenomenelor naturale dezastruoase n Romnia - inundaii, alunerari de teren, secet, un studiu de 62 de pagini n Probleme Economice vol. 20-21/2002 CIDE n care abordeaz i aspecte legate de metodologia unui studiu de impact social n contextul descrierii impactului socio-economic. Pot fi identificate, deasemenea, cteva lucrri prezentate la diverse conferine, dezbateri i seminarii, n cadrul crora, autorii fac referiri la studii de impact social: S.Vonica Radutiu, Impactul integrarii europene asupra forei de munc din Romnia i trile candidate, Masa rotund despre politicile sociale. Seminar la Universitatea Lucian Blaga, Sibiu , 7-8 iunie 2002, D. Chiriac, Influena habitatului asupra calitii vieii populaiei din Romnia 2001 - 2003. Ecologizarea localitilor indicatori de calitate a vieii, Sesiunea anual de comunicri tiinifice a I.C.C.V, 29 februarie 2002, I.C.C.V., Bucureti. n 2003, pe 29 Mai are loc la Cluj-Napoca dezbaterea Impactul Integrrii Europene asupra Comunitaii Clujene (Lua, 2003). Scopul studiului era de a evidenia schimbrile de natur socio-economic i instituional, generate de etapa de preaderare pe care o parcurge Romnia i care presupune atingerea unui anumit grad de convergen a societaii i comunitaii clujene cu UE. Dei sunt aplicate metode i tehnici de cercetare specifice tiinelor sociale, metodologia cuantificrii impactului social rmne ntr-un stadiu mai de grab intuitiv, de educated guess. Aceasta pentru c, la momentul respectiv nu exista o astfel de metodologie, pus la ndemana cercettorilor din Romnia. Nici una dintre metodologiile de import nu se potriveau. Designul lor este specific societailor pentru care a fost creat. Toate sunt realizate pentru a evalua impactul social al unor activiti planificate i monitorizate. n Romnia strategiile, planificrile, dac exist sunt de cele mai multe ori formale. Iar problema monitorizrilor i a altor tipuri de evaluare nici nu se mai pune, de cele mai multe ori. O alt premis de la care pornesc metodologiile straine este existena unei legislaii n domeniu, care s reglementeze i s impun evaluarea periodic a activitailor. n Romnia nu beneficiem de o astfel de legislaie. i totui, avem nevoie de studii de impact pentru a anticipa efectele aciunilor noastre i pentru a contracara

191

efectele nedorite, sau, dimpotriv, a ncuraja efectele favorabile. Variabilele propuse de majoritatea metodologiilor importate trebuie adaptate.

n administraia public romneasc exist, totui, o cultur a raportrii rezultatelor. Scopul raportrii este ns ndeplinirea unor condiii formale, impuse n sistemul instituional romnesc. Rapoartele relev de cele mai multe ori simpla existen i realizare a unor activiti, fr specificaii cantitative i calitative relevante pentru evaluarea propriu-zis a respectivelor activiti. Un astfel de exemplu este orice raportare similar cu cea din tabelul urmtor. Este un exemplu classic de evaluare realizat la un centru de zi pentru copii provenii din familii defavorizate. Evaluarea se concentreaz prea puin pe analiza cantitativ i calitativ, relevnd preponderant existena sau inexistena unor activiti. Scopul unei astfel de evaluri este mai degrab justificarea existenei unui astfel de centru i nu evaluarea real a performanei. Aceasta din urm ar presupune identificarea unor criterii clare cantitative i calitative, construcia unui sistem de indicatori i implementarea unui system de monitorizare. Tabelul 77. Tip de raportare-evaluare utilizat n sistemul administrativ romnesc

Indicator respectarea programului zinic i acestuia de ctre personal i de ctre prini. Programul zilnic cuprinde: o transportul copiilor n centru o program zilnic de igien personal o mic dejun

Valoare Metoda de cercetare cunoaterea Da Interviu cu directorul centrului i cu prinii Observaie participativ Da Observaie participativ Da Observaie participativ

Da

192

o activitti educative o gustare o activiti educative o masa de prnz o program de odihn o activitti recreative o cina o transportul copiilor n comunitate angajaii cunosc programul zilnic al copiilor prinii cunosc programul zilnic al copiilor existenta unui educator specializat/grup de copii

Da

Observaie participativ Observaie participativ Observaie participativ Observaie participativ Observaie participativ Observaie participativ Observaie participativ Observaie participativ

Da

Da

Da

Da

Da

Da

Da

Da Da Da

Interviu Interviu Analiza documente, Observaie participativ

O astfel de raportare, specific sistemului administrativ romnesc, poate da o imagine de ansamblu asupra ndeplinirii obiectivelor, ns aceast imagine aduce prea puine informaii privind activitatea unui astfel de centru. n acest caz, ca i n altele, se impune nevoia implementrii unui sistem de monitorizare i evaluare a impactului social i a performanelor unor proiecte i programme finanate sau cofinanate din bani publici, care s se bazeze pe un set de indicatori relevani i care s conduc la maximizarea impactului social pozitiv i a performanei serviciilor publice.

193

La nivelul administraiei publice romneti, pentru dezvoltarea unei culturi a evalurii n general i a evalurii impactului social n special, se impun cteva schimbri la nivel legislativ i instituional. Modificrile necesare la nivel legislativ se refer, printre altele, la: instituirea obligativitii ca instituiile administraiei publice romneti s i organizeze activitatea pe baz de programe i proiecte. n acelai timp instituiile publice ar trebui s transmit n mod systematic i continuu date despre evoluia programelor derulate pe baza unui sistem complex i adecvat de monitorizare. O a treia msur care se impune la nivel legislativ este instituirea obligativitii de a preda un raport de evaluare a programelor implementate la nivel instituional, realizat de o entitate independent de evaluare. La nivel instituional, schimbrile ar trebui s se refere la: dezvoltarea unor uniti de evaluare intern, care s deserveasc, dup caz, o instituie sau un grup de instituii, n funcie de dimensiunile acestora i de complexitatea lor. Aceste uniti ar avea rolul de a colecta n mod permanent datele pentru monitorizare i de a le prelucra, precum i de a realiza evaluri interne. Programele i proiectele finanate din fondurile de pre-aderare (PHARE, ISPA, SAPARD) au beneficiat de sisteme de monitorizare bine stabilite. Aceasta a condus la dezvoltarea capacitii de monitorizare n instituiile administraiei publice romneti. Au rmas ns dou principale probleme de rezolvat: utilizarea unor sisteme de monitorizare i pentru activitile i proiectele instituiilor nefinanate din fonduri europene, i dezvoltarea unei capaciti interne de evaluare. Capacitatea intern de evaluare exist actualmente n instituiile administraiei publice centrale, ns este aproape absent n cazul administraiilor locale.

La nivel central, Ministerul Finanelor Publice, n colaborare cu Ministerul Administraiei i Internelor a iniiat un amplu proces de creare a capacitii de evaluare. Astfel, s-a nfiinat Unitatea Central de Evaluare, n cadrul Ministerului Finanelor Publice. Scopul acesteia este de a coordona crearea i dezvoltarea capacitii de evaluare la nivelul administraiei publice romneti.

194

n 2005, Autoritatea de Management din cadrul Ministerului Finanelor Publice nsrcinat cu coordonarea monitorizrii i evalurii programelor PHARE i a Programelor Operaionale finnate prin Fondurile Structurale a nceput elaborarea unei Strategii Naionale de Evaluare n cadrul unui program finanat prin PHARE 2003. Aceast evaluare a fost lansat n Noiembrie 2006 i ncearc unificarea standardelor de evaluare care sunt utilizate actualmente n Romnia. Strategia este perceput ca un pas nainte n consolidarea unei capaciti de evaluare n Romnia. Fiecare minister are actualmente, n cadrul Autoritii de Management, o Unitate de Evaluare. Funcionalitatea acestor uniti de evaluare depinde de dezvoltarea unui cadru legislativ n domeniul evalurii i, desigur, de dezvoltarea continu a acestei capaciti. Este necesar suplimentarea pregtirii unor funcionari publici prin specializarea n evaluarea de programe. Aceast specializare este actualmente posibil n Romnia prin frecventarea cursurilor de Evaluare a Programelor oferite de Departamentul de Administraie public al Facultii de tiine Politice, Administrative i ale Comunicrii, Existena unor sisteme de monitorizare i evaluare care urmresc nivelul de implementare a proiectelor nu este ns suficient. n administraia public este util un sistem de evaluare a impactului social, economic i de mediu al proiectelor i programelor. Deasemenea, o msurare a impactului pe care l au politicile publice derivate din politicile macroeconomice (liberalizarea, privatizarea, etc.) este extrem de util. Prin lansarea Strategiei Naionale de Evaluare, Guvernul Romniei se numr printre actorii care percep beneficiile evalurii programelor i care particip activ la construcia capacitii de evaluare n administraia public romneasc. Totui, n lipsa unui cadru legal adecvat, care s cear instituiilor publice realizarea evalurilor pentru programele, proiectele i activitile lor, capacitatea de evaluare n administraia public romneasc nu va fi efectiv construit, i va putea fi sesizat doar o pre-cultur a evalurii.

195

Capitolul 11. Concluzii i recomandri Prezenta tez propune o analiz a principalelor abordri teoretice n domeniul evalurii de programe. De asemenea, teza propune un model de evaluare a impactului social al unui program co-finanat din bani publici, adaptat realitilor romneti, cu accent pe perspectiva i satisfacia beneficiarilor, prezentnd totodat aplicarea sa. o metaevaluare a unui program de evaluare a impactului social i un model de msurare i analiz a culturii de evaluare n instituiile publice romneti.

Concluzii Prin analiza aspectelor de ansamblu a evoluiei domeniului evalurii n Romnia pe parcursul elaborrii prezentei teze de doctorat, am ajuns pe parcursul primului capitol la concluzia c, att procesul de pre-aderare, evoluiile care au urmat aderrii la Uniunea European, ct i tendina instituiilor publice spre un sistem de bugetare pe baz de programe, a nceput s produc n ultimii trei ani efecte pozitive asupra dezvoltrii evalurii de programe la nivel instituional, care au culminat cu nfiinarea Unitii Centrale de Evaluare n cadrul Ministerului Finanelor Publice i cu lansarea Strategiei Naionale de Evaluare. Aceast imagine capt un plus de semnificaie prin analiza n capitolul doi a principalelor aspecte istorice legate de evoluia domeniului evalurii pe plan internaional. Chiar dac dezvoltarea domeniului apare n Romnia abia acum i sub presiunea finanrilor externe, se remarc aspecte similare cu evoluia din Statele Unite, de acum mai bine de o jumtate de secol. Aici ne referim mai ales la tendina de a organiza activitatea administraiei publice pe baz de programe i proiecte, Naional de Evaluare. Analiza materiei prime a evalurii prezentarea distinciei ntre politic public, program i proiect, pregtete terenul pentru nelegerea adecvat a evalurii. Organizarea activitilor instituiilor publice sub form de proiecte ar trebui s reprezinte momentul iniial (T0) de la care ncepe dezvoltarea unei culturi a evalurii. Definirea evalurii i la eforturile de a organiza la nivel naional practica evalurii de programe prin Strategia

196

programelor este fcut din diferite perspective i se pune accentul pe diferena ntre evaluare, monitorizare i audit, diferen nc rareori perceput n sistemul administrativ romnesc. ns, fr o nlegere adecvat a acestor diferene este practic imposibil s construim o capacitate funcional de evaluare i s simim beneficiile acesteia. nelegerea de ctre funcionarii publici a principalelor criterii de evaluare, agreate n literatura de specialitate i promovate de ctre Uniunea European este singura modalitate de a ine n permanen cont de acestea. Chiar dac este caracterizat de anumii critici ca fiind atractiv superficial (Shadish Jr., Cook, Leviton 1999: 317), distincia reactiv-prestabilit rmne valabil n teoria evalurii deoarece elucideaz anumite aspecte ale procesului de evaluare care, neconceptualizate rmn n penumbr: importana flexibilitii metodologice, utilitatea metodelor calitative, accentul care trebuie pus i pe activiti, nu numai pe obiective etc. Ambele sunt considerate relevante i utile pentru sectorul public. Indiferent dac este vorba de determinarea efectelor nete sau a efectelor pe termen mediu i lung, evaluarea impactului poate fi extrem de util pentru mbuntirea designului proiectelor actuale i viitoare, pentru fundamentarea deciziilor privind continuarea sau stoparea anumitor iniiative. Totui, trebuie avut n vedere faptul c efectele nete ale programelor sunt dificil, uneori chiar imposibil de individualizat. Iar cuantificarea impactului trebuie realizat n perfect concordan cu natura proiectului evaluat. Problema care se ridic n cazul sistemelor de evaluare este un loc comun n problematica administraiei publice n general: care este nivelul optim de centralizare/descentralizare n activitatea de evaluare a programelor. Ca i n cazul serviciilor publice, exist avantaje i dezavantaje, fie c se opteaz pentru centralizare, fie c se alege descentralizarea ca model de organizare a sistemului de evaluare a programelor n Romnia. n timp ce o centralizare excesiv imprim lips de flexibilitate i induce lipsa discreiei administrative, descentralizarea poate atrage dup sine lipsa coerenei, utilizarea deficitar a metodologiei, etc. Din acest motiv se opteaz de cele mai multe ori pentru o soluie intermediar: nici centralizare, dar nici descentralizare excesiv. O atenie deosebit trebuie acordat nevoilor fiecrui domeniu de activitate. Chiar dac iniial dezvoltarea unui sistem de evaluare este legat de un anumit minister, ulterior, trebuie analizat nevoia de evaluare i la nivelul celorlalte ministere.

197

Evaluarea unui proiect sau program presupune utilizarea att a metodelor calitative de cercetare ct i a celor cantitative. Abordarea cel mai des utilizat este cea a metodelor multiple-o combinaie funcional ntre cele dou tipuri de metode. Un anumit grad de cuantificare este necesar n toate studiile de evaluare pentru a aprecia succesul interveniilor i amploarea efectelor adverse. n acelai timp, metodele calitative de cercetare sunt extrem de utile n rafinarea instrumentelor de cercetare i n aprofundarea informaiei colectate. Fie c trebuie evaluat un program avnd ca obiect nfiinarea unui centru de zi, fie c evalum un proiect prin care s-a nfiinat un muzeu, sau unul privind ordinea i curenia public, metodele de cercetare sunt extrem de utile. Programele publice, prin natura lor i prin impactul social pe care l au, impun utilizarea metodelor complexe de cercetare (studiul de caz) sau utilizarea paradigmei metodelor multiple de cercetare (multimethod). Primul pas n realizarea studiului de caz i a unei evaluri este adunarea a ct mai multe informaii despre program. Acest lucru poate fi realizat pornind de la o fi a proiectului n care apar principalele categorii de informaii necesare n procesul de evaluare. Metodele, ca i tipurile de evaluare, se selecteaz n funcie de prioritile strategice i de cele ale prilor implicate, de caracteristicile programului, de stadiul de implementare al programului, de datele disponibile, de stadiul evalurii i de msura n care programul poate fi evaluat. Figura urmtoare este ilustrativ n acest sens.

Tendina pe plan internaional este de a utiliza concomitent mai multe modele de evaluare atent alese i adaptate. Studiile i rapoartele de evaluare trebuie s rspund din ce n ce mai mult att unor ntrebri privind procesul, ct i unor ntrebri privind rezultatele; intereseaz n acelai timp efectele economice i cele de impact social. Mai ales n cazul proiectelor finanate din bani publici, tendina este de a utiliza modelele de evaluare care se concentreaz pe rezultate ct i modele de evaluare care au la baz perspectiva beneficiarilor direci ai proiectelor (cetenii). Pentru aceasta, este necesar utilizarea unor modele de evaluare orientate att pe rezultate ct i pe actorii implicai n program. Acestea sunt modele complexe, obinute prin selecia, analiza i sinteza unor modele simple de evaluare. 198

Evaluarea impactului social (EIS) este asociat cu dezvoltarea durabil. n acest sens, EIS ca filosofia despre dezvoltare i democraie (care vizeaz) patologiile dezvoltrii (e.g. impacturile duntoare), scopurile dezvoltrii( ca diminuarea srciei), i procesele dezvoltrii( e.g. participarea, crearea de capacitate)( (Rossi, Freeman, Lypsey, 1999: 389). Studiile Bncii Mondiale confirm aceast tendint. n contextul dezvoltrii durabile, impactul social este corelat cu impactul economic i cu cel asupra mediului. Cele trei tipuri de impact sunt considerate a constitui evaluarea integrat a impactului, a crei natur variaz n funcie de tipul interveniei, scopul acesteia i raportul costeficien a ntregului pachet de studii de impact. Evaluarea impactului social (EIS) ncepe de obicei cu un proces de analiz a contextului n care este implementat proiectul, n timpul cruia sunt identificate problemele status quo-ului i sunt descrise toate alternativele posibile. Procesul de evaluare a impactului social continu cu analiza factorului social al status quo-ului (problema de baz) i estimarea schimbrii sociale induse de fiecare alternativ a acesteia. Procesul EIS se ncheie cnd analistul redacteaz impactului social n derularea proiectelor i/sau activitilor. Indicatorii utilizai n evaluarea programelor n general i n studiile de impact social n special sunt percepui ca un suport pentru monitorizarea atitudinilor grupurilor de oameni, nivelului de trai i a schimbrii sociale. Este din ce n ce mai dificil de fcut distincia ntre schimbrile imprimate de anumite intervenii sociale (programe) i cele cauzate de tendinele socio-economice. n lipsa indicatorilor este imposibil de cuantificat efectul unui program asupra grupului int, iar n lipsa unui sistem de indicatori riguros conceput este imposibil calcularea efectelor nete ale unei intervenii asupra grupurilor, comuniii i a societii. Impactul Programului educaional de Administraie public asupra studenilor este predominant pozitiv. Evaluarea impactului programului a fost realizat din perspectiva beneficiarului cu un accent specific pe elemente legate de satisfacia studenilor. raportul de evaluare a impactului, iar cei care au prerogativele necesare integreaz rezultatele evalurii

199

Impactul social al unui program educaional este resimit n primul rnd de beneficiarii acestuia, studenii, iar calitatea unei faculti st n modul n care ea satisface nevoile studenilor. Evaluarea realizat n acest capitol se nscrie n cea de-a doua accepiune a conceptului de impact social: msurarea efectelor nete ale unui program. Studiul de evaluare realizat a reuit construcia unui sistem de indicatori pentru monitorizarea i evaluarea efectelor programului din perspectiva studenilor participani n program i realizarea unei evaluri avnd la baz acest sistem de indicatori, care va putea servi ca baz de comparaie pentru evalurile viitoare. Sistemul de indicatori a fost construit pornind de la un proces specific cercetrii n tiinele socio-umane: operaionalizarea conceptelor. Conceptele fundamentale au fost transformate n variabile (care reprezint baza sistemului de indicatori), iar pe baza lor au fost calculai indici. Chiar dac nu putem vorbi despre o cultur a evalurii, n administraia public romneasc exist, totui, o cultur a raportrii rezultatelor. Scopul raportrii este ns ndeplinirea unor condiii formale, impuse n sistemul instituional romnesc. Rapoartele relev de cele mai multe ori simpla existen i realizare a unor activiti, fr specificaii cantitative i calitative relevante pentru evaluarea propriu-zis a respectivelor activiti. La nivelul administraiei publice romneti, pentru dezvoltarea unei culturi a evalurii n general i a evalurii impactului social n special, se impun cteva schimbri la nivel legislativ i instituional. Modificrile necesare la nivel legislativ se refer, printre altele, la: instituirea obligativitii ca instituiile administraiei publice romneti s i organizeze activitatea pe baz de programe i proiecte. n acelai timp instituiile publice ar trebui s transmit n mod systematic i continuu date despre evoluia programelor derulate pe baza unui sistem complex i adecvat de monitorizare. O a treia msur care se impune la nivel legislativ este instituirea obligativitii de a preda un raport de evaluare a programelor implementate la nivel instituional, realizat de o entitate independent de evaluare. La nivel instituional, schimbrile ar trebui s se refere la: dezvoltarea unor uniti de evaluare intern, care s deserveasc, dup caz, o instituie sau un grup de instituii, n funcie de dimensiunile acestora i de complexitatea lor. Aceste uniti ar avea rolul de a

200

colecta n mod permanent datele pentru monitorizare i de a le prelucra, precum i de a realiza evaluri interne.

201

BIBLIOGRAFIE

1. ***, 2000, Social Assessment and Agricultural Reform in Central Asia and Turkey, World Bank Publications 2. ***, 1987, A Final Report of the Rationale of the Cultural Initiatives Program and a Review of its Effectiveness, Ekos Research Associates Inc. for the Department of Communications, Ottawa. 3. ***, 1996, Rethinking Government 1995, Ekos Research Associates Inc. Final Report, July 12. 4. ALLUM, N.C, M.W. Bauer, G. Gasgell, 2000, Quality, Quantity and Knowledge interests, Avoiding confusion in Bauer and Gasgell, Qualitative research, London, Sage 5. BARROW, C. J. 2003. Social Impact Assessment: An Introduction. London: Arnold. 6. BARROW, Christopher, 2001, Social Impact Assessment: An Introduction, Oxford University Press USA 7. BAUER, R.A. (Ed.)., 1966, Social Indicators. Cambridge, Mass., London: The M.I.T. Press. 8. BECKER, Henk A., 1997, Social Impact Assessment: Method and Experience in Europe, North America, and Developing World. UCL Press Limited, London 9. BECKER, Henk A. and Frank Vanclay. Eds., 2003, The International Handbook of Social Impact Assessment. Cheltenham, Colchester, United Kingdom: Edward Elgar Publishing. 10. Benus, Jacob, dr. Nuria Rodriguez-Planas i Abt Associetes Inc., 2002, STUDIUL DE EVALUARE A IMPACTULUI NET a PROGRAMELOR DE MASURI ACTIVE PENTRU PIATA MUNCII 11. BRONFENBRENNER, U., 1979, The ecology of human development, Cambridge, MA: Harvard University Press).

202

12. BUNCH, Mary, 1995, Social Indicators: Annotations from the Literature, Working Paper F-02, Exploring Canadian Values: Foundations for Well-Being, Canadian Policy Research Networks Inc., Ottawa. 13. BURDGE, Rabel J., 2004, A Community Guide to Social Impact Assessment: 3rd Edition 14. BURDGE, Rabel J., 2004, The Concepts, Process and Methods of Social Impact Assessment. BURDGE, Rabel J. Guest Editor. 2003. The Practice of Social Impact Assessment. Impact Assessment and Project Appraisal, 21(2&3): 84-234 (two issues) 15. BURGESS, J. , 1996, Focusing on fear, Area 28 (2): 130-36. 16. CHELCEA, Septimiu, 2001, Tehnici de Cercetare sociologic, SNSPA Bucureti 17. CHELIMSKI, E., W.R. Shadish (Editori), 1997, Evaluation for the 21st Century, SAGE Publications Inc., 18. CHEN, Huey T., 1990, Theory-driven evaluation. Thousand Oaks, CA: Sage Publications 19. Chen, Huey T., 2005,

Practical Program Evaluation: Assessing and

Improving Planning, Implementation, and Effectiveness, Sage

Publications Inc 20. CHIRIAC D., C. Hum, 2002, Impactul socio-economic al fenomenelor naturale dezastruoase n Romnia - inundaii, alunerri de teren, secet (62 p.), Probleme Economice vol. 20-21/2002 CIDE 21. COBB, Clifford, Ted Halstead and Jonathan Rowe, 1995a, "If the GDP is up, why is America down?", The Atlantic Monthly, October. 22. COBB, Clifford, Ted Halstead and Jonathan Rowe, 1995b, The Genuine Progress Indicator: Summary of Data and Methodology. Redefining Progress. 23. CONNELL, James P., Anne C. Kubish, Lisbeth B. Schorr and Carol H. Weiss (eds.), 1995, New Approaches to Evaluating Community Initiatives. Vol.1: Concepts, Methods, and Contexts. Washington, D.C.: The Aspen Institute 24. COOK, Thomas D. i Donald T. Campbell, 1979, Quasi-experimentation: Design and Analysis Issues for Field Settings Chicago, Rand McNally

203

25. COPESTAKE, James et al., 2000, Assessing The Impact of Microcredit on Poverty: a Zambian Case Study Centre for Development Studies 26. Coryn, Chris L. S., Evaluation, SAGE 27. Curley, Hilary, Eugen Perianu, 2006, Assessment of the Evaluation Culture in Romania 28. DALE, Alan, TAYLOR, Nick, MARCUS, Lane, 2001, Social Assessment in Natural Resource Management Institutions. CSIRO Publishing. PO Box 1139, Collingwood, Victoria, 3066 Australia. 312 pp. 29. DIACONU, Mihai, 2004, Evaluarea n nvmnt-cu privire la nvmntul superior-Sesiunea de comunicri tiinifice (20 mai 2004), Bucureti: http://www.ase.ro/biblioteca/carte2.asp?id=480&idb 30. ERIKSON,R., H.Uusitalo, 1987, The Scandinavian Approach to Welfare Research. Swedish Institute for Social Research, Reprint Series No. 181, Stockholm 31. FITZPATRICK, J.L., Sanders, J.R., i Worthen, B.R., 2004, Program Evaluation. (3rd Edition) Boston: Pearson. 32. GOSS, J.D., Leinbach T.R., 1996, Focus groups as alternative research practic, Area 28 (2): 115-23 33. HANSEN, Hanne Foss, 2005, Choosing Evaluation Models, A Discussion on Evaluation Design, in Evaluation, Vol. 11, No. 4, p. 447-462, SAGE Publication 34. HENDERSON, D.W., 1974, Social Indicators: A Rationale and Research Framework, Economic Council of Canada (Ottawa: Information Canada). 35. HUGHES, Jenny, 2000, Project Manager's Guide ot Evaluation, John A. Hattie, 2006, The Transdisciplinary Model of

http://www.evaluate-europe.net/handbook/handbookpdf 36. HYMAN, H.H., 1973, Surveys in the Study of Political Psichology, n J.N. Knutson ed., Handbook of Political Psichology, Jossey Bass 37. ILIE, S., 2002, Formal and informal incomes of the Romanian Households n Stanculescu, M, R. Neef (editori) The Social Impact of Informal Economies in Eastern Europe, Ed.Ashgate U.K. 38. ILU, Petru, 1997, Abordarea calitativ a socioumanului, Polirom, Iai

204

39. INNES DE NEUFVILLE, J., 1975, Social Indicators and Public Policy: Interactive Processes of Design and Application (New Brunswick, NJ: Transaction). 40. INNES, J., 1989, "Disappointments and legacies of social indicators", Journal of Public Policy, Vol. 9, No. 4, pp. 429-432. 41. INNES, Judith Eleanor, 1990, Knowledge and Public Policy: The Search for Meaningful Indicators, Second Expanded Edition (New Brunswick, NJ: Transaction Publishers). 42. JOHNSTON, D.F., 1988, Toward A Comprehensive 'Quality-Of-Life' Index. Social Indicators Research, 20, 473-496. 43. KITZINGER, J. ,1995, Introducing focus groups, British Medical Journal 311: 299-302. 44. KNOX, Paul L., 1975, Social Well-Being: A Spatial Perspective, Oxford, London 45. KREUGER.A., 1988, Focus groups: a practical guide for applied research, London: Sage 46. KUBISH, A., L. Schorr et al, 1995, Ne approaches to evaluating community initiatives. Washington DC: The Aspen Institute 47. LAND, K., 1992, Social Indicators n: Encyclopedia of Sociology, pp 1844-1850. 48. LAND, Kenneth C., 1975, Social Indicator Models: An Overview, Chapter 2 of Social Indicator Models (NY: Russell Sage Foundation). 49. LUA, M. (coord.), 2003, Impactul Integrrii Europene asupra Comunitaii Clujene, www.casaeuropei.com 50. MACINTOSH, J., 1981, Focus groups in distance nursing education, n Journal of Advanced Nursing 18: 1981-85. 51. MALAN, Jack, 2004, Benchmarking Evaluation Capacity in the New Member States, Centre for Strategy and Evaluation Services 52. MARGINEAN, Ioan, 2004, Politica Social. Studii 1990-2004, Expert 53. MORGAN, D.L. , 1988, Focus groups as qualitative research. London: Sage 54. NOLL, Heinz-Herbert, 1996, The International Experience: Social Indicators, paper presented at the "Symposium on Measuring Well-Being and Social Indicators", Toronto, October.

205

55. PATTON, Michael Quinn, 1997, Utilization-Focused Evaluation: The New Century Text, 3rd ed., Beverly Hills: Sage Publications 56. PATTON, Michael Q., 2002, Qualitative Research and Evaluation Methods, SAGE 57. PRONK, J., Haq, M. (Ed.), 1992, Sustainable Development - From Concept to Action. The Hague Report. The Hague and New York 58. PYATT, Graham, 1991, SAMs, the SNA and National Accounting Capabilities, Review of Income and Wealth, Series 37, No. 2, June, pp. 177-198. 59. ROTARIU, Traian, Petru Ilu, 2001, Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom 60. ROTARIU, Traian, Petru Ilu, 1997, Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom 61. ROSSI, Peter, Howard Freeman, Mark Lypsey, 1999, Evaluation, A Systematic Approach, 6th ed., SAGE Publication 62. ANDOR, Sorin Dan, 2005, Analiz i cercetare n administraia public, Ed. Accent 63. SCHORR, Kubisch, 1995, New approaches to evaluating community initiatives. Washington DC: The Aspen Institute 64. SCRIVEN, M., 1991, The evaluation thesaurus (4th ed.). Thousand Oaks, CA: Sage. 65. SCRIVEN, M.,1993, Hard-won lessons in program evaluation. New Directions for Program Evaluation, 58. San Francisco, CA: Jossey-Bass. 66. SCRIVEN, M., 2003, Evaluation in the new millennium: The transdisciplinary vision. In S. I. Donaldson & M. Scriven (Eds.), Evaluating social programs and problems: Visions for the millennium (pp. 19-42). Wahwah, NJ: Lawrence Erlbaum Associates. 67. SCRIVEN, M., 2005, The transdisciplinary model of evaluation: Radical implications. Paper presented at the meeting of the American Evaluation Association/Canadian Evaluation Society, Toronto, Canada. 68. SHADISH, William R. Jr., Thomas D. Cook, Laura C. Leviton, 1999, Fundamentele evalurii programelor: Teorii ale practicii , FIMAN

206

69. SILVERMAN, David, 2001,

Interpreting Qualitative Data: Methods for

analysing Talk, Text and Interaction, 2nd ed. Sage 70. STAKE, Robert, 2003, Standards-Based and Responsive Evaluation, SAGE 71. STANCULESCU,M, R. Neef, editori, 2002, The Social Impact of Informal Economies in Eastern Europe , Ed.Ashgate U.K. 72. STANCULESCU,M. (coautor), 2003, Toward Country - Led Development. A Multi-Partner Evaluation of the Comprehensive Development Framework. Findings from Six Country Case Studies: Bolivia, Burkina, Faso, Ghana, Romania, Uganda, Vietnam, IBRD, The World Bank Washinghton USA 73. STANCULESCU,M. (coautor), 2003, Pre-Accesion Impact Studies. EUCohesion Policy and Romania's Regional Economic and Social Development

(bilingv),Institutul European (ed.) 74. STUFFLEBEAM, D. L., 2001, Evaluation models. New Directions for Evaluation, 89. San Francisco, CA: Jossey-Bass. 75. STUFFLEBEAM, D. L., 2004, The 21st century CIPP model. In M. C. Alkin (Ed.), Evaluation Roots (pp. 245-266). Thousand Oaks, CA: Sage. 76. STUFFLEBEAM, D. L., 2005, CIPP model (context, input, process, product). In S. Mathison (Ed.), Encyclopedia of evaluation (pp. 60-65). Thousand Oaks, CA: Sage. 77. TAYLOR, C. Nicholas, Bryan, C. Hobson i Colin G. Goodrich, 2004, Social Assessment: Theory, Process and Techniques, SAGE 78. TASHAKKORI, Abbas, Charles Teddlie, 1998,

Mixed and

Methodology:

Combining

Qualitative

Quantitative Approaches, SAGE Publications, Inc.

79. TASHAKKORI, Abbas, Charles Teddlie, 2003, Handbook of Mixed Methods in Social & Behavioral Research,

SAGE Publications, Inc.

80. VANCLAY, Frank, 2003, The International Handbook of Social Impact Assessment: Conceptual and Methodological Advances, Edward Elgar Publishing - ISBN: 1840649356

207

81. WADDELL, S., 1995, "Lessons from the Healthy Cities Movement for Social Indicators Development", Social Indicators Research, Vol. 34, No. 2, pp. 213222. 82. Weiss, Carol Hirschon, 1995, Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation for Comprehensive Community Initiatives for Children and Families. n James P. Connell, Anne C. Kubish, Lisbeth B. Schorr and Carol H. Weiss (eds.) New Approaches to Evaluating Community Initiatives. Vol.1: Concepts, Methods, and Contexts. Washington, D.C.: The Aspen Institute 83. WHITE, Robert (ed.), 2004, Controversies in Environmental Sociology, Cambridge University Press, ISBN: 0521601029 84. WHOLEY, Joseph S., Harry P. Hatry i Kathryn E. Newcomer (Editori), 2005, Handbook of Practical Program Evaluation 2nd Edition 85. WOLFSON, Michael C., 1994, "POHEM a framework for understanding and modelling the health of human populations," World Health Statistical Quarterly, Vol. 47, pp. 157-176.

RESURSE INSTITUIONALE 1. Comisia European, 1995, Common Guidelines for Monitoring and

Evaluation, Luxembourg: OPOCE 2. Tavistock Institute et all, 2003, The Evaluation of Socio-Economic Development: The GUIDE 3. United Nations, 1991, World Development Report (New York: Oxford University Press). 4. Banca Mondial, 1993, "Social Accounting Matrices", Chapter 20 of System of National Accounts, Inter-Secretariat Working Group on National Accounts. 5. Banca Mondial, 1994, Guidelines and Priciples for Social Impact Assessment 6. Policy Research Committee, 1996, Growth, Human Development, Social Cohesion: Draft Interim Report, October.

208

7. Ekos Research Associates Inc., 1996, Rethinking Government 1995, Final Report, July 12 8. Elias, 2006, Report-Accreditation of the public Administration Department at Babes-Bolyai University, Cluj 9. ARACIS, 2006, Metodologia de evaluare externa, standardele, standardele de referinta si lista indicatorilor de performanta a Agentiei Romne de Asigurare a Calitatii n nvatamntul Superior, Bucuresti 10. United States General Accounting Office (USGAO) , 2003, Report to Congressional Commities, Program Evaluation- An evaluation Culture and Collaborative Partnerships help build evaluation Capacity 11. MWH, (2006), Ex-post evaluation of the PHARE programme in Romania 12. ECOTEC, (2006)-Thematic Report on Support to PAJC in Bulgaria and Romania

RESURSE WEB

1. http://www.pbs.org/johngardner/chapters/4.html 2. http://en.wikipedia.org/wiki/Watts_Riots 3. www.evalsed.info 4. www.evaluate-europe.net/handbook/handbookpdf 5. http://www.soc.surrey.ac.uk/sru/SRU19.html 6. www.worldbank.org 7. http://www.cjph.ro/index.php?_init=public.parcuri_list& 8. www.iccv.ro 9. www.casaeuropei.com 10. www.dog-eared.com/socialecologypress/

209

ANEXA 1

CHESTIONAR ANUL IV Rspunsurile la ntrebrile din prezentul chestionar vor contribui la realizarea unei evaluri a impactului pe care Programul educaional de Administraie public l are asupra studenilor. M.1. Ce anse i acorzi s fii angajat() ntr-o instituie din administraia public sau ntrun serviciu public aflat n subordinea administraiei publice din Romnia? a. b. c. d. e. foarte mari mari relative mici deloc

(Pentru cei care au rspuns la ntrebarea anterioar cu a, b, c sau d) M.2. Consideri c ai avea mai multe anse s fi angajat() n administraia public sau serviciilor publice aflate n subordinea administraiei publice: a. b. c. din mediul rural din mediul urban NS/NR

M.3. Ct de hotrt() eti s ajungi s lucrezi, dup absolvire, n administraia public sau n serviciile publice aflate n subordinea acesteia? a. b. c. d. e. mi doresc doar acest lucru d.p.d.v. profesional Foarte hotrt(), dar a accepta i o alt variant Relativ decis() Nu sunt sigur() de acest lucru Nu intenionez deloc acest lucru

M.4. Dac ar fi posibil, ai opta pentru a lucra ntr-o instituie din administraia public sau n serviciu public aflat n subordinea acesteia: a. b. c. d. Din mediul rural Din mediul urban Indiferent NS/NR

210

M.5. n ce msur eti decis() s i mbunteti nivelul de competene (de ex. prin continuare de studii la nivel de licen pt. absolvenii de colegiu, continuare de studii la nivel masteral pt. absolvenii seciei)? a. Acesta este cel mai important obiectiv al meu, dup absolvire b. Sunt anse mari s fac aceasta c. S-ar putea s fac acest lucru d. Sunt puine anse s fac acest lucru, dar nu exclud posibilitatea e. Nu doresc sub nici o form acest lucru f. NS/NR M.6. Urmtorea ntrebare se adreseaz doar studenilor de la secie: Dac vei dori s-i continui studiile, vei opta pentru un program de masterat: a. b. c. Din Romnia Din strintate NS/NR

(Pentru cei care au rspuns la ntrebarea anterioar cu a:) M.7. Dac vei opta pentru un program de masterat din Romnia, vei prefera unul: a. b. c. d. e. Oferit de secia de Administraie Public a Facultii de tiine Politice, Administrative i ale Comunicrii Oferit de o alt secie a Facultii de tiine Politice, Administrative i ale Comunicrii Oferit de o alt facultate din cadrul Universitii Babe-Bolyai Cluj-Napoca Oferit de o alt universitate din Romnia NS/NR

M.8. Ct de util crezi c va fi pentru tine s menii legtura, dup absolvire, cu facultatea pe care ai absolvit-o? Acordai o not de la 1 la 5 i motivai nota acordat: 1______________2_______________3_______________4______________5 Motivai: _______________________________________________________________ M.9. Ct de util crezi c va fi pentru Secia de Administraie Public din cadrul Facultii de tiine Politice, Administrative i ale Comunicrii s pstreze legtura cu tine dup absolvire? Acordai o not de la 1 la 5 i motivai nota acordat: 1______________2_______________3_______________4______________5 Motivai: _______________________________________________________________

211

10. DESCRIEREA CURRICULEI

1. Elemente de drept civil 2. Operare PC 3. Introducere n tiinele comunicarii i a relaiilor publice 4. Bazele economiei de pia 5. Sistem constituional i instituii politice n Romnia 6. Relaii cu publicul i elaborarea documentelor oficiale 7. Drept administrativ 8. Finane i bugete publice 9. Descentralizare i politici regionale 10. Metode de cercetare n tiine sociale 11. Teorii organizaionale 12. Sisteme administrative comparate 13. Etic n administraia public 14. Managementul resurselor umane 15. Managementul ONG-urilor 16. Management financiar 17. Management public 18. Drept comunitar instituional 19. Drept penal 20. Teoria argumentarii 21. Seminar de cercetare 22. Evaluarea programelor n administraia public 23. Introducere n tiinele politice 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5

212

11. COMPETENE
1.Capacitatea de a consulta, a interpreta i de a aplica reglementrile n domeniul administraiei publice. 2. Capacitatea de analiz, sintez i prognoz, manifestate prin: spirit analitic i sintetic de interpretare a informaiilor, prin spirit inovator, discernmnt, realism, adaptabilitate i flexibilitatea gndirii. 3. Capacitatea de a rezolva probleme de o manier inovatoare. 4. Capacitatea de a folosi limbajul juridic i economic, specific tiinelor administrative. 5. Abiliti n ceea ce privete fundamentarea deciziilor publice. 6.Capacitatea de a utiliza tehnologiile informaionale specifice domeniului administraiei publice. 7.Cunoaterea, interpretarea i aplicarea reglementrilor legale din domeniul organizrii i funcionrii autoritilor i instituiilor publice, n domeniul funciei publice i a funcionarilor publici, actelor administrative, contractelor publice, prestrii serviciilor publice. 8.Cunoaterea practicii administrative i spirit de iniiativ n analiza i rezolvarea problemelor practice. 9.Posibilitatea de a evolua profesional datorit unei atitudini flexibile i deschise la nou. 10.Utilizarea tehnicilor informaionale. 11.Luarea unor decizii etice. 12.Capacitatea de a lucra n echp. 13.Construirea si aplicarea instrumentelor de cercetare. 14.Interpretarea rezultatelor cercetrilor. 1 1 2 2 3 3 4 4 5 5

1 1 1 1 1

2 2 2 2 2

3 3 3 3 3

4 4 4 4 4

5 5 5 5 5

1 1 1 1 1 1 1

2 2 2 2 2 2 2

3 3 3 3 3 3 3

4 4 4 4 4 4 4

5 5 5 5 5 5 5

213

13. EFICACITATEA EDUCAIONAL

1.Profesorii au fost foarte bine pregtii pentru cursuri. 2. Proseforii au reuit s se transmit informaiile ntr-un mod clar i explicit. 3.Au oferit exemple practice. 4.Au ncurajat studiul bibliografiei suplimentare. 5.Au stimulat spiritul critic. 6.Profesorii dispun de strategii actualizate de predare pentru fiecare curs. 7.Au evaluat obiectiv cunotinele studenilor. 8.Au oferit consiliere pentru direcionarea carierei. 9.Au oferit recomandri pentru alte activiti educaionale (coli de var, conferine, master, internship, etc.,) 10.Profesorii au fost disponibili pentru consultaii n afara cursurilor. 11. Au organizat dezbateri n cadrul cursurilor/seminariilor. 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3 3 4 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 5 5 5

14. EXPERIENA PRACTICII PROFESIONALE

1. Informaiile teoretice nsuite la cursuri a reflectat realitatea din instituiile administraiei publice locale/centrale. 2. Posibilitatea de a lua contact cu sectorul executiv. 3. Realizarea stagiului de practic a contribuit la definirea alegerii viitoarei cariere. 4. Pe parcursul stagiului de practic, instituia gazd m-a ndrumat i mi-a oferit posibilitatea de a m implica n activitile organizaiei. 5. Stagiul de practic mi-a permis stabilirea de contacte n sectorul public. 6. Gsirea unei instituii pentru realizarea stagiului profesional a fost un proces facil. 7. Catedra de Administraie Public m-a ajutat s-mi gsesc o instituie pentru realizarea stagiului de practic profesional.

1 1 1

2 2 2

3 3 3

4 4 4

5 5 5

1 1 1

2 2 2

3 3 3

4 4 4

5 5 5

214

15. BAZA MATERIAL: PATRIMONIU I DOTARE

1. Procesul de admitere al studenilor 2. Procesul de nregistrare al studenilor. 3.Sprijinul material acordat (burse de studiu, burse de merit, burse sociale). 4. Dotarea bibliotecii cu resursele necesare programului educaonal de Administraie Public. 5. Dotarea slii de calculatoare. 6. Spaii adecvate procesului de mvmnt. 7. Spaii de cazare pentru studeni. 8. Calitatea serviciilor de consiliere. 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5

16. IMPRESIA GENERALA FA DE PROGRAMUL EDUCAIONAL DE ADMINISTRAIR PUBLIC

1. Nivelul personal de satisfacie fa de programul educaional de Administraie Public. 2. Dorina de a recomanda programul unui prieten. 3. 1 1 1 2 2 2 3 3 3 4 4 4 5 5 5

Comentarii vizavi de programul de Administraie Public:

VA MULUMIM.

215

ANEXA 2

FISA EVALUARE PROIECT Nr.

1. DENUMIRE PROIECT:___________________________________________

2. ACTORI IMPLICATI:

a. SOLICITANT: _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ b. PARTENERI: _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ c. GRUP TINTA: _______________________________________________________________ _______________________________________________________________

216

_______________________________________________________________ _______________________________________________________________ _______________________________________________________________ d. FINANTATOR: _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ e. CO-FINANTATORI: _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ f. SUBCONTRACTANTI: _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ g. IMPLEMENTATOR:

217

_______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ h. EVALUATORI: _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ i. ALTI PARTICIPANTI: _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________

3. PERIOADA DE DERULARE _______________________________________________________________ _______________________________________________________________ _______________________________________________________________

218

_______________________________________________________________ _______________________________________________________________

4. STADIUL ACTUAL AL IMPLEMENTARII _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________ _______________________________________________________________

5. OBIECTIVE (GENERALE SI SPECIFICE) ________________________ ________________________ ________________________ ________________________ ________________________ ________________________ ________________________ ________________________ ________________________ ________________________ ________________________ ________________________

219

6. ACTIVITATI(ENUMERARE, STADIU DE DERULARE, RESPONSABIL)

Activitatea nr. Denumirea activitatii Stadiul de derulare Responsabil Observatii

7. CALENDARUL INITIAL AL PROIECTULUI (pe luni)

Luna 1 Activitatea 1 Activitatea 2 Activitatea 3 Activitatea 4 Activitatea 5 .. Luna 2 ..

8. DECALAJE
Decalaj Activitatea 1 Activitatea 2 Activitatea 3 Activitatea 4 Activitatea 5 Explicatie

220

..

9. DESCRIEREA IMPLICARII FIECARUI PARTENER

Rol/Implicare Partener 1 Partener 2 Partener 3 Partener 4 Partener 5 .. Observatii

10. FINANTARE (SE VA CERE ANEXAREA BUGETULUI) OBSERVATII EVENTUALE SCHIMBARI APARUTE PE PARCURS CARE AU DETERMINAT MODIFICAREA OBIECTIVELOR, ACTIVITATILOR SAU CALENDARULUI PROIECTULUI) : ___________________________________________________________________________ _________________________________________________________________

Locaia/Data Coordonator proiect

221