Universitatea din Bucureti Facultatea de Sociologie i Asisten Social

REZUMATUL TEZEI DE DOCTORAT

Evaluarea programelor sociale

Conductor tiinific Prof. univ. dr. Ioan Mrginean

Doctorand Adriana Baboi (Negu)

Evaluarea reprezint o activitate care ctig teren n din ce n ce mai multe domenii de la determinarea calitii serviciilor, a performanelor angajailor, elevilor sau diferitelor organizaii, fie ele publice sau private, i pn la evaluarea modului n care interveniile publice i ating obiectivele sau a impactului acestora n rndul beneficiarilor, precum i a modului n care sunt cheltuite resursele n vederea atingerii obiectivelor stabilite. Tema central a lucrrii o reprezint utilizarea evalurii programelor sociale. Motivaia care a stat la baza alegerii unei astfel de teme a constituit-o ncercarea de a identifica factorii care influeneaz utilizarea evalurii i de a descrie traseul pe care l parcurg evalurile de programe sociale din momentul contractrii pn n momentul finalizrii acestora i dup aceast etap, n vederea formulrii unor recomandri pentru intensificarea utilizrii, n aa fel nct evaluarea s i ating scopul final. Dei la prima vedere finalitatea oricrei evaluri o constituie folosirea rezultatelor acesteia, la o analiz mai aprofundat a domeniului se dezvluie faptul c utilizarea reprezint mijlocul prin care evaluarea i atinge obiectivul mai general de mbuntire a condiiilor sociale. n Romnia studiile asupra evalurii sunt puine i de dat recent iar cercetrile pe tema utilizrii sunt aproape inexistente. n acest context, lucrarea i dovedete originalitatea prin identificarea factorilor care influeneaz utilizarea evalurilor i asupra crora trebuie acionat n vederea intensificrii utilizrii n aa fel nct evaluarea s i poat atinge scopul final.

n lucrarea de fa, intitulat Evaluarea programelor sociale, analizez influena diferitelor elemente specifice procesului de evaluare, cum ar fi participanii la evaluare, metodele folosite sau modul de prezentare a rezultatelor, i a contextului n care evaluarea se desfoar asupra utilizrii acesteia. Lucrarea prezint tipurile de utilizare a evalurii identificate n literatura de specialitate, ns partea de cercetare se concentreaz pe utilizarea rezultatelor evalurii, indiferent de tipul acesteia sau de metodele folosite. Structura lucrrii are patru capitole, fiecare dintre acestea tratnd o secven din tematica general. n primul capitol abordez problematica dezvoltrii sociale, ncercnd s ofer un cadru mai general de analiz i o perspectiv sociologic asupra evalurii. De cele mai multe ori evaluarea este analizat n legtur direct cu procesul de politic public i cu principiile unei guvernri eficiente, ns impactul social al acesteia este mai puin luat n considerare. Evaluarea este privit ca o modalitate de gestionare eficient a resurselor i de mbuntire a procesului decizional, ns pe termen lung, mediat de o serie de factori i de actorii implicai, evaluarea poate contribui la mbuntirea condiiilor sociale i la reducerea problemelor sociale. Numrul redus de studii asupra acestui tip de impact al evalurii se poate datora i faptului c este mai dificil de studiat. Capitolul demareaz cu definirea dezvoltrii sociale i continu cu o trecere n revist a teoriilor dezvoltrii, prezentnd teoriile modernizrii, dependenei, sistemului mondial modern i globalizrii, precum i strategia mai recent de reform a statului la baza creia st conceptul de noul management public. Apoi sunt prezentate conceptele nrudite celui de dezvoltare social dezvoltare comunitar, dezvoltare regional, dezvoltare durabil - i etapele procesului de dezvoltare social, ncepnd cu identificarea i diagnoza problemei i ncheind cu evaluarea i furnizarea de feedback. Capitolul se ncheie cu o seciune dedicat rolului politicilor sociale n dezvoltare, n cadrul creia sunt definite conceptele relevante pentru tematica abordat: politici publice, politici sociale, program i proiect. Cel de-al doilea capitol vizeaz evaluarea de programe sociale. n literatura de specialitate s-au evideniat o serie de definiii ale evalurii, fr ca, individual, acestea s surprind toate aspectele evalurii de programe, ns cu o serie de elemente comune. Chiar dac anumite definiii au pus accentul pe rolul evalurii ca instrument managerial i de decizie sau ca proces de determinare a nivelului de atingere a obiectivelor programului, iar altele s-au axat pe utilizarea acesteia, definiiile evideniaz avantajele evalurii i

necesitatea realizrii acesteia. Odat definit evaluarea, am adus n discuie principalele asemnri i deosebiri dintre cercetare i evaluare, aceasta din urm distingndu -se prin caracterul preponderent normativ, prin dependena de standarde i raportarea la indicatori pentru determinarea performanei. n continuarea capitolului am descris principalele tipuri de evaluare, cu avantajele i dezavantajele asociate fiecruia dintre acestea i metodele folosite n evaluare, menionnd tendina de reconciliere a abordrilor care susin folosirea metodelor calitative cu cele care recomand metode cantitative. Tipurile de evaluare prezentate n cadrul acestui capitol sunt evaluarea formativ i cea sumativ, evaluarea bazat pe obiective i cea fr obiective, evaluarea centrat pe utilizare, evaluarea ex-ante, continu i ex-post, evaluarea participativ i cea non-participativ, evaluarea intern i cea extern, evaluarea de proces, evaluarea de rezultate i cea de impact, precum i cea mai recent distincie n domeniu ntre studiile i sistemele de evaluare. n aceast seciune am inclus i pseudoevaluarea, care reunete acele activiti de evaluare realizate n scopuri precum ntrzierea aciunii, favorizarea sau eliminarea unui program, ncadrndu-se astfel n categoria tipurilor indezirabile de evaluare. Capitolul se ncheie cu o prezentare a evoluiei domeniului evalurii, cu referire la statele pioniere n domeniu, i a tendinelor de instituionalizare a evalurii i de trecere de la studiile de sine stttoare la curentele de evaluare. n statele cu tradiie n evaluare precum Marea Britanie, s-a dezvoltat conceptul de evidence based policy care presupune luarea deciziilor de politic public pe baza dovezilor furnizate de cercetrile sociologice sau de evalurile politicilor deja existente. O concluzie interesant care se desprinde din acest capitol, este aceea c anumite tipuri de evaluare pot fi privite ca tipuri de utilizare a evalurii, reprezentnd evaluri proiectate i derulate n aa fel nct rezultatele evalurii s poat rspunde unor ntrebri specifice de evaluare. Cel de-al treilea capitol al lucrrii este dedicat utilizrii evalurii, ncercnd s fac o delimitare conceptual a termenilor folosii n domeniu, s identifice principalele forme de utilizare a evalurilor i s descrie motivele pentru care evaluarea nu este de multe ori utilizat, precum i strategiile posibile de intensificare a utilizrii. Principalele concepte folosite n literatura viznd utilizarea evalurii sunt: utilizare, utilizare defectuoas (misuse) i evaluare eronat (misevaluation). Dei la prima vedere am putea spune c utilizarea evalurii nseamn folosirea ntr-o anumit direcie a rezultatelor acesteia, lucrurile se dovedesc a fi mult mai complexe.

Tipurile de utilizare a evalurii identificate n literatur sunt pe ct de diverse, pe att de dificil de studiat. Utilizarea evalurii merge de la utilizare direct, a rezultatelor, cunoscut n literatura de specialitate sub denumirea de utilizare instrumental, pn la utilizarea mai subtil a informaiilor vehiculate n procesul de evaluare (utilizare conceptual) sau chiar a participrii la acest proces (utilizare de proces). Cu toate c termenul de utilizare pare a avea o conotaie pozitiv, n sensul c evaluarea nu este realizat n zadar, rezultatele ei fiind puse n practic, n realitate exist i tipuri mai puin dezirabile de utilizare a evalurii: utilizarea persuasiv -simbolic sau pentru legitimare, cnd evaluarea este folosit pentru atragerea suportului pentru o decizie despre care membrii echipei cred c trebuie luat sau pentru legitimarea poziiei managerului programului, utilizarea tactic, atunci cnd evaluarea este folosit pentru a ctiga timp sau cea impus, realizat ca urmare a presiunilor externe. n literatura de specialitate au fost identificai o serie de factori care influeneaz utilizarea evalurii - considerentele politice, factorul personal (Patton 1977, 1988; Alkin, Daillak i White 1979; Burry 1984; Alkin i Hofstetter, 2003), implicarea stakeholderilor n etapele evalurii (Wargo, 1989; Leviton i Hughes, 1981), caracteristicile evaluatorului (Newmann, Brown i Littman, 1979), credibilitatea evalurii (Alkin, Daillak i White, 1979), timpul (Alkin, Kosecoff, Fitz-Gibbon i Seligman, 1974; Rossi, Freeman i Lipsey, 1999), modul de prezentare a rezultatelor (Brown i Newmann, 1982; Rossi, Freeman i Lipsey, 1999) i au fost formulate strategii de intensificare a utilizrii dintre care amintesc implicarea stakeholderilor, diseminarea rezultatelor, creterea calitii evalurilor sau metaevaluarea. Al patrulea capitol vizeaz practica evalurii de programe sociale n Romnia. n cadrul acestuia sunt descrii principalii factori care au influenat evoluia domeniului i sunt identificate provocrile majore cu care se confrunt evaluarea de programe n Romnia. Demersul de cercetare este unul de tip exploratoriu, bazat pe metode calitative constnd n interviuri cu practicieni din domeniul evalurii i analiza documentelor. Partea de cercetare a lucrrii este construit n jurul a dou dimensiuni principale - dezvoltarea domeniului evalurii de programe n Romnia i utilizarea evalurii - i ncearc s rspund urmtoarelor ntrebri: (1) Cum s-a dezvoltat domeniul evalurii de programe n Romnia i ce factori au influenat dezvoltarea domeniului?

(2) Care dintre factorii prezentai n literatur acioneaz asupra utilizrii evalurii n Romnia? n acest sens am intervievat reprezentani ai mediului academic, ai sectorului ONG, ai administraiei publice centrale i ai companiilor de studii de pia. Una dintre cele mai importante dificulti ntmpinate n derularea cercetrii a constituit-o disponibilitatea redus a acestora pentru a fi intervievai, n special a reprezentanilor administraiei publice sau a companiilor de consultan. Interviurile au fost completate prin analiza mai multor documente: Strategia Naional de Evaluare, Codul etic pentru evaluatori, rapoarte de evaluare ale unor programe sau proiecte din domeniul social, minute ale ntlnirilor EvalRom. Capitolul include i trei exemple ale unor evaluri de programe sau proiecte sociale din Romnia i o analiz preliminar a acestora din punct de vedere al utilizrii. Informaiile necesare pentru a determina dac i cum au fost utilizate evalurile prezentate au fost obinute de la actorii implicai n evaluare, precum i din rapoartele de evaluare sau articole din pres. n urma cercetrii realizate n perioada aprilie-mai 2011 am constatat c nu se poate vorbi despre o cultur de evaluare n Romnia, ci mai degrab despre practici de evaluare, tendina fiind ns una pozitiv, de dezvoltare a domeniului. Principalul factor care a influenat rspndirea practicilor de evaluare a fost cererea extern, venit din partea finanatorilor precum Uniunea European, Banca Mondial sau alte organizaii internaionale. Finanatorii externi au contribuit la dezvoltarea evalurii nu numai prin obligativitatea realizrii de evaluri pentru interveniile finanate, ci i prin creterea gradului de informare i contientizare asupra rolului evalurii sau prin redactarea de manuale i ghiduri de evaluare i pregtirea profesional a celor care activeaz n domeniu. O parte dintre factorii identificai n literatura de specialitate au influen asupra utilizrii evalurii i n mediul romnesc. n urma interviurilor cu practicieni n evaluare, a reieit c utilizarea evalurii este influenat de factorii politici, de caracteristicile evaluatorului, de calitatea evalurii, de modul de prezentare a rezultatelor, de participarea public i interesul cetenilor pentru modul n care sunt cheltuii banii publici, de nivelul de transparen i accesul la date, precum i de resursele disponibile pentru evaluare. Dei n literatura de specialitate mass-media i asociaia de evaluare erau prezentate ca avnd efecte importante asupra practicilor de evaluare, n Romnia influena acestora este nc timid. La trei ani de la nfiinare, asociaia de evaluare din Romnia nu este nc suficient de vizibil dar, prin efortul susinut al membrilor, i poate crete capacitatea de a influena

domeniul. Factorii care influeneaz utilizarea evalurii au fost reprezentai grafic ntr-un model care are avantajul de a descrie modul n care acetia acioneaz, ntr-o manier accesibil cititorilor mai puin familiarizai cu domeniul evalurii i de a-i ajuta pe acetia s neleag de ce nu exist o reet general valabil pentru evaluare i de ce evalurile reale nu parcurg ntotdeauna aceleai etape. n Romnia, cel mai ridicat nivel de cunoatere i nelegere asupra evalurii vine din mediul academic, acesta furniznd i o mare parte a evaluatorilor, precum i cursuri i publicaii n domeniu, urmat de sectorul ONG i de administraia public. Ca urmare a nivelului diferit de nelegere asupra evalurii, ntre sectorul ONG i administraia public se remarc diferene i din punct de vedere al utilizrii: ONG-urile sunt mai active i dau dovad de un interes mai ridicat fa de modul n care resursele sunt gestionate i de impactul interveniilor n rndul beneficiarilor. De cealalt parte, administraia public evalueaz preponderent ca urmare a cererii externe, fr a da dovad de un interes crescut pentru modul n care sunt cheltuii banii publici, situaie ncurajat i de pasivitatea publicului, care nu solicit dovezi ale responsabilitii vizavi de cheltuirea banilor publici. Exist ns i reprezentani ai administraiei publice cu un nivel mai ridicat de nelegere asupra evalurii ca urmare a implicrii n gestionarea fondurilor europene sau a participrii la ntlniri ale asociaiei de evaluare sau la cursuri de formare n domeniu. Exist i un cadru legal privind evaluarea ns, fr o contientizare a rolului evalurii, acesta nu este suficient pentru extinderea practicilor de evaluare i dezvoltarea sustenabil a acestora dup retragerea finanatorilor externi, fcnd astfel o paralel cu noiunea de sustenabilitate din dezvoltare comunitar. Lucrarea se ncheie prin semnalarea unor direcii pentru cercetri viitoare. Prima dintre acestea presupune dezvoltarea exemplelor de evaluri, prezentate n cadrul ultimului capitol, n studii de caz bazate pe o analiz riguroas a documentelor i pe discuii cu toate prile implicate n evalurile respective pentru a oferi astfel informaii ct mai complexe i cu un grad ridicat de obiectivitate privind utilizarea evalurii. Alte direcii de cercetare identificate sunt investigarea mai profund a relaiei dintre utilizarea impus i calitatea beneficiilor obinute prin utilizare, testarea ipotezei lipsei de utilizare ca urmare a sentimentului de putere i intangibilitate n faa rezultatelor evalurii, ipotez reieit n cadrul interviurilor, i identificarea mecanismelor care acioneaz asupra tipurilor mai subtile de utilizare precum utilizarea conceptual sau cea de proces.

Prin prezentarea teoriilor privind evaluarea i utilizarea acesteia, lucrarea poate constitui un punct de plecare pentru cei interesai de evaluare dar care nu au experien n domeniu. Capitolul dedicat utilizrii mpreun cu abordarea evalurii din perspectiva dezvoltrii sociale aduc un plus de noutate n Romnia, studiile de pn acum concentrndu-se pe aspecte precum definirea evalurii, prezentarea principalelor teorii n domeniu, a metodelor utilizate n evaluare i a modului n care se realizeaz evaluarea interveniilor publice.