CADRUL LEGAL AL EVALURII N ROMNIA.

OBIECTIVELE STRATEGIEI NAIONALE DE EVALUARE

Dan Sorin ANDOR Raluca ANTONIE

The Legal Framework of Evaluation in Romania. The Objectives of the National Evaluation Strategy

Dan Sorin ANDOR Conf. dr., Departamentul de Administraie Public, Facultatea de tiine Politice, Administrative i ale Comunicrii, Universitatea Babe-Bolyai, Cluj-Napoca, Romnia Tel.: 0040-264-431.361 E-mail: sandor@polito.ubbcluj.ro

Raluca ANTONIE Lect. dr., Departamentul de Administraie Public, Facultatea de tiine Politice, Administrative i ale Comunicrii, Abstract Universitatea Babe-Bolyai, Cluj-Napoca, Romnia In 2007 we conducted a research focusing on Tel.: 0040-264-431.361 the evaluation culture and capacity in Romanian E-mail: ralucaantonie@gmail.com public institutions at regional and local levels.
Among the conclusions there were statements referring to the lack of legislation and institutional support. Many hopes were related at that time to the adoption of the new National Strategy for Evaluation (NSE). In this article the authors try to assess the progress made in the last four years in the implementation of this strategy. The results are far from encouraging. None of the objectives of the strategy was met in time and the NSE seems to be abandoned in the midst of a political and economical crisis. Key words: evaluation, strategy, legislation, program evaluation, evaluation objectives, Romania

Revista Transilvan de tiine Administrative 2 (26)/2010, pp. 135-143

135

1. Acte normative Evaluarea nu este reglementat actualmente n Romnia printr-un act normativ specific. Cadrul legal existent privind evaluarea se refer la cteva precizri care apar n diferite legi sau ordonane de urgen. n noiembrie 2006 Guvernul Romniei, prin Unitatea Central de Evaluare a lansat Strategia Naional de Evaluare prin care se aduc unele lmuriri legate de principiile evalurii i de organizarea unui sistem naional de evaluare. Unul dintre actele normative care face referiri la elemente care, indirect, pot avea legtur cu evaluarea este Legea finanelor publice nr. 500/2002. Aceasta nu face referiri la obligativitatea evalurii ca etap a procesului de management financiar n sfera public. Aceast lege concretizeaz, la nivel normativ, cultura de raportare existent deja n sfera public romneasc. Potrivit textului legal, instituiile care administreaz fonduri publice au obligaia de a ntocmi rapoarte anuale de activitate. n cadrul acestor rapoarte anuale de activitate, trebuie precizate, pentru fiecare program sau aciune, obiectivele, rezultatele prevzute, precum i pe cele obinute n realitate, indicatorii i costurile aferente. Aceste rapoarte, conform legii, trebuie ataate rapoartelor financiare anuale. Prin urmare, este vorba despre obligativitatea raportrii i nu a evalurii. Raportarea este un demers mai degrab descriptiv i cuprinde informaii obinute n urma procesului de monitorizare. Evaluarea presupune un demers analitic, explicativ. n acelai registru se nscrie Ordonana de Urgen a Guvernului nr. 45/2003 privind finanele publice locale. Aceasta nu impune explicit realizarea evalurilor. Totui, este inclus o precizare interesant n definiia termenului program. Mai exact, se impune stabilirea unor indicatori pentru a permite evaluarea rezultatelor obinute. Totui, nici de aceast dat, nu exist o cerin explicit de realizare a evalurilor asupra unui program, proiect sau activitate. Se remarc, astfel, lipsa unui cadru legislativ adecvat, care s reglementeze cererea i oferta de evaluare. Totui, se remarc un important progres n acest sens prin realizarea i promovarea Strategiei Naionale de Evaluare. Aceasta a fost realizat n cadrul unui proiect PHARE. n cadrul aceluiai proiect, al crui beneficiar era Guvernul Romniei prin Ministerul Finanelor, s-a realizat un training n cooperare cu Universitatea Galway (Irlanda), destinat actualilor actori implicai n evaluare, fie c acetia proveneau din sfera administraiei publice, din sectorul privat (reprezentnd mai ales firme de consultan) sau din sfera academic. Astfel, s-au pus bazele primei comuniti de evaluatori din Romnia. O parte dintre participanii la acest training au format ulterior o prim asociaie a evaluatorilor de programe din Romnia: Evalrom. n cadrul ntlnirilor Evalrom s-au identificat cteva direcii principale de aciuni viitoare: Dezvoltarea n continuare a cadrului general de evaluare; Elaborarea unei baze adecvate de expertiz: metodologii, ghiduri, publicaii de evaluare, cursuri de formare; Oferirea unui sprijin permanent pentru dezvoltarea pieei de evaluare i pentru instituionalizarea practicilor de evaluare a programelor. 136

2. Strategia Naional de Evaluare Planul Unic de Aciune adoptat de Guvernul Romniei (Ministerul Finanelor) n 2005 prevede mbuntirea sistemelor de management pentru implementarea fondurilor UE n Romnia. Obiectivul general al Planului Unic de Aciune este acela de a mbunti capacitatea administraiei din Romnia de a gestiona ntr-un mod eficient i eficace procesul de absorbie al fondurilor europene pe durata perioadei 2005-2006, precum i dup aderarea Romniei la UE. (Unitatea Central de Evaluare, 2006, p. 4). n cadrul planului se recunoate inexistena unei culturi a evalurii n administraia public romneasc. Principala cauz evideniat este instabilitatea din sistemul instituional romnesc. O alt cauz pe care o putem indica este lipsa cronic a normelor legislative care s reglementeze, cel puin principial, piaa evalurii de programe din Romnia. Prin Planul Unic de Aciune s-a identificat crearea Sistemului Naional de Evaluare drept unul din cele opt obiective specifice ale acestuia, incluznd cinci msuri: Msuri ale Sistemului Naional de Evaluare Elaborarea Strategiei Naionale de Evaluare i a planurilor de aciune corespunztoare acesteia; Implementarea Planului de Aciune pentru preluarea exerciiului de Evaluare Intermediar (EI) pentru programul Phare; Implementarea Planului de Aciune pentru stabilirea Sistemului Naional de Evaluare; Implementarea Planului de Aciune pentru creterea gradului de contientizare privind evaluarea; Implementarea Planului de Aciune pentru dezvoltarea capacitii locale privind evaluarea (a pieei private). Sursa: Strategia Naional de Evaluare 3. Analiza stadiului de implementare a Strategiei Naionale de Evaluare n sens larg, strategia presupune o serie de activiti planificate i ulterior implementate pentru atingerea unor obiective stabilite pe termen mediu sau lung. Strategia are scopul de a direciona eforturile, n mod organizat, pentru a asigura ndeplinirea cu succes a obiectivelor propuse. n acest sens, strategia ajut la planificarea resurselor (umane, materiale etc.) necesare, la stabilirea calendarului activitilor i aciunilor, la distribuia responsabilitilor, la stabilirea cadrului legal n care se desfoar respectivele activiti, care vor conduce la realizarea obiectivelor. Strategiile pot fi elaborate att la nivel micro, ct i la nivel macro. Astfel, exist, sau ar trebui s existe, strategii att la nivelul instituiilor i organizaiilor, ct i la nivelul ramurilor sau sectoarelor de activiti, att la nivel local, ct i la nivel judeean, naional, regional i internaional. De regul, ntr-un anumit domeniu de activitate, diferitele strategii elaborate converg spre principii i idei comune. Astfel se ntmpl i n cazul domeniului evalurii programelor. La nivel internaional, exist un fenomen asociativ 137

foarte puternic. Asociaii precum European Evaluation Society sau International Organization for Cooperation in Evaluation (IOCE), realizate prin afilierea mai multor societi naionale de evaluare, imprim direcii strategice clare domeniului evalurii programelor, chiar dac exist o serie de diferene mai mult sau mai puin semnificative ntre multiplele abordri. Strategiile de evaluare au n vedere stabilirea principiilor evalurii, crearea de reele pentru aplicarea acestora, pentru diversificarea i actualizarea continu a metodologiei utilizate, pentru stabilirea unui cadru normativ care s asigure condiiile necesare realizrii evalurilor i pentru fundamentarea profesiei de evaluator de programe. Strategia Naional de Evaluare a Romniei reprezint direcia aciunilor din domeniul evalurii de programe, stabilit printr-o colaborare a administraiei cu reprezentani ai mediului de afaceri, ai sectorului nonguvernamental i ai mediului universitar. Aceasta are un grad ridicat de generalitate. Strategia Naional de Evaluare (...) dezvolt noi politici cu privire la evaluare i mbuntete substanial politicile deja existente n domeniul evalurii. Strategia Naional de Evaluare (SNE) este un mijloc important de a coordona domeniile separate n care, n prezent, se ncearc s se promoveze evaluarea n Romnia i reprezint o oportunitate de a dezvolta o cultur a evalurii care s sprijine o guvernare mai eficient a rii (Unitatea Central de Evaluare, 2006, p. 5). Obiectivele Strategiei Naionale de evaluare sunt insuficient adaptate realitilor din Romnia privind domeniul evalurii. Inexistena unei culturi a evalurii n spaiul public i privat din Romnia precum i capacitatea slab i foarte slab de evaluare sesizat la nivelul rii noastre (Grboan, 2008) justifica stabilirea unui obiectiv general prin care guvernul i propune s realizeze un sistem naional de evaluare funcional, ale crui pri s se consolideze reciproc, care s cuprind sectorul public i privat i societatea civil i care s contribuie la managementul eficace al interveniilor publice i responsabilizarea promotorilor de politici i a funcionarilor publici. Se va recunoate importana elaborrii de politici bazate pe dovezi. ns obiectivele operaionale nu sunt obiective reale, ci sunt mai degrab nite ipoteze sau afirmaii, dintre care, unele, nu au un fundament real. Primul obiectiv ne prezint un deziderat pentru anul 2007: instruirea pentru evaluare i resursele umane sunt disponibile din diferite surse (administraia de stat, furnizori privai de instruire, universiti) i deschise participanilor din sectorul public i din afara acestuia. Realitatea este c, n prezent (finalul anului 2010), aceast ipotez este infirmat de realitatea din Romnia. n afara cursurilor de evaluarea programelor oferite de ctre Departamentul de Administraie Public al Universitii Babe-Bolyai, att la nivel de licen ct i la nivel de masterat, n Romnia, din pcate, exist puine astfel de cursuri sau oportuniti de formare, acestea fiind mai mult prezente n domenii sectoriale (de exemplu n asisten social). n 2006, cnd s-a lansat strategia, astfel de oportuniti erau chiar mai restrnse i a crede c rezolvarea problemei se poate face ntr-un an este o cel puin naivitate. Avansarea unei sperane pe post de realitate (wishful thinking) nu este cea mai potrivit modalitate de formulare a unor obiective operaionale. 138

Obiectivele Strategiei Naionale de Evaluare Obiectivul general al Strategiei Naionale de Evaluare este s realizeze un sistem naional de evaluare funcional, ale crui pri s se consolideze reciproc, care s cuprind sectorul public i privat i societatea civil i care s contribuie la managementul eficace al interveniilor publice i responsabilizarea promotorilor de politici i a funcionarilor publici. Se va recunoate importana elaborrii de politici bazate pe dovezi. Din acest obiectiv general decurg ase obiective operaionale ale Strategiei Naionale de Evaluare, fiecare avnd i un anumit orizont de timp (prezentat n parantezele de la finalul fiecrui obiectiv). 1. Instruirea pentru evaluare i resursele umane sunt disponibile din diferite surse (administraia de stat, furnizori privai de instruire, universiti) i deschise participanilor din sectorul public i din afara acestuia (2007). 2. Reele profesionale sunt nfiinate pentru a asigura un mediu pentru schimbul de idei/bune practici, dezvoltarea profesional, elaborarea de standarde, etc. Acestea se vor bucura de participarea societii civile, precum i de participani din serviciul public (2007). 3. O resurs central de stat se va crea ca un centru al expertizei n evaluare. Aceasta va promova buna practic prin conectarea tuturor departamentelor din diferite ministere (2007). 4. Exist capacitate la toate nivelurile guvernamentale de a contracta sau efectua evaluri i de a ti care sunt ntrebrile cele mai potrivite ce trebuie puse n cadrul acestor exerciii de evaluare (2010-2011). 5. Sistemele corespunztoare de monitorizare sunt de bun calitate i funcionale la toate nivelurile guvernamentale (locale i centrale) i n orice agenie prin care sunt cheltuii bani publici (2011-2012). 6. Evaluarea este integrat n procedurile pentru formularea, implementarea i continuarea tuturor interveniilor publice, indiferent de liniile de finanare. Proceduri fundamentate vor asigura implementarea fidel a rezultatelor recomandrilor evalurii (2013). Sursa: Strategia Naional de Evaluare Al doilea obiectiv operaional este: Reele profesionale sunt nfiinate pentru a asigura un mediu pentru schimbul de idei/bune practici, dezvoltarea profesional, elaborarea de standarde etc. Acestea se vor bucura de participarea societii civile, precum i de participani din serviciul public. Din nou, nu este vorba despre un obiectiv prin care ne propunem s realizm ceva. n prima parte dm doar o definiie a reelelor profesionale n general, iar n cea de-a doua parte este exprimat din nou o speran, departe de realitate. Formularea ncearc s exprime un grad de participare ridicat. Totui, pn n prezent, exist o singur asociaie profesional n domeniul evalurii de programe: Evalrom. 139

Al treilea obiectiv operaional se nscrie ntr-o desuet tendin de centralizare: O resurs central de stat se va crea ca un centru al expertizei n evaluare. Aceasta va promova buna practic prin conectarea tuturor departamentelor din diferite ministere. Avem din nou de-a face mai puin cu un obiectiv i mai degrab cu o speran. Da, s-a creat o resurs central de stat, ns aceasta nu reprezint nici pe departe un centru al expertizei n evaluare. Activitatea sa este prea puin vizibil i prea puin transparent pentru un astfel de centru al expertizei n evaluare. Instrumentele popularizate sunt prea puin adaptate realitilor romneti, metodologia este mult sub ateptri n privina adaptrii i din perspectiva unui demers metodologic coerent. Cel de-al patrulea obiectiv este nc departe de realitate: Exist capacitate la toate nivelurile guvernamentale de a contracta sau a efectua evaluri i de a ti care sunt ntrebrile cele mai potrivite ce trebuie puse n cadrul acestor exerciii de evaluare. Din cercetrile pe care le-am realizat (Grboan, 2006) a reieit n mod evident lipsa capacitii de evaluare. Curley i Perianu au ncercat s aprecieze cultura evalurii n Romnia dintr-o perspectiv diferit, aceasta fiind vzut ca un element cheie n constituirea capacitii de evaluare la nivel naional. Aprecierea este c evaluarea () este nc subdezvoltat (Curley i Perianu, 2006, p. 55). Capacitatea de evaluare n noile state membre, inclusiv n Romnia, n comparaie cu vechile state membre ale U.E. a fost investigat. Rezultatele unui studiu efectuat n rile candidate, n 2003 (Malan, 2004) ne arat c: Comisiile de evaluare sunt rare i cerinele naionale sunt practic inexistente; Expertiza evalurii se face, n principal, prin evaluatori externi; Evalurile interim Phare nu sunt, de obicei, diseminate n afara grupului de management; Rezultatele evalurii nu sunt expuse i nu atrag dezbateri; Evalurile nu au un impact semnificativ asupra consideraiilor i a leciilor nvate pentru mbuntirea planificrii; Factorii instituionali (cum ar fi reglementrile) sunt slab dezvoltate i nu exist o puternic direcie informal (de exemplu grupurile de aciune civil); Monitorizarea programelor/proiectelor este n principal orientat ctre procesul de evaluare al EC Phare; Rezultatele bazate pe monitorizare (ca opuse monitorizrii financiare i contractuale) nu sunt bine dezvoltate; Din acelai studiu se desprind o serie de concluzii relevante pentru instituiile publice din noile state membre fa de cele mai vechi: Capacitatea de evaluare este considerat nc subdezvoltat n noile state membre; Exist o lips de evaluatori cu aptitudinile necesare n noile state membre; Autoritile publice sunt percepute ca sprijinind prea puin dezvoltarea competenelor de evaluare; O cultur a evalurii nu exist n Lituania, Ungaria, Romnia, Cipru i Cehia; 140

 n cele 15 state membre vechi formarea unei culturi robuste a evalurii a durat un deceniu (acceptnd c nu toate statele membre au o cultur robust a evalurii); Noile state membre au cerut mai multe informaii i suport n evaluare, precum ghiduri, metodologii i exemple de bun practic; Motivrile comerciale de a mbunti capacitatea de evaluare i expertiz par a fi cei mai semnificativi factori ai schimbrii; Eecul n asigurarea rezultatelor evalurii n perspectiva construirii unei politici pare a fi una dintre problemele practice cele mai serioase; n noile state membre, lipsa unui ghid de date i definirea precar a unor scopuri i indicatori de performan constituie chestiunile metodologice cele mai provocatoare. O treime din respondenii din noile state membre declar calitatea studiilor de evaluare din rile lor ca fiind srccioas, n timp ce dou treimi declar c este doar acceptabil fr ca vreunul s o aprecieze ca fiind acceptabil sau excelent. Astfel, studiile de cercetare conduse pn n prezent au demonstrat c, n Romnia, asemenea situaiilor din celelalte state membre, nu exista, la nivelul anului 2006, o cultur dezvoltat a evalurii. Dezvoltrile ulterioare nu conin motive serioase pentru a susine c exist o schimbare spectaculoas la nivelul anului 2010, pentru administraia central, sau perspective pentru a ajunge la acest nivel n anul 2011, n cazul administraiei locale. La ora scrierii articolului nu putem spune c exist capacitate la toate nivelurile guvernamentale de a contracta sau efectua evaluri. Faptul c se propune a se ti care sunt ntrebrile cele mai potrivite ce trebuie puse n cadrul acestor exerciii de evaluare doar la trei-patru ani de la lansarea strategiei ne arat o orientare mecanic asupra modului n care se va dezvolta cultura evalurii n Romnia. Identificarea ntrebrilor la care vrem s ne rspund evaluarea ar trebui s fie principalul motor al adoptrii acestui mod de reflecie asupra programelor este greu s crezi c administraia i va schimba o parte din modul de operare fr a nelege care ar fi folosul. Nu se poate spune la ora actual nici c exist o capacitate intern de a efectua evaluri, dar nici posibilitatea de a contracta astfel de evaluri nu este una mai ridicat. Exist puine organizaii indigene cu o real capacitate de a efectua evaluri de calitate iar apelul la expertiz strin nu este o opiune realist i presupune cheltuieli mult sporite. Cel de-al cincilea obiectiv: Sistemele corespunztoare de monitorizare sunt de bun calitate i funcionale la toate nivelurile guvernamentale (locale i centrale) i n orice agenie prin care sunt cheltuii bani publici este plasat la nivelul anilor 2011-2012. Actualmente, n Romnia, nu exist sisteme de monitorizare n afara celor impuse de ctre Uniunea European pentru proiectele cu co-finanare european, dar i acestea sunt orientate spre conformitate. Construcia unor sisteme de monitorizare adecvate ar fi putut fi plasat ca orizont de timp naintea obiectivului patru monitorizarea presupune un efort continuu (sau mcar ritmic), dar mai puin complex dect realizarea unei evaluri. Rezultatele de pn acum, sau mai degrab absena lor, ne face s fim sceptici fa de posibilitatea ndeplinirii la timp a acestui obiectiv. 141

Pentru finalul perioadei de implementare a strategiei, anul 2013, este prevzut cel de-al aselea obiectiv conform cruia evaluarea este integrat n procedurile pentru formularea, implementarea i continuarea tuturor interveniilor publice, indiferent de liniile de finanare. Proceduri fundamentate vor asigura implementarea fidel a rezultatelor recomandrilor evalurii. Ne dorim cu toii ca practicile de evaluare s fie integrate n managementul instituiilor publice, dar acest fenomen este nc destul de ndeprtat. n general, formularea i implementarea politicilor publice nu se face, la ora actual, conform dezideratelor i cerinelor legale (ncepnd cu H.G. 775/2005 care reglementeaz modul de elaborare a propunerilor de politici publice). Cu att mai puin se ntmpl ca evaluarea s fie integrat n aceste proceduri. 4. Concluzii Ultimii doi ani, marcai de criz economic i politic, s-au concretizat n abandonarea eforturilor de modernizare a administraiei publice. Strategia Naional de Evaluare a fost, practic, abandonat, dei la nivelul declaraiilor se dorete modernizarea sistemului administrativ. Prin urmare, putem afirma c obiectivele actuale ale SNE trebuie reformulate pornind de la situaia real din sistemul administrativ romnesc. Actualmente, nu numai c nu exist n cadrul legislativ referiri concrete la obligativitatea monitorizrii i evalurii interveniilor finanate sau co-finanate din bani publici (cu excepia proiectelor co-finanate din fonduri europene), dar n practica administrativ romneasc nu exist nc o capacitate de evaluare i de monitorizare. Aceasta nseamn c nu exist suficieni specialiti formai n domeniul evalurii i monitorizrii, nu exist o metodologie adaptat realitilor romneti care s poat deservi orice intervenie susinut din bani publici i nu exist suficient voin politic pentru a acoperi aceste nevoi. Bibliografie: 1. Comisia European, Common Guidelines for Monitoring and Evaluation, Luxembourg: OPOCE, 1995. 2. Curley, H. i Perianu, E., Analiza culturii de evaluare din Romnia, 2006, [Online] disponibil la http://static.anaf.ro/static/10/Mfp/evaluare/Assessment_Rom_Eval_ CultureRO.pdf, accesat la data de 15 octombrie 2010. 3. ECOTEC, Support to Public Administrative and Judicial Capacity in Bulgaria and Romania, Thematic Evaluation Report, 2006 [Online] disponibil la http://ec.europa. eu/enlargement/pdf/financial_assistance/phare/evaluation/zz_pajc_0536_final_ version_revised_e4_en.pdf, accesat la data de 15 octombrie 2010. 4. Ekos Research Associates Inc, Rethinking Government 1995, Final Report, Toronto, 1996. 5. Grboan, R., Metode i tehnici de evaluare a programelor: analiza impactului social, Cluj-Napoca: Accent, 2006. 6. Malan, J., Benchmarking Evaluation Capacity in the New Member States, Otford: Centre for Strategy & Evaluation Services, 2004. 142

7. Patton, M.Q., Qualitative research and evaluation methods, ediia a 3-a, Thousand Oaks, CA: Sage Publication, 2002. 8. Patton, M.Q., Utilization Focused Evaluation: The New Century Text, ediia a 3-a, London: Sage Publication, 1997. 9. Rossi, P.H., Lipsey, M.W. i Freeman, H.E., Evaluation: A Systematic Approach, ediia a 7-a, Thousand Oaks, CA: Sage Publication, 2004. 10.Scriven, M., Evaluation Theory and Metatheory, n Kellaghan T., Stufflebeam, D.L. i Wingate L.A. (editori), International Handbook of Educational Evaluation, Dordrecht: Kluwer Academic Publishers, 2003, pp. 15-30. 11.andor, S.D., Analiz i cercetare, Cluj-Napoca: Accent, 2004. 12.Tavistock Institute, GHK i IRS, Manualul pentru evaluarea dezvoltrii socioeconomice, 2003, [Online] disponibil la http://post.mt.ro/SEA/Guide_Ro%20 revised%20RM%202.pdf, accesat la 15 octombrie 2010. 13.Ministerul Finanelor Publice, Autoritatea de Management pentru Cadrul de Sprijin Comunitar, Unitatea Central de Evaluare, Strategia Naional de Evaluare 200713, Bucureti, Octombrie 2006, [Online] disponibil la http://discutii.mfinante. ro/static/10/Mfp/evaluare/NationalEvaluationStrategyNov29-06_RO.pdf, accesat la 15 octombrie 2010. 14.United States General Accounting Office (GAO), Report to Congressional Committies, Program Evaluation An Evaluation Culture and Collaborative Partnerships Help Build Evaluation Capacity, 2003, [Online] disponibil la http://www.gao.gov/new. items/d03454.pdf, accesat la 15 octombrie 2010.

143