Capitole: I. Introducere II.

Definirea problemei i obiectivul ghidului

III. Monitorizarea i Evaluarea delimitri conceptuale IV. Probleme privind procesele de monitorizare i evaluare V. Indicatorii n procesul de monitorizare i evaluare V.1 Definirea i sistemul indicatorilor V.2 Caracteristici ale indicatorilor V.3 Indicatori de baz V.4 Indicatori macroeconomici V.5 Indicatori analitici VI. Obinerea/colectarea informaiei VI.1 Metode de colectare a datelor, monitorizare i evaluare VI.1.1 Metode cantitative VI.1.2 Metode calitative VII. Concluzii Anexa 1 Concepte i definiii privind activitile de planificare strategic monitorizare, evaluare, audit i control

ACRONIME AMDCA Autoritatea de Management pentru Programul Operaional de Dezvoltare a Capacitii Administrative CSNR - Cadrul Strategic Naional de Referin DAE Departamentul de Afaceri Europene DPP Direcia Politici Publice GLE - Grupuri de Lucru pentru Evaluare HG Hotrre a Guvernului IMM ntreprinderi mici i mijlocii ISPA - Instrumentul de Politici Structurale de Preaderare MADR Ministerul Agriculturii i Dezvoltrii Rurale MAE Ministerul Afacerilor Externe MCTI Ministerul Comunicaiilor i Tehnologiei Informaiei MEF Ministerul Economiei i Finanelor MIRA - Ministerul Internelor i Reformei Administrative MJ Ministerul Justiiei MS Ministerul Sntii MT Ministerul Transporturilor OECD Organizaia pentru Cooperare i Dezvoltare Economic OG - Ordonan a Guvernului OUG Ordonan de urgen a Guvernului M&E Monitorizare i Evaluare PHARE Ajutor pentru Reconstrucia Economiei Poloniei i Ungariei PIB Produsul Intern Brut PNR - Programul Naional de Reforme PODCA Programul Operaional de Dezvoltare a Capacitii Administrative PPP Propunere de politici publice PSI Plan strategic instituional SAPARD - Programul Special de Aderare pentru Agricultur i Dezvoltare Rural

SGG Secretariatul General al Guvernului UCE - Unitatea Central de Evaluare UE Uniunea European UPP Unitatea de politici publice SIGMA Support for Improvement in Governance and Management Iniiativ comun a OECD i C.E PPIBL Public and Private Sector Institution Building Loan

I.

Introducere

SGG a iniiat n perioada 2003 2008 o serie de msuri care au urmrit mbuntirea capacitii administraiei publice centrale de a elabora, coordona i planifica politicile publice, mpreuna cu o mai bun fundamentare i o calitate crescut a reglementrilor. Prezentul ghid face parte din planul de aciune prevzut n Strategia pentru mbuntirea sistemului de elaborare, coordonare i planificare a politicilor publice la nivelul administraiei publice centrale, adoptat prin H.G. nr. 870/2006 i n completarea aciunilor deja ntreprinse. De asemenea, prezentul ghid vine n sprijinul implementrii prevederilor privitoare la monitorizare i evaluare din H.G. nr. 775/2005 (Cap.IV Monitorizarea i Evaluarea Politicilor Publice i Anexa Nr.2) pentru aprobarea Regulamentului privind procedurile de elaborare, monitorizare i evaluare a politicilor publice la nivel central, ca suport metodologic. Documentul de fa nu-i propune s fie un instrument complet n ceea ce privete desfurarea activitilor de monitorizare i evaluare ci se dorete mai degrab a fi un document care s creasc nivelul de informare al principalilor actori interesai (stakeholderi). Documentul conine att o parte teoretic de baz ct i o analiz diagnostic a situaiei privind activitile de monitorizare i evaluare la nivelul administraiei publice centrale romneti. Acest document va fi urmat de ali pai concrei care sunt menionai n capitolul Concluzii. Pentru simplificarea exprimrii, n cadrul acestui ghid, se va folosi terminologia consacrat prin Strategia pentru mbuntirea sistemului de elaborare, coordonare i planificare a politicilor publice la nivelul administraiei publice central. Astfel, prin termenul de politici publice se nelege totalitatea activitilor (programe publice, proiecte, intervenii publice etc.) desfurate de administraia public central de specialitate n scopul soluionrii problemelor de politici publice identificate i pentru

asigurarea dezvoltrilor necesare ntr-un anumit domeniu. De asemenea, termenul documente de politici publice cuprinde: strategia, planul i propunerea de politici publice. n acest context SGG propune, avnd n vedere noile orientri privitoare la o mai bun reglementare existente la nivel european, o abordare bazat pe elaborarea unui ghid de bun practic/ metodologie, n detrimentul unei abordri tradiionale legaliste bazat pe actul normativ. Abordarea propus este de recomandat i n cazul elaborrii unor metodologii sectoriale de ctre ministere. Acest document are la baz Raportul Final: ,,Concluzii Privind Politicile Publice n Administraia Central din Romnia i Recomandri Pentru mbuntiri, elaborat n cadrul proiectului RO PPIBL, ,, ntrirea Capacitii de Training n Secretariatul General al Guvernului i Ministerele de Linie, cu asistena Bncii Mondiale (2007), precum i cercetarea pe baz de chestionare privind situaia activitilor de monitorizare i evaluare efectuat de ctre SGG n luna mai a anului curent la care au rspuns toate ministerele, conjugat cu o evaluare a documentelor de politici publice existente n baza de date a SGG. De asemenea, pentru partea metodologic a documentului, a fost folosit asistena tehnic oferit prin proiectul SIGMA pentru dezvoltarea sistemului de planificare strategic, desfurat la sfritul anului 2007.

II.

Definirea problemei i obiectivul ghidului

Prezentul ghid i propune s furnizeze un suport tehnic cu privire la desfurarea proceselor de monitorizare i evaluare la nivelul administraiei publice centrale romneti. Ghidul i propune s promoveze o abordare general legat de procesele i indicatorii de monitorizare i evaluare, n aa fel nct s ofere un sprijin metodologic pentru desfurarea coerent a proceselor de monitorizare i evaluare de la nivelul ministerelor. Dei accentul cade pe aspectele specifice procesului de monitorizare, elaborarea i msurarea indicatorilor i metode de colectare a informaiei, cele doua procese fiind inter-relaionate, exist referine i sunt explicate i unele caracteristici specifice

procesului de evaluare, n scopul ntregirii informaiei. Scopul acestui ghid este acela de explica rolul i necesitatea activitilor de monitorizare i evaluare n vedere creterii performanelor i mbuntirii eficienei n sectorul public, oferind n acelai timp i un suport metodologic pentru desfurarea acestor activiti. Monitorizarea este deseori neleas ca activitate de audit sau de control. Activitile de audit i control desfurate n prezent la nivelul administraiei publice din Romnia sunt axate ndeosebi pe modul n care resursele sunt folosite n conformitate cu reglementrile n vigoare, cu regulamentele sau procedurile oficiale ale instituiei. Spre deosebire de audit i control, activitatea de monitorizare const n: colectarea continu a informaiei despre stadiul implementrii unei politici cu scopul de a corecta deficienele; evaluarea progreselor intermediare i n oferirea de indicatorilor de performan. Principalul scop al procesului de monitorizare este reprezentat de analiza fazei de implementare a politicilor i de identificarea posibilelor deviaii de la scopurile stabilite iniial. Monitorizarea asigur colectarea informaiilor i a datelor statistice i utilizeaz indicatori relevani i msurabili prin intermediul crora s poat fi urmrit procesul implementrii. Prin intermediul procesului de monitorizare se obin informaii n ceea ce privete: modul n care resursele alocate i serviciile furnizate i-au atins inta; eventualele schimbri socio-economice care ar rezulta n urma implementrii unei politici publice, precum i concordana aciunilor ntreprinse pentru implementarea unei politici cu standardele i reglementrile existente. Ministerele i celelalte autoriti publice centrale, ca instituii care coordoneaz procesul de implementare a politicilor publice elaborate, dein un rol crucial n desfurarea procesului de monitorizare i evaluare prin aceea c ele sunt principalele entiti care pot furniza date necesare n procesul de monitorizare, fiind n acelai timp i principalii beneficiari ai activitilor de monitorizare i evaluare. Procesele de monitorizare i evaluare trebuie internalizate1 ca fiind procese necesare, benefice i utile bunei funcionri a ministerelor i nu ca procese de control sau constrngere exercitate de la centru. Internalizarea proceselor de monitorizare i evaluare informaii despre evoluia

Termenul de internalizare se refer la contientizarea importanei activitilor de monitorizare i evaluare i nu este utilizat n antitez cu ideea de externalizare a activitilor.

conduce la reducerea riscurilor de asimetrie informaional2 i permite creterea transparenei activitii serviciilor publice i o mai bun culegere a datelor i informaiilor necesare. Procesele de monitorizare i evaluare sunt ntr-o strns conexiune cu procesul de planificare. Astfel, dac nu sunt stabilite obiective msurabile, rezultate ale aciunii i rezultate ale politicii, monitorizarea i evaluarea nu i pot ndeplini scopul propus, acela de a corecta implementarea politicii publice respective. De asemenea, activitile de monitorizare i evaluare depind de frecvena cu care sunt modificate obiectivele i rezultatele estimate. n unele cazuri, schimbarea acestora va determina modificarea indicatorilor utilizai n procesele de monitorizare i evaluare. Modificarea repetat a indicatorilor de monitorizare i evaluare poate duce la apariia unor dificulti n elaborarea rapoartelor, la interpretare greit a datelor i la analizarea eronat a rezultatelor unei politici (se vor schimba datele de referin, nu se vor mai putea realiza comparaii ntre diverse valori pe anumite perioade de timp, etc.). Monitorizarea rezultatelor implementrii politicii publice const n msurarea i raportarea indicatorilor relevani. Stabilirea exact a indicatorilor de monitorizare i evaluare cade n sarcina ministerelor i variaz n funcie de obiectivele propuse n PSI sau alte documente de politici publice. Alegerea de ctre ministere a celor mai relevani indicatori este necesar cu att mai mult cu ct criteriile de evaluare difer de la un sector la altul. La stabilirea indicatorilor ce urmeaz sa fie utilizai n procesele de monitorizare i evaluare ministerele trebuie s se asigure c sunt alei cei mai relevani, n concordan cu obiectivele i rezultatele urmrite. Experiena altor state arat c monitorizarea mai multor indicatori nu este ntotdeauna soluia pentru un proces coerent de ajustare a implementrii politicii publice respective (procesul de colectare a datelor pentru indicatorii alei poate fi destul de costisitor, irosindu-se astfel resurse pentru mecanismul de colectare a unor date care nu sunt neaprat relevante). Activitile de monitorizare i evaluare pot conduce la creterea sprijinului acordat unei anumite politici i la creterea transparenei n realizarea cheltuielilor. Metodele de evaluare a performanei tind s fie folosite de ctre ministere mai degrab
2

Vezi definiia la pagina 10

pentru stabilirea strategiilor de dezvoltare i a intelor/ obiectivelor, dect ca parte a procesului de elaborare a bugetului. Totui, atunci cnd informaiile privind nivelul indicatorilor urmrii i rapoartele de evaluare sunt folosite n procesul de elaborare a bugetului, ele sunt utilizate mai degrab ca surs de informare, i nu ca modalitate de alocare bugetar.

III.

Monitorizarea i Evaluarea delimitri conceptuale

Monitorizarea i evaluarea sunt procese corelate i interdependente. n contextul ciclului politicilor publice, monitorizarea i evaluarea depind de etapele de identificare, formulare a problemei i de cea a alegerii celei mai bune alternative. Monitorizarea este procesul de colectare periodic i analiz a informaiei cu scopul de fundamenta procesul de luare a deciziei de ctre cei abilitai, asigurnd transparena n luarea deciziei i furniznd o baz pentru viitoarele aciuni de evaluare. n elaborarea evalurilor este necesar utilizarea informaiilor relevante colectate n urma activitii de monitorizare. Pentru acurateea datelor obinute n urma procesului de monitorizare este necesar o colectare sistematic i atent a acestora. Modalitatea de colectare i corectitudinea datelor sunt importante n condiiile n care monitorizarea activeaz ca un sistem de avertizare timpurie i adesea puncteaz probleme sau arii care au nevoie de evaluare3. O prezentare detaliat a conceptelor de activitile de planificare strategic monitorizare, evaluare, audit i control poate fi gsit la anexa numrul 1 din prezentul ghid.

Vezi: Robinson, T.R.: Policy, Planning & Budgeting n Romania, 2006, World Bank/Dutch Grant TF 054659, p.34

IV. Probleme privind procesele de monitorizare i evaluare

Constatrile i concluziile cuprinse n acest capitol sunt fundamentate prin cercetarea pe baz de chestionare privind activitile de monitorizare i evaluare, efectuat de SGG n luna mai 2008 la nivelul tuturor ministerelor, prin evaluarea documentelor de politici publice primite la nivelul SGG i, de asemenea, prin rapoartele finale ale proiectelor de asisten tehnic realizate cu sprijinul Bncii Mondiale i al SIGMA menionate anterior. Datorit tradiiei legaliste existente n administraia public romneasc - orientat spre utilizarea excesiv a actelor normative, respectarea strict a unor proceduri, cheltuirea resurselor i control administrativ - dezvoltarea unei culturi a monitorizrii i evalurii bazate pe performan, transparen, eficien i eficacitate n ceea ce privete politicile publice s-a dovedit a fi dificil de realizat. Procesele de monitorizare i evaluare sunt cu att mai greu de internalizat cu ct la nivelul administraiei publice din Romnia nc se face confuzia ntre monitorizarea actelor normative i cea a politicilor publice. Aceast confuzie se datoreaz obinuinei instituiilor de a apela la acte normative n detrimentul politicilor i a abordrii bazate pe documente de politici publice. Cu toate acestea, n ultimii ani s-a acumulat o experien valoroas pe baza implementrii proiectelor cu finanare comunitar i/sau internaional de diverse tipuri, proiecte care impun standarde i proceduri clare cu privire la monitorizare si evaluare, cu scopul de asigura transparena i eficiena n cheltuirea fondurilor alocate. Din analiza datelor rezultate n urma aplicrii chestionarelor i din examinarea documentelor de politici publice au fost identificate trei tipuri majore de probleme. Problemele identificate n cazul administraiei publice centrale din Romnia sunt: deficiene instituionale; lipsa resurselor; probleme structurale ale proceselor de monitorizare i evaluare.

10

1. Probleme referitoare la deficiene instituionale Informaia referitoare la aciunile ntreprinse i rezultatele obinute este dificil de obinut i utilizat. Activitile de monitorizare i evaluare nu sunt percepute ca activiti curente i sistematice la nivelul ministerelor. Activitile de monitorizare i evaluare sunt mai degrab impuse de condiiile cerute pentru derularea proiectelor cu finanare internaional. Nu exist planuri sau activiti comune de monitorizare i evaluare interinstituional a programelor sau propunerilor de politici publice. Lipsa suportului politic i administrativ pentru activitile de monitorizare i evaluare. Una dintre problemele majore ale coordonrii activitilor de evaluare i monitorizare atunci cnd exist un numr mare de actori este reprezentat de asimetria informaional aprut n relaiile dintre actori, pe fondul lipsei unei tradiii n ceea ce privete consultarea i comunicarea public. Asimetria informaional ntre diferite sfere ale administraiei publice centrale const n exclusivitatea informaiei pe care o deine o instituie i n nediseminarea informaiei complete ctre ceilali parteneri interesai. Ministerele realizeaz o informare foarte precar a partenerilor interesai de la nivelul guvernului sau societii asupra iniiativelor lor de politici publice sau a celor legislative, oferind n general un timp scurt de consultare i puine oportuniti pentru negocierea soluiilor mutual acceptabile. Totui, prin Regulamentul privind procedurile, la nivelul Guvernului, pentru elaborarea, avizarea i prezentarea proiectelor de documente de politici publice, a proiectelor de acte normative, precum i a altor documente, n vederea adoptrii/aprobrii (H.G. nr. 1226/2007) i iniiativele cuprinse n cadrul Strategiei pentru o reglementare mai bun la nivelul administraiei centrale 2008 2013, se pot constata progrese n soluionarea acestui tip de probleme. De asemenea, n procesul de transmitere i colectare a informaiei pot aprea distorsiuni care s prezinte o imagine fals asupra realitilor dintr-un anumit domeniu. Distorsionarea informaiei poate fi cauzat i de presiunea resimit n legtur cu rezultatul monitorizrii i al evalurii4, de presiunea temporal care presupune adunarea unei cantiti mari de informaii corecte ntr-un orizont temporal relativ scurt i de
Obiectivul de a realiza indicatorul, de atingere a intei, poate determina scderea standardelor proceselor monitorizate (efecte perverse ale indicatorilor)
4

11

considerarea activitilor de monitorizare i evaluare ca fiind doar o sarcin n plus impus de la nivelul central, sarcin care trebuie efectuat. n multe ministere exist departamente sau direcii care ntreprind activiti de monitorizare a politicilor pe baza unor proceduri specifice, dar diferite de la un minister la altul, fr a avea deci o metodologie unitar de monitorizare i evaluare a politicilor la nivelul instituiei. n ce privete plasarea acestor funcii, ele se regsesc fie la nivelul UPP, fie la nivelul departamentelor de specialitate care implementeaz politica public. De obicei, activitatea de monitorizare i evaluare din Romnia a fost neleas ca o obligaie asumat n raport cu programele finanate din fonduri provenite de la U E (PHARE, ISPA, SAPARD etc.) sau alte instituii financiare internaionale (OECD, Banca Mondial). n majoritatea cazurilor putem vorbi de o monitorizare impus, ca o condiie, pentru ndeplinirea obiectivelor i aciunilor programelor cu finanare internaional. Ca urmare, majoritatea ministerelor pot furniza exemple de bun practic n domeniul monitorizrii i evalurii referitoare la programele europene, dar nu pot oferi informaii despre aceleai tipuri de activiti finanate prin bugetul public. n acest sens trebuie fcut o delimitare parial ntre procesul de monitorizare i evaluare a programelor europene i procesul de monitorizare i evaluare a politicilor publice la nivel naional. Monitorizarea i evaluarea programelor europene poate servi ca exemplu de modalitate a desfurrii procesului de monitorizare i evaluare la nivel naional. Monitorizare i evaluarea programelor naionale presupune un efort suplimentar de msurare a performanei i de obinere a informaiilor necesare, presupunnd un grad de complexitate mai ridicat. Msurarea performanei aciunii guvernamentale concretizat prin politici publice se realizeaz prin intermediul analizrii rezultatelor politicilor, dar, n contextul romnesc actual, avnd n vedere dificultile de comunicare i coordonare interinstituional, fiecare instituie are tendina de a urmri doar rezultatul direct al interveniei proprii (output) i modul n care singular contribuie la ndeplinirea obiectivelor politicilor inter sectoriale (outcome). Cu foarte puine excepii nu exist planuri sau activiti comune de monitorizare i evaluare interinstituional a politicilor publice. Comunicarea slab dintre instituii ngreuneaz procesul de colectare a informaiilor i de elaborare a programelor de monitorizare i evaluare a politicilor care implic intervenia mai multor actori. Exist

12

mai multe programe coordonate de mai multe instituii care pot influena n mod diferit rezultatele de care trebuie s beneficieze grupurile int. De exemplu, creterea gradului de ocupare a forei de munc poate fi rezultatul strategiei Ministerului Muncii n acest domeniu, dar poate fi i rezultatul creterii gradului de cuprindere i acces la programele educaionale sau al creterii nivelului investiiilor n cercetare i dezvoltare. Evaluarea rezultatelor trebuie s in cont de informaiile furnizate de fiecare dintre instituiile implicate. Evaluarea separat a acestor programe conduce la distorsionarea informaiilor. Chiar dac rezultatul evalurii este unul pozitiv, nu se poate determina care tip de politic a determinat acest rezultat. Programele pot interaciona ntre ele i este dificil separarea efectelor unui program nou de efectele pe termen lung ale programului nlocuit. nc din faza de identificare i formulare a problemei trebuie avut n vedere o definire ct mai exact a domeniilor vizate de politica public propus, precum i a obiectivelor, activitilor i rezultatelor. Definirea clar a domeniilor de intervenie ale politicilor publice este necesar pentru stabilirea indicatorilor care trebuie urmrii n procesul de monitorizare i evaluare. Dac domeniul de intervenie, alternativele de intervenie i sistemul de indicatori nu sunt clar definite exist posibilitatea apariiei unor distorsiuni n procesul de evaluare. Cu ct problema este mai clar definit cu att este mai uor s se identifice indicatori relevani pentru monitorizarea implementrii i evaluarea rezultatelor. Astfel, n momentul definirii problemei i a lurii deciziei asupra alternativei ce va fi aleas, este necesar s se realizeze o evaluare ex-ante a rezultatelor ateptate de la politica public propus. O alt problem ce poate fi identificat n cadrul activitilor de monitorizare i evaluare este cea referitoare la lipsa sprijinului politic i administrativ. Crearea unui sistem de monitorizare i evaluare bazat pe performan care s aduc mai mult transparen, responsabilitate i vizibilitate asupra politicilor publice implementate este vzut ca o ameninare a status quo-ului administrativ. Ca atare, la momentul actual exist puin sprijin pentru asemenea activiti din partea unei administraii rezistente la schimbare. De asemenea, din chestionarele aplicate rezult c activitile de monitorizare a msurilor din Programul de Guvernare sunt luate n considerare de foarte puini respondeni, dei exista o procedur de raportare privind ndeplinirea Programului de

13

Guvernare 2005-2008 realizat la anumite intervale de timp de ctre Comisia Naional de Prognoz. 2. Lipsa resurselor n majoritatea cazurilor nu exist resurse financiare i umane alocate pentru activitile de evaluare i monitorizare, lipsa resurselor financiare fcnd foarte dificil externalizarea serviciilor de evaluare i monitorizare. Exist puine oportuniti n ceea ce privete programele de asisten tehnic i pregtire profesional pentru desfurarea activitilor de evaluare i monitorizare. n majoritatea cazurilor nu exist resurse financiare i umane alocate pentru activitile de evaluare i monitorizare. Lipsa resurselor financiare face foarte dificil externalizarea serviciilor de evaluare i monitorizare, n afara celor contractate prin proiectele de asisten tehnic internaional. Lipsa resurselor umane care se ocup de acest tip de activiti se datoreaz i faptului c att cererea, ct i oferta pentru programe de asisten tehnic i pregtire n acest domeniu este extrem de redus. Pentru rezolvarea acestui tip de probleme trebuie avut n vedere orientarea strategic spre creterea nivelul de pregtire i spre creterea nivelului fondurilor (interne sau monitorizare. 3. Probleme structurale ale proceselor de monitorizare i evaluare Nu se face diferena ntre activitile de monitorizare i cele de evaluare. Exist probleme n ceea ce privete folosirea rezultatelor aciunilor de evaluare i monitorizare i transparena public a rapoartelor rezultate astfel. Exist o problem a bazelor de date la nivel ministerial, n cele mai multe cazuri acestea neexistnd sau fiind slab organizate din punct de vedere al managementului sau disparate n diverse departamente. Lipsa unui flux integrat al documentelor de politici publice att n interiorul ministerelor, ct i ntre ministere. Preponderena activitilor de audit i control n raport cu cele de monitorizare i evaluare. n mod constant se pune accent pe indicatorii cantitativi / numerici n detrimentul celor calitativi. externe) alocate pentru programele de evaluare i

14

La ora actual, la nivelul administraiei publice romneti o categorie important de probleme ntlnite n cadrul procesului de evaluare i monitorizare sunt legate de diferenele aprute n nelegerea termenilor de monitorizare i evaluare i de desfurarea activitilor ce trebuie ntreprinse n cadrul procesului. Monitorizarea este procesul continuu de colectare a informaiilor relevante despre modul de desfurare a unei anumite politici, n timp ce evaluarea este un proces care folosete informaiile obinute pe parcursul monitorizrii cu scopul de analiza modul n care o politic i-a atins inta i a avut eficiena scontat. Activitile de monitorizare i cele de evaluare sunt mai degrab percepute sub forma unor simple activiti calendaristice, periodice, de supraveghere a implementrii (de genul la 1 lun / 3 luni sau la nceput / sfrit...). Analizarea documentelor de politici publice a scos la iveal cazuri n care termenele pentru monitorizare i evaluare sunt aceleai, dar exist i cazuri n care aceste termene nu sunt menionate deloc. n condiiile n care monitorizarea i evaluarea sunt percepute ca fiind activiti calendaristice care trebuie ntreprinse la intervale de timp dinainte stabilite, avem de a face cu apariia unei activiti de rutin prin care monitorizarea devine doar o modalitate de raportare i nu una de culegere permanent de informaie. n unele cazuri, la nivelul ministerelor apar confuzii ntre monitorizarea actelor normative i monitorizarea politicilor publice. Aceast confuzie se datoreaz obinuinei instituiilor de a apela la acte normative n detrimentul politicilor i strategiilor pe termen mediu i lung. n analiza activitilor de monitorizare i evaluare specifice ministerelor apar probleme legate de aplicarea recomandrilor rezultate. Rezultatele monitorizrii i evalurii politicilor publice sunt utile pentru planificarea desfurrii ulterioare a aciunilor. n condiiile n care rezultatele monitorizrii i evalurii nu sunt utilizate, importana acordat acestor aciuni se va diminua. Calitatea slab a rapoartelor de monitorizare i evaluare se datoreaz problemelor legate de dificultatea colectrii informaiilor i a acurateei acestora. n multe ministere s-a constatat lipsa unor baze de date care s cuprind informaia rezultat n urma rapoartelor de monitorizare. n cazurile n care exist, aceste baze de date sunt slab organizate din punct de vedere al managementului, informaia este nvechit sau datele sunt disparate n diverse departamente, ceea ce face s nu existe o imagine unitar asupra

15

realitii. n paralel cu aceast problem, la nivelul ministerelor s-a constatat lipsa unui circuit integrat al documentelor de politici publice. Lipsa unui flux integrat al documentelor i proceselor legate de managementul documentelor de politici publice ngreuneaz att accesul la date i informaii referitoare la politicile publice ale ministerelor, ct i posibilitile de comunicare inter i intra instituionale. Preponderena activitilor de audit i control n detrimentul celor de monitorizare i evaluare se datoreaz modului de elaborare a bugetului i caracterului legalist i procedural al procesului politicilor publice. Modalitatea tradiional de elaborare a bugetului face ca accentul s cad pe controlul cheltuielilor i nu pe evaluarea rezultatelor (un management de administrare n detrimentul unui management axat pe rezultate, existnd un control extrem de riguros al resurselor i lipsind aproape cu desvrire evaluarea rezultatelor estimate). Majoritatea proceselor de monitorizare i evaluare efectuate la nivelul instituiilor publice se opresc doar la analizarea cantitativ a rezultatelor, fr a lua n calcul i necesitatea analizelor calitative. Prin concentrarea pe indicatorii cantitativi se pot scpa din vedere anumite aspecte de care trebuie s se in cont n evaluarea rezultatelor unei politici publice. n afar de cifrele statistice i de raportul existent ntre costurile i beneficiile interveniei guvernamentale trebuie s se in cont i de percepiile beneficiarilor asupra rezultatelor obinute. n urma procesului de monitorizare i evaluare pot fi identificate o serie de probleme legate de implementarea politicii n conformitate cu planul stabilit. Identificarea eventualelor probleme poate necesita utilizarea unor indicatori calitativi. De asemenea, n cadrul proceselor de monitorizare i evaluare se remarc lacune n identificarea indicatorilor care s ateste performana rezultatelor politicii publice, precum i o lips de detaliere a msurilor de implementare (planului de aciune) menite s concretizeze propunerea de politic public, ceea ce evideniaz lipsa de planificare i de coeren a aciunilor. Metodele de evaluare a performanei tind s fie folosite de ctre ministere mai degrab pentru stabilirea strategiilor de dezvoltare i a intelor/ obiectivelor, dect ca parte a procesului de elaborare a bugetului. Totui, atunci cnd informaiile privind nivelul indicatorilor urmrii i rapoartele de evaluare sunt folosite n

16

procesul de elaborare a bugetului, ele sunt utilizate mai degrab ca surs de informare, i nu ca modalitate de alocare bugetar. n concluzie, la nivelul administraiei publice romneti problemele cele mai importante care au fost identificate sunt: slaba contientizare privind funciile i rolul activitilor de monitorizare i evaluare, ct i confuzia ntre acestea i funciile de control, audit i planificare. Aceste probleme sunt amplificate de alte deficiene precum asimetria informaional n sistem, lipsa unor baze de date actualizate, neutilizarea informaiilor obinute prin monitorizare i evaluare, lipsa unor metodologii sectoriale i a resurselor necesare (umane i financiare) pentru a susine aceste procese.

V. Indicatorii n procesul de monitorizare i evaluare

V.1. Sistemul de indicatori i definirea acestora n cadrul proceselor de monitorizare i evaluare se produce tranziia de la abordarea tradiional bazat pe control spre o abordare bazat pe colectarea de date i informaii n scopul msurrii performanei. Scopul activitilor de monitorizare i evaluare este de a utiliza date i informaii relevante pentru a mbunti procesul de implementare a unei politici sau, acolo unde e cazul, de a mbunti politica public . Activitile de monitorizare i evaluare se deosebesc de activitile tradiionale de control prin aceea c stabilesc trecerea de la controlul exclusiv al resurselor alocate (preponderent numeric) la raportarea i revizuirea bazat pe interpretarea rezultatelor i la creterea responsabilitii i a capacitii manageriale a instituiilor publice Indicatorii sunt instrumente analitice de baz pentru evaluarea unei anumite politici sau pentru compararea unor activiti similare ale unor ministere diferite. Indicatorii pot fi definii ca variabile cantitative sau calitative care furnizeaz mijloace simple i de ncredere pentru msurarea rezultatelor politicilor publice; pentru a reflecta o

17

schimbare survenit n urma implementrii politicii sau pentru a putea ajuta la evaluarea performanei unei organizaii n raport cu starea iniial, anterioar interveniei. Pentru a putea monitoriza implementarea unei politici i pentru a-i putea analiza performana n raport cu scopurile stabilite este nevoie de elaborarea unui set de indicatori. Indicatorii trebuie stabilii nainte sau n faza incipient de implementare a politicii n aa fel nct s existe posibilitatea colectrii datelor relevante i necesare pentru procesul de monitorizare. Sistemul de monitorizare nu presupune neaprat dezvoltarea unui set de indicatori diferit de cel stabilit deja, ci poate presupune doar identificarea indicatorilor existeni i utilizarea lor n scopul obinerii unei imagini ct mai coerente asupra rezultatelor politicii. O problema comun care apare n timpul formulrii politicii publice este cea a existenei unor deficiene n definirea obiectivelor, cu consecine evidente n selecia indicatorilor reprezentativi. Odat ce s-a trecut la definirea obiectivelor, rezultatelor aciunii i a rezultatelor politicii, trebuie stabilit i sistemul de indicatori n funcie de care vor desfura activitile de evaluare i monitorizare. Indicatorii pot fi: Cantitativi exprimai n termeni numerici sau procentuali; Calitativi pot msura percepia, pot ajuta la descrierea comportamentelor. n ceea ce privete modalitatea de prezentare a datelor, distincia dintre abordarea calitativ i cea cantitativ nu este ntotdeauna foarte clar. Astfel, dei metodele utilizate sunt pur calitative (interviuri nestructurate, diferite analize, brainstorming etc.), datele pot fi prezentate n form cantitativ (gradul de mbuntire a percepiei asupra furnizrii unui anume serviciu public)5. Ambele abordri, calitativ i cantitativ, prezint o serie de limitri care trebuie luate n considerare atunci cnd se aleg metodele de evaluare i indicatorii care vor fi utilizai n monitorizarea implementrii unei politici publice. n acest sens, o abordare pur cantitativ poate prezenta o viziune restrictiv, este puin flexibil i poate omite o serie
5

Pentru mai multe detalii a se vedea Manual de metode folosite n planificarea politicilor publice i evaluarea impactului (2006) realizat prin proiect PHARE RO 2003/IB/OT/10 Consolidarea capacitii Guvernului Romniei de a gestiona i coordona politicile publice i procesul decizional

18

de aspecte sociale foarte importante. Abordarea calitativ i utilizarea indicatorilor calitativi (descrierea situaiei respective) nu permite multiplicarea rezultatelor (este valabil doar pentru cazul / politica public respectiv) i este dificil de cuantificat. Pentru o analiz complet a unui anume sector este recomandat utilizarea combinat a cercetrii calitative i cantitative6. Indicatorii calitativi prezint un dezavantaj major pentru c sunt mai dificil de verificat din cauza faptului c implic judeci subiective asupra realitilor ce trebuie analizate. Acest tip de indicatori sunt dificil de urmrit i analizat. n aceste situaii se poate apela la indicatori proximi7. Un exemplu n acest sens ar fi acela conform cruia nu se recurge la controlarea strii de sntate a fiecrui pacient care beneficiaz de sistemul de asigurri de sntate, ci se ncearc obinerea de informaii despre sntatea pacientului prin raportare la regimul de via (alimentaie, dac i n ce msura consum alcool sau tutun)8. Indicatorii trebuie considerai a fi nivele atinse pe parcursul implementrii i care s corespund cu obiectivele iniiale i rezultatele ateptate ale politicii publice. n procesul de monitorizare i evaluare indicatorii relevani sunt folosii ca mijloace de msurare a succesului implementrii unei politici publice. O trstur comun a sistemelor de indicatori este aceea c msoar rezultatele intermediare i finale n raport cu intele stabilite iniial. Indicatorii stabilii n cadrul procesului de monitorizare pot furniza informaii utile pentru mbuntirea calitii i eficacitii politicii publice. Procesul de monitorizare trebuie s lege finanrile de performane i s furnizeze informaii referitoare la implementarea unui program n scopul mbuntirii performanelor. n procesul de monitorizare i evaluare accentul nu trebuie s cad doar pe msurarea/ evaluarea eficienei, ci i pe aspectele legate de eficacitatea politicii publice respective. n contextul activitilor de evaluare i monitorizare prin raportul cost eficien se nelege analizarea raportului dintre rezultat sau impact i resursele alocate pentru atingerea lor, iar analiza prin prisma eficacitii urmrete compararea a ceea ce sEvaluarea evoluiei socio-economice, Ghid, decembrie 2003, Tavistock Institute n asociaie cu GHK, IRS Indicatorii proximi sunt indicatori indireci care se folosesc atunci cnd indicatorii direci nu exist sau sunt greu de urmrit. 8 Kusek, Jody Zall, i Rist, Ray C. (2004) Ten steps to a Result Based Monitoring and Evaluation System: a Handbook for Development Practicioners, The World Bank, Washington
7 6

19

a realizat cu ceea ce a fost plnuit iniial, se compar rezultatele i impactul obinut cu rezultatele i impactul ateptat9. Monitorizarea i evaluarea sunt activiti care se difereniaz de cele de control clasic. Evaluarea i monitorizarea au rolul de oferi informaii despre modul n care se implementeaz o politic i despre rezultatele pe care le are aceasta. Stabilirea unor obiective i rezultate clare ajut la stabilirea unor indicatori de performan uor de msurat. V.2 Caracteristici ale indicatorilor n momentul stabilirii indicatorilor trebuie inut cont de claritatea legturilor dintre indicatori i scopurile, obiectivele, rezultatele sau liniile directoare ale politicii publice. De asemenea, atunci cnd se stabilete sistemul de indicatori trebuie avut n vedere specificitatea indicatorilor selectai (acetia trebuie s se potriveasc cu scopul pentru care au fost elaborai), reprezentativitatea indicatorilor n raport cu elementele politicii ce trebuie monitorizat i concordana sistemului de indicatori cu prioritile stabilite. Pentru a putea fi utilizai n procesele de monitorizare i evaluare indicatorii trebuie s fie relevani, utili, durabili i verificabili. Relevana indicatorilor ine de capacitatea acestora de a msura rezultatele deja obinute; utilitatea ine de posibilitatea de a fi furnizai la intervale regulate i de a fi utilizabili de ctre ministere; durabilitatea const n existena posibilitii de folosire a indicatorilor pe termen lung, iar verificabilitatea ine de posibilitatea msurrii indicatorilor. Caracteristicile principale ale indicatorilor pot fi rezumate astfel : 1. Msurabilitate indicatorii trebuie exprimai ntr-o form care s poat fi msurat. Chiar dac indicatorii sunt calitativi, ei trebui s fie elaborai ntr-o form msurabil. 2. Validitate/ Disponibilitate trebuie s fi accesibili fie n raport cu scopurile pe care le msoar, fie n raport cu timpul disponibil pentru realizarea anumitor obiective.
,,Methodology of the System of Performance Indicatos at the Level of Central Public Administration prin aisten tehnic SIGMA pentru dezvoltarea sistemului de planificare strategic,SGG, 2007.
9

20

3. Realism indicatorii trebuie stabilii ntr-un mod realist, n strns legtur cu modul de formulare al obiectivelor. Nu trebuie stabilite obiective complexe pentru c acestea pot deveni nerealiste. 4. Planificarea n timp la fel ca fiecare obiectiv sau rezultat, fiecare indicator trebuie s aib o planificare n timp, durat, perioad. 5. Claritate indicatorii trebuie sa fie definii clar, interpretarea lor s fie simpl, cu posibilitatea de a arta tendine de evoluie (cresctor, descresctor, constant). 6. Fiabilitate/ Precizie msurarea indicatorilor trebuie s fie de ncredere. De asemenea, indicatorii trebuie s ndeplineasc urmtoarele condiii/cerine : 1. S fie corespunztori/ potrivii politicii/ strategiei : Legtura ntre indicator i scopul i/sau obiectivele politicii publice trebuie s fie clar; Indicatorul trebuie sa fie reprezentativ fa de unul sau mai multe elemente ale politicii publice sau strategiei; Specificitate - indicatorul selectat trebuie s se potriveasc cu intenia pentru care a fost selectat. 2. S fie clari din punct de vedere analitic : Indicatorul trebuie s fie bine justificat din punct de vedere teoretic i tiinific; Indicatorul trebuie s fie bine fundamentat, n strns legtur cu planul de aciune/ implementare a politicii publice respective; Din start trebuie stabilite valorile de baz (baseline)10, respectiv valorile int (target) ale indicatorului. Valorile int ale indicatorului trebuie s fie realiste. 3. Datele necesare pentru msurare s fie accesibile/ simple/ inteligibile : Datele i informaiile necesare msurrii indicatorului trebuie s fie disponibile, uor accesibile, pentru un cost convenabil;

Exist situaii, n special cnd ne aflm n faza de introducere a unui asemenea sistem, cnd nu avem informaii de referin pentru un anume indicator, dei l considerm relevant pentru politica public respectiv. n acest caz, indicatorul va fi menionat, precizndu-se momentul la care se va face prima msurtoare i stabili valorile estimate (intele) pentru perioada urmtoare.

10

21

 Stabilirea unei perioade de timp pentru culegerea datelor i informaiilor necesare, n cazul n care acestea nu sunt disponibile pe moment. V.3 Indicatori de baz Indicatorii de baz sunt folosii pentru compararea msurilor i politicilor publice similare. Acetia sunt indicatori uor de msurat i monitorizat pe perioade mai lungi de timp. Indicatorii de baz reflect prioritile stabilite i furnizeaz informaii referitoare la consecinele directe i indirecte ale unei anumite politici publice. n cazul unei politici publice referitoare la creterea gradului de ocupare a forei de munc, indicatorii care msoar consecinele directe sunt cei care referire la raportul dintre creterea gradului de ocupare a forei de munc i investiiile n domeniul IMM-urilor, iar consecinele indirecte sunt cele care leag creterea gradului de ocupare a forei de munc de investiiile n infrastructur. n practica din Romnia exist dou tipuri principale de indicatori de baz, indicatorii administrativi i indicatorii de performan11: Indicatorii administrativi: Prezint aciunea guvernamental ntr-un mod administrativ i managerial, precum i capacitatea de planificare, de a respecta termenele, capacitatea de a utiliza resursele disponibile pentru atingerea obiectivelor. Indicatorii de performan: Sunt formulai pentru a evalua impactul real al politicii publice la nivel economic, politic, social, ecologic. De exemplu, pentru a evalua succesul unei politici publice pentru dezvoltarea turismului, indicatorii pot fi: numrul de nregistrri la hoteluri, numrul de zile petrecute n facilitile turistice, etc. Indicatorii specifici pot fi utilizai n funcie de sectorul n care se formuleaz politica public. Pentru a se putea msura atingerea rezultatelor implementrii politicilor publice sau a planului strategic al instituiei este necesar stabilirea indicatorilor de performan.

11

Campbell, Adrian; Delay, imon; Labus Miroljub i Powell, Martin (2007), Raport Final: Concluzii

Privind Politicile Publice n Administraia Central din Romnia i Recomandri Pentru mbuntiri, n cadrul proiectului; RO - PPIBL ntrirea capacitii de training n Secretariatul General al Guvernului i ministerele de linie Bucureti,

22

Indicatorii de performan msoar raportul dintre obiective i rezultate n cadrul unui sistem de monitorizare i evaluare bazat pe rezultate i impact, n vreme ce indicatorii administrativi msoar resursele i activitile guvernului. Indicatorii de performan sunt utili att atunci cnd se evalueaz rezultatele politicii efectele politicilor ct i atunci cnd se evalueaz impactul acestora efectele pe termen lung ale politicii i modul n care au fost atinse obiectivele propuse iniial. Indicatorii de performan pot fi generali sau specifici. V.4. Indicatorii generali de performan

Indicatorii generali de performan sunt acei indicatori de care trebuie s se in seama ori de cte ori se monitorizeaz i evalueaz o politic public. Principalii indicatori generali de performan sunt: Indicatorii referitori la resurse i activiti (indicatorii de input) reprezint totalitatea resurselor alocate la fiecare nivel al politicii publice. Rolul acestui tip de indicatori este de a oferi informaii despre resursele (umane, financiare) disponibile. Monitorizarea indicatorilor de resurse este necesar pentru a putea avea o imagine asupra situaiei cantitii de resurse n fiecare faz a politicii. Ca exemple de indicatori de resurse putem identifica: numrul de persoane necesar pentru implementarea politicii sau cantitatea de resurse alocat pentru atingerea rezultatelor. Indicatorii de ieire (indicatori de output) reprezint indicatori legai de activitile ntreprinse i reprezint produsele directe ale acestora. Indicatorii de output sunt msurai n uniti monetare sau fizice (numrul de kilometri de autostrad construii). Indicatorii de rezultat (indicatori de outcome) sunt legai de efectele directe ale politicilor. Furnizeaz informaii despre schimbrile din comportamentul, capacitatea sau performana beneficiarilor direci. Aceti indicatori pot fi de natur fizic (reducerea timpilor de cltorie, numrul de accidente ) sau pot fi economici / financiari (scderea costurilor de transport, nivelul resurselor din sectorul privat).

23

Indicatorii de impact se refer la consecinele politicii publice dincolo de efectele asupra beneficiarilor direci. Exist dou tipuri de definire a conceptului de impact. Impactul specific care apare dup o perioad de timp, dar care este direct legat de aciunile ntreprinse, i impactul general care reprezint un efect pe termen lung ce afecteaz o parte semnificativ a populaiei. Tabel 1: Indicatori generali de performan12 Categorie Definiie Indicatori de resurse i Resursele financiare, umane, materiale, organizaionale sau de activiti (input) reglementare mobilizate pe parcursul implementrii unei politici i procesele manageriale 13 Indicatori de ieire Bunuri i servicii livrate sub responsabilitatea managerilor (output) politicii. Pentru a exprima mai simplu, putem spune c ieirile sunt ceea ce s-a cumprat cu banii publici. 14 Indicatori de rezultat Efectele imediate ale politicii pentru adresanii (outcome) direci/publicul-int. Un efect este imediat dac operatorul l observ cu uurin atunci cnd este n contact cu publiculint/ adresanii. Pentru c sunt uor de identificat de ctre operatori, indicatorii de rezultat pot fi monitorizai sistematic. Indicatori de impact (impact) Consecinele indirecte i pe termen lung ale politicii.

V. 5. Indicatori specifici de performan

Sunt indicatori a cror aplicare difer de la o politic la alta i de la un sector la altul. Principalele tipuri de indicatori specifici de performani pot fi incluse n urmtoarele categorii: indicatori macroeconomici i indicatori analitici.

12

Evaluation Methods for the European Unions External Assistance, European Communities 2006, Methodological Basis for Evaluation, Volume I, p.60. 13 n planurile strategice ale ministerelor acetia sunt indicatorii pentru rezultatele aciunii. 14 n planurile strategice ale ministerelor acetia sunt indicatorii pentru rezultatele politicii.

24

V.5.1 Indicatorii macroeconomici15 Indicatorii macroeconomici sunt acei indicatori prin intermediul crora se msoar efectele unei politici asupra ansamblului economiei naionale. Acest tip de indicatori sunt necesari pentru analizarea modului n care o anumit politic public poate influena ansamblul politicilor macroeconomice sau a modului n care poate modifica situaia macroeconomic. Ca exemple de indicatori macroeconomici putem identifica: rata de cretere a PIB, rata de ocupare, creterea populaiei etc. Indicatorii macroeconomici sunt cel mai adesea folosii pentru analizarea modului n care diverse politici macroeconomice i-au atins scopul propus. V.5.2 Indicatorii analitici16 Indicatorii analitici sunt acei indicatori care msoar relaia dintre alocrile de resurse, rezultatele propuse i alocrile de resurse i rezultatele obinute. Acest tip de indicatori se utilizeaz pentru determinarea modului n care se obin cele mai bune rezultate cu cele mai puine resurse. Cu alte cuvinte, indicatorii analitici sunt folosii pentru determinarea eficacitii aciunii guvernamentale. Principalele categorii de indicatori analitici sunt: indicatorii economici, indicatorii de eficien indicatori de eficien a costurilor i productivitii, indicatorii de eficacitate i calitativi. Indicatorii economici msoar utilizarea corect i eficient a resurselor alocate. Acest tip de indicatori se utilizeaz doar pentru msurarea cantitilor de resurse alocate pentru o politic. Totui, n unele cazuri mbuntirea indicatorilor economici poate atrage dup sine scderea calitii bunurilor i serviciilor produse prin aceea c nu ntotdeauna scderea cantitii de resurse alocate conduce spre eficien.

Vezi ,,Methodology of the System of Performance Indicatos at the Level of Central Public Administration prin aisten tehnic SIGMA pentru dezvoltarea sistemului de planificare strategic,SGG, 2007. 16 Seciunea referitoare la indicatorii analitici este prelucrat dup: ,,Methodology of the System of Performance Indicators at the Level of Central Public Administration prin aisten tehnic SIGMA pentru dezvoltarea sistemului de planificare strategic,SGG, 2007.

15

25

Indicatorii de eficien17 msoar relaiile dintre rezultatele obinute i resursele alocate pentru obinerea lor. Indicatorii de eficien au n vedere att costurile, ct i productivitatea necesar obinerii rezultatului. Productivitatea msoar raportul dintre rezultatul obinut i necesarul de resurse alocat. Necesarul de resurse are n vedere fora de munc, capitalul i materia prim necesar. Productivitatea poate fi msurat prin analizarea rezultatului obinut de angajai sau de alte mijloace de producie. De exemplu, pentru a msura productivitatea se poate lua n calcul numrul de uniti de produs realizate de fiecare muncitor sau numrul de copii pe care le poate realiza fiecare aparat de copiere. Eficiena costurilor msoar raportul dintre rezultatele obinute i costurile mijloacelor de producie. Indicatori de eficacitate msoar gradul n care instituia public a reuit, prin rezultatele politicilor sale, s i ating obiectivele stabilite, rspunznd la principalele provocri impuse de societate i la nevoile cetenilor. Indicatorii de eficacitate permit analizarea relaiei dintre rezultatele politicilor publice, scopurile politicilor i nevoile cetenilor. Indicatorii de eficacitate analizeaz efectele pe care politicile publice, aciunile i programele le au asupra anumitor aspecte ale vieii sociale. Indicatori de calitate msoar calitatea serviciilor, fiind un tip de evaluare / apreciere care descrie serviciile furnizate ctre ceteni i instituii din punctul de vedere al rapiditii, disponibilitii, ratei, continuitii, cantitii i al satisfaciei clienilor. Acest tip de indicatori msoar calitatea produselor i a serviciilor n comparaie cu standardele de calitate stabilite. Aceasta nseamn c standardele pentru servicii trebuie stabilite i aprobate dinainte, n vederea realizrii unor msurtori adecvate. Trebuie avut n vedere faptul c nivelul de calitate al serviciilor trebuie msurat prin indicatori numerici. De exemplu: timpul necesar sosirii poliiei sau echipelor de prim ajutor la locul solicitrii, timpul necesar depunerii unei declaraii, creterea (exprimat n procent) numrului de ceteni satisfcui de calitatea serviciilor (pe baza rezultatelor unor studii).
Atunci cnd se analizm problema eficienei economice a unei politici publici trebuie fcut diferena ntre eficiena intern (cost-eficien) i eficiena extern (eficacitatea). Cost eficiena analizeaz aspecte legate de modul n care o anumit organizaie i ndeplinete sarcinile. Pe de alt parte eficacitatea analizeaz impactul pe care organizaia l are asupra societii. (,,Methodology of the System of Performance Indicators at the Level of Central Public Administration prin asisten tehnic SIGMA pentru dezvoltarea sistemului de planificare strategic, SGG, 2007)
17

26

Tabel 2 Tipuri de indicatori specifici de performan18 Creterea PIB exprimat n % Rata omajului Rata de cretere a exporturilor / importurilor Sporul natural al populaiei Volumul investiiilor strine Segmentul din populaie cu venituri sub limita srciei (n %) Raportul dintre veniturile populaiei din quintila19 superioar i ale celei din quintila inferioar Costurile pe unitate de for de munc (n moned) Investiiile pe cap de locuitor (devieri regionale) Numrul de ntreprinderi la 1000 de locuitori Costurile unui loc de munc Remuneraia pentru 1 specialist Gradul de scdere a pierderii de energie termic Numrul de studeni la 1 profesor Media ocuprii paturilor de spital Media costurilor pentru 1 km de drum construit Costurile educaiei pentru 1 student pe an Costurile pentru 1 deinut Pacieni tratai ntr-un spital pe an.

Indicatori macroeconomici

Indicatori analitici

Indicatori economici Scderea costurilor resurselor (input-urilor) cu pstrarea calitii stabilite Indicatori de eficien (cost-eficien i productivitate) Relaia dintre rezultatul aciunii i input (resurse utilizate)

18

Prelucrare dup : ,,Methodology of the system of performance indicators at the level of central public administration prin asisten tehnic SIGMA pentru dezvoltarea sistemului de planificare strategic, SGG, 2007 19 O chintil reprezint o cincime sau 20% dintr-o mulime dat. Termenul este folosit pentru descrierea distribuiei statistice a unei populaii.

27

Indicatori de eficacitate (eficien extern) Relaia dintre rezultatele politicii publice i obiectivele acesteia Indicatori de calitate (msurarea calitii serviciilor)

- Numrul copiilor care nu merg la coal - Numrul omerilor care au participat la cursuri de formare n comparaie cu numrul celor care au obinut un loc de munc dup participarea la cursuri - Nivel prognozat al omajului n comparaie cu cel real. - Timpul n care poliia ori echipele de prim ajutor sosesc la locul accidentelor. - Timpul necesar obinerii de informaii de la autoritile publice - Creterea proporiei de clieni mulumii de serviciile primite (sondaj printre clieni)

28

VI. Obinerea /colectarea informaiei

Una dintre atribuiile pe care trebuie s le aib ministerele n realizarea activitii de monitorizare i evaluare este ntrirea capacitii de colectare a datelor existente i diseminarea informaiilor. Monitorizarea se face prin colectarea i analizarea datelor financiare i materiale (fizice). Datele se obin fie prin metode statistice, fie prin metode calitative cum ar fi interviuri cu cei responsabili cu implementarea, pe durata implementrii politicii. Deseori putem identifica mai multe tipuri de indicatori care definesc aceeai variabil, ceea ce face dificil de analizat care dintre indicatorii definii sunt mai relevani pentru monitorizarea rezultatelor. Datorit relaiei dintre indicatori i obiective este recomandabil s se foloseasc mai muli indicatori pentru acelai obiectiv sau un indice care s reprezinte combinaia a doi sau mai muli indicatori care mpreun furnizeaz o mai bun msurare a aciunilor i rezultatelor dect indicatorii separai. Dintre multele tipuri de indici folosii n analiza politicilor cei mai utilizai sunt: indicii puterii de cumprare; poluarea; infracionalitatea; consum de energie; sntatea; centralizarea administrativ i calitatea vieii.20

VI.1. Metode de colectare a datelor, monitorizare i evaluare Metodele de monitorizare, evaluare i colectare a datelor au n vedere ntrirea capacitii de obinere i utilizare a informaiei, n scopul realizrii unor analize ct mai exacte. Procesele de monitorizare i evaluare presupun att colectarea i folosirea informaiei existente, ct i producerea i utilizarea unor informaii noi. Metodele de colectare a informaiei se utilizeaz att pentru cutarea, ct i pentru producerea informaiei. Producerea informaiei presupune cercetarea datelor deja existente i identificarea nevoii de informaii noi. Obinerea datelor capabile s furnizeze informaii

William N. Dunn (2003), Public Policy Analyis: an Introduction, Parsons Prentice Hall, New Jersey p. 283

20

29

este posibil prin apelul la o serie de metode cantitative i calitative de culegere a informaiilor. Pe lng activitatea de culegere de informaie trebuie avut n vedere i activitatea de interpretare a datelor. Lista metodelor prezentate n continuare nu este limitativ i nici nu intenioneaz s fie astfel21,acestea sunt fie complementare, fie substituibile. Unele au o aplicabilitate larg, n timp ce altele au o utilizare limitat. Alegerea uneia sau alteia dintre metodele prezentate n continuare depinde de o serie de factori specifici politicii publice avute n vedere, scopul monitorizrii i evalurii, actorii interesai (stakeholder-s) crora le este adresat, cost etc. VI.1.1 Metode cantitative Metodele cantitative furnizeaz informaii referitoare la caracteristici numerice, msurabile i cuantificabile ale rezultatelor diferitelor programe. De multe ori datele cantitative sunt cuprinse n statistici, tabele i grafice. Metodele cantitative folosesc date obinute de la eantioane reprezentative statistic i metode econometrice n scopul stabilirii relaiilor de cauzalitate sau a unor concluzii generalizabile22. a. Analiza Cost-Beneficiu Analiza cost-beneficiu are n vedere stabilirea raportului ntre costurile i beneficiile diferitelor alternative de politici. Analiza cost-beneficiu reprezint o metod care poate fi folosit att n cazul evalurilor ex-ante, ca modalitate de a decide n favoarea unei politici n detrimentul alteia, ct i n cazul evalurii ex-post, ca modalitate de evaluare a performanelor23. Prin intermediul analizei cost-beneficiu poate fi determinat raportul dintre costurile i beneficiile prognozate i costurile i beneficiile realizate. n cadrul analizei cost-beneficiu trebuie avute n vedere o serie de etape. n primul rnd, analiza cost-beneficiu trebuie s determine grupurile int (cine pltete i
Pentru mai multe detalii a se vedea Manual de metode folosite n planificarea politicilor publice i evaluarea impactului (2006) realizat prin proiect PHARE RO 2003/IB/OT/10 Consolidarea capacitii Guvernului Romniei de a gestiona i coordona politicile publice i procesul decizional 22 Baker L. Judy, (1999), Evaluating the Poverty Impact of Projects: A Handbook for Practitioners, The World Bank, p, 6 23 Dunn William, (2003) Public Policy Analyis: an Introduction, Parsons Prentice Hall, New Jersey p. 236
21

30

cine beneficiaz), apoi trebuie determinat valoarea monetar a tuturor costurilor i beneficiilor pe termen lung ale unei politici i trebuie calculat raportul dintre costurile i beneficiile aciunii. Din cauza concentrrii ei asupra valorii monetare a raportului dintre costuri i beneficii, analiza cost-beneficiu are o sfer destul de restrns de aplicare. Analiza cost-beneficiu poate fi utilizat atunci cnd se decide asupra unui proiect de construire a unei osele pentru a determina costurile i beneficiile pe care aceast investiie le va avea pe un orizont de timp ndelungat (ntre 25 i 30 ani). Totui, analiza cost-beneficiu nu trebuie s reprezinte principala modalitate de evaluare a unei politici, ntruct sunt dificil de determinat valorile monetare ale tuturor beneficiilor i costurilor politicilor publice. Dac se ncearc analizarea unei politici sociale pe baza analizei costbeneficiu se poate ajunge la situaia n care concluziile acestei analize s nu fie credibile. Costurile i beneficiile politicilor sociale sunt dificil de determinat i cuantificat. b. Analiza cost-eficacitate Analiza cost-eficacitate permite luarea n considerare a tuturor costurilor i beneficiilor relevante ale unui numr variat de politici publice. Costurile politicii sunt evaluate n termeni monetari n timp ce beneficiile sunt msurate prin apelul la valori non monetare, cum ar fi cantitatea de bunuri i servicii furnizat n urma implementrii politicii (de exemplu : beneficiile generate de mbuntirea strii de sntate.) Analiza cost-eficacitate se utilizeaz atunci cnd este dificil de cuantificat valoarea monetar total a beneficiilor. Pentru a se putea face comparaia ntre diferite alternative posibile pentru rezolvarea unei anumite probleme se apeleaz la calcularea costului unei uniti de beneficiu obinut. Dup ce se calculeaz costul per unitate de beneficu obinut se poate alege ntre alternativele existente24. c. Metode experimentale Metodele experimentale presupun o cercetare riguroas care s poat determina legtura dintre o anumit politic public i rezultatul obinut, bazndu-se pe analiza

24

Briggs Sandra, Peterstone Baiba i Smits Karlis (2006), Manual de metode folosite n planificarea politicilor publice i evaluarea impactului

31

cantitativ. n cadrul procesului de evaluare trebuie urmrit modul n care implementarea unei politici a schimbat sau nu starea de fapt existent anterior deciziei de implementare. Schimbarea strii de fapt n raport cu care s-a decis implementarea unei anumite politici se poate datora i altor factori n afara rezultatelor obinute n urma aplicrii unei anume politici. Prin apelul la metodele experimentale bazate pe anchete i tehnici statistice se poate ajunge la izolarea efectelor unei politici. Izolarea efectelor politicii este necesar pentru a putea avea o imagine corect asupra rezultatelor reale aprute n urma implementrii. Prin metoda experimental se ncearc delimitarea rezultatelor unei aciuni de ali factori care pot determina schimbarea strii anterioare implementrii unei politici. n cadrul metodelor experimentale evaluarea rezultatelor unei politici se face prin compararea situaiei aprute n urma implementrii politicii cu situaia anterioar implementrii. Compararea se face prin mprirea aleatorie a populaiei int n dou grupuri. Grupul de tratament reprezint un grup ai crui membri beneficiaz de rezultatele implementrii unei politici, iar grupul de control reprezint un grup ai crui membri nu beneficiaz de rezultatele politicii implementate. Metoda experimental recurge la compararea situaiei celor dou grupuri pentru a putea determina ce efect a avut implementarea unei politici ntr-un anumit domeniu i pentru a determina ce schimbri au survenit n urma implementrii unei politici. Un exemplu n acest sens poate fi reprezentat de decizia de implementare a unei politici de mediu prin care s se reduc poluarea apelor ntr-o anumit zon. Se vor alege dou zone, una n care se va implementa i alta n care nu se va implementa politica respectiv. Dup implementarea politicii se vor cerceta comparativ o serie de indicatori, n aa fel nct s se determine eventualele diferene aprute n urma implementrii. Avantajul principal al unei astfel de metode este legat de uurina cu care pot fi interpretate datele. Dezavantajul unei astfel de metode const n faptul c poate produce inechitate i discriminare. Un alt dezavantaj al metodei l reprezint cantitatea mare de timp necesar pentru culegerea informaiei relevante. Concluziile unui astfel de experiment depind de condiiile de desfurare a experimentului. n situaia n care pe

32

parcursul implementrii unei politici publice apar schimbri exist posibilitatea distorsionrii rezultatelor25.

d. Metode cvasi experimentale Problemele asociate cu metodele experimentale au condus spre adoptarea unor metode cvasi experimentale de colectare a informaiei necesare n procesul de monitorizare. Metodele cvasi experimentale se folosesc n evaluare atunci cnd nu este posibil construirea aleatorie a grupurilor de tratament i a celor de control. Apelul la metode cvasi experimentale presupune existena unor similariti ntre grupurile de tratament i cele de control care vor fi selectate ulterior implementrii politicii. n cadrul metodei cvasi experimentale se apeleaz la mijloace statistice de analiz a diferenelor aprute ntre grupurile de tratament i cele de control. Principalul beneficiu al metodelor cvasi experimentale const n faptul c se bazeaz pe sursele de date existente, ceea ce face ca aplicarea lor s fie mai ieftin i mai rapid. Principalele dezavantaje ale metodei constau n faptul c veridicitatea rezultatelor este sczut atunci cnd metodologia se bazeaz n msur mai mic pe statistic, c metodele pot fi complexe din punct de vedere statistic i c apar probleme legate de selecie. Metodele cvasi experimentale se bazeaz pe metodele calitative de analiz. VI.1.2 Metode calitative Metodele calitative ofer informaii despre procesele i comportamentele care apar n contextul implementrii unei politici publice. nelegerea comportamentelor i proceselor se face prin comunicarea direct cu actorii implicai n derularea respectivei politici. Prin metodele calitative se poate determina de asemenea percepia pe care o au beneficiarii n legtur cu un program i pot fi aflate diferite sugestii necesare pentru mbuntirea acestuia. Metodele calitative au avantajul de a fi flexibile, uor adaptabile

25

Hogwood, Brian W. i Gunn, Lewis A. (2000), Introducere n Politicile Publice, Ed. Trei, Bucureti, pp. 249-250

33

pentru nevoile diferitelor tipuri de evaluri, mai uor de aplicat, precum i avantajul de a fi ndeajuns de cuprinztoare nct s permit o nelegere mai bun a prioritilor i percepiilor decidenilor, precum i a situaiilor i condiiilor care pot afecta impactul politicii publice26. Pe de alt parte ns, metodele calitative pot distorsiona informaia din cauza caracterului subiectiv al colectrii datelor cauzat de preferinele cercettorilor. O alt problem a metodelor calitative ine de faptul c acestea pot s nu fie statistic semnificative, iar rezultatele lor s nu fie general valabile. Principalele metode calitative, precum i principalele avantaje i dezavantaje ale acestora sunt prezentate n tabelul de mai jos.

26

Baker L. Judy, (1999), Evaluating the Poverty Impact of Projects: A Handbook for Practitioners, The World Bank, p, 6

34

Tabel 3 Principalele instrumente pentru colectarea datelor

Tehnica Studiul de caz Definiie i caracteristici Colectarea informaiilor sub forma unei analize care poate fi descriptiv sau explicativ i are scopul de a rspunde unor ntrebri de tipul cine? i de ce?. Puncte tari - Se poate ocupa cu o mare varietate de evidene din documente, interviuri, observaii - Poate aduga potenial explicativ, dac este centrat pe instituii, procese, programe, decizii i evenimente - Posibilitatea de a genera o cantitate mare de informaii despre un subiect precis - Metod folositoare n special atunci cnd se dorete interaciunea cu participanii - Poate genera idei i Puncte slabe - Studiile de caz sunt dificil de elaborat - Necesit rigurozitatea cercetrii specializate i a abilitilor de scriere - Descoperirile nu pot fi generalizate - Necesit timp ndelungat - Dificil de replicat

Focus grupul (sau interviul de grup)

Un focus grup reprezint o form de cercetare calitativ prin care un grup de persoane este interogat n ceea ce privete atitudinile fa de un produs, serviciu, concept, reclam, idee sau ambalaj. ntrebrile se pun intr-

- Nu se pot generaliza rezultatele - Comentarii/ preri particulare ce nu se pot extrapola majoritii - Numrul limitat de ntrebri care pot fi adresate - Este sensibil la eterogenitatea diferitelor nivele ierarhice, putnd fi afectat astfel echilibrul discuiilor

Surs: prelucrat dup Baker, 1999

35

un cadru interactiv n care participanii sunt liberi sa vorbeasc cu ali membri ai grupului. Aplicarea acestei metode se face cu membrii grupurilor int care sunt familiari cu problemele n discuie nainte de scrierea unui set de ntrebri structurate. Scopul este compararea perspectivelor beneficiarilor cu conceptele abstracte ale evalurii obiectivelor.

zone de interes care nu au fost luate n considerare iniial - O modalitate util de identificare a influenelor ierarhice

36

Interviul

O tehnic de obinere, prin ntrebri i rspunsuri, a informaiilor de la indivizi i grupuri n vederea verificrii ipotezelor sau pentru descrierea tiinific a fenomenelor socioumane. Interviul se bazeaz pe comunicarea verbal i presupune ntrebri i rspunsuri, ca i chestionarul (scris). Instrumentul interviului este ghidul de interviu. Cel care face interviul pune ntrebri uneia sau mai multor persoane i nregistreaz rspunsurile. Interviul poate fi formal sau informal, fa n fa sau telefonic.

- Suficient de flexibil nct s permit celui care face interviul s exploreze noi linii de cercetare i s analizeze problemele n profunzime - Cei intervievai (persoane, instituii) i pot explica experienele n propriile cuvinte - Util n special cnd se anticipeaz dificulti de limbaj - Posibilitate crescut de obinere de informaii din partea celor aflai pe poziii mai nalte n ierarhie.

- Costuri mari n materie de timp i resurse - Dac nu este fcut corect, cel care face interviul poate influena rspunsurile repondenilor.

37

Observaia

- Observaia nseamn urmrirea atent i sistematic, cu un anumit scop, a unui anumit fenomen sau a unei nsuiri, laturi sau particulariti ale acestuia. - Studierea i nregistrarea unei situaii ntr-un jurnal. nregistrarea include persoane implicate, descrierea faptelor, specificarea momentului, locului i modului de apariie a evenimentului. Observaia poate fi direct (observ i nregistreaz) sau participativ (observatorul devine o parte a fenomenului pentru o perioad de timp).

- Furnizeaz informaie descriptiv asupra contextului i a schimbrilor observate

- Calitatea i utilitatea datelor depind direct de capacitile de observare i redactare ale observatorului - Descoperirile sunt deschise la interpretri - Este necesar o perioad mai ndelungat de timp pentru observarea atent a schimbrilor i pentru acurateea datelor.

38

Chestionarul

Dezvoltarea unui set de ntrebri de cercetare ale cror rspunsuri pot fi codificate

- Poate acoperi simultan un eantion larg - Acord repondenilor timp de gndire nainte de a rspunde - Rspunsurile pot fi anonime - Asigur uniformitatea, prin faptul c adreseaz tuturor repondenilor aceleai ntrebri - Simplific compilarea i compararea datelor

- Calitatea rspunsurilor depinde n foarte mare msur de claritatea ntrebrilor adresate - Dac sunt trimise prin posta sau e-mail, devine uneori dificil s-i convingi pe repondeni s rspund i s retrimit chestionarul - Poate implica introducerea forat a activitilor instituionale i a experienelor indivizilor n categorii predeterminate.

Analiza documentelor scrise

Examinarea documentelor cum ar fi: rapoarte, nregistrri, baze de date administrative, materiale pentru cursuri de pregtire i coresponden

- Poate asigura o baz Poate fi costisitoare din punctul de vedere al timpului pentru investigaii necesar. ulterioare i furnizeaz dovezi ale aciunilor, schimbrilor i impactului pentru a sprijini percepiile repondenilor - O metod ieftin din punct de vedere al costurilor

39

VII. Concluzii

Pentru a putea depi problemele legate de particularitile necesare monitorizrii i evalurii diferitelor politici publice este nevoie de elaborarea unor metodologii sectoriale i standarde interne prin care informaia colectat s poat fi utilizabil i relevant pentru toate sferele de aplicare a politicilor. Ministerele vor elabora propriile metodologii sectoriale i standarde interne de monitorizare i evaluare prin care vor stabili modul de desfurare al acestor tipuri de activiti, n funcie de particularitile fiecrui sector n parte i avnd ca punct de plecare prezentul ghid. Problemele privind dificultatea colectrii informaiilor i problema acurateei acestora trebuie rezolvate prin crearea i meninerea unei baze de date, la nivelul ministerului, actualizat permanent n funcie de rezultatele aprute n urma procesului de monitorizare. O astfel de baz este necesar pentru creterea gradului de coordonare intern, ntre diferitele departamente ale ministerului, ct i extern, ntre ministere care elaboreaz sau implementeaz politici intersectoriale. Existena bazelor de date faciliteaz accesul la sursele administrative de date, fcnd posibil cooperarea interinstituional prin protocoale negociate bilateral i interoperabilitatea, eventual prin crearea unei baze de date comun (portal de meta-date). Suportul pentru crearea unui asemenea mecanism este introducerea i armonizarea standardelor IT pentru administrarea i urmrirea procesului de elaborare a documentelor de politici publice (sisteme de management al sarcinilor i documentelor similare i integrate). O atenie deosebit va trebui acordat pe de-o parte pregtirii profesionale a personalului cu atribuii n domeniul monitorizrii i evalurii, pentru ntrirea capacitii i specializrii interne a ministerelor att de a realiza acest tip de activiti, iar pe de alt parte posibilitilor de externalizare a acestor activiti. Orice activitate de monitorizare i evaluare, pentru a putea s furnizeze informaii corecte i relevante, are nevoie de sprijin politic. Sprijinul politic este de asemenea important atunci cnd se pune problema utilizrii rezultatelor monitorizrii i evalurii. Dac responsabilii de la nivel politic sunt reticeni fa de rezultatele monitorizrii i

40

evalurii, percepndu-le ca pe nite ameninri, atunci utilizarea acestor rezultate n scopul mbuntirii capacitii de implementare a politicilor devine aproape imposibil. Viitoarele aciuni n domeniul monitorizrii i evalurii politicilor publice vor avea n vedere dezvoltrile ulterioare, ce vor avea loc n domeniul planificrii strategice, prin implementarea PSI (cu cele doua componente de management si de programare bugetara) i, de asemenea, progresele realizate prin dezvoltarea aciunilor cuprinse n Strategia Naionala de Evaluare, ambele aflate ntr-o faz de implementare recent. n acest sens, SGG i MEF vor continua s sprijine metodologic instituiile administraiei publice att direct, prin comunicare i cooperare continu, ct i prin programe de asisten tehnic dezvoltate prin Programul Operaional de Dezvoltare a Capacitii Administrative. Pe termen scurt, SGG, prin programul Phare 2006 ,,Dezvoltarea procesului de formulare a politicilor publice la nivelul administraiei publice centrale are n vedere urmtoarele aciuni : Elaborarea unui Manual, ce va prezenta detaliat o serie de metode i tehnici utilizate n mod curent n monitorizare i evaluare, dar i informaii asupra bunelor practici care pot facilita utilizarea extins i externalizarea serviciilor de monitorizare i evaluare. Manualul va fi redactat n limbile romn i englez, n form electronic, i publicat n limba romn, tiprit, urmnd a fi distribuit la nivelul administraiei publice centrale. Manualul va constitui suport de curs pentru o parte din cursurile de formare. Organizarea unor cursuri de formare pentru ministere pentru care, nainte de nceperea lor efectiv, se va efectua o evaluare a necesitailor de formare n monitorizare i evaluare din instituiile administraiei publice centrale. Aceast evaluare va fi baza pentru organizarea, derularea i definitivarea formatului cursurilor de formare. Acestea se vor desfura n fiecare minister, n cadrul mai multor sesiuni. Cursurile de formare vor fi susinute de ctre asistena tehnic, mpreun cu reprezentani ai S.G.G. n desfurarea cursurilor, un accent deosebit se va pune pe abilitile privind utilizarea rezultatelor monitorizrii i evalurii n elaborarea de noi politici publice i programe.

41

 Organizarea unui curs de formare de ctre asistena tehnic pentru reprezentani de la nivelul administraiei publice centrale cu responsabiliti n domeniul monitorizrii i evalurii politicilor publice (din cadrul S.G.G i din cadrul ministerelor), ntr-o ar cu experien n domeniul monitorizrii i evalurii, avnd ca obiectiv mbuntirea capacitii S.G.G i a ministerelor de a promova bunele practici i ghidul de monitorizare i evaluare la nivelul ntregii administraii publice romneti. Astfel, S.G.G va oferi o structur de suport metodologic, informaional i instituional pe parcursul implementrii acestei reforme. Cursul de formare va fi o combinaie de prezentri i modele, exemple i vizite de lucru interactive n instituiile relevante pentru obiectivul cursului de formare din ara aleas. Elaborarea unui Manual de bune practici n domeniul planificrii strategice i utilizrii indicatorilor de performan n procesul de programare bugetar, cu exemple att din cazul Romniei, ct i din cel al unor state cu experien n planificare bugetar. Manualul va fi multiplicat i distribuit ctre toi actorii implicai n procesul de planificare strategic. Sesiuni de formare pentru reprezentani ai ministerelor (att pentru personalul din unitile de politici publice i departamentele economice, ct i pentru funcionari din alte structuri administrative) pentru identificarea indicatorilor de performan i modalitilor de utilizare a acestora n procesul de planificare bugetar. Organizarea unui curs de formare de ctre asistena tehnic pentru reprezentani de la nivelul administraiei publice centrale cu atribuii n domeniul planificrii strategice i programrii bugetare (reprezentani ai S.G.G, reprezentani ai M.E.F i reprezentani ai ministerelor), ntr-un stat membru al U.E cu experien n domeniul planificrii strategice i elaborrii bugetului pe baz de performan. Scopul acestui curs este de a ntri capacitatea S.G.G i a M.E.F n coordonarea recentului introdus sistem de planificare strategic i de a crete capacitatea ministerelor n planificare i programare bugetar, prin intermediul schimbului de

42

bune practici i analizarea direct a rezultatelor obinute de alte state europene n acest domeniu.

43

Resurse Bibliografice: 1) Robinson, T.R.: Policy, Planning & Budgeting n Romania, 2006, World Bank/Dutch Grant TF 054659, 2) Weiss, Carol (1998), Metode de Evaluare pentru Studierea Politicilor i a Programelor, Prentice Hall 3) Michael Mulreany (1999), Evaluarea Economic i Financiar: Msurare, Concept i Management, Institutul de Administraie Public, Irlanda. 4) Campbell, Adrian; Delay, Simon; Labus Miroljub i Powell, Martin (2007), Raport Final:,, Concluzii Privind Politicile Publice n Administraia Central din Romnia i Recomandri Pentru mbuntiri ,, , n cadrul proiectului RO PPIBL Banca Mondiala, ntrirea capacitii de training n Secretariatul General al Guvernului i ministerele de linie, Bucureti. 5) William N. Dunn (2003), Public Policy Analyis: an Introduction, Parsons Prentice Hall, New Jersey 6) Baker L. Judy, (1999), Evaluating the Poverty Impact of Projects: A Handbook for Practitioners, The World Bank 7) Hogwood, Brian W. i Gunn, Lewis A. (2000), Introducere n Politicile Publice, Ed. Trei, Bucureti 8) Kusek, Jody Zall, i Rist, Ray C. (2004) Ten steps to a Result Based Monitoring and Evaluation System: a Handbook for Development Practicioners, The World Bank, Washington 9) Strategic Planning for Public and Nonprofit Organizations: A Guide to Strengthening and Sustaining Organizational Achievement (Jossey Bass Public Administration Series) ,1995 10) Evaluation Methods for the European Unions External Asistance, European Communities 2006, Methodological Bais for Evaluation, Volume I, p.60. 11) ,,Methodology of the system of performance indicatos at the level of central public administration prin aistenta tehnica IGMA pentru dezvoltarea istemului de planificare strategica, SGG, 2007.

44

12) European Commission - Indicators for Monitoring and Evaluation: An indicative methodology, The New Programming period 2000-2006: methodological working papers 13) Nared Janez i Ravbar Marjan (2003), Starting Points for the Monitoring and Evaluation of Regional Policy n Slovenia, n Acta Geographica Slovenica. No. 43 1, pp 53-83 14) Evaluation Capacity Development, ECD Working Paper Series: - Mackay Keith (1998), Lessons from National Experience - Mackay Keith (2006), Institutionalization of Monitoring and Evaluation Systems to Improve Public Sector Management 15)World Bank Operations Evaluation Department, Evaluation Capacity Development, Monitoring and Evaluation: Some Tools, Methods and Approaches, the World Bank, 2004 16) www.worldbank.org/ieg/ecd 17) http://www.sgg.ro/index.php?politici_publice 18) http://www.mefromania.ro/wps/portal 19) http://www.mfinante.ro/audit/norme_generale.pdf 20) Briggs Sandra, Peterstone Baiba i Smits Karlis (2006), Manual de metode foloite n planificarea politicilor publice i evaluarea impactului - realizat prin proiect PHARE RO 2003/IB/OT/10 Consolidarea capacitii Guvernului Romniei de a gestiona i coordona politicile publice i procesul decizional 21) Tavistock Institute n asociaie cu GHK, IRS, (2003), Ghid: Evaluarea evoluiei socio-economice

45

Anexa 1 Concepte i definiii privind activitile de planificare strategic monitorizare, evaluare, audit i control Pentru o mai bun clarificare a conceptelor privind activitile de monitorizare, evaluare, audit, control i planificare strategic sunt prezentate n continuare definiiile oficiale sau agreate (prevzute de legislaie sau propuse de rapoarte ale organizaiilor internaionale n domeniu) ale acestora27. Se constat concentrarea aproape exclusiv, n cazul diferitelor tipuri de audit i control, pe fluxul financiar i economic i pe analiza de tip normativ, mai degrab dect pe urmrirea ndeplinirii obiectivelor i msurarea performanei.

Conform Legii nr. 672/ 2002 privind auditul public intern cu modificrile i completrile ulterioare a) audit public intern - activitatea funcional independent i obiectiv, care d asigurri i consiliere conducerii pentru buna administrare a veniturilor i cheltuielilor publice, perfecionnd activitile entitii publice; ajut entitatea public s i ndeplineasc obiectivele printr-o abordare sistematic i metodic, care evalueaz i mbuntete eficiena i eficacitatea sistemului de conducere bazat pe gestiunea riscului, a controlului i a proceselor de administrare; b) control intern - ansamblul formelor de control exercitate la nivelul entitii publice, inclusiv auditul intern, stabilite de conducere n concordan cu obiectivele acesteia i cu reglementrile legale, n vederea asigurrii administrrii fondurilor n mod economic, eficient i eficace; include, de asemenea, structurile organizatorice, metodele i procedurile; c) control financiar public intern - ntregul sistem de control intern din sectorul public, format din sistemele de control ale entitilor publice, ale altor structuri abilitate de Guvern i dintr-o unitate central care este responsabil de armonizarea i implementarea principiilor i standardelor de control i audit;

S-a urmrit n principal utilizarea conceptelor i definiilor din legislaia si practica administrativa din Romnia. Viitorul manual va dezvolta acest capitol prin includerea conceptelor si definiiilor existente la nivelul Comisiei Europene.

27

46

Conform O. U.G nr. 75 din 1 iunie 1999 privind activitatea de audit financiar (republicat) : Auditul financiar (contabil) reprezint activitatea de examinare, n vederea exprimrii de ctre auditorii financiari, a unei opinii asupra situaiilor financiare, n conformitate cu standardele de audit, armonizate cu standardele internaionale de audit i adoptate de Camera Auditorilor Financiari din Romnia, denumit n continuare Camera.

Conform M. E. F. 28: prin Normele Generale Privind Exercitarea Auditului Public Intern, exist urmatoarele tipuri de audit, definite prin Legea privind auditul public intern : a) Auditul de sistem - reprezint o evaluare de profunzime a sistemelor de conducere i control intern, cu scopul de a stabili dac acestea funcioneaz economic, eficace i eficient, pentru identificarea deficienelor i formularea de recomandri pentru corectarea acestora; b) Auditul performanei - examineaz dac criteriile stabilite pentru implementarea obiectivelor i sarcinilor entitii publice sunt corecte pentru evaluarea rezultatelor i apreciaz dac rezultatele sunt conforme cu obiectivele; c) Auditul de regularitate - reprezint examinarea aciunilor asupra efectelor financiare pe seama fondurilor publice sau a patrimoniului public, sub aspectul respectrii ansamblului principiilor, regulilor procedurale i metodologice care le sunt aplicabile. Conform standardului 10 din Ordinul Ministrului finanelor publice nr. 946/2005 pentru aprobarea Codului controlului intern, cuprinznd standardele de management/control intern, la entitile publice i pentru dezvoltarea sitemelor de control managerial, republicat Monitorizarea performanelor reprezint supravegherea, urmrirea de ctre aparatul de conducere al entitii publice, prin intermediul unor indicatori relevani , a performanelor activitii aflate n coordonare. Conform H.G. nr. 775/ 2005 pentru aprobarea Regulamentului privind procedurile de elaborare, monitorizare i evaluare a politicilor publice la nivel central (art.4, lit. i): monitorizarea este o etap a procesului politicilor publice care cuprinde culegerea de informaii cu privire la modalitatea n care au fost obinute rezultatele implementrii unei anumite politici publice.

28

http://www.mfinante.ro/audit/norme_generale.pdf

47

Conform Strategiei naionale de evaluare (2006) : Scopul general al evalurii este de a nva printr-o cercetare sistematic cum elaborm, implementm i gestionm mai bine programele i politicile publice (Ghidul Evalsed). (...)evaluarea ca o analiz sistematic a operaiunilor i beneficiilor unui program sau politici, prin comparaie cu standarde explicite ori implicite, cu scopul de a contribui la mbuntirea acelui program sau politici 29. Ambele definiii subliniaz evaluarea proceselor, n timp ce altele reliefeaz analiza beneficiilor i a impactului programelor ori politicilor. Conform Comisiei Europene evaluarea este perceput ca o opinie asupra interveniilor prin prisma rezultatelor, a impactului i a nevoilor pe care acestea trebuie s le satisfac. O alt definiie prezint evaluarea ca fiind procesul de analizare a msurii n care obiectivele proiectului, programului ori politicii au fost atinse i ct de economic i eficient s-a ntmplat acest lucru30. Trezoreria Marii Britanii definete evaluarea ca o privire critic i detaat asupra obiectivelor [ale programului, politicii etc.] i a modului n care acestea sunt atinse31. Conform ,,Brysons Strategic Planning in Public and Nonprofit Organizations32: Planificarea strategic este efortul organizat de luare a deciziilor fundamentale i de planificare a aciunilor care arat cine este acea organizaie, ce face i de ce face ceea ce face, n sensul atingerii scopului ideal pe care i l-a propus. n context administrativ, planificarea strategic poate fi interpretat ca un proces care reunete ntr-un singur cadru de management aspecte cum ar fi planificarea politicilor publice, elaborarea bugetului, stabilirea prioritilor i planificarea organizaional.

Weiss, Carol (1998), Metode de Evaluare pentru Studierea Politicilor i a Programelor, Prentice Hall Unele definiii se refer la evaluarea programelor i politicilor. Aceast definiie se refer la evaluarea Interveniilor. n aceast Strategie, evaluarea se refer la evaluarea interveniilor publice (...), incluznd programe, politici i proiecte 31 Michael Mulreany (1999), Evaluarea Economic i Financiar: Msurare, Concept i Management, Institutul de Administraie Public, Irlanda. 32 Strategic Planning for Public and Nonprofit Organizations: A Guide to Strengthening and Sustaining Organizational Achievement (Jossey Bass Public Administration Series) ,1995
30

29

48