Bugetarea bazat pe performan -monitorizare i evaluare
Instruire extins pentu APC
Mai 2013
Obiectivele trainingului De a nelege rolul procesului de evaluare a performanelor i monitorizrii performanei programei bugetare De a obine cunotinele corespunztoare n vederea aplicrii n practic a acestora 2 Coninutul sesiunii de training Scurt introducere n procesul de monitorizare, evaluare i deosebirile dintre aceste dou procese Metodologia i tehnicile de monitorizare a performanei Raportul de performan 3
Scurt introducere n procesul de monitorizare i evaluare Monitorizare si evaluare Faza final a ciclului BBP
Relaia dintre planificare i monitorizare Planificarea fr monitorizare este inutil i monitorizarea fr planificare lipsit de sens Planificarea stabilete cursul, iar monitorizarea asigur ca lucrurile s evalueze n direcia corect Politici/ Strategie Planificare Formulare Finanare Implementare i monitorizare Evaluare 5 Ce reprezint monitorizarea? Evaluare de rutin a activitilor n desfurare Colectarea sistematic de date pentru indicatori specifici Instrument de corectare a devierilor n implementarea programului Instrument de gestiune a programului care furnizeaz informaii pentru evaluare Cuvnt latin monere = a avertiza 6 De ce s monitorizm? Pentru a analiza progresul n raport obiectivele stabilite Pentru a identifica eventuale abateri de la planurile stabilite Pentru a corecta rapid devierile n cadrul implementrii programului Pentru a furniza informatii (input) pentru evaluare 7 Caracteristicile principale ale procesului de monitorizare Proces continuu Proces dinamic Orientat spre viitor Proces corectiv Este o funcie atotcuprinztoare Consolideaz gndirea i vigilena permanent 8 Poziia n cadrul matricei logice a Programului
Impact Rezultat Produs (output) Activiti de implementare ale programului Intrri (resurse) - umane - materiale Scop Obiective Indicator de rezultate Indicator de eficien Indicator de produse (output) Monitorizarea performanelor Trebuie stabilit cel puin un indicator pentru fiecare obiectiv 9
Ce reprezint evaluarea? Instrument de msurare a succesului impactului programului De ce s evalum? Pentru a furniza informaii n vederea stabilirii prioritilor politicilor Pentru a imbunti alocarea resurselor Pentru a spori calitatea interveniilor Pentru a raporta cu privire la realizri (altfel spus, responsabilitate)
10 Cnd s punem n aplicare evaluarea? nainte de lansarea proiectului (evaluarea ex-ante) La mijlocul proiectului La sfritul proiectului Peste un anumit timp dup finalizarea proiectului (evaluarea ex-post pentru identificarea impactului) n orice moment n care apare un rezultat neateptat care necesit o investigaie ulterioar Dac ntr-o perioad ndelungat de timp nu exist mbuntiri, iar motivul este incert 11 Proces realizat pe parcursul implementrii programului Colectare i analiz continu a datelor Masoar realizarea obiectivelor operaionale Ofer primele manifestri ale progresului i realizare de obiective. Rspunde la ntrebarea La ce etap suntem? Realizat mai frecvent dect evaluarea Proces realizat pe parcursul sau dup realizarea programului Analiza ntregii intervenii; accent principal pe necesiti, rezultate i impact pe termen lung Identific modul i motivul din care activitile au fost cu succes, au euat sau au fost modificate Rspunde la ntrebarea despre cum poate fi mbuntit performana? Abordeaz relevana obiectivelor
12 Intrri (input) Produse (output) Rezultate Impact intermediar Impact global Ce controlm Ce influenm n mod direct Ce influenm n mod indirect Efecte Monitorizare Estimarea progresului implementrii n scopuri manageriale Evaluare Analiza rezultatelor i impactului la nivel de destinatar 13 Monitorizarea tehnici i metodologie 14 Evoluia tehnicilor de monitorizare
Impact Rezultat Produse (output) Activiti de implementare a Programului Intrri (resurse) - umane - materiale 1. Sistemul Monitorizare i Evaluare (M&E) bazat pe ieiri (output) Sistem M&E classic sau de implementare Se concentreaz pe PRODUSEE proiectului (OUTPUTS) Rspunde la ntrebri de genul aceasta a fost realizat Au fost mobilizate intrrile (input)? Au fost obinute produsele (output) scontate? Au fost ntreprinse i finalizate activitile stabilite?
15 Evoluia tehnicilor de monitorizare
Impact Rezultat Produse (output) Activiti de implementare ale programului Intrri (resurse) - umane - materiale 2. Sistem M&E bazat pe rezultate Se concentreaz pe REZULTATELE proiectului Furnizeaz factorilor de decizie informaii referitoare la reuita sau eecul proiectului Produsele au fost obinute. Ce reprezint acest fapt? Ajut la identificarea rspunsurilor urmtoarelor ntrebri Care este scopul programului? A fost realizat acest scop? Cum poate fi ilustrat realizarea scopului?
16 Procesul de monitorizare Pregtirea Realizarea monitorizrii Utilizarea rezultatelor Diseminarea rezultatelor Utilizarea rezultatelor Planificarea Colectarea informaiilor Sistematizarea i analiza Proiect de raport Consultri i revizuire Finalizare(elaborarea raportului) Pregtirea raportului de performan 17 Cine va monitoriza? Lider (APC/ Program interministerial) Coordonator monitorizare Monitor principal (n cadrul APC avnd n subordonare instituii bugetare care particip la implementarea programului/ sub- programului) Monitor (Manager program) Monitor (Manager program) Monitor (Manager program) Monitor (Manager program) APC=Autoritate Public Central 18 Ce va fi monitorizat? Indicatori de performan selectai cu precizie cheia succesului pentru monitorizarea performanelor Urmeaz a fi realizat n strns dependen cu definirea adecvat a scopului i obiectivelor Indicatorii se stabilesc pentru toate nivelele: produse (output), rezultate i de asemenea eficien
19 Ce va fi monitorizat? Indicatori de produse (output) o sarcin relativ uoar (msurarea tradiional a serviciilor realizate) Indicatorii de rezultate trebuie s rspund la ntrebrile: Cum vor fi percepute succesele sau realizrile? Suntem n direcia realizrii rezultatelor scontate? 20 Domeniul de aplicare a monitorizrii Estimarea eficacitii generale Modul n care aciunile ntreprinse (spre exemplu: activitile) au fost eficiente n raport cu realizarea obiectivelor Compararea valorilor reale cu valorile planificate a indicatorilor de performan Compararea rezultatelor obinute cu cele planificate Formularea propunerilor i luarea deciziilor n vederea soluionrii problemelor identificate 21 Ilustrai toate datele oficiale disponibile aferente subiectului programului (nvmnt public, nvmnt liceal i gimnazial) Date statistice cantitative Analize calitative Afiai seriile cronologice ( dinamica) Identificai tendinele, modificri de tendine ncercai s explicai contextul, relaia i interdependenele Identificai problemele de baz i cauzele Formulai recomandri i soluii
Regula nr. 2 ncepei cu analiza situaiei 22 Regula nr.1 Considerai indicatorii de monitorizare de la bun nceput Aciunile persoanelor interesate beneficiarilor sau celor ce particip n procesul activitilor Studenii, profesorii, prinii, managerii nvmntului gimnazial i liceal Sentimentul proprietii este la fel important ntrebri n identificarea corespunztoare a beneficiarilor Cine sunt participanii de baz implicai n program? Cum pot fi ele clasificate? (spre ex.: ONG-uri, grupuri de interes) Convocarea beneficiarilor, prezentarea rezultatelor analizei situaiei Elaborarea unei liste a problemelor i necesitilor informaionale ale beneficiarilor Metode: brainstorming, interviuri structurate, chestionare Metode avansate: Vizualizare, Arborele problemei
Regula nr. 3 Colaborai cu diverse pri implicate, considerai necesitile acestora de informaii 23 Responsabilitatea final de proiect i revine managerului de program. Programul nu trebuie vzut prin prisma listei de dorine a persoanelor interesate, ci trebuie s contribuie la creterea calitii servicilor Sortarea i tergerea informaiilor, evitarea duplicitii datelor Reformularea preocuprilor identificate de ctre persoanele interesate n afirmaii poteniale de mbuntire a rezultatelor Permite identificarea a priori a direciei i destinaiei Afirmaiile pozitive ajut la obinerea consensului politic, a unei mai mari legitimiti Fiecare afirmaie trebuie s se refere la un singur rezultat, acest fapt fiind crucial n stabilirea indicatorilor Folosete doar problemele existente, nu eventuale, imaginare sau viitoare Regula nr. 4 Operai cu informaia furnizat de prile implicate 24 Ipotezele logice sunt foarte importante IMPACT REZULTATE IPOTEZE* produse (OUTPUT)
APOI IPOTEZE* ACTIVITI
DAC IPOTEZE*
I Etapa I: Etapa III: Etapa II: 25 Regula nr. 5. Utilizai matricea logic pentru monitorizarea indicatorilor Reinei! Scopul monitorizrii rezid de asemenea n efectuarea corectrilor n activiti i posibile obiective, indicatori, atunci cnd sunt depistate ca fiind greit setate. Cu toate acestea, scopul trebuie s rmn valabil i neschimbat pe tot parcursul implementrii programului/ sub-programului Deplasarea necesitilor informaionale n ierarhia obiectivelor Avei activiti planificate a fi realizate la termen i n cadrul bugetului? Ce activiti neplanificate au fost realizate? Activiti Care produse sau servicii directe i tangibile au fost furnizate n cadrul proiectului ca rezultat al activitilor realizate? Produse (output) Ce modificri au rezultat n urma produselor (output) i n ce msur pot acestea contribui la realizarea scopului i obiectivelor proiectului? Cum poate fi ilustrat calitatea implementrii proiectului? Rezultate n ce msur proiectul a contribuit la realizarea scopului pe termen lung? Argumentai. Ce consecine neplanificate pozitive i negative le-a avut proiectul? De ce au aprut acestea? Impact (utilizat n evaluare) 26 n decizia cu privire la informaia ce urmeaz a i monitorizat i evaluat, inei cont de: Includei informaie operaional suficient pentru a stabili dac resursele sunt utilizate optimal i calitatea operaiunilor este bun Planificarea i urmrirea activitilor Management financiar Gestiunea echipamentului Managementul resurselor umane Managementul contractelor Identificai informaia care s explice progresul Identificai impacturile involuntare pozitive i negative n vederea ntreprinderii aciunilor de ajustare necesare
27 Planificarea aspectelor eseniale ale procesului de colectare a datelor
Elementele eseniale ale planului de regul includ: Definiii detaliate pentru fiecare indicator, Sursa i metoda de colectare a datelor, Frecvena i graficul colectrii de date, Identificarea celor responsabili pentru colectarea, analiza i raportarea datelor.
28 Metode de colectare a datelor Recensminte i sondaje, Statistici naionale Studii elaborate de partenerii de dezvoltare Chestionare Interviuri Examinare documentar
Pot fi surse interne si externe
29 Cum gestionm problema deficitului de informaii? Cutai indicatori de alternativ (atunci cnd datele nu sunt disponibile sau au un cost mult prea mare) Spre ex.: msurarea reducerii bunstrii prin prisma numrului bunurilor de lux (automobile, iphone) Indicatorii furnizai de organizaii internaionale reprezint o soluie n acest sens Obiective PNUD de dezvoltare uman durabil (WDI); Indicele de stabilitate financiar al FMI Indicele de democraie al Freedomhouse Indicele Corupiei al Transparency International Indicele democraiei al Economic Intelligence Unit Indicele competitivitii globale al Forumului Economic Global, Indicatori de dezvoltare rural Handbook, etc.
30 Raportul de monitorizare (de performan) 31
Msurarea Performanei Programelor Guvernului A defini A msura A raporta 32
Rapoartele de performan trebuie s le ofere managerilor de program o privire de ansamblu coerent privind statutul actual de implementare a programului i s-i ghideze n activitile de evaluare a programului
Sistemul de raportare trebuie s ilustreze ateptrile, rezultatele de facto i s explice diferena dintre acestea
Managerii de program au nevoie de informaii detaliate privind situaia iniial, situaia final, rezultate i eficacitate
Raportarea 33 Caracteristicile unui raport de performan Descrie structura, scopul i obiectivele programului. Prezint tendinele perioadelor anterioare. Prezint o varietate de indicatori-cheie de performan pentru fiecare obiectiv major. Face o comparaie ntre obiectivele stabilite i rezultatele de facto. Scoate n eviden divergenele. Explic ntr-o form narativ cauzele acestor divergene. Prezint msurile de ameliorare sau rectificare ce urmeaz a fi ntreprinse. 2011 2010 2009 2012 2013 2014 2008 34 Informaia narativ-explicativ furnizat mpreun cu rapoartele de performan
face o comparaie dintre perfomana atins, pe de o parte i obiectivele stabilite, cheltuielile suportate, pe de alt parte
explic cauzele divergenelor, factorii care afecteaz divergenele (inclusiv modificrile limitelor de alocare) i lacunele privind calitatea datelor. propune msuri de ameliorare prezint eventualele obstacole n calea spre ameliorare
35 Unele aspecte care necesit atenie n cadrul raportului de performan Ce informaii contextuale contribuie la nelegerea datelor? Datele sunt clare? Informaia prezentat n raport este clar? Informaia coninut n raport este prezentat conform principiului comparativ? Informaia coninut n raport este suficient pentru ca cititorul s poat nelege urmtoarele aspecte: contextul mai larg, n care se ncadreaz activitile programului, inclusiv acei factori care influeneaz situaia iniial, situaia final, rezultatele; nivelul performanei atinse i factorii care au influenat performana dat; aciunile ntreprinse n urma informaiei raportate, ndeosebi n cazul n care s-a nregistrat n mod neateptat o performan nalt sau sczut? 36
Rapoartele de performan sunt ntocmite:
Semianual focusat pe indicatorii de produs si de eficien Anual accent pe indicatorii de rezultat
PERIOADELE DE RAPORTARE 37 Program 6 Drumuri Subprogram 6.2 Reconstrucia drumurilor Scop: Asigurarea practicabilitii drumurilor i stabilizarea condiiei tehnice a acestora Exemplu: Raportul de monitorizare a performanei pe termen mediu pentru administraia regional, Bratislava, 30 iunie 2011 38 Responsabili de raportare Coordonarea rapoartelor de performan legate de program sau subprogram - managerul de program Colectarea i analiza datelor primare observatori n cadrul instituiilor bugetare Rapoarte semi-anuale i anuale de performan - coordonator de monitorizare la ministerele de resort Examinarea rapoartelor pentru a se asigura c resursele alocate au fost utilizate eficient - Ministerul Finanelor