EVALUARE1

Cuprins: Introducere:....................................................................................................................2 Principiile evalurii.........................................................................................................2 Metode de analiza (a politicilor publice).........................................................................3 Metode de evaluare i analiz .......................................................................................9 Analiza cost-beneficiu...................................................................................................13 Analiza cost eficacitate..............................................................................................17 Metode de evaluare (a politicilor publice):...................................................................18 Indicatori de monitorizare i evaluare:.........................................................................20 Evaluarea politicilor publice: definirea problemei, colectarea de date elaborarea i analiza opiunilor.......................................................................................................... 20 Identificarea clienilor, publicului i factorilor interesai ai evalurii.............................23 Definirea ntrebrilor de evaluare.................................................................................24 Planificarea evalurii....................................................................................................28 Selecia metodelor de colectare i analiza a datelor....................................................29 Metode calitative de testare a datelor..........................................................................33 Formatul pentru constatrile evalurilor i analiza a datelor.......................................34 Implementarea constatrilor de evaluare.....................................................................40 Bibliografie:.................................................................................................................. 43

Realizarea prezentul material are la baza documente publice elaborate de Uniti de Politici Publice din ministere si alte instituii publice. Principala sursa de documentare este Secretariatul general al Guvernului, respectiv documentele publicate la adresa http://www.sgg.ro/index.php? politici_publice_documente. Autorul nu i asuma originalitatea textului si a metodelor prezentate ci doar aranjarea acestora in funcie de specificaiile menionate

Introducere: Evaluarea i monitorizarea politicilor publice reprezint activiti care se desfoar n timpul i dup implementarea politicilor publice, urmrindu-se stabilirea gradului de realizare a obiectivelor politicii publice. Criteriile de evaluare a unei politici publice vizeaz: a) msura n care rezultatele implementrii politicilor publice corespund cu cele stabilite n etapa de formulare a politicilor publice; b) raportul dintre costurile obinerii rezultatelor i cele preconizate n etapa de formulare a politicilor publice i precizate n strategia de implementare; c) respectarea coninutului activitilor i a termenelor stabilite n planul de aciune. Activitatea de evaluare utilizeaz informaiile prezentate n etapa de monitorizare i are ca scop formularea unor concluzii finale cu privire la rezultatele politicii publice implementate . metodologia de monitorizare i evaluare const ntr-o serie de instrumente i metode a cror aplicare furnizeaz date cu privire la modul n care o anumit politic public a fost implementat. Activitatea de evaluare se realizeaz periodic, la termenele precizate n propunerea de politici publice, i se finalizeaz prin elaborarea unui raport. Metodologia de monitorizare (Exemple de indicatori): - indicatori administrativi - prezint aciunea guvernamental din punct de vedere administrativ i managerial i redau capacitatea de planificare eficient, capacitatea de a respecta termene limit, capacitatea de a utiliza raional resursele pentru atingerea obiectivelor stabilite etc.; - indicatori de performan - pot fi economici, politici i sociali, ecologici ai dezvoltrii umane etc. i sunt urmrii pentru a evalua impactul efectiv al politicilor publice. De exemplu, pentru evaluarea succesului unei politici de dezvoltare a turismului, indicatorii ar putea fi: numrul sosirilor n unitile de cazare, numrul nnoptrilor n unitile de cazare sau indicele de utilizare net a locurilor de cazare. n funcie de sectoare, pot fi utilizai indicatori specifici. Principiile evalurii Pentru ca evaluarea impactului politicilor publice s aib o pondere important n procesul decizional i pentru a mpiedica utilizarea ineficient a resurselor umane i financiare, se impune introducerea unor reglementri care s conin proceduri utile pentru aceast evaluare. Modelele de evaluare a impactului politicilor publice difer de la o ar la alta i din acest motiv nu exist o variant ideal. Evaluarea impactului politicii publice trebuie s fie: 1. Oportun. Evaluarea impactului trebuie s nceap n faza iniial a procesului de formulare a politicii publice pentru a obine rezultate la timp i pentru a influena deciziile nainte ca acestea s fie adoptate. 2. Proporional. Resursele investite n evaluarea politicilor publice trebuie s corespund avantajelor obinute ca urmare a implementrii reuite a acestora. 3. Sistematic. Evalurile prealabile sunt punctul de pornire esenial pentru fiecare nou evaluare de impact. n anumite cazuri, cea mai mare parte a datelor necesare cu privire la anumite cazuri pot proveni din statistici, rapoarte realizate de ali analiti sau din alte surse de informaii. 4. Cuprinztoare. Analiza impactului politicii publice trebuie s acopere nu doar domeniul sau industria direct influenat de politic, ci trebuie s ia n calcul orice posibil impact pe termen lung i scurt al fiecrui element al politicii publice.

5. Cat se poate de precis. Analiza de impact, innd cont de constrngerile bugetare, trebuie s valorifice la maximum datele cantitative i metodele de evaluare corespunztoare pentru a asigura obiectivitate i comparabilitate. 6. Consultativ. O evaluare de impact fiabil nu trebuie realizat n spatele uilor nchise. Procesele trebuie s aib la baz informaii obinute prin sondaje i consultri cu experi i cu toi partenerii implicai n procesul de implementare a politicii. Acest lucru asigur o bun colectare a datelor, verificarea corectitudinii concluziilor, precum i obinerea unor informaii suplimentare cu privire la aciunile necesare pe durata procesului de implementare a politicii. 7. Transparent. Factorii decizionali i partenerii implicai n procesul de implementare nu doresc formularea unor concluzii n baza unor informaii insuficiente; ei doresc s neleag ntreg procesul de formulare i s beneficieze de opiuni bine argumentate n vederea stabilirii unei soluii. n acest scop, evaluarea impactului politicii publice trebuie elaborat ntr-o manier clar i cuprinztoare i trebuie n acelai timp s furnizeze partenerilor care nu sunt specialiti n domeniu informaii cu privire la posibilele soluii. O parte esenial a evalurii impactului politicii publice este identificarea i explicarea clar a ipotezelor pe care se bazeaz evaluarea, inclusiv a argumentelor n favoarea utilizrii acestor ipoteze. 8. Realist. Evaluarea impactului politicilor publice permite evitarea finanrii nejustificat sau a unui calendar nerealist. Metode de analiza (a politicilor publice) Diferenierea ntre metodele de cercetare (calitative i cantitative) provine din abordarea tiinific tradiional care const n a opune dou curente generale. Cercetarea calitativ se centreaz pe indivizi i cazuri individuale, pe experiene, percepii i valori personale, n vreme ce cercetarea cantitativ se bazeaz pe dezvoltarea unor metodologii bine documentate, care au la baz eantionarea reprezentativ, reflecia matematic, modelarea msurabil a proceselor, atribuirea unei valori monetare i folosirea regulilor mai mult sau mai puin stricte ale tiinelor exacte. De regul, metodele calitative se aplic mai ales n fazele preliminare de analiz a politicii, n care sunt analizate problemele i sunt identificate alternativele i soluiile. Acestea se pot folosi ns i n etapa final de interpretare a datelor i de formulare a recomandrilor. Tabelul urmtor prezint o imagine de ansamblu a celor mai rspndite metode de analiz. Etapa din cadrul Metode calitative procesului de politici Analiza situaiei/ Brainstorming Informaii asupra Focus grupuri situaiei curente Interviuri Metode folosite de experi Analiz de text Analiz de documente Analiza legislaiei Studii biografice, poveti de via Studii de caz Definirea problemelor Analiza SWOT Arborele problemei Diagrama os de pete (fishbone ) Analiza problemelor, Arborele problemei definirea cauzelor Diagrama os de pete Definirea obiectivelor Arborele obiectivelor Metode cantitative Sondaje pentru colectarea de date primare Analiz statistic Cercetare reprezentativ Analiza datelor secundare

Analiza datelor secundare

Analiz statistic Corelare, regresie

Identificarea alternativelor

Selecia alternativelor Modelarea alternativelor

Brainstorming Metode folosite de experi Analogie Benchmarking cele mai bune practici Investigare rapid Analiz SWOT Analiz multicriterial Planificarea pe baz de scenarii Analogia Metoda Delphi Analiz SWOT Analiz multicriterial Sistematizare lexicografic Alternative nedominante Metoda matriceal Metoda Delphi Pilotarea

Evaluarea alternativelor

Planificarea pe baz de scenarii Simulare Extrapolare, corelare, regresie Analiza cost-beneficiu Disponibilitatea de a plti Metoda hedonic Analiza cost-eficacitate Analiza riscurilor Analiza senzitivitii Analiza rentabilitii Cercetarea reprezentativ

Planificarea Implementrii Monitorizarea evaluarea

Metoda Gantt Analiza drumului critic Tabel de scoruri ponderate i Tabel de scoruri ponderate Analiza statistic Focus grupuri Analiza datelor secundare Interviuri Cercetarea reprezentativ Metodele folosite de experi Analiza de text Analiza documentelor Analiza legislativ Studii de caz Analiza datelor secundare

Metode calitative de analiz a problemelor Interviul Interviul este una dintre metodele tradiionale din domeniul tiinelor sociale folosite la strngerea informaiilor iniiale pentru analiza situaiei, precum i la evaluarea programelor i politicilor publice. Principalele tipuri de interviuri sunt: interviul de tip conversaie i interviul bazat pe ghid (interviul structurat). Diferena ntre aceste tipuri provine din nivelul de formalizare a chestionarului, precum i din metodele folosite pentru analizarea datelor. Cu excepia cazului n care scopul interviului este acela de a decide frecvena cu care revine o anumit prere, interviul poate fi folosit pe post de instrument de colectare a datelor pentru cercetarea cantitativ. Interviul este un instrument de analiz ct se poate de util pentru identificarea problemelor, soluiilor sau evaluarea implementrii. Valoarea interviurilor informale rezid n posibilitatea de a surprinde problemele n contextul practic larg i, n acelai timp, n posibilitatea de a strnge informaii cu privire la soluiile practice care au fost deja identificate la nivelul mai multor instituii. Este unul dintre cele mai bune instrumente pentru a strnge prerile oficialilor importani, principalelor instituii, partenerilor sociali i grupurilor int n vederea crerii unei imagini de ansamblu asupra domeniului de politici publice, precum i pentru a obine o prim list a problemelor ce trebuie remediate prin formularea politicii publice. Intervievarea principalelor instituii, partenerilor sociali i grupurilor int este o metod folosit la scar larg pentru a evalua programele i proiectele finanate de organizaii internaionale.

Interviurile sunt folosite de obicei n etapa iniial de concepere a politicii publice, atunci cnd nu exist informaii cu privire la problemele relevante, ceea ce face imposibil un sondaj de opinie. Interviurile semi-structurate, bazate pe ghid, se folosesc n fazele ulterioare, atunci cnd sunt necesare informaii standardizate i cnd este posibil o eantionare reprezentativ. Principalele etape ale interviurilor sunt: 1. Selectarea persoanelor ce urmeaz a fi intervievate (reprezentanii principalelor instituii, partenerilor sociali i grupurilor int, efii instituiilor responsabile, specialitii cei mai cunoscui n domeniu, principalii iniiatori de politici din domeniu, etc.). Cantitatea nu este neaprat un criteriu; n principiu sunt suficiente 20 60 interviuri pentru a explora aria problemei. 2. Ghidul de interviu sau lista cu principalele ntrebri trebuie pregtit. n cazul interviurilor informale, lista cu ntrebri nu se consider a fi obligatorie. Uneori este mai fructuoas o discuie liber pe marginea subiectului. De la un interviu la altul se pot aduga ntrebri, iar lista de ntrebri se poate modifica pe durata procesului de intervievare. Interviurile calitative ar putea fi effectuate chiar de ctre cei care se ocup de formularea politicii publice. Din acest motiv, ar putea fi prevzut organizarea de cursuri de pregtire n legtur cu modul de realizare i conducere a unui interviu (prezentarea interviului, principia de comunicare, prezentarea scopului interviului etc.). n acest caz, valoarea adugat o reprezint profesionalismul discuiilor, lucru care uneori nu poate fi asigurat de ctre un specialist contractat. 3. Trebuie luate notie n timpul interviului sau acesta trebuie nregistrat audio sau video. Ulterior, interviul trebuie transcris. 4. Trebuie respectate o serie de reguli simple: o scurt prezentare introductiv a interviului, stabilirea principiilor de comunicare, prezentarea scopului interviului. Dac este necesar, se recomand ca o prim transcriere a interviului s fie oferit persoanei intervievate pentru a verifica reflectarea corect a opiniilor formulate n cursul interviului; se recomand de asemenea, trimiterea unui email sau a unei scrisori de mulumire ulterior. Interviul poate fi considerat una dintre etapele ce trebuie parcurse pentru a crea o reea de specialiti i persoane implicate n domeniul respectiv de politici publice, ntruct cooperarea i contribuia acestora ar putea fi necesar pe toat durata etapelor urmtoare de analiz a politicii. 5. Analiza rezultatelor. Toate opiniile exprimate n interviuri trebuie rezumate i comparate. Toate opiniile comune i divergente sunt definite i inventariate. Raportul final trebuie s cuprind o list a persoanelor intervievate (n cazul n care interviul nu a fost anonim), lista problemelor identificate n urma interviurilor, precum i lista recomandrilor exprimate n interviuri care in de aria problemei n cauz. Clasificarea informaiilor se poate face sub forma unui tabel care s surprind principalele mesaje din interviuri, grupate n funcie de problemele generale pe care le abordeaz politica public. Brainstorming Brainstormingul este una dintre cele mai vechi metode folosite pentru identificarea i analizarea problemelor i pentru identificarea posibilelor soluii. Brainstormingul, ca tehnic special, a fost definit de ctre Alex F. Osborn14 ncepnd cu anii 1930 i poate fi considerat a fi una dintre cele mai populare metode de generare de idei. n practica de fiecare zi, toate discuiile care au loc ntre specialiti sau personalul unui department din cadrul unui minister pot fi considerate un gen de brainstorming. Totui, tehnica de brainstorming este una mai formal i presupune cteva etape i principii care asigur eficiena sesiunilor de brainstorming. Principalele etape ale organizrii brainstorming-ului: 1. Analiza factorilor implicai sau analiza clienilor. Este o etap necesar la nceputul fiecrui proces de analiz a politicilor. nainte de a organiza sesiunile de brainstorming, trebuie realizat o list cu toi cei implicai, verificat dac aceast list este complet i analizat modul de a stimula participarea activ a acestora la sesiunea de brainstorming. Una dintre precondiiile eseniale pentru a asigura o activitate de grup eficient este o bun selecie a participanilor.

2. Planificarea procesului de brainstorming. Mai nti trebuie stabilit numrul sesiunilor de brainstorming i problemele ce vor fi discutate n timpul acestora. 3. Productivitatea discuiei depinde de numrul de participani. Se sugereaz ca numrul de participani la sesiunile de brainstorming s nu fie mai mare de 12, datorit inter-relaiilor ce pot aprea n cadrul grupului. 4. Sarcinile sesiunii de brainstorming trebuie clar stabilite i explicate participanilor la nceputul sesiunii; de asemenea, este nevoie ca principalele informaiile de baz s fie prezentate n detaliu i integral. 5. Se recomand participarea unui facilitator neutru i profesionist pentru a evita orice fel de implicare subiectiv ce ar putea aprea n cazul unui important specialist sau analist de politici publice, care ar putea avea deja o anumit imagine cu privire la respectiva problem. 6. Criticile nu se accept n cadrul sesiunilor de brainstorming. Scopul acestor sesiuni este de a strnge ct mai multe idei noi cu putin, ideile prezentate de participani nu trebuie s fie nici analizate i nici judecate, acestea se colecteaz pur i simplu, iar analiza se face ulterior. 7. Trebuie stabilit o procedur de stimulare a implicrii active a tuturor participanilor, pentru a ncuraja toi membrii grupului s i exprime ideile. Liderul sesiunii i poate invita pe participani s ia cuvntul pe rnd sau i poate invita s scrie pe o bucat de hrtie 3-5 idei principale i apoi s prezinte aceste idei n faa grupului. 8. Discuia comun axat pe ideile propuse este important, deoarece pe durata discuiei pot aprea i alte propuneri, iar participanii trebuie rugai s se concentreze pe modul n care pot fi mbuntite ideile propuse spre discuie. 9. Sesiunile trebuie s fie scurte, s nu depeasc 45 minute. Se pot organiza sesiuni de feedback la distan de 2-3 zile, cci uneori propunerile fcute n cadrul sesiunii pot fi mbuntite chiar ctre participani dup ce acetia au mai reflectat la subiectele discutate. 10. Toate rezultatele sesiunii sunt colectate i sintetizate pentru a fi ulterior analizate. Participanii trebuie informai cu privire la rezultatele sesiunii. O alt variant de brainstorming este brainstormingul n scris: pentru a putea implica mai multe persoane brainstormingul poate fi organizat prin e-mail. Totui, forma clasic a brainstormingului este folosit mai des, deoarece comunicarea direct din timpul sesiunii este unul dintre factorii care faciliteaz generarea de idei. Focus grupuri Focus grupurile presupun un numr mai mare de participani, care provin dintr-un grup cu trsturi principale similare (de exemplu, reprezentanii IMM-urilor, prini, reprezentanii minoritilor naionale etc.). Focus grupurile sunt organizate pentru discuii detaliate cu reprezentanii principalelor instituii, partenerilor sociali i grupurilor int vizai de politica respectiv. Acestea se dovedesc eficiente n cazurile n care politica public respectiv depinde de nelegere, percepii sau motivaii, precum i n cazurile n care politica public genereaz controverse i divergene de opinii. Metoda focus grupurilor a aprut iniial n domeniul marketingului, n scopul de analiza impactul strategiilor de marketing. Evident, discuiile din cadrul focus grupurilor trebuie s fie conduse de ctre un facilitator neutru. n continuare sunt prezentate principalele etape ale focus grupurilor2: 1. Selecia participanilor, stabilirea numrului de sesiuni, categorii de focus grupuri (separate sau mixte). Evident, edinele separate sunt organizate pentru grupurile omogene de participani (de exemplu, o sesiune pentru prini, una pentru profesori, una pentru elevi). Numrul participanilor variaz de la 6 la 10. De obicei, participanii nu se cunosc ntre ei. 2. Ghidul de interviu nu trebuie s aib mai mult de 4 6 ntrebri. Discuia nu trebuie s dureze mai mult de 1,5 2 ore. Subiectele de discuie trebuie s fie stabilite cu mare grij. n cazul n care sunt mai multe grupuri, este nevoie s fie elaborat cte un ghid pentru fiecare dintre acestea.

Evaluating socio-economic programs. Principal evaluation techniques and tools. Volumul 3. Comisia European. 1999, p. 69.

3. Pentru soluionarea detaliilor tehnice de preferat discuia ar trebui s fie nregistrat, iar dac acest lucru nu este posibil trebuie s existe o persoan care s ia notie exacte pe marginea discuiei. 4. Participanilor li se va prezenta subiectul, iar discuia ar trebui s nceap cu anumite probleme, de ordin general, nainte de a trece la detalii. 5. Informaiile obinute n urma focus grupurilor trebuie s fie prezentate n rezumat n analiza final i n raport, fiind identificate prerile comune ct i cele divergente, importana aspectelor evaluate de diferite grupuri. Raportul va conine unele dintre cele mai des ntlnite i mai demne de remarcat afirmaii din cadrul discuiei i al concluziilor. Studiul de caz Studiul de caz16 reprezint o metod folosit la analizarea diferitelor tendine folosind reprezentarea individual. Studiul de caz poate fi folosit pentru a descrie un domeniu; sunt utilizate un exemplu sau dou pentru a analiza o situaie. Studiile de caz se aplic la scar larg, ncepnd cu analizarea unei probleme i ncheind cu evaluarea ex-post a programelor i proiectelor (vezi capitolul III, seciunea 2). Studiul de caz are ca scop analiza i comunicarea. Din acest motiv, acesta se poate folosi ca parte introductiv la sesiunile de brainstorming pentru definirea problemei. De asemenea, n acele situaii n care nu exist suficient timp pentru colectarea datelor i sondaje, studiul de caz reprezint un instrument eficient pentru a identifica anumite detalii cu privire la problemele din domeniul n cauz. De exemplu, atunci cnd este conceput o politic de optimizare a serviciilor publice, se recomand experiena direct i parcurgerea n calitate de beneficiar a tuturor etapelor necesare pentru obinerea serviciului respectiv (spre exemplu: nmatricularea mainii, obinerea actelor pentru locuin, obinerea ajutorului social etc.). n urma acestei experiene, se va realiza un grafic n care s se reprezinte clar obstacolele care apar pe durata procedurii respective, precum i problemele ce trebuie rezolvate. Studiul de caz este una dintre metodele cel mai puin standardizate, ns principalele etape ale acesteia pot fi descrise astfel: 1. Selectarea cazului. Criteriile de selecie ar putea fi: - Scopul studiului (cazuri contrastante folosite pentru anchetarea unor extreme sau a unor cauze specifice pentru tendina general); - Reprezentativitatea cazului ca exemplu al unui anumit grup de fenomene; 2. Colectarea datelor. Toate sursele de date ar putea fi folosite pentru informaii, inclusiv interviuri, analiza documentelor, sondaje etc. 3. Descrierea cazului. Rezultatele studiului de caz sunt prezentate sub form de naraiune. Raportul final cu privire la studiul de caz conine o analiz a celor mai importani factori care influeneaz procesul, comparaia ntre diferitele cazuri, modelul conceptual care descrie cele mai importante elemente care rezult n urma analizei cazurilor. Se recomand, de asemenea, ca materialele despre cazuri care ilustreaz eecuri s fie anonime. Analiza SWOT Una dintre cele mai rspndite metode de evaluare calitativ folosit la identificarea argumentelor pro i contra, a impactului mediului extern, precum i a factorilor de risc este analiza SWOT denumirea este acronimul n limba englez pentru Strengths (Puncte Forte), Weaknesses (Puncte Slabe), Opportunities (Oportuniti) i Threats (Ameninri). Este o tehnic simpl i apreciat care a fost creat n domeniul marketingului i al planificrii strategice n afaceri, ns care poate fi folosit i pentru elaborarea sau modificarea politicilor publice, evaluarea alternativelor i procesul decizional. n mod evident, analiza SWOT se realizeaz prin sesiuni de brainstorming la care particip toi reprezentanii principalelor instituii, partenerilor sociali i grupurilor int vizai. Sesiunile speciale de brainstorming se organizeaz pentru a se evalua fiecare seciune a analizei SWOT, iar rezultatele analizei sunt prezentate n matricea SWOT. Factori care contribuie la atingerea obiectivelor Factori care ntrzie atingerea obiectivelor

Factori mediu intern Factori mediu extern

Puncte forte Oportuniti

Puncte slabe Ameninri

Principalele etape ale analizei SWOT sunt3: 1. Stabilirea ariei i a obiectivelor analizei SWOT. Scopul pe care l urmrete o analiz SWOT poate fi unul larg sau restrns, general sau specific. 2. Selectarea participanilor la grupul SWOT. La fel ca i n cazul metodei participative, este important ca din grup s fac parte reprezentanii principalelor instituii, partenerilor sociali i grupurilor int. n aceast faz ar putea fi util o analiz preliminar a clienilor. Regulile pentru discuiile SWOT sunt aceleai ca pentru sesiunile de brainstorming. 3. Pregtirea informaiilor eseniale. Pregtirea informaiilor eseniale este o etap vital pentru asigurarea eficienei analizei ulterioare. Informaiile trebuie pregtite de ctre ministerul sau instituiile responsabile i distribuite participanilor la analiza SWOT nainte de edin. La nceputul sesiunii pot fi sintetizate informaiile legate de situaia curent sau de politica public. 4. Crearea unui mediu favorabil pentru seminar Conductorul discuiei/ facilitatorul deine un rol esenial i trebuie s aloce timp pentru discuii libere. Prezena unui panou alb sau a unui flipchart, precum i a unor plane de hrtie n patru culori pentru fiecare dintre seciunile SWOT se poate dovedi foarte util. Pentru discuii nu este nevoie de foarte mult timp. Pentru fiecare dintre seciuni este suficient o jumtate de or. Pot fi formate grupuri separate pentru fiecare seciune sau acelai grup poate realiza ntreaga analiz SWOT n sesiuni diferite. Participanilor li se poate cere s scrie pe buci de hrtie colorat sugestiile pe care le au pentru evaluri. De obicei se folosesc culori diferite pentru fiecare dintre seciunile SWOT. Folosirea culorilor permite o sintetizare mai uoar a informaiilor. O alt modalitate este ca toate propunerile s fie discutate n timpul unei mese rotunde i transcrise pe flipchart. 5. Enumerarea punctelor forte (Strengths) Punctele forte pot avea legtur cu domeniul politicii publice, reformele precedente, resursele umane, etc. Iat cteva exemple de ntrebri cheie4: Ce merge bine n domeniul dumneavoastr? Care este succesul activitilor precedente? Dup prerea clienilor, care sunt punctele dumneavoastr forte? 6. Enumerarea punctele slabe (Weaknesses) Aceast sesiune nu trebuie s reprezinte o ocazie pentru participani de a se axa pe aspectele negative, ci trebuie s fie o evaluare onest a situaiei aa cum se prezint ea. Iat cteva exemple de ntrebri cheie: Ce ai putea ameliora? Ce ai putea evita? Dup prerea clienilor, care sunt punctele dumneavoastr slabe? Ce obstacole ar putea sta n calea progresului? Care sunt elementele care ar trebui consolidate? Exist cu adevrat o verig slab n lan? 7. Enumerarea oportunitilor (Opportunities) n aceast seciune sunt analizai factorii externi care influeneaz problema, politica sau organizaia care fac obiectul analizei este vorba de factorii socio-economici, de mediu, demografici, politici i alii. Sarcina este enumerarea factorilor externi pozitivi care pot facilita identificarea unei soluii la problema existent. 8. Enumerarea ameninrilor (Threats) La polul opus fa de oportuniti se afl acele elemente care pot deplasa accentual sau percepia sau care pot avea un impact negativ. n aceast seciune sunt enumerai factorii externi negativi. 9. Analiza rezultatelor
3 4

http://www.tutor2u.net/business/strategy/SWOT_analysis.htm exemple

Pe baza listelor compilate pentru toate seciunile, situaiile i ideile propuse trebuie grupate n funcie de obiectivele analizei. S-ar putea s fie nevoie ca participanii s aleag cele mai importante cinci idei incluse pe list pentru a obine o imagine de ansamblu clar. Analiza SWOT urmrete s identifice posibilele msuri ce ar putea reduce sau elimina problemele i punctele slabe, reducnd la minim ameninrile i maximiznd oportunitile. Alternativele posibile sunt plasate pe cele dou axe (vezi figura de mai jos):

Puncte forte

Ameninri Puncte slabe

Oportunit i

Prezentarea soluiilor alternative dup analiza SWOT Alternativele trecute n rubrica dintre Puncte forte i Oportuniti sunt considerate a fi cele mai fezabile. Aceast parte a analizei SWOT face deja referire la celelalte etape ale analizei politicii publice identificarea i evaluarea alternativelor. n sfrit, analiza trebuie prezentat tuturor participanilor la discuia final pe marginea rezultatelor. Metode de evaluare i analiz Matricea strategiilor SWOT Analiza SWOT poate fi folosit pentru stabilirea direciilor generale ale politicilor publice i pentru definirea alternativelor. n acest scop, se elaboreaz aa-numitele strategii SWOT pe baza matricei de analiz SWOT. Aceast abordare permite transpunerea informaiilor colectate prin analiza SWOT n formularea posibilelor aciuni viitoare. Principalele etape ale definirii strategiilor SWOT sunt urmtoarele: 1. Toate enunurile incluse n cele patru rubrici ale SWOT sunt sintetizate i prezentate spre a fi votate de ctre participanii la sesiunea de brainstorming. 2. Supunerea la vot a unei anumite formulri are loc n cadrul activitii grupului. Scopul acestei abordri este acela de a alege corect organizaiile i instituiile implicate i interesate de politica public i de a stabili cteva reguli pentru procedura de votare. 3. Fiecrui participant i se aloc un numr fix de voturi (de exemplu, nu mai mult de 3 voturi pentru fiecare rubric a SWOT). Voturile pot fi acordate participanilor sub forma unor beioare colorate, corelate cu votarea anumitor afirmaii din fiecare rubric a SWOT. 4. Punctele forte, punctele slabe, oportunitile i ameninrile definite sunt ordonate n funcie de rezultatele votului, ncepnd de la cele care au primit cele mai multe voturi pn la cele care au primit cele mai puine voturi. 5. Punctele forte, punctele slabe, oportunitile i ameninrile sunt introduce n matricea SWOT, unde rndurile conin evaluri externe (oportuniti i

ameninri), iar coloanele conin evaluri interne (puncte forte i puncte slabe). (a se vedea figura de mai jos.)

6. Expresiile din coloane i rnduri sunt apoi grupate pe perechi i se formuleaz strategii n funcie de afirmaiile strategiei SWOT (a se vedea figura de mai jos):

Strategiile S-O vizeaz oportunitile care corespund cel mai bine punctelor forte alese. Strategiile W-O permit depirea punctelor slabe, pentru a urmri oportunitile. Strategiile S-T identific modaliti de exploatare a punctelor forte pentru a reduce vulnerabilitatea fa de ameninrile externe. Strategiile W-T stabilesc un plan de defensiv pentru a aborda ameninrile externe, lund n considerare punctele forte interne. 7. Enunurile incluse n strategiile SWOT sunt analizate, fr a se folosi metode i tehnici speciale i vor fi propuse doar ca strategii SWOT. Scopul enunurilor este acela de a facilita analiza i de a identifica noi aspect ale posibilelor aciuni ce vor fi ntreprinse n cadrul procesului politicilor publice. Metoda arborelui problemei Metoda arborelui problemei const n analizarea situaiei prin identificarea problemelor majore i a principalelor relaii cauzale dintre acestea. Rezultatul acestui exerciiu este o dispunere grafic a problemelor difereniate n funcie de cauze i efecte, alturi de problema central care reprezint nucleul. Aceast tehnic permite nelegerea contextului i a relaiilor dintre probleme, precum i posibilul impact generat de politicile sau programele vizate. Constituirea arborelui problemei const ntr-o aplicaie interactiv care presupune sesiuni de brainstorming n vederea identificrii problemelor i a relaiilor. Ar fi util ca la aceast aplicaie s participe reprezentani din partea ct mai multor instituii, parteneri sociali i grupuri int, astfel nct diagrama care rezult s fie o imagine negociat i mprtit a situaiei. O alt posibilitate este ca reprezentanii diferitelor instituii, parteneri sociali i grupuri int s elaboreze propriile diagrame, care s serveasc drept punct de pornire pentru discutarea diferitelor perspective.

Diagrama arborelui problemei In general, etapele construciei diagramei sunt urmtoarele: 1. Mai nti, o sesiune de brainstorming cu privire la toate problemele majore ale situaiei care face obiectul analizei. Problemele trebuie identificate cu atenie:

trebuie s fie probleme concrete, care exist deja i nu probleme posibile, imaginate sau viitoare. Problema reprezint o situaie negativ existent, i nu absena unei soluii. 2. Problemele care rezult din sesiunea de brainstorming trebuie trecute pe cartonae i afiate la un loc vizibil pentru toat lumea (pe un perete sau pe podea). Dup ce participanii sunt de acord c a fost identificat majoritatea problemelor importante, trebuie grupate enunurile negative care prezint asemnri sau legturi comune. Identificarea asemnrilor i a legturilor dintre afirmaii trebuie s permit identificarea unei probleme centrale (sau a mai multora). Odat ce participanii s-au pus de acord cu privire la problema central, problema trebuie scris clar pe o plan expus ntr-un loc vizibil pentru toi participanii. 3. ncurajarea participanilor s participe la sesiunea de brainstorming asupra cauzelor problemei centrale. Participanii trebuie ndemnai s prezinte principalele motive care stau la baza problemei centrale. Pentru a se evita situaia n care unii dintre participani domin discuia, trebuie distribuite trei pn la cinci cartonae nescrise fiecrei persoane i toi participanii trebuie rugai s noteze cte o idee pe fiecare cartona. Cartonaele sunt apoi artate i folosite ca baz de discuie pentru stabilirea ordinii prioritilor. Celelalte enunuri negative care au fost afiate de ctre membrii grupului trebuie de asemenea analizate. n ce mod au acestea legtur cu problema central? Unele pot fi cauze care genereaz problema central, iar altele efecte generate de problem. Aceste cartonae ce reprezint cauzele trebuie aezate sub problema central. 4. Identificarea relaiilor cauzale. Unele dintre problemele identificate pot fi problem cu caracter general, care ar putea fi clasificate ca i constrngeri de natur general de exemplu slaba guvernare sau lipsa siguranei publice. Exist anse foarte mari ca politica public propus s nu poat aborda direct toate aceste probleme, dei acestea afecteaz comunitatea. Aceste cartonae trebuie puse deoparte. Trebuie lmurite sau eliminate orice enunuri neclare. Cauzele i efectele trebuie aranjate i notate relaiile dintre ele. Nu trebuie uitat c elementele sunt legate ntre ele printr-o relaie de cauzalitate. Scopul urmrit este acela de a crea un parcurs al modului n care problemele se coreleaz i modul n care aceste probleme identificate se leag de problema central. De cele mai multe ori, membrii grupului vor observa c n realitate lucrurile sunt foarte complicate. Relaiile dintre cauze i efecte sunt de multe ori bidirecionale. Majoritatea problemelor nu au o progresie simpl, linear. Este important ca aceste interaciuni s fie identificate, ns este important ca discuiile s se axeze pe legturile cele mai importante. Dac diagrama devine prea complicat, nu se va dovedi un instrument util. Trebuie atins un echilibru: suficiente detalii pentru a asigura informaii utile, ns informaii suficient de simple pentru a putea identifica clar principalele legturi dintre probleme. 5. Odat ce cartonaele au fost aranjate astfel nct s indice cel mai bine legturile dintre probleme, participanii trebuie ntrebai dac lipsesc cauze importante. n egal msur, trebuie ntrebai dac lipsesc efecte importante ale problemei centrale; ele trebuie de asemenea adugate. 6. Diagrama trebuie apoi transcris pe o plan, folosind liniue i sgei pentru a arta legturile dintre cauze i efecte. Este de remarcat faptul c numrul problemelor centrale ar putea fi mai mare i c acest lucru depinde de anvergura politicii publice. Diagrama os de pete (fishbone) Diagrama os de pete (fishbone) este o metod de analiz de tip cauz-efect, care conine urmtoarele etape: Identificarea problemei: Scriei n detaliu care este problema cu care v confruntai. Acolo unde este cazul, identificai persoanele implicate, problema, timpul i locul unde se produce aceasta. Trasai o linie orizontal pe hrtie. Acest lucru v va permite s dezvoltai ideile. Identificarea principalelor elemente: Identificai apoi toate elementele care ar putea avea o contribuie la aceast problem. Trasai linii pornind dinspre linia orizontal, pentru fiecare element, i denumii acest element. Poate fi vorba despre persoane implicate n aceast problem, sisteme, organizare

instituional, proceduri, echipamente, materiale, etc. ncercai s detaai 3 4 elemente principale care influeneaz problema. Aceste elemente pot fi analizate i sub form de categorii de cauze care genereaz problema. n cazul multor politici publice, principalele cauze sunt bine cunoscute: acestea pot fi de natur instituional (funciile instituiilor publice, numrul i amplasamentul instituiilor, suprapunerea funciilor, etc.), pot avea legtur cu resursele umane (cunotine, competene, numr de angajai), procedurale (lacune n legislaie, reglementri contradictorii), financiare (insuficiente, ru administrate). n cazul n care ncercai s rezolvai aceast problem n cadrul unui grup, atunci ar fi bine s recurgei la brainstorming. Pe baza analogiei cu metoda os de pete, elementele identificate pot fi reprezentate sub forma oaselor unui pete. Identificarea posibilelor cauze: Pentru fiecare dintre elementele luate n calcul, facei brainstorming pentru a identifica cauzele. Reprezentai aceste cauze sub form de linii aezate n form de os de pete. n cazul n care este vorba de o cauz mai larg i mai complex, cel mai bine este aceasta s fie mprit n mai multe sub-cauze. Reprezentai aceste elemente sub forma unor linii care pornesc din fiecare cauz. Analiza diagramei: n aceast etap ar trebui s avei reprezentat o diagram care s indice toate cauzele posibile ale problemei n discuie. n funcie de complexitatea i importana problemei, putei investiga n detaliu cauzele cele mai probabile. Acest lucru ar putea necesita demararea unor investigaii, efectuarea unor studii, etc. Acestea trebuie concepute astfel nct s permit verificarea acurateii evalurilor fcute.

Analiza cost-beneficiu Analiza cost-beneficiu este un instrument analitic creat pentru a-i ajuta pe cei care formuleaz politici publice la evaluarea eventualelor rezultate concrete prin enumerarea tuturor beneficiilor i costurilor asociate politicii publice. Analiza cost-beneficiu presupune comparaia costurilor i beneficiilor, evaluarea riscurilor i analiza senzitivitii Comparaia cantitativ a tuturor beneficiilor i costurilor este similar analizei investiiilor din sectorul privat, dar fiindc se ocup i cu aspecte de politicile publice, trebuie s ia n considerare clasele de beneficii i costuri care au impact mult mai vast dect o decizie de afaceri care vizeaz numai profitul net. Astfel, analiza cost-beneficiu se concentreaz pe eficien n mod tradiional, prin urmare principalul obiectiv este alegerea politicilor publice care sunt cel mai puin costisitoare i asigur un numr maxim de beneficii. Cu alte cuvinte, acestea sunt politici publice n care beneficiul maxim se obine cu fiecare unitate monetar cheltuit. Dat fiind faptul c analiza cost-beneficiu se axeaz pe cuantificarea beneficiilor n termini monetari, metoda nu poate fi aplicat n cazurile n care beneficiile unei politici publice nu pot fi msurate n termeni monetari. De fapt, o parte semnificativ a iniiativelor de politici publice intr n categoria n care beneficiile nu pot fi msurate n termini monetari, de exemplu, beneficiile mbuntirii strii de sntate, a nivelului educaiei i a patrimoniului cultural. Analiza cost-beneficiu se poate folosi i pentru a urmri distribuia costurilor i beneficiilor ntre diferite grupuri ale societii. O analiz cost-beneficiu mai cuprinztoare poate fi folosit pentru a determina modul de distribuire a beneficiilor unei anumite politici publice n funcie de vrst, gen, naionalitate, poziie geografic sau timp. O astfel de analiz ar indica prezena unor posibile dezechilibre ntre beneficii i costuri pentru anumite segmente ale populaiei care sunt cele mai vulnerabile. Piatra de temelie a analizei cost-beneficiu este conceptul de eficien economic care reprezint o msur a contribuiei nete a unei anumite politici publice sau activiti la bunstarea general a societii. Eficiena economic stabilete dac resursele i

costurile necesare implementrii politicii publice sau rezultatelor activitii sunt compensate de beneficiile pentru societate. Dat fiind c analiza cost-beneficiu este elaborat pe baza principiilor eficienei economice, nu poate totui msura aspectele multi-dimensionale ale popularitii generale a politicii publice care poate include factori precum durabilitatea, altruismul, etica, participarea public n procesul decizional, precum i alte valori sociale. Astfel, analiza cost-beneficiu nu poate fi ntotdeauna folosit ca singurul instrument de luare a deciziilor prin implementarea automat doar a celor mai rentabile alternative. Mai mult, prin natura actualizrii (discutat n mod detaliat n urmtoarea seciune) din cadrul analizei cost-beneficiu, beneficiile pentru generaia viitoare primesc o pondere mai redus n comparaie cu beneficiile pentru generaia din prezent, ducnd la ntrebri privind echitatea intertemporal ntre generaia viitoare i generaia din prezent. Mai exact, beneficiile care apar n viitor primesc o pondere mai mic dect beneficiile care apar imediat. Analiza cost-beneficiu i timpul n aplicaiile analizei cost-beneficiu, cel care formuleaz politica public trebuie s msoare beneficiile nete ale proiectelor, activitilor sau politicilor publice care genereaz costuri i beneficii pe o anumit perioad de timp, costuri i beneficii care apar n diferite intervale de timp. Acest lucru duce la o mai mare complexitate a comparaiei ntre ctiguri i pierderi, deoarece valoarea monetar a costurilor sau beneficiilor peste zece ani nu este direct comparabil cu valoarea costurilor i beneficiilor de astzi. Analiza cost-beneficiu folosete un proces numit actualizare pentru a exprima toate costurile i beneficiile viitoare n echivalentul valorii lor din prezent. Acest lucru se realizeaz prin actualizarea costurilor i beneficiilor din fiecare interval de timp din viitor i nsumarea lor pentru a ajunge la o valoare din prezent. Factorul de actualizare este o cifr care reflect valoarea din prezent a unitii monetare care va fi primit n viitor la o anumit rat de actualizare. Procesul n care valoarea din prezent se determin pe baza unei uniti monetare care va fi primit n viitor se numete actualizare. Valoarea actual (VA) pentru beneficiul Bn (sau costul Cn), care apare dup n ani la o rat de actualizare r: VA = Bn : (1+r)n, VA = Cn : (1+r)n, unde Valoarea 1:(1+r)n este aa-numitul factor de de actualizare. Rata de actualizare este practic costul de oportunitate pentru resurse (de cele mai multe ori capital) care este folosit pentru generarea viitorului flux de beneficii. Pentru a calcula valoarea ratei de actualizare se folosesc cteva metode diferite. Acestea sunt abordate n detaliu n literatura de specialitate privind matematica aplicat n domeniul finanelor. Atunci cnd se realizeaz o analiz cost-beneficiu pentru o politic public, trebuie s se foloseasc o rat de actualizare economic pentru actualizarea costurilor i beneficiilor viitoare. Observai c rata de actualizare economic difer de multe ori de rata actualizrii financiare care se folosete la realizarea analizei financiare pentru proiecte de investiii. Pentru a ne asigura c politicile publice, activitile sau proiectele sunt evaluate pe baza acelorai criterii, deseori rata de actualizare care se folosete la actualizarea viitoarelor 4 fluxuri de costuri sau beneficii este stabilit de Guvern sau de instituii financiare multinaionale. Folosirea actualizrii duce la apariia unuia dintre punctele slabe ale analizei costbeneficiu. n primul rnd, n procesul de actualizare a viitoarelor beneficii sau costuri la valoarea lor de astzi, decizia este luat prin evaluarea din perspectiva unei generaii din prezent. n procesul de actualizare, costurile suportate pentru generaia viitoare primesc o pondere mai mic n comparaie cu costurile suportate pentru generaia actual, ceea ce determin o serie de ntrebri privind echitatea inter-temporal ntre generaia actual i cea viitoare. n al doilea rnd, procesul de actualizare poate deseori favoriza acele politici publice sau activiti care duc la ctiguri pe termen scurt, nu la ctiguri durabile pe termen lung. n special beneficiile care se materializeaz mai trziu, pe termen mai lung, primesc valori mai mici n cadrul analizei cost-beneficiu. Considerente-cheie privind realizarea unei analize cost-beneficiu

Dat fiind c efectuarea calculelor privind valoarea actual este o operaiune mecanic, rezultatul este afectat de alegerile i ipotezele privind valorile variabilelor iniiale care vor determina, n cele din urm, rezultatele analizei. Pe lng valorile costurilor i beneficiilor descrise n seciunile anterioare, parametri menionai n continuare i folosii la analiza cost-beneficiu pot afecta considerabil rezultatul general obinut: Intervalul de timp. Alegerea momentului pentru efectuarea analizei costbeneficiu poate avea un efect important asupra rezultatelor, deoarece orizontul de timp afecteaz calcularea principalelor costuri i beneficii. Cu ct intervalul de timp ales este mai lung, cu att costurile i beneficiile sunt evaluate pentru un moment mai ndeprtat din viitor. n cazul acelor alternative care implic proiecte de investiii, intervalul de timp ales este identic cu ciclul de via al proiectului de investiii. Pentru politicile publice, intervalul de timp pentru analiz poate cuprinde intervalul stabilit de obiectivele politicii publice (de ex. creterea ratei participrii femeilor la piaa muncii n urmtorii 10 ani). Deseori, intervalul de timp ales este corelat direct cu dimensiunea i obiectul politicii publice. Alegerea ratei de actualizare. Pentru a actualiza costurile i beneficiile viitoare la cele din prezent, trebuie s se defineasc rata de actualizare. O rat de actualizare mai ridicat va duce la o valoare actual mai sczut a costurilor i beneficiilor viitoare. n mod alternativ, o rat de actualizare mai sczut va duce la creterea valorii actuale a ciclului de costuri i beneficii viitoare. Pentru a ne asigura c politicile publice, activitile sau proiectele sunt evaluate pe baza acelorai criterii, deseori rata de actualizare care se folosete la actualizarea ciclurilor de costuri i beneficii viitoare se stabilete de ctre Guvern sau instituiile financiare multi-naionale. Ipoteze privind mediul extern. Deoarece analiza cost-beneficiu presupune analiza structurii costurilor i beneficiilor viitoare, exist i nevoia de a formula o ipotez privind posibilele schimbri din mediul extern care afecteaz politica public sau activitatea. Atunci cnd se msoar nivelul beneficiilor, valorile viitoarelor beneficii depind de ipotezele fcute cu privire la viitor. De exemplu, beneficiile multor politici publice depind de viitorul profil al creterii economice i al creterii populaiei. Astfel, mediul socio - economic ar trebui s fie caracterizat de formularea unor ipoteze rezonabile privind viitoarele rate ale creterii economice, rate ale posibilelor schimbri tehnologice, modificri viitoare ale ratei de nscriere la universiti etc. Inflaia. Efectul creterii generale a preurilor poate avea un impact asupra calculelor privind costurile sau beneficiile. Prin urmare, acolo unde este posibil, se recomand folosirea preurilor curente (preurile nominale observate efectiv an de an) la msurarea beneficiilor sau costurilor. Totui, pentru o analiz cu un orizont de timp mai mare, nu se pot estima ntotdeauna preurile nominale curente pentru fiecare an. n aceste cazuri, se folosesc preurile constante. Acestea sunt preurile fixe (deseori numite preuri reale n literature de specialitate) care se stabilesc pentru un an de baz. De exemplu, cnd se folosesc preurile constante, toate preurile viitoare sunt exprimate n valoarea preurilor curente. Deoarece valorile alese pentru aceste variabile vor influena considerabil valorile finale calculate, funcionarii publici responsabili trebuie s se asigure c valorile alese sunt rezonabile. Aceste evaluri tehnice sunt deseori externalizate. n acest caz, cel care formuleaz politica public din cadrul ministerului trebuie s se asigure c toate ipotezele sunt rezonabile. Cuantificarea beneficiilor nete (valoarea actual net) Valoarea actual net (VAN) este o valoare msurat prin scderea costurilor actualizate din valoarea actualizat a beneficiilor preconizate. VAN este indicatorul cel mai des folosit n analiza cost-beneficiu. Se calculeaz folosind urmtoarea formul: VAN total = (B-C)0 : (1+r)0 + (B-C)1 : (1+r)1 + ... + (B-C)n : (1+r)n , unde (B-C)n diferena dintre beneficiile i costurile dintr-un an n

Pentru fiecare alternativ propus, VAN trebuie calculat separat i apoi comparat pentru a vedea care are cea mai mare valoare. Dac VAN este mai mare dect 0, nseamn c politica public sau activitatea determin obinerea unor beneficii nete pentru societate. nseamn c valoarea actualizat a beneficiilor viitoare este mai mare dect valoarea actualizat a costurilor. Dac VAN este mai mic dect 0, politicile publice sau activitile determin obinerea unor beneficii care nu acoper costurile asociate implementrii politicii publice sau activitii. n majoritatea cazurilor, politicile publice care genereaz beneficii nete negative nu ar trebui sprijinite. Dac trebuie s se aleag o alternativ, se va alege ntotdeauna alternativa cu cea mai mare VAN. Identificarea raportului beneficiu-cost Coeficientul beneficiu-cost reprezint raportul dintre beneficiile actualizate i costurile actualizate. Indic randamentul financiar total sau beneficiile generate de o unitate de investiii sau costuri. Se exprim cu ajutorul urmtoarei formule: B:C = VA (B) : VA (C) Identificarea perioadei de rentabilizare Perioada de rentabilizare este definit ca durata de timp necesar pentru recuperarea costurilor aferente implementrii politicii publice sau activitii. Calculat astfel: Perioada de rentabilizare = costuri de implementare (de ex. costuri de investiii) / beneficiu net anual. Dei aceast metod este uor de folosit, exist dou neajunsuri majore n cazul metodei privind perioada de rentabilizare: Nu ia n calcul nici un beneficiu care apare dup perioada de rentabilizare, prin urmare nu permite msurarea profitabilitii. Nu ia n calcul valoarea n timp a banilor. Rata rentabilitii interne n plus, la realizarea unei analize cost-beneficiu pentru proiecte de investiii, utilitatea implementrii lor este caracterizat i de rata rentabilitii interne (RRI). Rata rentabilitii interne este o rat de actualizare la care VAN a proiectului este egal cu zero, adic valoarea actual a beneficiilor este egal cu valoarea actual a costurilor. Pentru a evalua care dintre alternativele propuse este mai avantajoas, este important s se determine profitabilitatea investiiilor efective ale proiectului, care este caracterizat de RRI. Relaia dintre rata de actualizare i valoarea VAN este ilustrat de urmtorul grafic:

i poate fi exprimat prin formula:

VAN (B-C) = (B-C)0 : (1+RRI)0 + (B-C)1 : (1+RRI)1 + ... + (B-C)n : (1+RRI)n = 0 Valoarea RRI este punctul n care VAN este egal cu zero. Din punct de vedere grafic, VAN este o funcie a ratei de actualizare (vezi graficul), iar RRI este punctul n care curba VAN se intersecteaz cu axa orizontal. Valoarea RRI poate fi calculat cu ajutorul funciei Excel a RRI: Dac valoarea RRI este mai mare dect rambursarea de capital necesar adic profitul preconizat necesar, exprimat sub forma unei rate de actualizare (rat a dobnzii), proiectul trebuie implementat. Cea mai avantajoas opiune se poate alege n urma comparaiei dintre valorile RRI a proiectelor alternative. Stabilirea costului marginal Conform descrierii anterioare, analiza cost-beneficiu se poate folosi pentru a stabili dac alternativa merit s fie implementat din punctul de vedere al eficienei economice. Cu toate acestea, cei care formuleaz politicile publice se confrunt deseori cu problema privind stabilirea cantitii optime a produsului sau serviciului public asigurat. Comparaia dintre costurile marginale i beneficiile marginale permite determinarea nivelului optim de furnizare a serviciilor publice. Costul marginal este un cost incremental al furnizrii unei uniti suplimentare a produsului realizat (serviciu sau produs). Astfel, costul marginal este definit ca modificarea costului generat de furnizarea unei uniti suplimentare de produs realizat. Pe de alt parte, beneficial marginal este un beneficiu incremental generat de furnizarea unei uniti suplimentare de produs realizat (serviciu sau produs). Astfel, beneficiul marginal este definit ca modificarea intervenit la nivel de beneficii totale generat de furnizarea unei singure uniti suplimentare de produs realizat. Analiza cost eficacitate Conform celor menionate anterior, metoda de analiz cost-beneficiu nu se poate aplica n cazurile n care beneficiile unei politici publice sunt greu de msurat n termeni monetari. Practic, o mare parte a iniiativelor de politici publice intr n categoria celor pentru care beneficiile nu pot fi msurate n termeni monetari, de exemplu, beneficiile generate de mbuntirea strii de sntate, a nivelului educaiei sau patrimoniul cultural. n general, analiza economic implic dou metode de evaluare a propunerilor de politici publice ale cror beneficii nu pot fi msurate n termeni monetari: costeficacitate i cost-eficacitate ponderat. Metoda cost-eficacitate se folosete n cazurile n care beneficiile politicii publice pot fi msurate cu ajutorul unei singure uniti non-monetare (de ex. numrul de elevi colarizai, numrul de vaccinuri livrate). Rezultatul aplicrii metodei cost-eficacitate este reprezentat de calcularea costului unei uniti de beneficiu obinut. De exemplu, dac vaccinarea a 1.000 de persoane n vrst cu vaccin antigripal cost 250 de euro, atunci costurile vaccinrii unei persoane n vrst este de 25 euro-ceni (raportul costeficacitate). Astfel, aceast metod poate fi util pentru evaluarea diferitelor soluii alternative de atingere a unui singur obiectiv predefinit (beneficiu). Permite alegerea celei mai avantajoase alternative care poate asigura o unitate a beneficiului specificat. n cazurile n care beneficiile sunt caracterizate de mai multe dimensiuni (de exemplu, politica public vizeaz mbuntirea modului de alimentare i a sntii elevilor), nainte de aplicarea metodei cost-eficacitate, fiecrui beneficiu trebuie s i se atribuie o valoare ponderat specific n funcie de importana pe care o are n cadrul obiectivului general al politicii publice. Astfel, aceast metod se numete costeficacitate ponderat. Metoda de cost-eficacitate ponderat se folosete deseori la evaluarea politicilor publice de sntate, dat fiind c acestea au adesea obiective multiple, de exemplu, reducerea mortalitii i a ratei incidenei infeciilor. Cu toate acestea, din cauza faptului c atribuirea de valori ponderat fiecrui beneficiu presupune un anumit grad de subiectivitate, se impune o mare atenie n stabilirea valorilor ponderate adecvate.

Mai mult, diferii factori implicai pot percepe anumite beneficii ca fiind mai importante dect altele. La aplicarea metodei cost-eficacitate ponderat, fiecare indicator se nmulete cu valorile ponderate pentru a obine o valoare compozit unic. Aceast valoare compozit se mparte apoi la costul diferitelor alternative pentru a obine rapoartele cost-utilitate. Metode de evaluare (a politicilor publice)5: - Evaluarea ex ante: Iniiatorii politicilor publice fie prin fore proprii, fie cu ajutorul specialitilor realizeaz o evaluare preliminar a impactului, aa numita evaluare ex-ante, n care este descris att impactul politicii asupra proceselor economice i sociale de la nivelul societii n general, ct i efortul financiar care greveaz bugetul de stat sau o serie de instituii i organizaii implicate. Aceast evaluare preliminar a impactului soluiilor posibile se numete evaluare de impact ex-ante. Evaluarea ex-ante a impactului politicilor publice este o activitate realizat la inceputul procesului de formulare a politicii publice, atunci cnd cei care se ocup de planificare i specialitii incearc s anticipeze, cu ajutorul diferitelor metode de studiu cantitative i calitative, impactul asupra societii ca urmare a implementrii politicii. Practica impune elaborarea evalurii de impact ex-ante n cel puin dou etape: Etapa 1: evaluare preliminar se realizeaz pentru a evalua conceptele soluiilor alternative. Aceast evaluare trebuie s fie inclus n documentele de politici ca evaluare a alternativelor. Dup ce documentul de politic public este acceptat, n faza de implementare se impune de multe ori o a doua evaluare a impactului n momentul redactrii actelor normative n domeniu. Proiectele de noi acte normative se redacteaz n cazul n care soluia propus n documentul de politic public are legtur cu introducerea unor noi reglementri n domeniu. Proiectele de acte normative noi trebuie s fie susinute de o evaluare a impactului n scopul determinrii consecinelor pe care acestea le vor produce. Necesitatea evalurii impactului actelor normative deriv din fundamentarea documentului de politic public: Etapa 2: adoptarea politicii publice, n cadrul creia persoanele responsabile de luarea deciziilor stabilesc care dintre soluiile propuse este cea mai bun, putnd fi implementat n practic. Calitatea informaiilor, prezentarea complet a problemelor de politic public, precum i structurarea clar a documentelor de politic public sunt eseniale pentru asigurarea unui standard ridicat al formulrii alternativelor n vederea procesului decizional. Evaluarea ex-post

Pentru a ti dac activitile realizate pe durata procesului de implementare a politicii publice corespund celor planificate n funcie de criteriile de selecie, dar i de obiectiv, i dac au dus la soluionarea problemei pentru care a fost formulat acea politic, este necesar o evaluare obinuit a politicii publice (evaluarea ex-post). Evaluarea ex-post a impactului politicii publice este o activitate derulat pe parcursul sau la finalul etapei de implementare a politicii. Sunt evaluate rezultatele obinute i sunt identificate eventuale abateri de la obiectivul planificat, depiri ale termenelor sau ale costurilor stabilite, etc. Scopul evalurii ex-post nu este doar acela de a dezvlui erorile care au fost fcute, ci i de a recomanda cele mai potrivite soluii pentru activitile viitoare.
5

Manual de metode folosite n planificarea politicilor publice i evaluarea impactului Sandra Briggs, Baiba Petersone, Karlis Smits (Proiect Phare Twinning RO2003/IB/OT10)

Monitorizarea este un tip de evaluare ex-post realizat n procesul de implementare a politicii publice, al crei scop este acela de a asigura o implementare eficient a acesteia i de a iniia msurile necesare de corecie. Evaluarea final este un tip de evaluare ex-post realizat la finalul perioadei de implementare a politicii, n scopul de a analiza rezultatele finale ale politicii, de a identifica eventuale deficiene i de a formula recomandri pentru a asigura evoluia ulterioar a respectivului domeniu de politici publice. De obicei, evaluarea ex-ante necesit mai mult munc, iar erorile sunt mai frecvente dect n evaluarea ex-post. Atunci cnd este evaluat o politic n faza de planificare, de multe ori problemele apar din lipsa unor date credibile care face dificil elaborarea unor ipoteze. Pe de alt parte, n cazul evalurii ex-post, aceste probleme pot fi soluionate dac se realizeaz o planificare eficient, precum i o previzionare atent a activitilor necesare de colectare a datelor n etapa de planificare. Evaluarea implementrii politicii publice este o evaluare ex-post i reprezint etapa final logic a ciclului de politici publice. Rezultatele evalurii i recomandrile formeaz un set de aspecte necesare elaborrii agendei pentru urmtorul ciclul de politici publice. Evaluarea ex-post este mprit n dou tipuri: a) monitorizare (evaluarea intermediar) b) evaluare final. Monitorizarea Monitorizarea asigur majoritatea informaiilor privind performana pe parcursul procesului de implementare a politicii publice. Se folosete foarte des n cazul rapoartelor anuale. Datele sunt colectate, n general, n funcie de domeniul de activitate ca parte a informaiilor privind structura programului, resursele programului, performana, clientul i rezultatele. Datele socio-economice de la birourile naionale de statistic sunt folosite i pentru a asigura o perspectiv general n cazul n care rezultatele pe termen lung fac parte din cadrul de planificare i raportare. Monitorizarea: vizeaz relaiile dintre resurse, realizri i rezultate; vizeaz graficele de implementare pentru a mbunti termenele de realizare; se concentreaz pe indicatorii de performan pe baz de rezultate Evaluarea final Evaluarea final se bazeaz n primul rnd pe informaiile privind datele colectate n cadrul procesului de monitorizare din rapoartele anuale. Dac nu se realizeaz monitorizarea, trebuie s se colecteze unele informaii despre procesul de implementare pentru evaluarea final. Datele sunt colectate, n general, n funcie de obiectivele stabilite i de rezultatele politicii publice. Deseori se folosesc datele socioeconomice din birourile naionale de statistic, dar n cazurile politicilor publice ample se realizeaz studii speciale pentru evaluarea final a impacturilor politicii publice. Evaluarea final: Se concentreaz pe rezultate i pe impacturile pe termen lung ale politicii publice. Vizeaz n special conceptele i se refer la informarea pentru procesul decizional pe termen lung la politicii publice Scopul realizrii evalurii finale este acela de a furniza o analiz general cuprinztoare i de a stabili concluziile privind rezultatele atinse prin intermediul politicii publice, precum i recomandrile privind aciunile ulterioare necesare n domeniul relevant al politicii publice. Evaluarea final este corelat n mod logic cu elaborarea agendei pentru urmtorul ciclu de politici publice, cu excepia cazurilor n care politica public este limitat n timp i nu mai sunt necesare alte modificri.

Indicatori de monitorizare i evaluare: Caracteristicile generale ale indicatorilor de monitorizare i evaluare sunt: Datele colectate n cadrul programului ca atare; Include datele de baz privind modul n care resursele sunt transpuse n realizri i privind realizrile ca atare; Cuprind date de baz disponibile referitoare la rezultate; Datele sunt colectate n mod constant ca parte a derulrii activitii i sunt revizuite periodic de manageri; De regul, se ateapt ca beneficiarii serviciilor s raporteze; Extrem de relevante pentru raportarea anual a performanei Indicatorii de msurare pentru monitorizare trebuie s se stabileasc n mod realist, lundu-se n considerare faptul c producerea rezultatelor i a impacturilor n cazul multor politici publice poate necesita o perioad lung de timp. Evaluarea politicilor publice: definirea elaborarea i analiza opiunilor problemei, colectarea de date

Identificarea i analiza opiunilor (alternativelor) Analiza problemei i conturarea unei imagini generale structurate a problemelor existente i a cauzelor acestora, dup definirea problemei (problemelor) central ale politicii publice, urmtorul pas, n mod logic, este identificarea soluiilor pentru problema n cauz. Exist mai multe nume care pot fi folosite pentru a denumi diferite soluii pentru problema abordat de politica public alternative, variante de soluii, opiuni. Alternativa reprezint un set de intervenii i aciuni posibile care pot fi realizate n scopul rezolvrii problemei i atingerii obiectivului politicii publice. ntregul proces de formulare a politicilor publice se concentreaz n jurul alegerii. Definirea opiunilor pentru alegerea de ordin politic reprezint centrul i esena politicii publice. Din acest motiv, identificarea alternativelor este considerat ca fiind cea mai important etap a procesului de formulare a politicilor publice. Acest lucru nseamn c dac alternativele nu sunt definite corect, dac nu rspund problemelor identificate i obiectivelor politicii publice, toate etapele ulterioare de evaluare, cuantificare i aplicare a metodelor sofisticate folosite pentru analiza politicii publice nu vor fi de ajutor i vor genera o risip de resurse sau alte greeli. Identificarea alternativelor este un proces creativ, cu toate acestea este derulat doar de cel care formuleaz politica public sau de echipa de analiti. ntreaga literatur disponibil cu privire la gndirea i metodele creative poate fi de folos, dar n acelai timp se poate dovedi inutil. Deseori, gndirea logic, experiena i bunul sim sunt cele mai potrivite instrumente disponibile. Tipuri de alternative: 1) Nici o schimbare a situaiei actuale, adic meninerea unui status quo opiunea de a nu face nimic; 2) mbuntirea situaiei actuale prin dezvoltarea elementelor deja existente ale sistemului; 3) Formarea unor noi componente ale sistemului i integrarea acestora n sistemulcurent; 4) Crearea unui nou sistem. Principii generale de identificare a alternativelor Se recomand respectarea anumitor principii generale n momentul identificrii alternativelor pentru a putea evita eventualele greeli n aceast etap a analizei politicii publice. Unele dintre aceste principii se aplic n etapa iniial n care se elaboreaz o list cu posibile alternative. Altele sunt importante n urmtoarea etap,

atunci cnd alternativele sunt sintetizate, clasificate i selectate pentru o analiz i evaluare mai detaliate. Principiile generale de identificare a alternativelor sunt: 1. Trebuie s se defineasc i s se analizeze mai multe soluii pentru o problem. Uneori se ntmpl ca soluia s par a fi pregtit de la bun nceput, toat analiza politicii publice realizndu-se n vederea fundamentrii soluiei respective. O astfel de abordare este de cele mai multe ori greit. Se recomand gsirea mai multor soluii pentru a putea avea convingerea c soluia, stabilit n funcie de experienele anterioare, este cu adevrat cea mai bun pentru a rezolva problema existent. Decizia de a continua analiza i de a dezvolta una dintre soluii se poate lua abia dup testarea mai multor posibile soluii. n cazul n care exist o singur opiune pentru rezolvarea problemei n cauz, aceast alegere trebuie s fie fundamentat. 2. Trebuie s se ia n considerare opiunea de a nu face nimic. Posibila intervenie cu ajutorul unor instrumente concrete de politici publice se va evalua n comparaie cu opiunea de a nu interveni atunci cnd evoluia problemei poate permite rezolvarea acesteia prin ali factori, iar intervenia ar putea s fie ineficient din punct de vedere al costurilor implicate. Luarea n considerare a opiunii de a nu face nimic poate reprezenta un criteriu care asigur calitatea analizei. Dac dup evaluarea alternativelor opiunea de a nu face nimic pare a fi cea bun, acest lucru poate reprezenta un indiciu al existenei unor lipsuri sau nenelegeri n etapa de definire a problemei. Se recomand testarea opiunii de a nu face nimic i n cazurile n care, pe durata perioadei de implementare a reformelor la scar mare, apar presiuni care vizeaz schimbarea imediat a direciei de aciune a reformei, deoarece se dovedete c problemele reformei nu sunt rezolvate n primul sau al doilea an. n acest caz, politicile publice dj acceptate, avnd toate aciunile planificate, pot fi considerate ca reprezentnd opiunea de a nu face nimic (fr a schimba evoluia reformei stabilite). n acest caz, cursul reformei stabilite deja nu trebuie modificat deoarece schimbrile necesare sunt planificate pentru urmtoarea perioad de timp, iar ajustrile se pot face dup implementare i evaluare. Alternativa de a nu face nimic este punctul de referin pentru compararea tuturor celorlalte alternative, fiind denumit i scenariul de inerie, deoarece situaia se poate schimba pe termen lung chiar dac nu se identific nici o soluie pentru problem. n astfel de cazuri, cei care formuleaz politicile publice tind uneori s prezinte estimrile cele mai pesimiste privind evoluiile viitoare pentru a-i determina pe factorii de decizie s se preocupe de acest aspect. 3. Soluiile trebuie s corespund problemelor i obiectivelor. Una dintre cele mai frecvente greeli n domeniul politicilor publice const n elaborarea de soluii care nu pot rezolva n mod direct problema. Toate cele trei etape definirea problemei, definirea obiectivelor i identificarea alternativelor sunt la fel de importante. n toate etapele trebuie s se evalueze gradul de adecvare al noiunilor definite pentru a se asigura c sunt cu adevrat corelate. Una dintre greelile tipice fcute de nceptorii n domeniul analizei politicilor publice este eludarea problemei. 4. Corelarea obiectului politicii publice i a dimensiunii acesteia. Problema obiectului i dimensiunii politicii publice este din nou prezent n etapa de definire i testare a alternativelor. Se poate ntmpla ca n procesul de cutare a soluiilor s existe tendina de a depi limitele politicii publice i de a define soluii pentru probleme care nu au fost definite de la nceput. ntr-un astfel de caz, cei care formuleaz politicile publice vor reveni la analiza problemei i vor verifica dac nu s-au gsit noi aspecte ale problemei care ar putea avea o legtur cu problema central. Dac noile probleme care sunt identificate n etapa de definire a alternativelor au o oarecare legtur cu anumii factori generali care influeneaz problema central, dar nu au nici o legtur direct cu cauzele problemei centrale, acestea trebuie lsate la o parte i abordate eventual ntr-o alt politic public. O astfel de delimitare a obiectului soluiilor n cadrul politicii publice este necesar pentru a pstra o abordare realist, deoarece niciodat nu este posibil s abordezi toate problemele n acelai timp. 5. Alternativele trebuie s fie cuprinztoare. Alternativele definite pentru o analiz ulterioar sunt exprimate n formulri scurte i clare n care se specific direct

diferenele dintre soluiile propuse. Se recomand eliminarea descrierilor lungi i repetitive deoarece vor ngreuna analiza ulterioar. Dificultatea de a defini clar diferena dintre alternative indic probabilitatea ca alternativele propuse s reprezinte doar o fragmentare a uneia i aceleiai soluii, fiind necesar combinarea lor. Metode de identificare a alternativelor Identificarea alternativelor ar putea dura destul de mult, deoarece aceast etap presupune consultarea tuturor instituiilor implicate, partenerilor sociali din procesul de implementare a politicii publice6.22 n ceea ce privete problemele care prezint o importan social precum i timpul i resursele disponibile, se vor selecta metodele corespunztoare. n ciuda importanei procesului de identificare a alternativelor pentru ntregul exerciiu de planificare a politicilor, n practic nu exist la fel de multe instrumente tehnice pentru identificarea soluiilor. Metodele care se folosesc pentru identificarea alternativelor: 1. Brainstorming 2. Metodele folosite de experi (expert methods) 3. Analogia 4. Benchmarking 5. Investigaii rapide Selectarea alternativelor n vederea evalurii Colectarea iniial a alternativelor presupune existena unor liste mai lungi sau mai scurte de posibile soluii, pornind de la cele mai fanteziste i pn la cele mai realiste. Unele pot fi formulri diferite ale aceleai idei, unele dintre ele pur i simplu adaug anumite trsturi unor soluii deja stabilite. Aceast evaluare are la baz n principal experiena i expertiza existente ntr-un anumit domeniu. n practic, mai multe soluii posibile sunt respinse nainte de evaluarea n profunzime a impactului care trebuie realizat pentru alternativele viabile. Alternativele care sunt reinute trebuie s fie identificate n documentul de politic public, notndu-se i motivele pentru care acestea au fost selecionate pentru a fi analizate pe mai departe. n cazul n care exist dubii cu privire la nevoia de analizare n detaliu a unei alternative, se impune efectuarea unor analize mai profunde. Dac este identificat o singur alternativ ca variant de soluionare a unei probleme, aceast opiune trebuie s fie motivat, iar alternativa trebuie s fie comparat cu situaia actual. Procesul de gndire n selectarea alternativelor Se impune s subliniem faptul c n procesul de selectare a alternativelor nu exist o anumit metod care s poat fi aplicat pentru a obine cele mai bune alternative, ci se va selecta dintre metodele menionate mai jos metoda cea mai adecvat politicii care urmeaz a fi dezvoltat (n funcie de complexitatea problemei, de timpul disponibil pentru analiza alternativelor etc). Un alt aspect important n ceea ce privete selecionarea alternativelor este acela c trebuie s avem o anumit idee cu privire la msurile pe care le implic fiecare alternativ. Dac numrul alternativelor pe care le avem este prea mare, este imposibil s elaborm un scenariu detaliat pentru fiecare dintre acestea. Soluia ar fi o grupare a alternativelor n funcie de anumite trsturi sau abordri comune i s ncercm identificarea anumitor etape care ar putea fi parcurse n vederea implementrii alternativei. Criteriile de selecie a alternativelor Totui, pentru a stabili cea mai potrivit soluie care s conduc la obinerea de rezultate specifice n materie de politici publice, se impune folosirea unor proceduri comune de selecie. Este necesar s se stabileasc criteriile de selecie ca punct de referin pentru compararea alternativelor. Criteriile de selecie pot fi similare celor folosite n studiul preliminar privind alternativele (aspecte de ordin politic, financiar, viabilitatea tehnic) i pot fi completate de criterii suplimentare (cum ar fi eficiena
6

http://www.cabinetoffice.gov.uk/regulation/consultation/consultation_guidance/index.asp

funcional, viabilitatea sau eficiena) care sunt legate n mod direct de msurarea nivelului de eficien al alternativei care permite atingerea rezultatului politicii. Compararea eficienei funcionale a alternativelor demonstreaz n ce msur o anumit alternativ permite soluionarea problemei. Exemple de criterii: Gradul de adecvare al soluiei pentru problemele stabilite; Gradul de adecvare pentru rezultatul scontat al politicii; Satisfacia grupurilor int i a factorilor implicai; Sensibilitatea la factorii externi; Impactul indirect al alternativelor asupra altor politici. Criteriile care privesc viabilitatea alternativei demonstreaz n ce msur alternative este afectat / influenat de factori externi. Exemple de criterii: Durata impactului pozitiv i/sau negativ; Stabilitatea instituional a organizaiilor; Echilibrul ntre beneficii i avantaje, lund n calcul factorii de risc. Criteriile trebuie s asigure posibilitatea de a compara eficiena alternativelor prin demonstrarea utilitii investiiei n vederea realizrii rezultatelor estimate. n aceast etap, aceste criterii pot fi evaluate cu aproximaie, pe baza evalurii experilor. Se vor face calcule precise numai pentru alternativele alese. Totui, se impune s menionm c n anumite cazuri, aceste criterii pot fi importante i se recomand, de aceea, realizarea unei analize de tip cost-beneficiu sau cost-eficacitate pentru alternativele selecionate. Exemple de criterii: Valoarea rezultatelor obinute de o unitate de investiii; Costul unei uniti de rezultat; Raportul investiie-profit. Dup ce au fost reinute unele dintre alternativele considerate a fi cele mai potrivite, urmtoarea etap a procesului de analiz este aceea de a crea un model mai elaborate pentru aceste alternative i de a identifica o serie de ipoteze pentru a descrie posibilele consecine ale implementrii alternativei. Este vorba de ipoteze care stabilesc posibilele consecine i care vor reprezenta baza de evaluare a impactului alternativelor n etapele ulterioare ale analizei. Identificarea clienilor, publicului i factorilor interesai ai evalurii Clienii i factorii interesai Planificarea politicilor, implementarea si, prin urmare evaluarea sunt procese complexe, pe termen lung care implica diferii actori. Principalii actori sunt clienii, factorii interesai i publicul larg Clientul este cel care solicita evaluarea. El ar putea fi finantatorul / promotorul interventiei Factorii interesai sunt entiti sau indivizi care sunt afectai n mod direct de intervenie (politic, program proiecte) i prin urmare de evaluare. Principalii factori interesai ai evalurii politicii publice includ, dar nu se limiteaz la, ministere, ageniile subordonate i alte instituii afectate direct de intervenie, beneficiari (grupurile civile care sunt afectate de impactul direct pozitiv al interveniei), factori decizionali i evaluatorii. Uneori factorii interesai presupun faptul ca nu au o responsabilitate direct pentru evaluare i ca aceasta au fi doar sarcina evaluatorilor. Prin urmare, este important ca factorii interesai s fie implicai n procesul de evaluare nc de la nceput. Cheia unei evaluri de succes a unui program este colaborarea

Dei politica este de obicei orientata ctre soluionarea unor probleme ale unui grup int, adesea implementarea acestei politici are impacturi indirecte neintenionate (aa numitele externaliti) asupra altor membrii ai societii. Prile care sunt afectate direct i pot avea interes indirect n ceea ce privete intervenia i rezultatele evalurii sunt denumite publicul mai larg. Publicul larg poate fi compus din diferite grupuri de interes ale societii, instituii publice afectate indirect de intervenie i care doresc sa nvee din experiena de implementare a interveniei. Graniele dintre actorii implicai nu pot fi definite n mod clar. Cteodat publicul larg poate deveni un factor interesat, daca este sprijinit de societi bine organizate (ex. ONG) Definirea ntrebrilor de evaluare Rolul ntrebrilor de evaluare ntrebrile de evaluare sunt acele ntrebri la care evaluatorii trebuie sa rspund n raportul de evaluare. ntrebrile ajuta evaluatorii sa i concentreze munca i astfel sa ofere plus valoare clientului. Prin urmare, clientul este cel care ar trebui s formuleze ntrebrile de evaluare specifice pentru fiecare exerciiu de evaluare, n cadrul consultrilor cu factorii interesai. De obicei ntrebrile de evaluare sunt bazate pe nevoile i ateptrile specifice ale clientului i factorilor interesai cu privire la raportul de evaluare. ntrebrile de evaluare joac un rol cheie n procesul de evaluare i ar trebui sa fie definite ca atare. Dac acestea lipsesc, atunci evaluatorii pot alege sa evalueze oricare aspect din multitudinea de aspecte ce pot fi analizate n ceea ce privete o intervenie public. Formularea ntrebrilor de evaluare garanteaz c evaluarea va rspunde la acele ntrebri specifice la care clientul i factorii interesai doresc sa afle rspunsul. Uneori evaluatorii pot sugera n decursul procesului de consultare alte ntrebri pe care clientul le-a scpat din vedere i care sunt relevante pentru evaluare. Cine formuleaz ntrebrile de evaluare ? n mod ideal, ar trebui sa fie clientul, n urma consultrii cu factorii interesai, la momentul definirii sferei i scopului unui exerciiu specific de evaluare Atunci cnd clientul are experiena limitat n gestionarea unui exerciiu de evaluare, poate fi ca evaluatorul sa sprijine clientul n ceea ce privete formularea ntrebrilor de evaluare. n cadrul unui proces de evaluare l asist pe client n definirea nevoilor i ateptrilor acestuia din urm i definirea ntrebrilor de evaluare. Focalizarea ntrebrilor de evaluare n mod obinuit, nivelul de detaliere n formularea ntrebrilor de evaluare variaz considerabil de la un exerciiu de evaluare la altul. n forma lor generala, ntrebrile de evaluare pot pur i simplu sa coincid cu dimensiunile evalurii: relevana, eficacitatea i impactul. n alte cazuri, n cadrul fiecruia dintre aceste dimensiuni tipice evalurii, clientul poate formula ntrebri foarte specifice de care este interesat. De exemplu, ntrebri mai specifice asupra impactului programului pot acoperi urmtoarele trei aspecte: impactul cui, asupra cui i pentru cine ? Tabelul de mai jos prezint principalele aspecte pe care se focalizeaz ntrebrile de evaluare i care depind n special de scopul pentru care a fost iniiat evaluarea. Dac scopul Atunci ntrebrile de evaluare ar trebui s se concentreze pe evalurii este Generarea de Aspectele asupra crora clientul are nevoie de informaii despre informaii prograsul nregistrat de intervenie, aspecte negative i pozitive ale procesului de implementare, caracteristicile structurilor de implementare, dac intervenia ajunge la grupurile int definite

Responsabilizarea

mbuntirea mecanismului mbuntirea implementrii

Analiza rezultatelor, obiectivelor, impactului identificarea nevoilor ulterioare Generarea cunotine. formularea lecii

anterior, care sunt problemele ce afecteay activitatea X, etc. Demonstrarea folosirii adecvate a fondurilor , adic beneficiile obinute pentru grupurile int, eficiena costurilor, etc. Cel mai probabil, toate dimensiunile evalurii vor fi acoperite ntr-un mod echilibrat: relevan, eficacitate, impact, sustenabilitate, etc. Legtura dintre nevoi i abordarea interveniei (relevan) calitatea formulrii i indicatorilor. Gradul de adecvare a structurilor i proceselor de implementare prevzute; Probleme interne sau rezultate externe ntlnite pe parcursul implementrii cu privire la structuri sau procese; Daca este probabil ca rezultatele prezente s asigure ndeplinirea obiectivelor interveniei n cele din urm; Verific dac indicatorii de realizare planificai mai sunt relevani i dac sunt monitorizai n mod adecvat; Apreciaz dac pre-condiiile pentru sustenabilitate au fost identificate i sunt asigurate Analiza indicatorilor care demonstreaz ndeplinirea obiectivelor; Analiza impactului folosind metode de evaluare socioi economice (analize cost performan, cost beneficiu), studii de caz, etc.; Identificarea domeniilor i motivelor din cauza crora impactul a fost sau nu cel ateptat de Analiza eficacitii generale a abordrii aplicate n cadrul interveniei ce nu a mers bine i de ce/ n acest sens, este de nevoie de un numr rezonabil de analiza cauz - efect Sursa: Manual de monitorizare i evaluare a politicilor publice

Opiunea pentru ntrebri generale sau specifice depinde de nevoile clientului i de tipul de evaluare. Adesea, clienii sau factorii interesai ai evalurii aleg s nu formuleze ntrebri de evaluare specifice, lsnd evaluatorul sa i aleag propriile ntrebri. Acest lucru apare datorit dorinei de a verifica dac constatrile i opiniile evaluatorilor despre intervenia public coincid cu ale lor. Acesta abordare este una comuna i de neles deoarece oamenii sunt adesea foarte ncntai de perspectiva de a afla daca i altcineva le mprtete opiniile. Dei este interesant de vzut dac evaluatorii mprtesc opiniile clienilor i ale factorilor interesai trebuie formulate totui avertismente n acest caz. Tipuri de ntrebri de evaluare Tipul de ntrebri de evaluare (a se vedea tabelul de mai jos), de obicei depinde de un numar de factori: Scopul exerciiului de evaluare Momentul evalurii: ex-ante, intermediar sau ex-post; Tipul interveniei (proiect, program, politica) supus evalurii; Aspectele specifice de implementare cu care se confrunta intervenia (cine i cum implementeaz) Rolul clientului n ceea ce privete programul ex. finanator, parte a managementului de program, factor decizional, etc. Relevan Ex Ante Va soluiona intervenia problema n Intermediar S-a modificat nevoia iniial ? Schimbarea Ex - post Intervenia a ajuns la grupul int dorit ?

ntregime sau doar necesit o ajustare parial ? corespunztoare a La ce nevoi interveniei ? rspunde ? Sunt aceste nevoi formulate clar i susinute n mod adecvat de date ? Eficacitate Sunt obiectivele alese la un nivel adecvat ? Este de ateptat ca activitile prevzute s conduc la ndeplinirea obiectivelor ? Care sunt costurile fa de beneficiile scontate ? Exist vreo modalitate de a derula programul ntr-o manier mai eficient din punct de vedere al costurilor ? Abordarea aleas este cea mai eficient din punct de vedere al costurilor ? Este mecanismul de implementare structuri i procese bine justificat ? Este calendarul de implementare realist ? Rezultatele obinute pn n prezent asigur ndeplinirea obiectivelor ? Care sunt elementele particulare care au afectat eficacitatea prii X a interveniei ? Care au fost motivele pentru succesul nregistrat n ndeplinirea obiectivului X

Eficien

Implementare

Implementare

Care este impactul ateptat al interveniei Care sunt grupurile int asupra crora intervenia va avea impact ?

Cum poate fi A fost activitatea X crescut eficiena ndeplinit procesului X folosindu-se de cea mai bun abordare din punct de vedere al eficienei costurilor ? Este programul Ct de bun a fost implementat performana conform planului ? instituiei X sau a De ce performana procesului Z ? procesului X este Ce lecii pot fi sun int Ce nvate ? proceduri instituionale trebuie simplificate astfel nct implementarea s fie mai eficient ? Intervenia are Care este impactul efecte activitii X, n neintenionate pe comparaie cu parcursul ateptrile ? implementrii ? Care este impactul noii proceduri n comparaie cu cea veche ? De ce impactul pentru regiunea X sau Y s dureze pentru o perioad

Durabilitate

Impactul va fi unul de durat ? Care sunt elementele care vor asigura acest lucru ?

Sursa: Manual de

ndelungat de timp ? Sunt asigurate pre- Care sunt ansele condiiile pentru ca rezultatele X sau durabilitatea Y s dureze pentru obiectivelor X, Y, o perioad Z ? Ce se poate ndelungat de face pentru a le timp ? asigura ? Care sunt costurile Ce factori afecteaz viitoare anticipate durabilitatea pentru un realizrilor X, Y,Z ? program ? Care au fost motivele pentru durabilitatea redus a rezultatului X ? Ce lecii pot fi nvate ? monitorizare i evaluare a politicilor publice

Planificarea evalurii Crearea structurilor de management ale evalurii n mod obinuit, exista dou organisme de management al evalurii comitetul de pilotaj i echipa de evaluare. Comitetul de pilotaj este un grup de factori interesai la nivel nalt care sunt responsabili cu furnizarea de ndrumri la direcia strategica a evalurii. Acetia nu nlocuiesc clientul dar ajut la nivel strategic n ceea ce privete decizia asupra principalelor activiti i teluri ale evalurii. Comitetul de pilotaj este de obicei format din organizaii partenere i interesate i este o combinaie de factori interesai indireci. ntlnirile regulate ale comitetului de pilotaj ajuta echipa de evaluare sa aib o nelegere unitar asupra prioritilor i valorilor pe parcursul procesului de evaluare a politicii. Crearea unei echipe de evaluare depinde de complexitatea ntrebrilor de evaluare. Evaluarea poate fi gestionata din interior sau exterior, poate implica persoane din medii multidisciplinare. De exemplu, colectarea datelor poate fi desfurat de o agenie de statistic, dar cel mai adesea, colectarea este delegata ctre institutele de cercetare, universiti sau companii private care au experien n domeniul respectiv. Capacitatea necesara nu ar trebui subestimat. Decizii de externalizare e evalurii i factorii care afecteaz aceast decizie Autoevaluarea realizata de ctre instituie este adecvata atunci cnd principalele obiective ale evalurii sunt creterea capacitaii angajailor sau mbuntirea managementului privind implementarea programului sau politicii. Cu toate acestea, timpul i competentele personalului pot fi insuficiente, gama de probleme acoperite poate fi limitata iar credibilitatea constatrilor poate fi pus la ndoial. nseamn c autoevaluarea trebuie privit ca un exerciiu de evaluare i ca pornire pentru pregtirea urmtorilor pai n ceea ce privete practica evalurii. Evaluarea fcut de ministere este adecvata atunci cnd obiectivul evalurii este evaluarea performanelor ministerului n conformitate cu planul sau strategic, pentru mbuntirea prioritilor bugetare i atunci cnd este important ca evaluatorul sa aib legturi strnse cu procesul decizional. Evaluarea fcut de evaluatori externi (ex. Organisme de cercetare i consultani de management) poate fi efectuata atunci cnd obiectivul este de a furniza noi perspective asupra politicilor publice sau cnd sunt necesare competente de evaluare specializate. Cu toate acestea, aceti evaluatori pot avea o nelegere limitat a coninutului politicii sau a culturii organizaionale supuse evalurii i ofer evaluri teoretice. Evaluarea independent poate fi adecvat cnd obiectivele intesc mbuntirea nivelului de responsabilitate i transparen. Cu toate acestea, cei care formuleaz politicile pot avea ezitri n ceea ce privete acceptarea constatrilor i recomandrilor. Printre caracteristicile lor cheie se afla i independena auditorului i concentrarea mai degrab pe responsabilitate dect pe perfecionare. Decizia de externalizare a evalurii sau a unor pri din evaluare trebuie luat n primul rnd de client, n consultare cu principalii factori interesai. De asemenea, aceast decizie depinde de resursele financiare, de timp i cele umane. Nivelul de implicare a centrelor de evaluare, universitilor i companiilor private depinde de ntrebrile de evaluare, timpul i resursele financiare disponibile, precum i de interesul politic privind constatrile evalurii. De obicei ministerele i ageniile i externalizeaz pri din activitatea de cercetare i studii pe teren, care trebuie analizate folosindu-se metode calitative i cantitative complexe. Elaborarea unui plan de management al evalurii

Planul de management al evalurii este un instrument esenial pentru echipa de evaluare, mai ales dac politica sau programul supuse evalurii includ multe obiective. Planul de management nu are format specific. n majoritatea cazurilor, planurile de evaluare conin activiti, instituiile responsabile, termenele limita pentru anumite activiti, metodele principale de colectare i analiza a datelor, precum i costurile pentru fiecare pas n parte. Elaborarea n prealabil a unui plan de evaluare ajuta echipa sa mpiedice terminarea neateptat a resurselor financiare n decursul procesului de evaluare. Dac evaluarea este una complex i trebuie sa fie externalizat, Comitetul de Pilotaj este invitat sa aprobe planul de management al evalurii cu scopul de a coordona mai bine procesul de evaluare. Selecia metodelor de colectare i analiza a datelor Odat principalii factori interesai identificai i ntrebrile de evaluare formulate, trebuie sa se demareze procesul de colectare a datelor pentru a se obine informaiile care v vor ajuta sa rspundei la ntrebri. Colectarea i analiza datelor sunt activiti strns legate una de cealalt n cadrul exerciiului de evaluare, acesta fiind motivul pentru care ele sunt descrise i explicate urmnd o secveniere logic a evenimentelor. Pentru capitolul de analiz a datelor a se vedea paragraful dedicat acestui subiect Colectarea datelor: Colectarea datelor este o activitate foarte important n cadrul exerciiului de evaluare, deoarece calitatea acestor date va avea un impact direct asupra calitii evalurii analiza, constatrile i recomandrile vor fi emise n baza datelor colectate anterior. Colectarea datelor este procesul care ocup cel mai puin timp i cele mai multe resurse. Scopul acestui proces n cadrul evalurii este de a obine informaiile de care este nevoie pentru a putea rspunde la ntrebrile de evaluare. Evaluarea se poate baza pe informaiile existente sau, dac aceste informaii nu sunt suficiente, poate aprea nevoia de a colecta noi date. Exista mai multe modaliti de clasificare a datelor. n primul rnd, se face distincia ntre datele cantitative i cele calitative. Datele cantitative se refera la cifre ci, cte i cele calitative la motive, opinii i motivaie de ce. De asemenea, datele se pot clasifica n funcie de sursele acestora, adic primare i secundare. Datele primare sunt colectate de evaluator de la diveri actori din cadrul politicii sau programului. Datele secundare reprezint informaii colectate anterior de ctre alii i adesea cu scopuri diferite. Mai mult, datele pot i clasificate n longitudinale i transversale. Datele longitudinale sunt de obicei colectate de-a lungul anilor. Pentru a ndeplini scopurile evalurii, aceste date trebuie colectate de cel puin de dou ori de-a lungul timpului nainte de nceperea programului (da baza base line) i la momentul efecturii intermediare sau ex-post. Datele longitudinale prezint schimbri ale aceluiai subiect de-a lungul unei perioade de timp. Datele transversale sunt colectate la un anumit moment n timp comparnd diferenele dintre subiecii dea lungul vremii. n scopul evalurii se pot colecta diferite tipuri de date. Planificarea procesului de colectare a datelor nainte de a ncepe colectarea datelor, trebuie s ne asiguram ca discutam i ajungem la consens n cadrul echipei cu privire la urmtoarele aspecte: CE informaii trebuie sa colectam pentru a raspunde ntrebrilor de evaluare i CINE poate furniza aceste informaii CE metode se vor selecta pentru a obine datele necesare CINE va colecta datele

CND se vor colecta datele

n tabelul de mai jos se prezint un ablon (exemplu) pentru planul de colectare a datelor ntrebrile Informaiil Cine le Metode de Cine / Riscuri Pregtiri de e poate colectare cnd prealabile evaluare necesare furniza a datelor

Metode de colectare a datelor Metode cantitative de colectare a datelor Colectarea datelor cantitative este folosita pentru a rspunde la ntrebrile legate de cifre ci oameni au participat la program, ci dintre acetia consider ca programul a fost unul util etc. Cea mai des ntlnit metoda cantitativ de colectare a datelor este ancheta. Ancheta Ancheta este un instrument folosit pentru colectarea informaiilor cantitative cu privire la diveri actori, evenimente, sau servicii legate de politica sau programul de analizat. Este foarte des folosit pentru a ancheta evenimente i persoane din sectoarele guvernamental, social, sntate, educaie i alte sectoare n care este nevoie de colectare de informaii sau opinii. Exist mai multe metode de colectare a acestor informaii. Interviu fa n fa La telefon Prin completarea unui chestionar tiprit sau n varianta electronica prin e-mail Tipul care va fi ales se va decide n funcie de anumii factori, inclusiv resursele disponibile (de timp, umane i financiare), de gradul de acuratee al rezultatelor i trsturile grupului int. Interviurile fa n fa i sondajele prin telefon pot genera informaii de o mai bun calitate. Aceste cresc probabilitatea ca ntrebrile s fie mai bine nelese deoarece respondenii au oportunitatea de a clarifica nelmuririle. Sondajul autocompletare este relativ ieftin i rapid, dar prezint un risc mai mare ca ntrebrile sa fie greit nelese i respondenii s nu fie cei potrivii. Rata de rspuns poate fi de asemenea mai redus ca n cazul sondajelor fa n fa. Tabelul de mai jos prezint un sumar al tehnicilor de colectare a datelor. Tipul sondajului Fa n fa Aplicare Avantaje Dezavantaje Consum multe resurse i sunt mai costisitoare; Riscul de apariie a distorsiunii / prtinirii

Cele mai potrivite Date de o nalt calitate: pentru eantioane O mai bun mai mici nelegere a ntrebrilor (le putei repeta / explica ); tii c au rspuns oamenii potrivii; Putei folosi chestionare mai lungi Telefon Cele mai potrivite Date de o calitate destul pentru eantioane de bun: mai mici O mai bun Le putei folosi ca nelegere a tehnic de ntrebrilor (le urmrire a unui putei repeta / sondaj de autoexplica); completare Avei ansa s tii c au rspuns oamenii potrivii AutoFolosete Relativ ieftine. completare pe eantioane mai Putei folosi chestionare

i acestea consum multe resurse dar sunt mai ieftine dect interviurile fa n fa. Trebuiesc folosite chestionare mai scurte (10-15 min.) Nu toat lumea poate fi gsit la telefon Calitate datelor: redus a

hrtie/internet /e-mail

mari sau cnd eantionul acoper o zon geografic vast.

mai lungi. Exclude prtinirea intervievatorilor Date uor de analizat

Nu putei fi siguri c ntrebrile au fost bine nelese Nu putei fi siguri c au rspuns oamenii potrivii. Poate genera o rat de rspuns redus

Chestionarul: Chestionarul este un instrument de sondaj / ancheta elaborat pentru a colecta informaii pentru analize statistice. Poate fi o metoda foarte eficienta din punct de vere al costurilor pentru a ajunge la un grup larg de persoane n cadrul unei zone geografice vaste. In tabelul de mai jos sunt prezentate cteva structuri tipice ale unui chestionar. Scrisoare intenie de Un chestionar ar trebui s aib o scrisoare de intenie n care se explic n mod clar: Titlul i scopul anchetei; Finanatorul anchetei; Selecia respondenilor; Confidenialitatea informaiilor primite; Termenele limit pentru napoierea chestionarului; Informaii de contact Rata de rspuns la chestionar s-ar putea s fie mai ridicat dac scrisoarea este semnat de o persoan oficial de un nivel mai nalt n nainte de aranjarea ntrebrilor, furnizai urmtoarele informaii: Un scurt titlu pentru chestionar; Scopul chestionarului de ce desfurai ancheta i cum vei folosi rezultatele anchetei (este o scurt versiune a scrisorii de intenie); Instruciuni clare privind modul de completare a chestionarului. De exemplu, dac respondenii ncercuiesc rspunsurile, sau dac ar trebui s furnizeze comentarii; Ct timp este necesar pentru a completa chestionarul Introducerea chestionarului este un rezumat al scrisorii de intenie dar merit s furnizai aceste informaii din nou, deoarece scrisorile de intenie sunt desprinse de chestionar Grupai ntrebrile pe teme similare (sau acolo unde este un proces implicat n funcie de etapele procesului) pentru a asigura un flux logic. Dac avei nevoie de informaii de baz sau generale (ex. despre organizaie), plasai ntrebrile nrudite la nceput, ntr-o seciune separat. Cteva poturi pentru aranjarea ntrebrilor: Formulai o ntrebare astfel nct s ncap pe aceeai pagin (evitai ntoarcerea unei pagini n mijlocul unei ntrebri); Furnizai instruciuni clare cu privire la modul n care trebuie rspuns la ntrebare (de exemplu, dac respondentul poate selecta din cteva opiuni furnizate, rugaii s ncercuiasc rspunsurile sau s bifeze fiecare rspuns sau s bifeze fiecare rspuns care se aplic); Organizarea ntrebrilor i rspunsurilor pe un flux vertical. Evitai s plasai rspunsul chiar lng ntrebare, dac le

Introducere chestionar

Aranjarea ntrebrilor

solicitai Organizai rspunsuri repetate n aceiai ordine n toate ntrebrile. De exemplu, dac folosii dasau nu, urmai aceeai secvenialitate; Folosii coloane / rnduri multiple pentru a evita repetitivitatea ntrebrilor. De exemplu, dac dorii s evaluai modul n care diveri pai ai procesului de formulare de politici sunt implementai n cadrul unei organizaii trebui s aranjai toi paii acestui proces n coloane de tabel verticale i scri de msurare n rnduri orizontal; Folosii un limbaj simplu i clar. Evitai pe ct posibil propoziii lungi, jargonul abrevierile sau cuvintele tehnice. ntrebri Dac dorii s aflai informaii demografice (vrst, gen, etnie, demografice educaie, etc.) cu privire la respondeni atunci adresai aceste ntrebri la final Alte comentarii Furnizai spaiu la finalul ntrebrilor pentru a solicita respondentului s adauge alte comentarii V mulumim Nu uitai s mulumii respondenilor pentru completarea chestionarului Ce se ntmpl La finalul chestionarului aducei-le aminte de termenul limit de apoi cu napoiere al acestuia i informaiile de contact (nume, adres, chestionarul telefon, e-mail). n cazul n care desfurai o anchet n format tiprit, asigurai-v c includei un plic pre-pltit cu adresa expeditorului tiprit Testarea chestionarului Chestionarele din ancheta trebuie testate nainte de a fi trimise respondenilor pentru a fi siguri c ntrebrile sunt uor de lecturat i neles. Cea mai bun metod de a-l testa este de a ntreba cteva persoane care urmeaz sa l completeze. Metode calitative de testare a datelor

Formatul pentru constatrile evalurilor i analiza a datelor Principii cheie Clientul va utiliza rezultatele procesului de evaluare constatri, lecii nvate, recomandri numai dac va nelege raportul, va fi de acord cu acesta i va gsi mijloacele pentru a implementa recomandrile coninute. Pentru a ndeplini aceste obiective, raportul trebuie s fie scris ntr-o manier clar si s includ cantitatea de informaii adecvat. Mai presus de toate acestea, evaluatorii treuie s consulte diferii factori interesai n ceea ce privete coninutul raportului de evaluare. Procesul de consultare va uura nelegerea raportului de ctre factorii interesai, va crete gradul de implicare al acestora i va influena coninutul raportului determinnd astfel o acceptare mai rapid a rezultatelor. Acest fapt este foarte important deoarece deseori, pentru ca recomandrile s fie implementate cu succes este nevoie de acordul acestora. Din pcate, obiceiul de a emite judeci asupra calitii unui document n funcie de mrimea sa este des ntlnit n practic. Deseori, se crede c un raport de evaluare scurt este de o calitate mai sczut. n realitate, situaia st exact invers. Un raport de evaluare scurt i relevant necesit mult munc. Deseori, beneficiarul nu are ndeajuns timp la dispoziie pentru a citi rapoarte de evaluare foarte lungi, fiind aproape imposibil s implementeze o list foarte mare de recomandri. Evaluarea ar trebui s aib drept rezultat o schimbare, dar schimbarea oricrui sistem este posibil numai ntr-o anumit msur. Astfel , evaluatorii ar trebui s aib drept scop furnizarea unui numr limitat de recomandri cheie adic, recomandrile care sunt importante i vor avea un impact foarte mare. Structura i stilul raportului Clarificarea structurii raportului mpreun cu clientul, la nceputul procesului de evaluare va asigura nelegerea clar a tuturor aspectelor de care clientul este interesat s le acopere. Aceasta i va ajuta pe evaluatori s se concentreze asupra aspectelor cheie i s structureze rezultatele activitilor lor ntr-o form scris, stabilit de comun acord. Pe msur ce procesul de evaluare progreseaz, evaluatorii i clientul pot simi nevoia modificrii structurii raportului n lumina concluziilor evalurii. Ar trebui s fac acest lucru de comun acord. Aa cum s-a menionat mai devreme, structura rapoartelor de evaluare depinde de interesele clienilor i de ntrebrile de evaluare formulate. Stilul rapoartelor de evaluare trebuie s fie adaptat n funcie de nevoile clientului i de a evidenia anumite rezultate. Principalele pri ale rapoartelor de evaluare rmn la fel n majoritatea cazurilor. n tabelul de mai jos se prezint un exemplu de posibil structur a unui raport de evaluare Prefa Detalii despre misiunea de evaluare Scopul exerciiului de evaluare Sfera evalurii Echipa de evaluatori Durata exerciiului de evaluare Un rezumat concis, menit a furniza decidenilor cu timp limitat o lectur asupra celor mai importante idei exprimate n raportul de evaluare Informaii generale referitoare la intervenia evaluat: nevoile iniiale, obiectivele, principalele activiti, buget, grupuri int, etc. Ce activiti au fost finalizate pn n prezent n cadrul politicii publice evaluate

Rezumat executiv Introducer e Descriere a activitilo

r Evaluarea posibilelor dimensiun i ale interveni ei7

Relevan Argumentarea relevanei interveniei pe baza nevoilor societii Eficacitate Descrierea nivelului de ndeplinire a rezultatelor directe i a celor pe termen lung Eficien Analiza raportului cost beneficiu Implementare Performana mecanismului de implementare a interveniei: structuri i procese Impact Analiza impactului interveniei Durabilitate ansele ca rezultatele obinute s fie de durat Aprecieri globale referitoare la intervenie O list de recomandri Pot include: Diferite analize aprofundate ale diferitelor pri ale programului; Studii de caz. Ar trebui s includ Lista celor intervievai Lista documentelor consultate Comentarii asupra raportului efectuare de diferii factori interesai i care nu au fost incluse n raport

Concluzii Recomand ri Anexe

Stilul

de scris utilizat de ctre evaluatori se refer la cteva dimensiuni: Calitatea de informaii incluse n raport Descriptiv sau prescriptiv Stilul limbajului frazare, terminologie, ton, etc.

Stilul elaborrii (aa cum se vede n tabelul de mai jos) depinde n mod considerabil de scopul iniial al exerciiului de evaluare i de cititorul cruia i se adreseaz. Dac scopul raportului este . generarea de informaii / activiti Consecinele pentru stilul scrierii vor fi .. cantitatea i tipul de informaii ar trebui stabilite la nceput, mpreun cu clintul. Raportul va dedica o mare parte informaiilor factuale, iar n aceast parte, stilul exprimrii va fi n principal descriptiv, fr a emite judeci. nu toi cititorii raportului au informaii precise n ceea privete programul. Cantitatea de informaii va fi mare, la fel ca i dimensiunile referitoare la relevan, eficacitate, etc. ce vor trebui acoperite n detaliu. Deoarece raportul are drept scop justificarea modului de cheltuire a fondurilor, raportul va trebui s fie foarte descriptiv, i s prezinte un punct de

responsabilitatea

Nu ntotdeauna evalurile analizeaz toate dimensiunile. n cazul evalurilor cauzale, dimensiunea referitoare la implementare va conine cteva subcapitole de analiz din diferite aspecte ale impacturilor asupra mai multor grupuri int. n cazul evalurilor formative, dimensiunea impactului nu va fi deloc analizat. Tabelul arat posibile dimensiuni n cazul abordrii mixte a evalurii.

 mbuntirea formatului mbuntirea implementrii

evaluarea de rezultate, identificarea de viitoare nevoi

impact

vedere echilibrat asupra rezultatelor pe termen lung pozitive i negative i o judecat obiectiv, detaliat. Terminologia trebuie s fie accesibil unui public larg; tonul trebuie s fie obiectiv, frazarea clar astfel nct orice persoan fr cunotine anterioare despre program s poat nelege semnificaia a ceea ce se afirm. raportul de evaluare se concentreaz asupra ariilor identificate ca avnd nevoie de mbuntire i formuleaz recomandri. Faptele trebuie incluse numai n msura n care sunt necesare pentru a susine afirmaiile precizate. Raportul va include astfel o cantitate relativ sczut de informaii i va fi mai mult prescriptiv dect descriptiv. Limbajul nu trebuie s fie neles de publicul larg aa c se poate utiliza terminologie specific. i o mare parte din raportul de evaluare va fi dedicat analizei aprofundate. O mare parte de informaii factuale este necesar ca baz pentru judecarea rezultatelor i impactului, i de asemenea, pentru aprecierea viitoarelor nevoi. Raportul va fi foarte descriptiv. Limbajul va fi o combinaie de termeni tehnici (necesari pentru diferite analize efectuate) i comun, deoarece este posibil ca cititorii s fie diferii.

Regula de aur este urmtoarea: acele constatri i recomandri pe care clientul le nelege, accept i le consider utile sunt cele mai importante i ar trebui evideniate n mod adecvat n mod adecvat n cadrul raportului. Acela care nu ntrunesc aceste criterii ar trebui revizuite de ctre evaluator n considerare cu clientul i pe ct posibil, reformulate astfel nct s aduc clientului o valoare adugat real. Concluzii: Reguli de baz pentru scrierea raportului de evaluare: Justificarea afirmaiilor clare, utilizarea timpurilor verbale adecvate pentru a explica n mod clar cititorului dac este vorba despre un eveniment pentru un eveniment petrecut n trecut sau care va avea loc n mod clar n viitor. Dei pare evident, de multe ori acest aspect este neglijat Enumerarea ntotdeauna a aspectelor pozitive Lista constatrilor negative ar trebui limitat la cele cu adevrat importante La scrierea de recomandri: Menionarea clar a destinatarului recomandrilor, de exemplu Instituia X sau departamentul Y ar trebui . Recomandrile generice de tipul guvernul ar trebui . sau Romnia trebuie ar trebui s fie evitate Trebuie evitat adresarea de recomandri prilor care nu au avut nici o legtur cu procesul de evaluare. Ca o regul, recomandrile trebuie adresate numai acelor factori interesai (inclusiv evident clientului) care au fost implicai n procesul de evaluare Recomandrile trebuie adresate acelor niveluri de decizie care au fost implicate n procesul de evaluare i limitate numai la cele adecvate puterii de decizie

pentru respectiva funcie/ inta nu trebuie s o constituie nivelurile superioare, deoarece nu funcioneaz aproape niciodat. De exemplu, dac cel mai nalt nivel implicat n procesul de evaluare ar fi un directori de departament din cadrul unui minister, recomandrile trebuie s se refere la acel nivel, nu la managementul superior al ministerului Utilizarea unui nivel adecvat de detalii, de ex. formulrile prea generice de tipul creterea eficacitii procesului X trebuie evitate, putnd fi nlocuite cu sugestii specifice referitoare la ce poate fi fcut n mod exact i de ctre cine pentru a crete eficacitatea procesului X n final dar nu n cele din urm lista de recomandri ar trebui s le conin numai pe cele foarte importante

Procesul de consultare Procesul de consultare furnizeaz de obicei dou tipuri de contribuii din partea prilor invitate s comenteze pe marginea raportului de evaluare: Factuale comentarii care au drept scop furnizarea de noi informaii pe care evaluatorii este posibil s le fi trecut cu vederea, sau de a corecta anumite informaii factuale prezentate n cadrul raportului; Raionale opinii privitoare la anumite pri ale raportului de evaluare, n special capitolele de concluzii i recomandri, pe care prile comentatoare le consider necesar de exprimat. Astfel de opinii pot fi suplimentare, diferite de cele exprimate n raport, sau chiar opuse acestora. Procesul de consultare este foarte important deoarece: Ajut evaluatorii s verifice nelegerea faptelor i s-i compare raionamentul cu cele altor persoane; Factorii interesai invitai s comenteze simt c punctele lor de vedere sunt considerate importante, lund la rndul lor n serios raportul. Cum anumite recomandri din cadrul raportul de evaluare vor fi adresate unora dintre factorii interesai, este destul de normal ca acetia s aib ansa de a-i exprima opinia, n special la acele pri ce i privesc n mod direct. Decizia privitoare la cine anume va fi invitat s formuleze comentarii, aparine clientului. Totui, evaluatorii i pot exprima opiniile asupra identitii factorilor interesai care vor furniza comentarii. Procedura de furnizare a comentariilor trebuie s fie una simpl. Comentariile trebuie s fie mereu furnizate n scris i ntotdeauna s respecte un termen limit prestabilit. De obicei, o perioad de dou sptmni pentru furnizarea de comentarii este cea mai bun opiune. Prezentarea raportului Raportul trebuie prezentat n cadrul unei ntlniri plenare (denumit de obicei edin de prezentare), astfel nct va exista percepia conform creia acesta nu este un document important. Prile crora le este de obicei prezentat raportul n cadrul ntlnirii plenare cuprind: Manageri ai diferitelor structuri i niveluri de implementare a programelor; Finanatorul; Decideni superiori; Diferii factori interesai (ex. departamente sau instituii externe care au legtur cu programul). Pentru organizarea edinei de prezentare, n mod ideal, clientul ar trebui s se consulte cu evaluatorul n ceea ce privete agenda, abordarea general i lista de prezen. n afar de prile prezentare la edina de prezentare, alte pri pot, de asemenea s fie informate cu privire la raport , pri care nu au legtur att de strns cu privire la raport, pri care nu au legtur cu programul, dar care sunt totui interesate de lectura raportului de evaluare. Pentru acestea, de obicei trimiterea raportului va fi suficient. Cel mai important la edina de prezentare este discutarea recomandrilor n urma evalurii, nelegerea, aprobarea acestora. Metodele de implementare a acestora trebuie examinate i aprobate ntre cei la care fac referire. De aceea, este necesar ca diferitele pri implicate n implementarea programului sau afectate de ctre acesta i de asemenea a cror contribuie este necesar pentru implementarea recomandrilor s fie prezentate la edina de prezentare. Ca regul general, anumite pri care au participat la edina de debut (preliminar) ar trebui s fie prezentate i la cea de prezentare final. Este inutil s fie invitai la edina de prezentare factori interesai, care nu au avut nici o legtur cu procesul de evaluare. Sugestii practice:

Structura raportului trebuie ntotdeauna stabilit ct mai devreme posibil mpreun cu clientul. La scrierea raportului, succesiunea pailor este urmtoarea: nainte de toate se stabilete mpreun cu clientul structura raportului de evaluare capitole, seciuni i anexe; n al doilea rnd, se scriu ideile principale sub fiecare capitol i seciune. Scrierea textului detaliat nu va ncepe pn ce ideile principale nu au fost menionate n totalitate. Astfel, exist un grad foarte mare de risc de confuzie prea multe buci de text mprtiate, texte mutate de acolo-acolo, pn ce ntreg raport i va pierde logica, schimbarea formulrii , repetiii inutile ale ideilor n diferite paragrafe; Odat ce ideile principale au fost menionate, se poate trece la scrierea textului detaliat; De obicei, pe msur ce textul detaliat este scris, va fi necesar actualizarea ideilor principale; Exist ntotdeauna tentaia de a mbunti raportul. Dac se dorete realizarea unui produs final, activitatea de mbuntire trebuie s aib anumite limite. O dimensiune foarte important a calitii este finalizarea produsului la timp. n timpul procesului de consultare, vor exista ntotdeauna factori interesai care nu sunt de acord cu anumite pri din raport. Este imposibil ca raportul de evaluare s coincid cu prerile tuturor factorilor interesai i ncercarea de a ajunge la un consens se poate dovedi dificil. Elementul cheie este ajungerea la un acord cu clientul fr a neglija prerile factorilor interesai.

Implementarea constatrilor de evaluare Abordri ale procesului de implementare Pot exista diferite metode de implementare a recomandrilor procesului de evaluare. Utilizarea evalurilor nu se limiteaz numai la mbuntirea politicii, responsabilizarea sau, n cazuri extreme, sanciuni. Acestea pot fi utilizate pentru schimbarea proceselor, culturii administrative din cadrul organizaiei sau nvare. Astfel, utilizarea rezultatelor evalurii pot fi urmtoarele: Instrumental afecteaz n mod direct procesul decizional i pune capt procesului de mbuntire / schimbare a politicii. Drept rezultat, guvernul, ministerul sau ageniile executive va lua msuri pentru a elabora noi politici sau a le ajusta pe cele existente, sau msuri administrative n vederea implementrii recomandrilor. De proces afecteaz procesul de elaborare a politicii din interiorul organizaiei. Participarea la evaluare permite o mai bun nelegere a politicii i drept rezultat, mbuntete planificarea de politici. Uneori, valoare real a evalurii poate schimba gndirea i comportamentul personalului i determina mai multe schimbri n cultura administrativ i comportamentul organizaional. Astfel de valori dureaz pe termen lung i nu sunt uor de observat. Politic justific deciziile (retrospectiv i prospectiv). Uneori, evaluarea poate fi efectuat pentru a justifica o decizie deja luat. Astfel utilizarea acesteia are valoare simbolic. Totui, atunci cnd o evaluare este solicitat pentru a sprijini o anumit decizie, implementarea constatrilor evalurii se poate mbuntii semnificativ; Conceptual afecteaz gndirea general n ceea ce privete problemele existente. De exemplu, evaluarea livrrii de servicii de sntate sau sociale poate furniza dovezi n sprijinul ideii c n mod curent de livrare a serviciilor este costisitor sau ineficient. n schimb dovezile pot fi luate n consideraie la luarea de decizii care nu au legtur direct cu politica evaluat, dar csare pot avea efect pe termen lung. Factori care afecteaz procesul de implementare Implementarea recomandrilor trebuie s aib legtur cu activitile instituiei i personalul responsabil cu implementarea programului. De obicei, responsabilii cheie cu implementarea programului. De obicei, responsabilii evalurii sunt decidenii, managerii de program, personalul responsabil cu implementarea programului. Pot exista muli factori care s duc la creterea sau descreterea anselor de implementare. Acetia pot fi grupai pe larg n dou categorii: Cei referitori la caracteristicile evalurii i Cei referitori la organizare. Factorii referitori la caracteristice evalurii sunt n majoritate privitori la calitatea procesului de evaluare (tabelul de mai jos). Acetia sunt deseori controlai de echipa de evaluare. Factori Relevana evalurii Aspecte de luat n considerare Rspunde evaluarea la ntrebrile de evaluare ? Sunt recomandrile practice, clare i bazate pe informaii de ncredere ? Iau acestea n considerare preocuprile i comentariile clientului i ale factorilor interesai ? Credibilitatea Exist ndeajuns de multe dovezi de ncredere pentru a sprijini constatrile i recomandrile evalurii ? Sunt analizele i presupunerile pe care se bazeaz acestea justificate i explicate ? Consultare i Au fost constatrile i recomandrile comunicate clientului i

comunicare Durat

factorilor interesai i a avut loc o consultare cu acetia ? A fost finalizat evaluarea cu respectarea cu respectarea termenelor limit ? Se ncadreaz n ciclul decizional ? Este prezentat la timp pentru a veni n sprijinul deciziilor ?

Factorii referitori la organizare (a se vedea tabelul de mai jos) privesc mediul organizaional n care are loc procesul de evaluare. Astfel, acetia depind de un numr de factori i activiti din cadrul organizaiei i sunt mai dificil de depistat de ctre evaluatori. Factori Angajare i implicare Aspecte de luat n considerare Conducerea i personalul ministerului neleg rolul evalurii ? Persoanele din cadrul ministerului / ageniei / programului au fost implicate n procesul de planificare li efectuare a evalurii ? Simt c acest proces le aparine ? Nivelul de Este nevoie de noi cunotine n cadrul organizaiei ? Exist o politic de informare mbuntire ? Caracteris Care sunt atitudinile managementului i personalului fa de evaluare i tici care este influena i experiena acestora n cadrul organizaiei ? personale Luarea de Cum se iau decizii referitoare la politicile de mbuntire este nevoie de decizii dovezi ? Este implementarea constatrilor evalurii utilizat n mod retrospectiv pentru a justifica decizii luate deja sau n mod prospectiv pentru a sprijini decizii ce vor fi luate. Mediul Exist sprijin politic pentru politic sau program ? Sunt constatrile politic evalurii conforme climatului politic intern s extern ? Implicaii Este implementarea recomandrilor fezabil din punct de vedere financiar financiare avnd n vedere constrngerile de buget ? Aranjamente instituionale n vederea implementrii Dei implementarea constatrilor evalurii depinde de un numr mare de factori, civa pai ar putea fi ntreprini pentru a crete gradul de implicare n interiorul instituiei. Implementare recomandrilor de evaluare poate fi consolidat prin ntreprinderea urmtoarelor aciuni: nfiinarea unei comisii de implementare; nfiinarea unui grup de proiect; Instituionalizarea implementrii nfiinarea unei comisii de implementare este util n cazurile n care evalurii au loc la scar larg i implementarea recomandrilor necesit participarea mai multor instituii. Atunci calitatea de membru al unei astfel de comisii revine reprezentanilor instituiilor afectate. Principalul mandat al acestor comisii este de a superviza implementarea jaloanelor principale conform unui plan stabilit. n cazurile n care exist, structurile deja nfiinate, cum ar fi comisii de cabinet, pot fi de asemenea, utilizate. Pentru evaluri care acoper competena u noi instituii sau arii, pot fi utilizate structuri ministeriale interne (ex. comisii de management) sau ar putea fi nfiinat un grup de proiect pentru a superviza implementarea constatrilor. Calitatea de membru al grupului de proiect ar putea aduce manageri de program, personal din cadrul programelor, managementul sau personalul ageniilor executive. Instituionalizarea implementrii are loc de obicei, prin planificarea politicii i a procesului decizional. Este important ca aceste recomandri ale evalurilor s fie transpuse n activiti organizaionale i integrate n documente de politic public, n procesul de planificare a politicii i bugetului i s li se confere form legal dac este necesar. n acest scop, calitatea i relevana recomandrilor este important.

Un dintre metodele de gestionare a implementrii constatrilor de evaluare este de a ntocmi un plan de implementare. Scopul unui astfel de plan este de a defalca recomandrile n aciunile specifice care vor fi cuprinse n procesul de planificare a politicii instituionale. Planul poate avea diferite forme. Poate fi un plan separat de implementare a constatrilor implementrii sau activitilor care au legtur cu acestea i care poate fi integrat n documentele existente de planificare a politicii (ex. Planul Strategic de aciune), planuri de dezvoltare instituional planuri anuale de afaceri sau planuri individuale. Odat ce activitile sunt transpuse n aciuni administrative, se nscriu n cadrul procedurilor de monitorizare din cadrul instituiei sau Guvernului. Feed-back-ul referitor la implementarea constatrilor evalurii este asigurat prin proceduri de monitorizare de rutin.

Bibliografie:

Manual de metode folosite n planificarea politicilor publice i evaluarea impactului Sandra Briggs, Baiba Petersone, Karlis Smits (Proiect Phare Twinning RO2003/IB/OT-10) Manual de monitorizare i evaluare a politicilor publice, - Sandra Briggs, Egle Rimkute, Eugen Perianu material este publicat n cadrul proiectuluiDezvoltarea procesului de formulare a politicilor publice la nivelul administraiei publice centrale, cu sprijinul financiar al Uniunii Europene prin Programul Phare (proiect nr. RO 2006/018-147.01.03.03.01).