Proiectul nchiderea Minelor, Refacerea Mediului si Regenerare Socio - Economic

Crearea capacitatii institutionale la nivelul comunitatilor

(Dezvoltarea capacitatii comunitatilor miniere)

SUPORT DE CURS

Modulul 6 Monitorizarea i evaluarea proiectului

2008

CUPRINS

I. EVALUAREA II. TIPURI DE EVALUARE II.1. ELABORAREA PROIECTELOR N VEDEREA FINANRII II.2. EVALUAREA INTERN II.3. EVALUAREA REZULTATELOR III. PLANIFICAREA MONITORIZRII I EVALURII IV. METODE SI INSTRUMENTE DE EVALUARE IV.1 EVALUAREA PROIECTULUI V. EVALUAREA/SFRITUL PROIECTULUI

3 4 4 6 6 8 15 15 20

I. Evaluarea
Evaluarea nu este doar o etap care are loc la sfritul ciclului de proiecte, dei acest lucru se ntmpl destul de frecvent. Studiile de evaluare au luat avnt n special n perioada anilor 1970, dup publicarea studiului lui Aaron Wildavsky, atunci cnd rezultatele ateptate dup seria de programe aplicate n perioada de avnt a interveniilor guvernamentale nu au fost la nlimea ateptrilor, i cnd, din cauza crizelor economice, guvernele au trebuit s decid asupra ncheierii unor programe. Astfel, o nou tendin s-a profilat pentru studiile de cercetare, i anume centrare pe evaluarea performanei programelor. Iar una dintre recomandrile de baz pentru designul de noi programe a fost introducerea de modaliti pentru evaluarea regulat a programului n sine. Astfel a fost propus conceptul continuum-ului evalurii, n locul percepiei anterioare a evalurii drept etap ce are loc la ncheierea ciclului politicilor publice. Weimer i Vining propun urmtoarea structur pentru continuum-ul evalurii (Weimer, D.L. & Vining, A.R. 1989, p.368-369): a) Analiza ex-ante, etap care presupune analiza cantitativ i calitativ a problemei, stabilirea citeriilor de decizie, a alternativelor, punctelor pro i contra, estimarea rezultatelor ateptate, precum i msurile necesare pentru implementare i evaluare b) Msurile luate n cadrul derulrii programului se refer la msurile luate n vederea implementrii ct mai apropiate de felul n care a fost gndit programul, la trecerea acestuia din etapa de decizie n cea de implementare. Nu se urmrete interzicerea schimbrilor care se dovedesc necesare. n plus, se realizeaz nregistrarea schimbrilor realizate n decursul derulrii programului, n vederea includerii lor n studiul de implementare. c) Monitorizarea se refer la nregistrarea schimbrilor n variabilele cheie dup ce programul sau politica respectiv au fost implementate. Astfel se identific eventuale schimbri ce au aprut n urma aplicrii programului. d) Evaluarea ex-post se refer la analize aplicnd metode calitative i cantitative prin care se identific dac obiectivele au fost realizate i prin care se formuleaz recomandri cu privire la continuarea, modificarea i/sau terminarea politicii. Implementarea i evaluarea fac parte din faza final a ciclului politicilor publice.

II. Tipuri de evaluare

Modaliti de evaluare a proiectelor Procesul de evaluare a proiectelor reprezint una din cele mai complexe etape pe care le parcurge un proiect datorit faptului c se desfoar att la nceput, pe parcurs dar i la ncheierea proiectului. Evaluarea msoar gradul n care au fost atinse obiectivele, apariia rezultatelor preconizate i modul de utilizare a resurselor. n general, exist trei modele principale de evaluare, care pot fi luate n considerare atunci cnd se realizeaz o cercetare evaluativ. Concluziile cercetrii trebuie s reflecte informaia obinut prin aceste modele de evaluare ct i prin altele considerate ca optime pentru contextul respectiv. Cele trei metode de evaluare care difer ca mod de abordare sunt: evaluarea proiectelor n vederea finanrii, evaluarea intern, evaluarea rezultatelor.

II.1. Elaborarea proiectelor n vederea finanrii Toate proiectele, indiferent de forma prin care sunt finanate, parcurg un proces de evaluare. Evaluarea proiectelor n vederea finanrii este procesul prin care finanatorul, n baza documentaiei proiectului, determin dac proiectul propus rspunde cerinelor sale. Aceast evaluare este efectuat de personal calificat n acest sens, de regul independent, adic neimplicat n realizarea ulterioar i care nu are nici un fel de alt relaie cu factorii implicai n proiecte. n funcie de cerinele finanatorului, se stabilesc criteriile de selecie pe baza crora se face evaluarea i ierarhizarea proiectelor. Criteriile de evaluare i selecie sunt specifice att finanatorului ct i tematicii care este abordat n procesul de finanare. Cu toate acestea exist cteva aspecte comune care se au n vedere pentru toate procesele de selecie i anume sunt analizate o serie de aspecte care constituie elemente definitorii pentru toate proiectele, cum ar fi: oportunitatea temei propuse; obiectivele i activitile prevzute a fi realizate;

formele i metodele propuse a fi utilizate; realismul planului operaional; bugetul proiectului; echipa de lucru; managementul proiectului; formele de raportare i evaluare a rezultatelor propuse. Evaluarea cuprinde att aspecte calitative ct i cantitative. n procesul de evaluare sunt utilizate instrumente cum ar fi:

a) oprtunitatea- ncadrarea n cerinele i obiectivele generale ale proiectului; acesta trebuie s ofere date prin intermediul crora s se poat aprecia dac proiectul este capabil de a furniza beneficiul n cantitatea i la parametrii calitativi prestabilii; b) acceptabilitatea- gradul n care se presupune c va influena proiectul situaia existent; c) participarea- gradul n care beneficiarul proiectului particip la resursele necesare realizrii proiectului; d) grupul int- dimensiunea grupului vizat fa de totalul beneficiarilor poteniali corelat i cu costul aferent; e) eficiena- sunt comparate rezulatele propuse cu resursele necesare realizrii lor; acest instrument ofer managerilor posibilitatea focalizrii pe problemele sau pe slbiciunile proiectului, ceea ce permite acionarea n sensul asigurrii performanei; f) calitatea- standardele calitative utilizate pentru serviciile oferite; astfel n urma clarificrilor aduse n ceea ce privete utilitatea programului respectiv i dup identificarea resurselor necesare, se impune identificarea acelor aspecte care necesit a fi msurate. La acest nivel se poate pune problema de a gsi un echilibru ntre satisfacerea ateptrilor finanatorilor(interesai mai mult n indicatori care ofer informaii despre nivelul minim de performan) i necesitatea de a include mai ales acei indicatori de baz care s descrie performanele n atingerea scopului pe termen lung; g) sustenabilatatea- posibilitile ca proiectul s fie continuat sau dezvoltat ulterior prin fore proprii ale beneficiarilor; h) diseminarea- posibiliti de extindere a rezultatelor proiectelor asupra unui numr mai mare de beneficiari. Evaluarea proiectelor n vederea finanrii se bazeaz foarte mult pe estimri i mai puin pe date concrete. Din aceast privin reiese dificultatea pentru cei pui n situaia de a evalua un proiect dar, mai ales, pentru cei care ntocmesc documentaiile pentru proiecte.

Precizarea foarte clar i justificarea temeinic a fiecrui element al proiectului dau posibilitatea evaluatorului de a avea o imagine ct mai complex asupra condiiilor, obiectivelor i resurselor presupuse de acestea. Este important ca interpretarea s se fac ntr-un mod n care s dea o imagine ct mai apropiat de obiectivele urmrite. Includerea n documentaia proiectului a formelor de raportare i evaluare a rezultatelor obinute vine s demonstreze evaluatorului c solicitantul are n vedere faptul c obiectivele propuse trebuie s fie cuantificabile calitativ i cantitativ pentru a se putea estima impactul realizrii proiectului. II.2. Evaluarea intern Pe parcursul desfurrii proiectului este necesar urmrirea obiectivelor propuse. Evaluarea intern este procesul prin care coordonatorul de proiect i/sau managerul acestuia urmresc realizarea activitilor propuse, atingerea obiectivelor, gradul de ndeplinire al acestora i de utilizare a resurselor. Evaluarea intern este un proces continuu i ea nu este evideniat prin aciuni specifice, ci mai curnd trebuie avut n vedere de ctre coordonatorul proiectului ca pe o list de sarcini i resurse care pe msura utilizrii conduc la apariia unor rezultate. Acest proces de evaluare intern trebuie s fie n perfect concordan cu planul operaional, alocarea bugetului i a resurselor umane. Rapoartele de situaie utilizate n proiectele complexe i cu durate mai mari reprezint concretizarea procesului de control sau evaluare care au loc pe parcursul desfurrii proiectului. Acestea pot constitui motive de nchidere a unui proiect nainte de termenul stabilit sau pot conduce la apariia unor modificri semnificative ale acestuia dac se constat discrepane eseniale ntre estimrile iniiale i rezultatele stadiale obinute.

II.3. Evaluarea rezultatelor Evaluarea extern sau final reprezint evaluarea rezultatelor obinute ca urmare a realizrii proiectului. Procesul de evaluare final este foarte complex, iar raportul final al proiectului i raportul de evaluare a rezultatelor constituie documentele prin care proiectul este considerat ncheiat. Contractul de finanare se consider executat n momentul validrii/aprobrii de ctre finanator a acestor documente. Evaluarea rezultatelor unui proiect se face prin compararea obiectivelor propuse i a rezultatelor preconizate cu cele obinute efectiv ca urmare a realizrii proiectului. 6

n procesul de evaluare a rezultatelor se au n vedere urmtorii parametri: eficiena- se calculeaz de cele mai multe ori ca raport ntre efect i efort. Se compar resursele utilizate i nivelul rezultatelor obinute; eficacitatea- se compar rezultatele efectiv obinute cu rezultatele preconizate; economicitatea- se analizeaz costurile efectuate comparativ cu costurile planificate; participarea- participarea ateptat din partea beneficiarilor proiectului, eventuale alte participri din partea unor factori implicai; grupul int- se compar grupul int propus(ca numr i structur) cu grupul efectiv implicat n proiect. n acelai timp se compar grupul int cu totalul potenialilor beneficiari identificai n timpul proiectului; disponibilitatea- se analizeaz aspecte legate de calitatea serviciilor oferite n cadrul proiectului; gradul de cunoatere- procentul celor care au cunoscut proiectul i obiectivele acestuia i cei care ar fi trebuit s le cunoasc; gradul de implicare- msura n care s-au implicat n desfurarea proiectului factorii interesai n realizarea acestuia; suficiena- resursele utilizate pentru realizarea proiectului comparativ cu cele care ar fi fost efectiv necesare. Evaluarea rezultatelor proiectelor reprezint i un instrument utilizat n vederea identificrii de noi tematici pentru proiectele viitoare. Datele cuprinse n rapoartele de evaluare sunt foarte valoroase pentru evaluri i estimri de resurse ulterioare. n acelai timp n cadrul acestor rapoarte sunt menionate i forme de utilizare a rezultatelor obinute de ctre proiect, forme de continuare a acestuia sau noi obiective care au reieit ca poteniale nevoi ce se pot constitui n proiecte viitoare. Evaluarea important a proiectului pentru c d valoare rezulatelor acestuia. este o parte

III. Planificarea monitorizrii i evalurii

Responsabilitate Toi rspundem pentru munca pe care o facem. Rspundem pentru gestionarea resurselor care ni s-au dat; abiliti, timp, bani, o sntate bun, etc. La munc, rspundem n faa directorului sau efului nostru sau n faa celui care ne pltete. Personalul din nvmnt sau sntate rspunde n faa clienilor, elevilor sau celor care au nevoie de ngrijire medical. Similar, n activitatea de dezvoltare rspundem fa de diferitele persoane implicate; cel mai mult fa de oamenii i comunitile pe care le slujim, dar i fa de alii, incluznd autoritile i fa de cei care asigur resursele. Cum comparm progresul nostru cu obiectivele? i Care este calitatea serviciilor noastre? sunt ntrebri importante pe care poate ni le punem, indiferent dac suntem implicai n managementul afacerilor sau n munca de dezvoltare. nvarea leciilor Este necesar de asemenea s nvm lecii. Avem nevoie de un sistem pentru a analiza i reflecta asupra performanelor att: Zilnic, continuu, n fiecare lun, pentru a putea schimba direcia i a mbunti ceea ce facem i, Ocazional, poate anual sau la fiecare trei ani, cnd examinm eficacitatea noastr i schimbrile care au avut loc, pentru a cumula respectivele nvminte n planurile viitoare.

Monitorizare i evaluare Este foarte important a planifica M&E de la nceput; de ex. cnd ntocmim un plan strategic de organizare, cnd planificm un program sau un proiect. Sunt vitale n munca de dezvoltare pentru msurarea performanelor. Este necesar un sistem care va rspunde la ntrebrile legate de: relevan (Organizaia sau proiectul implic nevoile?) eficien (Folosim cu inteligen i corectitudine resursele disponibile?) eficacitate (Rezultatele dorite sunt obinute? Organizaia sau proiectul asigur rezultatele stabilite? )

 impact (Obiectivele mai extinse au fost atinse? Ce schimbri au aprut care ajut persoanele i/sau comunitile int?) sustenabilitate (Impactul va fi sustenabil? Orice structuri i procese stabilite vor fi susinute?) Folosirea termenilor Monitorizare i Evaluare variaz n diferite organizaii; de exemplu , anumite organizaii folosesc i termenul Revizuire. Nu fii ngrijorat de acest lucru; gsii acei termeni care v bucur, dar fii atent ca atunci cnd vorbii cu alii, acetia pot folosi cuvinte diferite, sau aceleai cuvinte cu alte nelesuri. O interpretare comun a acestora este:

Monitorizare Reprezint strngerea i analiza cu regularitate a informaiilor pentru a verifica performana. Acest lucru se face de obicei intern, spre a evalua dac sunt folosite intrrile, dac i ct de bine sunt finalizate activitile i dac rezultatele sunt asigurate conform celor planificate. Monitorizarea se axeaz n particular pe eficien, n folosirea resurselor. Sursele datelor cheie pentru monitorizare vor fi n mod obinuit documente interne, ca de exemplu rapoarte lunare/trimestriale, jurnale de activitate i deplasare, evidene privind instruirile, proceseverbale ale adunrilor, etc. A G P O

Revizuire Reprezint o form mult mai nsemnat de monitorizare, realizat mai puin frecvent; poate anual sau la sfritul unei faze. De obicei implic insiderii care lucreaz cu outsiderii. Revizuiete centrarea n particular pe eficacitate, relevan i impact imediat. Evalueaz dac activitile au produs rezultatele planificate i impactul acestor rezultate; cu alte cuvinte, dac este un indiciu c rezultatele contribuie la scopul organizaiei, proiectului sau programului. Revizuirile stabilesc examinarea impactului i sunt numite uneori revizuiri rezultat-ctre-scop. n numeroase organizaii, revizuire este denumit evaluare. Sursele datelor cheie pentru revizuire vor fi n mod specific att documente interne, ct i externe, ca de exemplu rapoarte G P O A

semestriale sau anuale, un raport de la un eveniment de revizuire participativ a unei pri interesate, documente de strngere a datelor, rapoarte consultani, etc.

Evaluare n numeroase organizaii, este un termen general folosit pentru a include revizuirea. Alte organizaii l folosesc ntr-un sens mai restrns al examinrii comprehensive a rezultatelor i al impactului unui proiect; modul n care acesta contribuie la realizarea scopului. Evalurile sunt folosite de obicei att de insideri, ct i de outsideri pentru a ajuta prile interesate i factorii de decizie s nvee i s aplice leciile nvate. Evalurile se axeaz n particular pe impact i sustenabilitate. Pot avea loc: la sfritul unei faze sau al unui proiect (evaluri finale sau intermediare) pentru a evalua impactul imediat, i/sau nainte de ncheierea proiectului (evaluri ex-post) pentru a evalua impactul pe termen lung al proiectului i sustenabilitii acestuia. Sursele datelor cheie pentru evaluare vor fi att interne, ct i externe. Pot include rapoarte de revizuire, rapoarte ale consultanilor, statistici naionale i internaionale, rapoarte de evaluare a impactului, etc. G P O A

Monitorizare
Cnd face?

Revizuire

Evaluare

se Continuu pe durata vieii Ocazional la mijlocul sau Ocazional la mijlocul sau unei organizaii sau proiect sfritul unei etape sau dup etapa final a unui proiect proiect Verific eficacitatea, relevana i impactul imediat al proiectului, atingerea obiectivelor (scopului) imediate Verific impactul i sustenabilitatea pe termen lung, obinerea obiectivelor i scopurilor

Ce se Verific n special eficiena, procesele de lucru - intrrile, msoar? activitile, rezultatele, condiiile i presupunerile

Cine este n general sunt implicai doar Pot fi implicai outsiderii i Poate implica outsiderii i implicat? insiderii insiderii insiderii Ce surse de informaii sunt folosite? n mod obinuit documente interne specifice, ca de exemplu rapoarte lunare/trimestriale, jurnale de activitate i deplasare, Documente interne, ct i externe, ca de exemplu rapoarte semestriale sau anuale, un raport de la un eveniment de revizuire Documente interne, ct i externe, ca de exemplu rapoarte de revizuire, rapoarte ale consultanilor, statistici naional i

10

Numeroase persoane folosesc informaiile, de ex. managerii, personalul, donatorii, beneficiarii, alte organizaii Cum sunt Luarea deciziilor duce la Luarea deciziilor poate duce Luarea deciziilor poate duce folosite schimbri corective minore la schimbri ale politicilor, la schimbri majore ale rezultatele? strategiilor i activitii politicilor, strategiilor i viitoare activitii viitoare Cine folosete rezultatele?

ale participativ a unei pri interesate, documente de strngere a datelor, rapoarte consultani, etc. Managerii i personalul Numeroase persoane folosesc care sunt utilizatorii finali ai informaiile, de ex. informaiilor culese managerii, personalul, donatorii, beneficiarii procese-verbale adunrilor, etc.

internaionale, rapoarte de evaluare a impactului, etc.

Indicatori Indicatorii sunt folosii pentru a msura performana; joac un rol crucial n cadrul M&E: acetia specific inte reale de msurare sau judecare dac obiectivele au fost atinse asigur o baz pentru monitorizare, revizuire i evaluare, cu reacii n managementul organizaiei sau proiectului i n nvarea leciilor i planificarea activitii ulterioare procesul de stabilire a indicatorilor contribuie la transparen, consens i deinerea obiectivelor i planului general. nainte de a privi la modul n care sunt stabilii indicatorii, iat cteva aspecte importante: Cine stabilete indicatorii este fundamental, nu doar n termen legai de proprietate i transparen, ci i pentru eficiena indicatorilor alei. Stabilirea obiectivelor i indicatorilor reprezint o oportunitate crucial pentru managementul participativ. O varietate de tipuri de indicatori are mai multe anse s fie eficient; cererea pentru verificarea obiectivelor poate nsemna c accentul se pune pe cantitate sau pe simplism, pe cheltuiala indicatorilor care sunt greu de verificat, dar care pot prinde mai bine esena schimbrii care are loc. Cu ct sunt mai puini indicatori, cu att mai bine. Msurarea schimbrii este costisitoare, aa nct folosii ct mai puini indicatori. Dar trebuie s existe un numr suficient de indicatori pentru a msura extinderea schimbrilor ce au loc i pentru a asigura triangularea (verificarea ncruciat) necesar.

11

Monitorizarea i evaluarea participrii Acest lucru difer de procesele obinuite, acionate de cei care fac donaii, prin implicarea unei largi varieti de pri interesate, conform celor prezentate n Matricea analizei participrii prilor interesate. Prile interesate primare pot fi implicate la stabilirea indicatorilor - la deciderea care sunt schimbrile cu adevrat importante pe care doresc s le vad. Prile interesate primare pot fi implicate n furnizarea datelor - prin diferite forme de pstrare a evidenelor. Prile interesate primare pot fi implicate n strngerea i confruntarea datelor - prin studii ale angajamentelor sau adunnd date din activitile de pstrare a evidenelor.

Avantaje Din monitorizarea i evaluarea participativ pot rezulta cteva avantaje: 1. Construiete capacitate local. 2. Creeaz transparen. 3. Creeaz relevan privind rezultatele proiectului. 4. ncurajeaz proprietatea i astfel sustenabilitatea. 5. Aduce resurse suplimentare de ex. activitile asumate de strngere a datelor.

Dezavantaje Ar fi naiv s ne imaginm c nu exist dezavantaje cnd adoptm monitorizarea i evaluarea participativ. Cteva sunt: 1. Nevoia de a forma capacitatea de participare care consum timp. 2. Poate fi preluat de protagoniti nereprezentativi. 3. Puterea cere progresul activitilor i rezultatelor i este nerbdtoare s obin progres. Acest lucru ncurajeaz efectuarea unui efort simbolic n cadrul participrii de ctre implementatorii proiectului.

Instrumente Pontarea O metod de pstrare a evidenelor este reprezentat de pontare. n acest caz, indicatorul particular, de ex. participarea la adunri poate fi lsat n seama participanilor spre a fi nregistrat sub forma naintrii unui contor (n cazul n care un registru al participanilor se poate dovedi nepotrivit). Participarea la ntlnire poate fi pontat de un observator desemnat. 12

Roata evalurii Aceasta reprezint o tehnic n care facilitatorul invit prile interesate s identifice criteriile pe baza crora va fi msurat succesul aciunii. Acestea sunt enumerate pe post-it-uri i plasate de-a lungul cadrului unui cerc. Dup ce a fost creat o list complet, cercul este mprit n segmente, unul pentru fiecare criteriu, pe ct posibil egale. n etapa urmtoare, participanii sunt invitai s vin i s deseneze linii n fiecare segment, din interiorul cercului spre exteriorul cercului. Lungimea liniei pe care o traseaz va reflecta gradul sentimentului pozitiv pe care acetia l au fa de criteriu - o linie lung, foarte pozitiv, o linie scurt, nu este pozitiv. Cnd toi participanii i-au adus contribuia, atunci, pentru un curs de pregtire, roata care rezult arat ca mai jos:

Cel mai bine este s folosii culori nchise pentru a trasa un cerc i segmente i s oferii participanilor o culoare diferit (rou sau verde) spre a o folosi pentru liniile lor.

13

Efectul rezultant este mult mai izbitor. Apoi, ncepnd cu criteriul pentru segmentul cel mai alb i cu o abordare treptat spre segmentul cu cea mai mic zon alb, invitai participanii s comenteze evaluarea lor a respectivului criteriu. Monitorizarea i evaluarea participativ reprezint contribuii importante la procesul de dezvoltare a comunitii. Sunt mecanisme valoroase pentru a pune bazele unui parteneriat i pentru a construi sustenabilitate prin mprirea proprietii asupra procesului de dezvoltare.

14

IV. Metode si instrumente de evaluare

IV.1 Evaluarea proiectului Evaluarea proiectului se concentreaz pe un singur proiect definit printr-un set legat de activiti pe o anumit perioad de timp. Evaluarea furnizeaz informaii pentru mbuntirea proiectului care se dezvolt i progreseaz. Informaiile sunt colectate pentru a se putea stabili dac el se desfoar aa cum a fost planificat, dac i atinge scopurile i obiectivele declarate n conformitate cu limita de timp propus. Constatrile evalurii sunt folosite i pentru a se stabili dac proiectul trebuie s continue aa cum se desfoar acum sau sunt necesare modificri. n Evaluarea proiectului proiectarea evalurii i strngerea datelor ncep atunci cnd ncepe i proiectul. Strngerea datelor se face conform unei scheme stabilite (de exemplu, la fiecare 6 luni, o dat pe an etc.) i ofer informaii pentru a sprijini continuarea recomandrilor, modificarea i/sau anularea unor activiti i strategii ale proiectului. Adesea, dar nu ntotdeauna, Evaluatorul de Proiect este un membru al personalului de proiect. Evaluarea proiectului poate cuprinde examinarea unor componente speciale. Componenta unui proiect poate fi un sub-proiect, o abordare specific de instruire a personalului, o practic profesional, o intervenie de sntate sau o strategie de management. Evaluarea unei componente examineaz msura n care au fost atinse scopurile acesteia (aceste scopuri sunt un subset de scopuri generale ale proiectului) n care componenta contribuie la succesul sau eecul proiectului, n general. Evalurile pot servi n multe feluri i pot furniza date critice pentru luarea deciziei n toate fazele elaborrii i implementrii proiectului. Dei unii oameni au sentimentul c evaluarea este o activitate mpotriva proiectului, dac este fcut bine, ea este n realitate n favoarea proiectului. Este important s reinem c evaluarea este un proces, nu o singur activitate. Atunci cnd este bine fcut, evaluarea poate s ajute la informarea managerilor cu privire la progresul proiectului, poate servi la clarificarea scopurilor i a obiectivelor, poate oferi informaii importante cu privire la ceea ce merge bine i la ceea ce merge prost i de ce.

15

Evaluarea programului Evaluarea programului poate fi gndit ca ceea ce determin valoarea mai multor proiecte legate. Ea examineaz proiectele luate mpreun, stabilind utilitatea activitilor i a strategiilor aplicate, n lumina unui scop politic general. Dei atunci cnd vorbim despre evaluare ceea ce ne vine cel mai adesea n minte este Evaluarea Sumativ, evaluarea planificrii i cea formativ sunt uneori mai valoroase pentru mbuntirea proiectelor aflate n curs. Evaluarea progresului Scopul Evalurii Progresului este s se examineze progresul n realizarea scopurilor proiectului. Evaluarea progresului este formativ. Ea cuprinde strngerea informaiilor pentru a se afla dac reperele progresului au fost atinse i pentru a se sublinia evoluiile neateptate. Evaluarea Progresului strnge informaii pentru a stabili care este impactul activitilor i strategiilor asupra participanilor n diverse stadii de intervenie. Prin msurarea rezultatelor interimare, personalul proiectului elimin riscul de a atepta pn cnd participanii vor cunoate ntregul tratament pentru evaluarea rezultatelor. Dac datele colectate ca parte a Evalurii Progresului nu arat schimbrile scontate, aceste informaii pot fi folosite pentru finalizarea sau ncheierea proiectului. Datele strnse ca parte a Evalurii Progresului pot contribui sau pot forma baza pentru studiul de Evaluare Sumativ efectuat cndva n viitor. ntr-o Evaluare de Progres se pot pune urmtoarele ntrebri: Participanii se ndreapt spre scopurile anticipate ale proiectului sau programului? Care dintre aceste activiti i strategii i ajut pe participani s mearg n direcia scopurilor? Evaluarea de Monitorizare Monitorizarea este o form de evaluare continu sau intermitent a proiectului efectuat de cineva din afara acestuia.

16

Monitorul poate veni de la agenia de finanare pentru a stabili progresul proiectului i respectarea contractului sau a grantului pentru proiect. Monitorul investigheaz utilizarea corect a fondurilor, observ progresul i furnizeaz informaii ageniei finanatoare n legtur cu proiectul. Uneori se face confuzie ntre termenii Evaluarea Implementrii i Evaluarea de monitorizare. Dar nu nseamn acelai lucru. n timp ce Implementarea Evalurii este o verificare intern timpurie efectuat de personalul proiectului pentru a vedea dac elementele eseniale ale proiectului sunt prezente i operaionale, monitorizarea este o verificare extern i de regul vine dup Evaluarea Implementrii. Dei cele dou difer, Evaluarea Implementrii, dac este eficace, poate facilita progresul i ne poate asigura c nu exist surprize nedorite n timpul monitorizrii. Tehnicile de strngere a informaiilor Urmtorul stadiu este stabilirea tehnicilor potrivite pentru strngerea informaiilor, inclusiv diferiii pai necesari. Selectai o abordare metodologic general Stabilii care sunt sursele de date care vor furniza datele necesare i evaluai fezabilitatea alternativelor Selectai tehnicile de strngere a datelor care vor aduna informaiile dorite de la sursele identificate Elaborai o matrice

Dup ce au fost formulate ntrebrile pentru evaluare, trebuie alese metodele cele mai potrivite pentru obinerea rspunsurilor. n stabilirea abordrilor care trebuie utilizate, este nevoie s se rspund mai nti la cteva ntrebri preliminare. n primul rnd, este mai bine s se fac studii de caz, s se exploreze experiena unui numr mic de participani n profunzime sau este mai bine s se foloseasc o anchet? n acest din urm caz, este nevoie s includei n anchet toi participanii sau putei selecta o mostr?

17

Vrei s tii numai ce se ntmpl cu participanii la proiect sau dorii s comparai experienele participanilor cu cele ale unui alt grup de neparticipani alei n mod corespunztor? Modul n care rspundei la cteva dintre aceste ntrebri va afecta tipul de concluzii pe care le putei trage din studiul dumneavoastr. n continuare trebuie s stabilii ce tipuri de date dorii s utilizai. Care dintre ele vor fi utilizate depinde de mai muli factori, inclusiv de ntrebri, termenele limit i resursele disponibile. Un alt factor care trebuie luat n considerare este nivelul de calificare tehnic a evaluatorului sau a echipei de evaluare. Unele tehnici cer mai mult calificare dect altele pentru proiectare i analiz. Dac suntei limitat n resursele dvs. de evaluare este mai bine s rmnei la abordri simple. De exemplu, tehnicile observrii pot produce o baz de date bogat care poate oferi foarte multe informaii dac este analizat n mod corespunztor. Problema aici este s se elaboreze instrumente potrivite pentru analiza statistic sau pentru alte strategii analitice care au fost elaborate pentru studiile de caz (Yin, 1989). n lipsa unei planificri atente prealabile a analizei, muli evaluatori ajung la investiii masive (n bani i timp), iar n colectarea de date prin observare eludeaz o analiz rezonabil. n sfrit, trebuie s decidei asupra combinaiei corespunztoare de tehnici de colectare a datelor, inclusiv asupra abordrilor cantitative i calitative. n sens larg, datele cantitative pot fi definite ca orice fel de date care pot fi reprezentate numeric, n timp ce datele calitative sunt exprimate mai frecvent prin descrieri narative. Datele calitative sunt utile i pentru msurarea reaciei sau deprinderilor unui grup mare de oameni fa de un set limitat de ntrebri, iar datele calitative ofer informaii mai detaliate cu privire la un numr mic de cazuri (Patton, 1990). Aceste distincii nu sunt totui absolute. Mai degrab ne-am putea gndi la ele ca la dou extremiti ale unui flux continuu i nu ca la dou categorii distincte. Mai mult, n anumite mprejurri datele calitative pot fi transformate n date cantitative prin utilizarea codificrii (de exemplu, prin gruparea afirmaiilor sau a temelor n categorii mai largi i obinnd frecvene). i invers, studiile cantitative bine concepute pot duce la formularea unor judeci calitative. Ambele tipuri de date pot oferi baze pentru luarea deciziei: ambele trebuie s fie luate n considerare n planificare i evaluare. Evalurile folosesc adesea o combinaie de tehnici n fiecare studiu.

18

Cum elaborai ntrebrile pentru Evaluare? Elaborarea ntrebrilor pentru evaluare const n mai muli pai: Clarificai scopurile i obiectivele evalurii Identificai i implicai factorii cheie i publicul cheie Descriei intervenia care urmeaz s fie evaluat Formulai eventualele ntrebri de evaluare care prezint interes pentru factorii interesai i pentru public Determinai resursele disponibile Stabilii prioritile i eliminai unele ntrebri Dei poate suna banal, la nceputul unei evaluri este important s se descrie proiectul sau intervenia pe scurt i s se clarifice scopurile i obiectivele evalurii. Un bun nceput poate avea un impact major asupra progresului unei evaluri pe tot parcursul ei. Patton (1990) propune s se aib n vedere urmtoarele ntrebri n elaborarea unei abordri de evaluare: Pentru cine sunt informaiile i cine va utiliza constatrile? De ce fel de informaii este nevoie? Cum urmeaz s fie folosite informaiile? Pentru ce scopuri se efectueaz evaluarea? Cnd este nevoie de informaii? Ce resurse sunt disponibile pentru a efectua evaluarea? Tipurile de date Date strnse direct de la persoanele individuale identificate ca surse de informaii: Auto-raportri (de la participani i de la membrii grupelor de control): 1. Jurnale de zi i dri de seam 2. Liste de verificare sau inventare 3. Scri de evaluare 4. Glosare

19

5. Chestionare 6. Interviuri 7. Rspunsuri scrise la cererile de informaii (de exemplu, scrisori) 8. Dispozitive sociometrice 9. Tehnici de proiectare

V. Evaluarea/sfritul proiectului
n aceast etap din viaa unui proiect se ncheie angajamentele avute cu finanatorii i se face evaluarea financiar legat de utilitatea proiectului. Cea mai important activitate ce revine managerului de proiect este legat de realizarea raportului final financiar i a celui narativ, dou documente care sunt solicitate de fiecare finanator n parte. n funcie de procedurile finanatorului se pot identifica formulare de raportare foarte complexe sau unele extrem de simple care se completeaz pe parcursul a dou-trei pagini. n aceste documente trebuie decontate cu exactitate toate sumele primite sub form de finanare i trebuie raportate toate activitile care au fost prevzute. Eventualele neconcordane (dintre proiectul propus i activitile realizate) trebuie explicate. O alt activitate ce va fi realizat n aceast etap se refer la stabilirea modalitilor prin care proiectul va fi continuat ulterior. n general astfel de lucruri sunt prevzute nc din faza elaborrii proiectului, dar un plan de aciune concret va fi realizat abia n aceast etap. Tot aici se realizeaz evaluarea proiectului, care reprezint emiterea de judeci asupra urmtoarelor aspecte: dac s-au atins obiectivele urmrite prin proiect, dac resursele (umane, financiare i de timp) au fost bine folosite, dac calitatea activitilor a fost corespunztoare, Pentru a avea o evaluare eficient este nevoie de ndeplinirea a trei cerine eseniale: obiectivele proiectului s fie clar definite de la nceput, monitorizarea trebuie s se efectueze pe parcursul ntregului proiect, iar informaiile trebuie culese i prelucrate cu grij,

20

rezultatele evalurii trebuie s produc schimbri la nivelul abordrii organizaionale, Evaluarea poate fi fcut att de persoane care aparin organizaiei ce implementeaz

proiectul sau poate fi realizat i de ctre externi. Este bine ca detaliile privind efectuarea acestei activiti s fie stabilite nc de la nceputul proiectului. Activitatea propriu-zis de evaluare este realizat n trei etape distincte: pre-evaluare implementarea evalurii post-evaluare n prima etap este realizat planificarea activitii de evaluare. Se stabilete: De ce se face? Pentru cine se face? Ce se evalueaz? De ctre cine este realizat evaluarea? i Planul de aciune al evalurii. n a doua etap se colecteaz informaiile pe baza crora se face evaluarea, se analizeaz acestea i se prezint rezultatele. n cea de-a treia etap din activitatea de evaluare se obine acordul asupra recomandrilor care reies din evaluare.
Se realizeaz trei mari activiti: elaborarea rapoartelor financiare narative finale, asigurarea continuitii proiectului, evaluarea proiectului i

Pentru a folosi ntregul potenial al monitorizrii i evalurii trebuie luate n considerare urmtoarele: verificarea planului proiectului, existena unei echipe de monitorizare, meninerea rezultatelor obinute, diversificarea surselor de informare, implicarea colegilor n precizarea obiectivelor i a procedurilor, adaptarea obiectivelor i a activitilor, adaptarea proiectului doar n funcie de necesitile din momentul implementrii.

Criteriile de succes referitoare la produsul final au n vedere: calitatea, standardele tehnice, relevana, eficiena, aria de cuprindere,

21

percepia creat n jurul produselor.

Greeli frecvente La sfritul acestei seciuni v prezentm cteva recomandri vis-a-vis de etapele managementului proiectelor, formulate n urma observrii faptului c presiunea sub care se lucreaz, de obicei, n timpul proiectelor, constituie terenul favorabil pentru greeli. 1. Nu v lsai sedui de soluii care par c ofer scurtturi confortabile pentru reuita proiectului. 2. Nu srii de la faza de concepie (nchegarea ideii de proiect) direct la faza de execuie! Ai putea fi tentat s facei acest lucru motivndu-v alegerea cu unul dintre urmtoarele raionamente: a) Proiectele de acest tip au mai fost derulate de cteva ori, de ce trebuie s mai pierdem timpul cu planificarea? Cum am relevat n partea dedicat definiiilor, fiecare proiect este unic, sau are o not de inovaie: poate fi vorba despre oameni noi n echip, de o echip n totalitate nou, de un context diferit, de tehnologii noi care sunt utilizate, de o arie de aciune a proiectului mai ampl etc. b) Proiectul de acum este diferit de tot ceea ce s-a ntmplat pn acum, aa c ce nevoie avem de planificare? Planificarea se impune ca o etap absolut necesar ntr-o astfel de situaie. Este posibil ca noutatea proiectului s impun revizuiri succesive ale planului iniial, dar revizuirile trebuie aduse unui plan existent, nu exist revizuirea a unui lucru care nu exist. 3. Nu srii n totalitate peste faza de concepie, orict experien ai deine n ceea ce privete proiectele! 4. Nu srii peste faza de evaluare i corectare a planului propus iniial! 5. Nu trecei brusc de la un proiect la altul, nu tratai cu superficialitate ultima faz, cea a nchiderii proiectului. Resursele limitate i termenele limite strnse v ncurajeaz s procedai astfel, dar, dac nu facei acest lucru, nu tii exact dac proiectul a reprezentat un succes sau un eec, nu apreciai performana oamenilor cu care ai lucrat, nu valorificai experiena acumulat astfel nct s nu repetai greelile pe viitor.

22

Bibliografie selectiv

Cook, T. D., & Shadish, W. R. J. (1986). Program Evaluation: The Worldly Science. Annual Review of Psychology, 37, 193-232. Fetterman, D. M. (2001). Foundations of Empowerment Evaluation. Thousand Oaks: Sage. Ovretveit, J. (1998). Evaluating Health Interventions. Buckingham: Open University Press. Patton, M. Q. (1990). Qualitative Evaluation and Re-search Methods. Newbury Park, CA: Sage. Rossi, P. H. & Freeman, H. E. (1993). Evaluation:A Systematic Approach (5th Edition). Newbury Park, CA: Sage.

23