Monitorizarea si avaluarea programelor anticoruptie

Identificarea clintlor, publicului si factorilor interesati ai evaluarii

- Clienti si factorii interesati sunt actorii care joaca diferite roluri in cadrul planificari
politicilor, implementarii si evaluarii.Astfel clientul este cel care solicita evalurea, el ar
putea fi finantatorul/promotorul interventiei.Factorii interesati sunt entitati sa indivizi
care sunt afectati in mod direct de interventie (politica, program, proiecte) si prin
urmare de evaluare.
- Identificarea cat mai clar posibila a nevoilor clientului sau clientilor este un aspect
esential.Nwvoile diferitelor parti reprezinta bazapentru diferitele scopuri ale evluarii,
desi relatia nu este mereu una directa
- Scopul evaluarii este acela de imbunatatire a rezultatului si procesului interventiei
publice.Astfel, evaluarea poate fi privita drept un instrument de management
- Scopurile evaluarii:
o Generarea de informatii cu privire la progresul implementarii unei interventi
publice
o Masurarea eficacitatii interventiei
o Responsabilizarea
o Imbunatatirea mecanimelor de implementare a interventiei publice
o Indentificarea nevoilor aditioale
o Unificarea partilor din structura de implementare—Imbunatatirea lucrului in
echipa
Definira intrebarilor de evaluare
- Rolul intrebarilor de evaluare, sunt acele intrebari la care evaluatorii trebuie sa
raspunda in raportul de evaluare
- Cine formuleaza intrebarile, in mod ideal clientul in urma consultarii cu factorii interesati
si atunci cand clientul are experienta limitata, poate fi necesar ca evaluatorul sa sprijjine
clientul in ceea ce priveste formularea intrebarilor
- Focalizarea intrebarilor de evaluare
o Scopul de evaluare este e generare de informatii atunci focalizarea se face pe
aspectle asupra carora clientul are nevoie de informatii despre progesul
inregistrat de interventie
o Scopul evaluarii este de responsabilizare atunci focalizarea se face pe
demonstrarea folosirii adecvate a fondurilor
o Scop pe imbunatatirea mecanismului cu focalizare pe legatura dintre nevoi si
abordarea interventiei
 o Scop pe imbunatatirea implementarii cu focalizare pe structurile si procesele de
implementare prevazute
o Scop p analizarea rezultatelor cu focalizare pe analiza indicatorilor care
demonstreaza indeplinirea obiectivelor
- Tipuri de intrebari de evaluare depind de
o Scopul evaluarii
o Momentul evaluzarii – ex- ante, intermeiara sau ex-post
o Tipul interventiei (proiect, program, politica) supusa evaluarii
o Aspectele specifice de implementare cu care se confrunta interventia
o Rolul clientului in ceea ce priveste programul – ex finatator, partea
managementului de program, factor decizional senior etc.

Planificarea evaluarii:
- Crearea structurilor de management ale evaluarii, crearea uei echipe de evaluare
depinde de complexitatea intrebarilor de evaluare.Evaluarea poate fi gestionata din
interiei sau exterior, poate implic peroane din agentie de statistica, dar cel mai adesea,
coectarea datelor este delegata catre intitutele de crecetare, universitati sau
cmpaniiprivate care au exprienta n domenul respectiv.Exhipa de evaluare trebuie sa
includa diferite contexte si abilitati, atat in ceea ce priveste colectarea cat si in ceea ce
priveste analiza datelor.
- Termenii de referinta entru experti(TDR) ofera contextul general pentru evaluare,
definesc obiectivele si sfera acesteia, alcatuirea echipei de evaluare si coordonarea in
timp
- Evaluarea resurselor, la nivel de management trebuie sa se emita judecati cu privire la
timpul, resursele financiare si umane dsponibile, folosirea metodelor de colectare si
analiza a datelor adecvate si trebuie sa se inerce ajustaea evaluarii in mod realist.
- Evalari descriptive vs cauzale, cele descriptive definesc diferite trsaturi ale grupului tinta,
un exemplu este analiza nevoilor.Cauzale de obicei analizeaza cauzalitatea.Este
important pentru cei care formuleaza polticile ca sa compare impacturile realizate atat
in termenii rezultatelor pozitive cat si negative.
- Evaluari formative vs sumative, formaive examineaza procesul de desfasurare a
programului, cu accent asupra calitatii implementarii salesi a contextului organizational,
personalului, structurilor si procedurilor.Evaluarile sumative examineaza efectele sau
rezultatele anumitor programe, ele rezuma consecintele interventiei si determina
legaturile dintre aceste conscinte si imlementarea politicii.
- Elaborarea unui plan de management al evaluarii, planul de management al evaluarii
este un instrument esential pentru echipa de evaluare mai ales daca politica sau
programul supuse evaluarii include multe obiective.Plnul de management l evaluarii nu
are un format specific.In majoritatea cazurilor, planrile de evaluare contin actiitati,
 institutiile responsible, termenele limita pentru anumite activitati metodele principale
de colectare naliza a datelor, precum si costurile pentru fiecre pas in parte.

Selectia metodelor de colectare si analiza a datelor

- Colectarea datelor este o activitate foarte importanta in cadrul exercitiului de evalure,

deoarece calitatea acestor date va avea un impact direct asupra calitatii evaluarii
- Planificare procesului de colectare a datelor, este important punerea in discutie a
urmatoarelor aspecte
o Ce informatii trebuiesc colectate
o Cine poate furniza aceste informatii
o Ce metode se va selecta pentru obtinerea lor
o Cine colecteaz informatiile
o Cand se vor colecta acestea
- Un rol important in procesul de colectare a datelor il joaca echipa de evaluare
- Metode de colectare a datelor, acestea sunt grupate in 2 sectiuni majore, metode de
colectare cantitative si metode de colectare calitative
- Metodele de colectare cantitative a datelor sunt Ancheta-un instrument folosit pentru
colectarea informatiilor cantitative cu privire ladiversi ctori, evenimente sau ervicii
legate de politica sau program.Este des folosit pentru a ancheta evenimente si persoane
din sectoarele guvernamentale, social,sanatate, educatie si alte sectoare in care este
nevoie de coletare de informtii sau opinii.Ancheta se face prin urmatoarele metode,
interviu fata n fata, la telefon sau prin completarea unui chestionar.
- Metode calitative de colectare datelor, acestea permit obtinerea de infrmatii cu
privirela aspecte mai profunde.Cele mai frecvent utlizate metode sunt Interviuril
aprofundate, Focus grupui, Vizite la fta locului
- Interviurile aprofundate reprezinta un dialog intre intervievator si o peroana din grupul
tinte,cu scopul de obtine informatii cu privire la opiniile, atitudinile si modurile de
compotament ale participantlor la program.
- Focus grupurile sombina trasaturile interiului aprofundat si al observatiei.Ele
conncentreaza un rup mid de pperoane asemanatoare pentru a comenta si impartasi
idei cu privire la program.Tenica implica observarea dicutiilor in cadrul grupului, si
analiza a comportmentelor si atitudinilor persoanelor dn grup.Au scopul de a identifica
si defini probleme din procesul de implementare a programului, identifica pucntele
forte, labe si recomandrari, obtine informatii cu privire la rezultatele si impacturile
programului, genera iei noi.
- Vizitele la fata locului, acestea sunt de obicei planuite pentru a colecta informatii directe
de la dispozitive specifice sau de la organisme de furnizare serviciilor, pentru a
desfasura interviuri cu indivizi sau grupuri, sau pentru a face observatii asupra
 activitatilor specifice si implica o cimbinatie de activitati ( interviuri, observatii sau focus
grupuir)
- Aleger metodelor de colectare a datelor, aceasta metoda trebie sa raspunda cel mai
bine intrebarii de evaluare si sa fie o cimbinatie intre urmatoii factori : scopul evaluarii,
resursele disponibile, perioada de timp.
- Esantionarea este proesul de selectare a unitatilor acoperite de politica sau program
astfel incat prin analiza esantioului sa se poata aplica rezultatel asupra utilizatorior
programului.
- Prceul de esantionare implica anumite etape
o Determinara cadrului de esantonare
o Alegerea metodei de esantionare
o Determinarea volumui esantionului
o Realizara esantionarii
- Determinara cadrului de esantionare, acest cadru de esantionare este o lista a tuturor
unitatilor din populatia care face obictul interesului nostru.Cadrul de3 esantionare de
obicei defineste populatia tinta din cadrul careia este selectat esantionul.Acest cadru
poate furniza de obicei informatii suplimentare despre unitatile care vor fi supuse
evaluarii si poate fi dolosit pentru a inbunatati modelul de sondaj si procesul de
esantionare.
- Alegerea metodei de esantionare, metodele de esantionare sunt grupate in metode
probabilistice si neprobabilistice
- Esantionarea neprobabilistica este o schema in cadrul careia anumite unitati ale
populatiei nu au nicio sansa de a fi selectate:
o Rationala, in cadrul acestei esantionari analistul selecteaza esantionul pe baza
propriilor rationamente sau criterii, si este bazat pe experienta evaluatorului si
relevanta fata de program sau politica
o Prin cote, toata populatia este grupata in grupuri mutual exclusive, precum in
cea stratificata, iar apoi unitatile sunt selectate din fiecare grup pe baza unei cote
specificate.
o In lant, este folosita atunci cand este extrem de dificil sau costisitor sa se
determine respondentii, astfel se aleg respondentii dintre cei initiali pentru a
genera respondenti suplimentari
- Esantionare probalisitca este o schema in care fiecare unitate a populatiei are o sansa
egala de a fi inclusa in esantion si face posibila producerea unor esantioane pe cat
posibil obiective:
o Simpla aleatorie, cunoscuta si sub numele tragere la sort implica selectarea
numarului necesar de unitati din cadrul de esantionare intr-un mod aleatoriu
o Sistematica aleatorie, este esantionare aleatoare in cadrul unui sistem.
Insemnand selectare fiecarui al n-lea uitilizator de program sau existenta unui
 interval intre fiecare uitate selectate, este important ca punctul de pornire sa fie
ales la intamplare iar apoi la intervale regulate.
o Stratificata, aranjeaza populatia analizata in grupuri numite straturi si ajuta la
selectarea de catre evaluatori a esantionuylui din cadrul fiecarui grup folosind
tehnica de esantionare aleatoria sau sistematica.
o Prin grupuri, divizeaza toata populatia in grupui, un numar de grupuri este
selectat la intamplare si toate unitatile din cadrul grupurilor sunt incluse in
esantion
o Multistadiala, este o esantionare prin grupuri complexa, primul stadiu include
selectarea grupurilor al 2-lea selectarea aleatorie a unitatilor primare din fiecare
grup, apoi in fiecare dintre grupurile selectare, sunt selectate esantioane
suplimentare si asa mai departe.
- Determinarea volumului esantionului, depinde de:
o Scopul evaluarii
o Volumul populatie
o Eroarea de esantion acceptabila
o Riscul selectarii unui esantion nepotrivit

Abordari pentru determinrea volumului

o Recensamant, folosit pentru populatii cu numare redus pentru evitarea
costurilor de colectare a datelor
o Folosirea unui volum al esantionului din evaluari similare
o Tabele/calculatoare de esantion electronic care sugereaza volumul de esantion
pe baza unui set dat de criterii
o Aplicarea formularelor, care sunt de obicei folosite in cazurile cand se
intentioneaza folosirea metodelor de analiza cantitativa
- Esantionare Calitativa, cele mai frecvente metode foliste sunt metodele non-
probalistice, scopul interviurilor aprofundate sau al focus grupurilor este de a obtine
informatii despre implementarea sau impactul politicii/programului de la persoanele cu
cele mai bogate cunostinte in domeniul respectiv
- Metode de analiza a datelor calitative, cea mai obisnuita analiza a datelor calitative este
impresia observatorului, expertii examineaza datele, le interpreteaza si isi formeaza o
impresie pe care apoi o raporteaza intr-o forma structurata si uneori cantitativa
o Exista 2 abordari principale opuse pentru a documenta interpretarea cu metode
de analiza a datelor calitative
o Abordarea studiu de caz, nestructurata, este o intelegere aprofundata a
procesului evenimetului sau situatiei, aceatsa metoda este adecvata in cazurile in
ca intrebarea de evaluare inseamna descoperirea funcamentului unui proces din
cadrul unui grup redus de pparticipanti sau chiar individual emiterea unor
conclurii doar despre acel participantsau grup.
 o Analiza de continut este o metoda de analiza calitativa a comportamentului,
aceasta abordare sistemica limiteaza efectele distorsiunii analistului, rezultatul
este transformarea documentului non-cantitativ in date cantitative
- Metode de analiza a datelor cantitative
o Exsta trei pasi majori in analiza datelor antitative
o organizarea datelor pentru analiza- pregatirea datelor, datele sunt introduse ,
verificate din punct de vederea al acuratetei transformate si transpuse in baza de
date care integreaza diverse masuri de performanta
o descrierea datelor-statistica descriptiva, folosita pentru a descrie ce anume
prezinta datele, furnizeaza rezumate ale diferitelor masuri ale esantionului,
poate fi exprimata sub forma diferitelor grafice sau tabele
o testarea ipotezelor si modelelor- statistica inferentiala, ajuta la gasirea
raspunsurilor la intrebarile legate de modul in care factori diferiti influenteaza
rezultatul politicii si care dintre factori au o influenta mai mare si care factori nu
sunt importanti pentru atingerea obiectivelor politicii.
Crearea unui fromat potrivit pentru constatarile evaluarii
- Principii cheie, se vor uitliza rezultatele procesului de evaluare – constatari, lectii
invatate, recomandari si se vor gasi mijloace de implementare a recomandarilor
continute, pentru indeplinirea acestui obiectiv, reportul trebuie sa fie scris intr-o
maniera clara si sa includa cantitatea de informatii adecvata
- Structura si stiulul raportului, in principal se pune accentul pe constatarile si
recomandarile pe care clientul le intelege, accepta si le considera utile iar cele ce nu
intrunesc aceste criterii ar trebui revizuite de catre evaluator in consultare cu clientul si
pe cat posibil, reformulate astfel incat sa aduca clientului o valoare adaugata reala.
- Procesul de consultare, furnizeaza doua tipuri de contributii:
o Factuale- comentarii care au dreptr scop furnizarea de noi informatii pe care
evaluatorii este posibil sa le fi trecut cu vederea
o Rationale- opinii privitoare la anumite parti ale raportului de evaluare, in special
capitolele de conlcuzii si recomandari, pe care partile comentatoare le considera
necesar de exprimat
Implementarea constatarilor de evaluare
- Utilizarea rezultatelor evaluarii pot fi urmatoarele:
o Instrumentala, afecteaza in mod direct procelul decizional si pune capat
procesului de imbunatatire/schimbate a politicii
o De proces- afecteaza procesul de elaborare a politicii din interiorul organizatiei
o Politica-justifica deciziile si utilizarea ei are o valoare mai mult simbolica
o Conceptuala- afecteaza gandirea generala in ceea ce priveste problemele
existente
 - Factorii care afecteaza procesul de implementare
o Cei referitori la caracteristicile evaluarii
 Relevanta evaluarii
 Credibilitatea
 Consultarea si comunicare
 durata
o Cei referitori la organizare
 Angajare si implicare
 Nevoia de informare
 Caracterisitic personale
 Luarea de decizii
 Mediul politic
 Implicatiile financiare
- Aranjamentue institutionale in vederea implementarii, pot fi consolidate prin
intreprinderea urm actiuni
o Infiintarea unei comisii de implementare
 In cazurile in care evaluarille au loc la scara larga si implementarea
recomandrarilor necesita participarea mai multor insititutii
o Infiintarea unui grup de proiect
 Pentru evaluari care acopera competenta unei institutii sau arii si
supervizeaza implementarea constatarilor
o Institutionalizarea implementarii
 Are loc de obicei prin planificarea politicii si procesul decizional
Managementul calitatii efortului de evaluare
- Este un proces continuu ce strabate toti pasii procesului de evaluare
- Componentele managementului calitatii evaluarii, este asigurat cu ajutorul urmatorilor
piloni
o Organizare si roluri, sunt legate de structurile institutionale sau organismele ce
trebuie sa conduca si efectueze efortul de evaluare
o Proces de evaluare se revera de obicei la cerintele, activitatile si instrumentele
utilizate pentru a asigura desfasurarea unei evaluari
o Cerintele referiotare la continutul evaluarii au in vedere in principal activitati de
baza ce vor avea ca rezultat recomandarile credibile
o Stimulentele sunt legate de cultura politica si administrativa
- Lista de verificare pentru evaluarea managementului calitatii, este o lista de intrebari de
ghidare in cadrul efortului de ewvaluare, care evidentiaza jaloanele majore in
planificarea si efectuarea unei evaluari si acopera toti pasii procesului de evaluare si
schiteaza activitatile valorii intrinseci ale calitatii acesteia