Manual de Monitorizare Si Evaluare A Politicilor Publice PDF

Proiect finanat de GUVERNUL ROMNIEI
UNIUNEA EUROPEAN Secretariatul General

al Guvernului
manual de
monitorizare i evaluare
a politicilor publice
Noiembrie 2009
Acest material este publicat n cadrul proiectului Dezvoltarea procesului de
formulare a politicilor publice la nivelul administraiei publice centrale, cu
sprijinul financiar al Uniunii Europene prin Programul Phare.
Numr proiect: RO 2006/018-147.01.03.03.01
Drepturile de autor asupra acestei publicaii sunt rezervate Secretariatului

General al Guvernului.
Data publicrii: noiembrie 2009
Editor: Secretariatul General al Guvernului - Direcia de Politici Publice

Adresa: Palatul Victoria, Piaa Victoriei nr. 1, sector 1, Bucureti
Telefon: 021 319 15 08, 021 319 15 21
Fax: 021 319 15 08
Internet: www.sgg.ro
Autori: experi ai proiectului pentru monitorizare i evaluare, Sandra Briggs, Egle

Rimkute i Eugen Perianu
Coninutul acestui material nu reprezint n mod necesar poziia oficial a Uniunii
Europene.
Pentru informaii despre Uniunea European, v invitm s vizitai

http://ec.europa.eu
1

2
MANUAL DE MONITORIZARE I EVALUARE

A POLITICILOR PUBLICE
Cuprins
PREFA ...................................................................................................................................................... 5
INTRODUCERE ........................................................................................................................................... 7
PARTEA NTI. PAS CU PAS NSPRE REZULTATE ........................................................................... 17
PASUL 1. IDENTIFICAREA CLIENILOR, PUBLICULUI I FACTORILOR INTERESAI AI
EVALURII................................................................................................................................................. 19
if i ................................................................................................................. 19
$iB ................................................................................................. 20
$ ................................................................................................................................. 21
PASUL 2. DEFINIREA NTREBRILOR DE EVALUARE ................................................................... 23
B$............................................................................................................. 23
B$ .................................................................................................. 23
B$ ............................................................................................................. 26
PASUL 3. PLANIFICAREA EVALURII................................................................................................. 28

$ ............................................................................ 28
Decizia de externalizare a evalurii i factorii care afecteaz aceast decizie ............................... 29
Elaborarea Termenilor de Referin pentru experi ......................................................................... 29
f .............................................. 30

................................................................................................................. 31
PASUL 4. SELECIA METODELOR DE COLECTARE I ANALIZ A DATELOR .......................... 45
................................................................................................................................ 45
Planificarea procesului de colectare a datelor.................................................................................. 46
Metode de colectare a datelor............................................................................................................ 48
Eantionarea ...................................................................................................................................... 61
$ ................................................................................................ 72
$.............................................................................................. 76
............................................................................................. 81
PASUL 5. CREAREA UNUI FORMAT POTRIVIT PENTRU CONSTATRILE EVALURII .......... 84
.......................................................................................................................................... 84
f ............................................................................................................... 84
.......................................................................................................................... 88
......................................................................................................................... 88
PASUL 6. IMPLEMENTAREA CONSTATRILOR DE EVALUARE .................................................. 91
$............................................................................................. 91
$ .............................................................................. 91
iB$ ........................................................................ 93
3
MANAGEMENTUL CALITII EFORTULUI DE EVALUARE........................................................... 94

$i$.............................................................................. 94

$i ......................................................... 95
PARTEA A DOUA. CULEGERE DE EXEMPLE DIN DIFERITE RI....................................................... 99
Bf ............................ 101
$$f ........................................ 107

$i....................................... 115
B ............................................................................................ 121
fB .......................................... 128

$
$Bf ..................................... 134
CONCLUZII ................................................................................................................................................ 137
ANEXA 1 DESCRIEREA PROCESULUI DE COLECTARE A DATELOR ............................................... 140
ANEXA 2 DETERMINAREA VOLUMULUI EANTIONULUI ALEATOR ............................................ 142
ANEXA 3 IMPLEMENTAREA RECOMANDRILOR DE EVALUARE................................................. 143
REFERINE ............................................................................................................................................... 145
4

5
Prefa

B

B

6

7
Introducere

B

output outcome

Politici, programe i elementele acestora
B

Politicile

Programele

proiecte output

8

scopurile, obiectivele
activitileIndicatorii

modelul logic (Figura 1)

outputsoutcomes

Problem rezolvat de politic sau program
Obiectiv general: rezultatul ateptat al politicii sau programului Efecte:

schimbri
imediate
sau
Resurse: Obiective Rezultate: pe termen
umane, specifice, Produse lung
timp, activiti: directe
aciuni
ale politicii
materiale, i servicii sau
prevzute
financiare furnizate programului
pentru
implementare de (pentru
a politic sau societate,
politicii sau program organizaii,
a programului beneficiari,
i pentru
atingerea etc.)
rezultatelor
prevzute
Factori externi: influene i impact asupra rezultatelor politicii;

circumstane exterioare controlului politicii sau programului
Figura 1. Structura modelului logic (Adaptat dup Logic Model Workbook, Innovation
Network, 2006)

9

Monitorizarea i evaluarea n cadrul Ciclului de Formulare a Politicii

Monitorizarea i evaluarea

evalurii ex-ante

Monitorizarea politicii
indicatorii

B

Evaluarea intermediar i ex-post
outputs

Monitorizarea i evaluarea

10

(Figura 2)
Modelul Logic contribuii Activiti Rezultate Efecte

Indicatori de performan
Planificarea
Colectarea datelor contribuii Activiti Rezultate Efect

Indicatori de performan
Figura 2. Rolul modelului logic i ai indicatorilor de monitorizare n evaluare

Rolul indicatorilor de performan

B

B

11

(Tabel 1)

Tabel 1. Dimensiunile indicatorilor de performan

Dimensiunea Sub-dimensiuni Exemple de rezultate ale aciunii
de msurare (outputs) cu indicatorii folosii

Volum B

B

B

Calitate

B

Gradul de ncredere privind B
serviciile

dac
folosirea acestui sistem nu este
obligatorie ci doar recomandat
Folosirea
resurselor

12

B

x

input
x

input output
outcome)
x
output
outcome
x

B

inputsoutputsoutcomes

input)

B

B

outcome
output outcome
outputinputs
13

EXEMPLUL 1. Indicatorii unei Evaluri privind Politica pentru Familie
Ministerul Asistenei Sociale deruleaz un program privind familia pentru a reduce

violena domestic. n cadrul evalurii de impact a programului ministerul ar putea lua
n considerare urmtorii indicatori de rezultat al politicii (outcome) care msoar
diferii factori ce au legtur cu dimensiunea nivelului de violen domestic:
Nivelul violenei domestice.
Acesta poate fi msurat folosind date din diferite surse: anchet sociologic sau
sondaje de opinie public, care determin nivelul violenei domestice, precum i
crimele nregistrate (calificate ca fiind crime ale violenei domestice). Nivelul de
referin comparativ (descris mai trziu) ar trebui s fie stabilit la nceputul
programului i msurat din nou la momentul evalurii.
Plasamente n afara domiciliului.
Acesta poate fi msurat folosind statistici ale adposturilor pentru a determina cte
femei (i copiii acestora) folosesc astfel de adposturi drept consecin a violenei
domestice.
Calitatea relaiilor printe-copil.
acesta poate fi msurat n diferite moduri: folosind sondajele de opinie (ex. Ci copii
se simt n siguran acas), numrul cazurilor de violen mpotriva copiilor
raportate la agenia de protecie a drepturilor copilului.
Nivelul de contientizare n ceea ce privete drepturile femeii i ale copilului.
Acest aspect este dificil de msurat. De obicei, se face cu ajutorul anchetelor,
sondajelor de opinie.
n cazul n care reducerea nivelului violenei n familie reprezint o prioritate la nivel

nalt pentru guvern/minister, se poate alege stabilirea indicatorilor de baz prin
desfurarea unui sondaj sociologic care s reflecte diferitele dimensiuni ale violenei n
familie la nceputul programului (ex. gradul violenei fizice i psihologice, violen
mpotriva femeilor i copiilor etc.) i s se msoare dezvoltarea prin compararea n
baza acestor dimensiuni pe parcursul evalurilor ulterioare.
Altfel, este posibil s se foloseasc date din sondajele de opinie desfurate, n alte
scopuri, de ctre organizaiile naionale sau internaionale i ONG-uri. Aceasta este o
metod de msurare a gradului de violen n familie care implic resurse mai puin
intense, dar produce i msurtori mai puin de ncredere, deoarece metodologia de
msurare a violenei n familie poate fi diferit.
Cea mai bun metod de a msura impacturile unei politici privind descreterea
violenei domestice este folosirea datelor din surse diferite. n acest sens, rezultatele
sondajelor de opinie pot fi sprijinite de date mai solide, cum ar fi numrul crimelor
provocate de violena domestic, numrul femeilor din adposturi sau a celor care
beneficiaz de programe de consiliere.
Trebuie s se menioneze, de asemenea, c indicatorii de impact privind violena n

familie ar trebui interpretai cu atenie, deoarece sunt ntotdeauna influenai de factori
externi. De exemplu, numrul n cretere nregistrat al crimelor provocate de violena n
familie nu nseamn neaprat faptul c violena n familie este n cretere. Dimpotriv,
14

aceasta poate reprezenta faptul c femeile devin din ce n ce mai contiente de
drepturile lor i de aciunile pe care trebuie s le ntreprind n astfel de cazuri, drept
rezultat al interveniei guvernamentale sau altor factori externi. Este sarcina evalurii
s disting contribuiile diverselor aciuni n comparaie cu efectul factorilor externi n
ceea ce privete ndeplinirea rezultatelor.
n cazul evalurii formative (explicat n Pasul 3) analiza se va concentra asupra

indicatorilor intermediari. O astfel de evaluare poate implica corecii ale programului n
decursul perioadei de desfurare a acestuia. Evaluarea formativ analizeaz procesul
de implementare a programului: ndeplinirea rezultatelor aciunii (output) i
mecanismele de sprijin (structuri organizaionale, personal, proces etc.). Astfel, aceasta
analizeaz rezultatele care sunt mai uor de corelat cu bugetul guvernamental anual.
n cadrul evalurii formative a unei politici de reducere a violenei domestice indicatorii

de rezultat al aciunii (output) se vor plasa n centrul analizei. Acetia ar putea fi
urmtorii:
Vizite la domiciliul familiilor n situaii de risc.
Acesta este de obicei aplicat i msurat de instituiile de servicii sociale la nivel local.
Acces la ajutor social
Acesta poate fi msurat folosind date de la ageniile executive ce implementeaz
diverse programe sociale, precum cele de consiliere sau de educare a prinilor.
Numrul beneficiarilor acestor programe va arta de obicei rata de acces la
serviciile de ajutor social.
Eficiena furnizrii serviciilor (ajutor social).
Acesta poate fi msurat prin compararea costurilor de furnizare a serviciilor n
diferite regiuni ale rii i ncercarea de a gsi modaliti de cretere a eficienei.
Campanii sociale de contientizare privind femeile i copiii.
Pe parcursul evalurii formative nu se va msura doar numrul campaniilor sociale,
ci i costurile aferente acestora, procesul de desfurare a unor astfel de campanii
etc.
Paii urmai n cadrul procesului de evaluare a politicilor publice

(Figura
3)
15
PASUL 1: Identificarea factorilor interesai:

CINE are nevoie de evaluare? DE CE au nevoie?
PASUL 2: Definirea ntrebrilor de evaluare:

CE vrem s tim?
PASUL 3: Planificarea Evalurii

CE resurse avem? CUM vom desfura evaluarea?
CINE ar trebui s-o desfoare?
PASUL 4: Selectarea datelor i metodelor de analiz:

CE date ne sunt necesare? CUM colectm informaiile?
CINE i CND? CUM analizm datele? CE judecat emitem?
PASUL 5: Elaborarea raportului:

CARE este formatul? CINE are nevoie de el? CUM comunicm?
PASUL 6: Implementarea constatrilor n urma evalurii:

CE i CND ar trebui implementat?
CUM monitorizm progresul? CUM obinem feedback?
Figura 3. ase pai ai evalurii

B

16

17

PARTEA NTI. PAS CU PAS NSPRE REZULTATE

18

19

Pasul 1. Identificarea clienilor, publicului i factorilor interesai ai

evalurii

Clienii i factorii interesai

B

Clientul

Factorii interesai

externaliti

publicul mai larg

20
EXEMPLUL 2. Factorii interesai i publicul mai larg
Ministerul Mediului a decis s creasc veniturile la bugetul de stat i a dispus

construirea unui sit de depozitare a deeurilor periculoase ntr-o anumit comunitate,
cu scopul de a cumpra acest tip de deeu din alte ri. Membrii acestei comuniti pot fi
considerai public mai larg, deoarece ei sunt afectai n mod negativ de aceast decizie
(externaliti). n acelai timp, dac aceast comunitate mobilizeaz un ONG de mediu
bine organizat i dezvoltat, poate influena procesul decizional i poate deveni un factor
interesat n cadrul evalurii. Ministerul poate implica acest ONG n procesul de
evaluare, solicitnd ca ONG-ul s furnizeze evaluatorilor dovezi cu privire la efectele
negative asupra comunitii.

Nevoile prilor implicate n evaluare

nevoi Tabel 2).

Tabel 2. Principalele pri i nevoile acestora
Prile. i nevoile acestora

Finanator/promotor
al interveniei

B

21

Managementul interveniilor
publice
B

Factori decizionali de nivel
superior

Beneficiari/grupuri int direci/te

Societatea civil

Scopurile evalurii

x

x

x

x B

x

x
x

22

x

Sugestii practice
Identificai clientul, nevoile sale i scopul exerciiului de evaluare! Concentrai-v pe

aceste nevoi i pe scop, pe ntreaga durat a procesului de evaluare, lund n acelai
timp n considerare i nevoile diverilor factori interesai. Prin urmare, evaluatorul ar
trebui s identifice factorii interesai mpreun cu clientul i ar trebui s-i implice n
procesul de evaluare: colectai datele necesare de la factorii interesai, luai n
considerare opiniile acestora cu privire la intervenie, precum i ateptrile lor,
consultai-i cu privire la eventualele recomandri asupra raportului de evaluare, n
special cele care au relevan pentru ei.
Luai n considerare att nevoile explicite ct i pe cele implicite (neexprimate). De
exemplu, nevoia managerilor de a demonstra succesul interveniei este, n majoritatea
exerciiilor de evaluare, neexprimat ca atare, dar este o nevoie uman fundamental
pe care evaluatorul nu o poate ignora.

23

Pasul 2. Definirea ntrebrilor de evaluare

Rolul ntrebrilor de evaluare

B
B

B

x B

x

B

Focalizarea ntrebrilor de evaluare

B
B

B

cuiasupra cuipentru cine

Tabelul 3

24

Tabelul 3. Formularea ntrebrilor de evaluare n conformitate cu scopurile
evalurii.
Dac scopul atunci ntrebrile de evaluare ar trebui s se concentreze

evalurii este... pe.

relevan, eficacitate, eficien, impact,
sustenabilitate etc.

25

B

B
exerciiul de confirmare a opiniilor mele pre-definite are o valoare suficient pentru a
justifica plata costurilor unui exerciiu de evaluare? Este aceasta singura valoare
adugat pe care o putem atepta de la exerciiul de evaluare?

B

EXEMPLUL 3.
Ce se poate evalua?
x Eficacitatea rezultatelor programului (am redus congestiile n trafic, n ceea ce
privete timpul i volumul dorit?);
x Eficacitatea diferitelor strategii de management (dac managementul
descentralizat al programului este mai eficace dect managementul
centralizat);
x Eficacitatea diferitelor strategii de implementare (compararea aplicrii
flexibile a politicii de reglementare cu aplicarea rigid, compararea
contractrii externe a furnizrii de servicii de paz pentru nchisori i servicii
de siguran mpotriva incendiilor cu furnizarea de servicii intern).

26

Tipuri de ntrebri de evaluare

(Tabel 4)
x
x
x
x

x

Tabel 4.Tipuri de ntrebri de evaluare, grupate pe dimensiunile de evaluare i
pe momentul evalurii

Ex-ante Intermediar Ex-post
Relevan

Eficacitate

Eficien

Implementare

27

Impact

Durabilitate

Sugestii practice
Chiar i atunci cnd clientul nu a formulat ntrebrile de evaluare, folosii edinele

preliminare sau etapa preliminar pentru a explora i a agrea mpreun cu acesta i
factorii interesai, ntrebrile fundamentale de evaluare.
Managerii exerciiilor de evaluare trebuie s rein c ntrebrile de evaluare pot fi
dificil de identificat atunci cnd se dorete ca raportul de evaluare s fie folositor ct
mai multor factori interesai. Fiecare factor interesat poate formula ntrebri diferite i
lista poate deveni prea lung. Prin urmare nu ar fi posibil s se rspund la toate
ntrebrile adresate, iar clientul i factorii interesai ar trebui s aleag doar acele
ntrebri pe care le consider a fi ntrebri de evaluare eseniale.

28

Pasul 3. Planificarea evalurii

Crearea structurilor de management ale evalurii
B comitetul de
pilotajechipadeevaluare.

B

B

x
x

x

B

29

Decizia de externalizare a evalurii i factorii care afecteaz aceast
decizie

Autoevaluarea realizat de ctre

B

ministere

evaluatorii externi

Evaluarea independent

Elaborarea Termenilor de Referin pentru experi

30

B

output

B

Evaluarea resurselor de timp, umane, financiare i datele disponibile

explicate mai jos

31

B

B

B

Alegerea tipului de evaluare

B

eficiena resurselor alocate

32

egalitate i dreptate
social

outputs

EXEMPLUL 4. Perspective diferite asupra aceleiai probleme

x Sociologul poate evalua reforma privind asistena social (mbuntirea
condiiilor de trai n comunitile Roma) astfel: dac aceast reform elimin
srcia sau dac reduce diferenele n ceea ce privete nivelurile de srcie ntre
diferite grupuri de populaie.
x Economitii ar putea evalua reforma privind asistena social astfel: dac
mbuntete viaa oamenilor n general (inclusiv a contribuabililor) fa de
perioada anterioar.
x Din punctul de vedere al administraiei publice aceast reform ar putea fi
valorizat dac implementarea se desfoar la timp i nu depete resursele
planificate.
x Psihologii ar putea evalua modul cum i-a afectat aceast reform pe copiii de
etnie Rom sau relaia acestora cu prinii.

B
B
inputs outputs
outcomes
Evaluri descriptive vs. cauzale
Evaluarea descriptiv
analiza nevoilor.

outputs
33

EXEMPLUL 5. Tipuri de evaluri descriptive

x Grupul int copii precolari din familii aflate sub nivelul admis de srcie.
Evaluarea descriptiv poate analiza starea lor nutriional, starea sntii n
general i abilitile verbale.
x Grupul int clieni ai programelor locale de reciclare. Evaluarea descriptiv
poate analiza bugetul mediu, poate descrie cine gestioneaz programul (guvern
sau contractant), poate caracteriza tipul de program (plata pentru returnarea
sticlelor, tipuri de reciclare, tipuri de depozitare).

Evalurile cauzale
outputs

EXEMPLUL 6.
x Pentru a descoperi msura n care obiectivele de formare au fost ndeplinite i
planul iniial de formare a fost implementat.
x Studiu de impact privind programul de prevenire a polurii.
.

Evaluri formative vs. sumative

B

outputs outcomes

evaluarea procesuluievalurile formative.

evaluarea impactului evalurile sumative.

Evaluarea formativ

outputs
34

B
x Unde este problema i care este sfera sa?
x De ce, pentru cine i cum merge sau nu o intervenie?
x Cum ar trebui s fie mbuntit un program sau o politic n cazul n care
eueaz?

B

EXEMPLUL 7. Tipuri de evaluri formative

Analiza nevoilor determin cine are nevoie de program, nivelul nevoilor i ce
anume ar putea fi aplicat pentru a ndeplini aceste nevoi.
Analiza evaluabilitii determin dac un anumit program este pregtit pentru
evaluare i dac evaluarea va genera rezultate de ncredere.
Evaluarea procesului analizeaz dac metodele de implementare folosite sunt
adecvate sau trebuie s fie schimbate

Evalurile sumative

B
x Care este nivelul de eficacitate al programului?
x Care este impactul net al programului?
35

EXEMPLUL 8. Tipuri de evaluri sumative

x Analiza programului educaional: msura rezultatului aciunii (output
measure) notele de la testele standard, msura rezultatului aciunii rata de
absolvire, statutul de ocupare a forei de munc i nivelul salarial n urma
absolvirii.
x Analiza programului de asisten social sau formare la locul de munc:
ctiguri, nivel de srcie, mobilitate pe piaa muncii, creteri salariale pe
termen lung.
x Analiza programului de reglementare (de exemplu, implementarea unei legi):
msura rezultatului aciunii volumul de inspecii, penaliti i ali indicatori
de conformitate sau neconformitate, msura rezultatului aciunii nivelul
polurii, siguranei, accidentelor etc.

B

Trei abordri principale n cadrul evalurilor cauzale
Validitate intern 2

tratament

dac X, atunci Y

Dac X, atunci Y dac nu X, atunci nu Y

36

grup de tratament
grup de control

B

(comparaii n serie temporal)
(comparaii transversale).

Modelele experimentale

B

(program)
(comparaie)

atribuirea aleatoare

B
placebo,
B

exemplul 9

selecie aleatoare atribuire aleatoare

nu
37

38

EXEMPLUL 9.

n 1977, programul a fost implementat avnd drept grup int femeile nsrcinate care
erau la primul copil i care ndeplineau una sau mai multe dintre trsturile
urmtoare: vrsta sub 19 ani, familie monoparental sau nivel crescut de srcie.
Existau multe anse ca aceste condiii s genereze o posibilitate mai crescut ca mama
s fie fumtoare, dependent de droguri sau alcool, sau s aib un istoric familial
nefericit i prin urmare, s nu aib nivelul adecvat de cunotine i abiliti pentru a-i
ngriji copilul.
n total, un numr de 400 de femei au fost atribuite unuia dintre cele patru grupuri.
x n grupul 1, 94 de femei au beneficiat de servicii de screening pentru copii lor
cu vrste cuprinse ntre 1 - 2 ani pentru a vedea dac respectivii copii se
confrunt cu probleme de dezvoltare.
x n grupul 2, 90 de femei au beneficiat de servicii de screening plus transport
gratuit la programrile pe care le aveau la doctor pentru copiii cu vrste pn
n 2 ani.
x n grupul 3, 100 de femei au beneficiat de servicii de screening, transport i
vizite regulate la domiciliu efectuate de asistente medicale, pe durata sarcinii.
x n grupul 4, 116 de femei au beneficiat de servicii de screening, transport i
vizite la domiciliu att nainte de natere ct i dup, pe durata primilor 2 ani
de via ai copiilor.
Primele dou grupuri au fost grupuri de control, iar grupurile 3 i 4 au fost grupuri
de tratament.
Procedura de randomizare a fost desfurat n mai multe etape. Pentru nceput,

femeile care intrau n general n grupul de risc, au fost invitate s participe la studiu.
Intre 1978 i 1980, 500 de femei au fost intervievate i 400 dintre ele au fost de acord
s participe la studiu. Fiecare participant a fost atribuit unuia dintre cele patru
grupuri folosindu-se un pachet de cri la sfritul interviului iniial, fiecare femeie a
tras o carte din pachet, care coninea cri amestecate la ntmplare, avnd numerele
de la 1-4 pe fiecare carte. Pachetul a fost n mod periodic re-echilibrat (fiecare
participant avnd mereu aceeai probabilitate de a intra n oricare dintre cele patru
grupuri).
Comparaiile ntre grupurile de control i cele de tratament aveau trsturi de context

similare. n modelul de cercetare, existau multe variabile diferite care msurau efectele
tratamentelor asupra copiilor i mamelor. Comparaia grupurilor de tratament i de
control demonstreaz un nivel semnificativ de beneficii ctre acele participante care
au fost influenate de rezultatele aciunii acestui program.
Modelul cvasi-experimental (QE)

39

nu

B

Tabelul 5.

Model 1: Model longitudinal cu observaii preliminare, intermediare, post i ex-post
asupra grupurilor de tratament i de control

Model 2: Grupurile de tratament i de control pre-testare post-testare

Model 3: Model longitudinal trunchiat privind grupurile de tratament i de comparaie
pre-testare post-testare

Model 4: Grupul de tratament pre-testare combinat cu analiza post-test i grupurile de
control.

40

Model 5: Comparaie post-testare a grupurilor de tratament i control

B

B

Model 6: Grupul de tratament pre-testare post-testare

Model 7: Grupul de tratament post-testare
B

41

Tabelul 5.Punctele forte i punctele slabe ale celor apte modele principale de
evaluare
Model Avantaje Dezavantaje

42

Surs: Bamberger, M., Rugh, J., Mabry, L. (2006). Real World Evaluation, Working under budget, time,
data and political constraints. CA: SAGE

modelul non-experimental

43

B

B

Elaborarea unui plan de management al evalurii

B

B

Exemplul 10

44
EXEMPLUL 10. Planificarea evalurii ex-post asupra politicii privind tineretul n

Letonia
Cercetarea a fost desfurat conform urmtoarelor etape logice:

1. Elaborarea unui plan de cercetare i obinerea aprobrii de la
Departamentul de Afaceri pentru Tineret din cadrul Ministerului pentru
Copii i Afaceri Familiale (Clientul).
2. Elaborarea unor instrumente de cercetare i obinerea aprobrii din
partea Clientului asupra:
a. Formularului privind chestionarul;
b. Liniile directoare pentru interviurile aprofundate individuale i
experte;
c. Liniile directoare pentru discuiile din cadrul focus grupurilor.
3. Cercetare documentar pentru analiza datelor secundare.
4. Activiti pe teren, ce desfoar:
a. anchete;
b. interviuri aprofundate;
c. discuii n cadrul focus grupurilor;
d. interviuri cu experi.
5. Studiu de caz identificarea bunelor practici n lucrul cu tinerii i
desfurarea unei analize aprofundate ale celor mai de succes exemple.
6. Analiza datelor calitative (materiale din interviuri i discuii n grup;
documente) i cantitative (procesarea datelor statistice ale rezultatelor
chestionarelor).
7. Prezentarea rezultatelor provizorii.
8. Lucru asupra raportului de cercetare final.
9. Prezentarea schiei de raport.
10. Ajustrile finale ale raportului la cerinele clientului; traducerea i
depunerea acestuia.
45
Pasul 4. Selecia metodelor de colectare i analiz a datelor

Ghidul privind Monitorizarea i Evaluarea (2008)
Manualul metodelor folosite n planificarea politicilor i studiilor de impact (2006)

B

Colectarea datelor

B
cantitativecalitative

primare
secundare

46

longitudinaletransversale

B

Planificarea procesului de colectare a datelor

B

x

x
x
x

x

x
x
x
x

Tabel 6.ablon pentru planul de colectare a datelor

ntrebrile Informaiile Cine le Metode de Cine/cnd Riscuri Pregtiri
de evaluare necesare poate colectare a prealabile
furniza? datelor

47

Anexa 1

x
x
x
Cercetarea documentar

x

x

x

x

x

x

x B

48

Metode de colectare a datelor

B
x Utilizatorii de servicii sau beneficiarii programului

x Cei care livreaz programul

x Cei responsabili de direcia strategic i management

x Grupuri mai largi de persoane afectate (pozitiv sau negativ) indirect de
programul dvs.

x
x
Metodele cantitative de colectare a datelor

x

x

Ancheta

49

x
x
x

Interviurile fa n fasondajele prin telefon

B

Sondajul auto-completare

B

50

Tabel 7.Sumar al tehnicilor de colectare a datelor cantitative

Tipul Aplicare Avantaje Dezavantaje
sondajului
Fa n fa

Telefon f

Auto-completare
pe

hrtie/internet/

email

Informaii de baz privind chestionarul

B
ntrebrile cu rspuns deschis

B

51

ntrebrile cu rspuns nchis

x B

x B
x B

chestionar structurat

chestionar semi-structurat

Elaborarea unui chestionar

B

B

Tabel 8.Structuri tipice ale unui chestionar

Scrisoare de intenie

52

Introducere n B
chestionar

Aranjarea

ntrebrilor

ntrebri
demografice

Alte comentarii

V mulumim

53

Ce se ntmpl apoi
cu chestionarul

B

Testarea chestionarului

Tiprii numrul solicitat de exemplare ale chestionarului unul pentru fiecare

persoan i unul pentru dvs.
Alegei o sal linitit i rugai persoanele s completeze chestionarul, permindu-le
s comenteze ntrebrile cu voce tare.
Lsai-i s treac prin ntregul chestionar.
Lsai-i s adreseze ntrebri clarificatoare (dac solicit asisten, asta este o
indicaie c trebuie s mbuntii chestionarul).

x
x
x
x

Rata de rspuns

B

54

B

x B

x

x

x B

Cteva sugestii pentru desfurarea unei anchete:
Discutai i ajungei la un consens n cadrul echipei dvs. cu privire la metodele de

anchet cele mai adecvate nevoilor i posibilitilor dvs.
Luai n considerare dac avei nevoie de asisten n ceea ce privete organizarea
i analiza anchetei.
Gndii-v dac este nevoie s externalizai ancheta sau pri ale acesteia ctre
companii specializate.
Verificai dac eantionul int este unul reprezentativ n baza criteriilor stabilite.
Pregtii un chestionar i un test asupra unui grup redus de persoane relevante
pentru programul dvs.
ncercai s limitai numrul de ntrebri i n special numrul de ntrebri
deschise din chestionar. ntrebrile cu rspuns nchis genereaz, de obicei, cele
mai bune rate de rspuns.
Dac este nevoie, pregtii o scrisoare de intenie semnat de o persoan de la un
nivel oficial nalt.
Stabilii inta anchetei n termenii ratei de rspuns.
Acordai timp suficient pentru a rspunde la ntrebri.
Planificai resursele pentru urmrirea anchetei intrrilor de date.
Procesai datele i utilizai rezultatele anchetei pentru a sprijini evenimente tipice
sau excepionale.
55

Metode calitative de colectare a datelor

B
x
x
x

Interviurile aprofundate
Interviul aprofundat

B

B

56

Focus grupurile
Focus grupurile

x
x
x
x

57

Vizitele la faa locului

B

EXEMPLUL 11. Colectarea datelor n timpul vizitelor la faa locului
n timpul unei vizite la o coal reorganizat, scopul evaluatorului fiind strngerea de

informaii cu privire la contextul colar. n acest sens, evaluatorul va planifica probabil
urmtoarele activiti:
S viziteze diferite locuri din coala respectiv care au fost afectate de
reorganizare (sli de clas specializate, locuri sociale) pentru a observa
schimbrile fizice ateptate.
S participe la observaii la or pentru a nregistra informaii cu privire la
activitatea de predare, activitile elevilor, contextul de interaciune,
folosirea tehnologiilor n procesul de nvare etc.
S se ntlneasc i s intervieveze diferite persoane sau grupuri de
persoane din cadrul colii (profesori, directori, elevi) pentru a afla opiniile
acestora cu privire la schimbrile ateptate n urma reorganizrii sau
S colecteze documente sau date suplimentare.

Alegerea metodelor de colectare a datelor

B

58

x

x

x

B

B

59

Descriere sumar a metodelor calitative de colectare a datelor

Metoda Descriere Cnd se folosete Avantaje Dezavantaje Resurse
necesare
Interviul

aprofundat

Focus
grupuri

60

Vizitele la
faa locului

61

Eantionarea

recensmnt 4

Eantionarea

eantion

x
x
x
x

Determinarea cadrului de eantionare

B

cadru de eantionare

B

x
x
x

x

x

B
62

B

EXEMPLUL 12. Procedura de acces la populaia int

Populaia int persoane fr adpost.
Procedura care ofer acces ctre populaia int va oferi acces ctre persoanele care
triesc n adposturi. Toate persoanele din adposturi vor forma cadrul de eantionare.
Populaia int persoanele dependente de droguri
Procedura care ofer acces ctre populaia int va oferi acces ctre persoanele
dependente de droguri care beneficiaz de programe de incluziune social. Toate
persoanele nregistrate n diverse programe de incluziune social care furnizeaz
tratament, consiliere sau alte servicii pentru cei dependeni de droguri vor forma cadrul
de eantionare.
Populaia int persoanele care fumeaz
Procedura care ofer acces ctre populaia int va folosi sondajele asupra populaiei
pentru a determina numrul de persoane fumtoare. Rezultatele sondajelor asupra
populaiei realizate pentru diverse scopuri, de obicei prezint ct de mare ar putea fi
numrul celor care fumeaz din totalul populaiei.

Alegerea metodei de eantionare

63

probabilistice
neprobabilistice Eantionarea probabilistic

Eantionarea neprobabilistic

B

Eantionarea simpl aleatoare

f

Eantionarea sistematic

64

EXEMPLUL 13. Eantionarea sistematic

De exemplu, administraia local trebuie s evalueze implementarea unei noi scheme de
colectare a deeurilor introdus ntr-o anumit parte a oraului. Avnd n vedere c
administraie dorete s obin feedback de la persoanele care au beneficiat de schem,
trebuie s aplice sondaje n gospodriile din zon i s ntrebe oamenii care este opinia
lor despre noul serviciu. Pentru a alege intervalul de selecie a gospodriilor, trebuie
aplicat urmtoarea formul. S spunem c zona supus sondajului include o strad cu
120 de case i 8 case trebuie selectate. 120/8 = 15, aa c fiecare a 15a cas este aleas
dup stabilirea unui punct de pornire ales la ntmplare ntre 1 i 120. Dac punctul de
pornire aleator este 11, atunci casele selectate sunt 11, 26, 41, 56, 71, 86, 101 i 116.

B

B
Eantionarea prin grupuricluster

EXEMPLUL 14. Eantionarea prin grupuri

Ministerul Agriculturii i Dezvoltrii Rurale intenioneaz s analizeze procesul de
folosire a pesticidelor de ctre agricultori n Romnia. Poate fi aplicat o eantionare
prin grupuri folosindu-se judeele din Romnia drept grupuri. Un numr de judee
(grupuri) vor fi alese n mod aleatoriu i toi agricultorii din judeele selectate la
ntmplare vor fi inclui n eantion.

65

Eantionarea stratificat

EXEMPLUL 15. Eantionarea stratificat

Ministerul Educaiei, Cercetrii i Inovrii intenioneaz s analizeze numrul de ore pe
sptmn petrecute rezolvnd teme pentru acas are influen asupra performanelor
colare ale elevilor de liceu. Pentru c se crede c orele petrecute rezolvnd teme pentru
acas difer n mod considerabil de la o clas de liceu la alta, va fi aplicat eantionarea
stratificat. Populaia elevilor de liceu va fi grupat n 4 straturi alctuite din elevi de
clasa a IXa, a Xa, a XIa i a XIIa. Din fiecare strat va fi ales un eantion aleatoriu de elevi.
Rezultatele analizei din fiecare strat pot fi combinate pentru a obine o estimare care se
ateapt s fie mai precis dect cea obinut dintr-un eantion aleatoriu al ntregii
populaii.

B

B

66
Eantionarea multistadial

B
eantionarea
multistadial

B

EXEMPLUL 16. Eantionarea multistadial

Ministerul Educaiei, Cercetrii i Inovrii intenioneaz s analizeze impacturile
reformei educaionale pe teritoriul rii. Eantionarea multistadial poate fi aplicat n
urmtorul mod. Sondajul n coli ncepe cu divizarea rii n regiuni i alegerea
aleatoare a anumitor regiuni (primul stadiu). Toate regiunile selectate sunt apoi
divizate n districte, iar districtele sunt apoi alese din regiunile selectate (al doilea
stadiu). Apoi, colile sunt ncadrate ntr-o list n fiecare district selectat i este selectat
un numr de coli (al treilea stadiu). Doar colile alese n cel de-al treilea stadiu vor fi
incluse n eantion. Aceast metod demonstreaz cu nu este necesar existena unei
liste cu toate colile din ar, ci doar pentru acele districte care au fost selectate.

B

EXEMPLUL 17. Eantionarea multistadial n practic

Petru a evalua impacturile reformei educaionale, s-ar putea s nu fie suficient s
selectai colile pe baza distribuiei regionale. colile pot fi de diferite tipuri (primare,
gimnaziale), ele se pot afla n zone diferite (urbane i rurale), pot avea dimensiuni
diferite (mici, medii, mari) i pot fi de stat sau private. Toate aceste trsturi ar putea
avea o valoare intrinsec pentru evaluare i trebuie analizate separat. n acest sens,
eantionarea multistadial va fi realizat prin aplicarea criteriilor mai sus menionate
n diferite stadii ale procesului de eantionare.

67

Eantionarea raional

B

x
x
x

EXEMPLUL 18. Eantionarea raional

Ministerul Muncii, Familiei i Proteciei Sociale intenioneaz s mbunteasc
politica privind egalitatea de anse i n special s identifice factorii eseniali pentru
realizarea acesteia n cadrul funciilor de management. n acest caz evaluatorul poate
decide mai degrab s evalueze doar pe acele femei care au ajuns n funcii la nivel de
senior management dect pe toate femeile n vrst de lucru. Decizia evaluatorului este
bazat pe raionamentul c doar femeile care au ajuns n acele funcii vor avea
experien i cunotine relevante. n astfel de cazuri, sondarea persoanelor de gen
feminin ar fi prea costisitoare i ar necesita prea multe resurse.
Sau un teatru poate decide c auditoriul cel mai reprezentativ care ar putea evalua
nivelul de succes al noilor piese de teatru este auditoriul care vine la teatru seara n
zilele de lucru. Decizia este bazat pe raionamentul c auditoriul din serile din timpul
sptmnii reprezint un public regulat i sunt cei mai n msur s compare i s
judece noul repertoriu.

Eantionarea n lan (tip bulgre de zpad)

68

EXEMPLUL 19. Eantionarea n lan

n cadrul evalurii implementrii strategiei privind migrarea, n special eficacitatea
msurilor de ncurajare a emigranilor s se rentoarc n ara de origine, un minister
poate hotr aplicarea eantionrii n lan pentru a sonda cetenii care lucreaz n
strintate. Adesea, datele formale privind cetenii care lucreaz n strintate sunt
imprecise i este dificil de identificat posibilii respondeni. Ca punct de plecare,
emigranii nregistrai formal pot fi folosii drept respondeni iniiali. Apoi acestora li se
poate cere s recomande alte persoane, cum ar fi prieteni sau rude care lucreaz n
strintate, pentru a fi incluse n sondaj. Respondenii secundari pot la rndul lor s
numeasc alte persoane. n acest mod numrul de respondeni va crete precum un
bulgre de zpad care se rostogolete pn cnd se ajunge la numrul dorit.
Dezavantajul unei astfel de metode de eantionare este c eantionul poate fi
distorsionat. n funcie de respondenii iniiali, eantioanele ulterioare pot fi similare n
fond, deoarece respondenii iniiali vor alege persoane care au valori similare cu ale lor
i provin din medii sociale asemntoare.

Eantionarea prin cote

B

EXEMPLUL 20. Eantionarea prin cote

Ministerul Muncii intenioneaz s evalueze implementarea unei politici de ocupare a
forei de munc i s aplice un sondaj asupra brbailor i femeilor n vrst de munc
ntre 25 i 65 de ani. Populaia int are 40 la sut brbai i 60 la sut femei, iar
ancheta necesit un eantion total de 1000. Evaluatorul va continua eantionarea pn
cnd obine procentajele necesare. Dac 400 de brbai sunt deja inclui n eantion,
dar nu sunt nc 600 de femei, evaluatorul va continua s eantioneze femei. Chiar dac
evaluatorul va ntlni n timpul sondajului brbai eligibili, acetia nu vor fi inclui n
eantion, deoarece cotele necesare alocate brbailor au fost deja atinse.

B

69

B

EXEMPLUL 21. Metodele de eantionare n practic

n cadrul evalurii privind mobilitatea forei de munc din Letonia (vezi Cazul 3 din
Partea II), a fost folosit o combinaie de metode de eantionare pentru a ndeplini
obiectivele propuse ale evalurii i constrngerile legate de resurse. Sondajul populaiei
n vrst de munc ntre 15 i 65 de ani a inclus eantionare multistadial cu 4 metode
de eantionare diferite n diferite etape: eantionare prin grupuri, stratificat, prin cote
i aleatoare sistematic. Eantionarea a nceput cu metoda grupurilor (cluster). Pentru
a se asigura c evaluarea acoper populaia n vrst de munc din diferite zone ale
Letoniei, eantionarea prin grupuri a fost folosit prin divizarea teritoriului rii n 6
cele mai mari orae i 26 districte (primul stadiu).
n cel de-al doilea stadiu, toate districtele au fost stratificate n zone pe baza
urmtoarelor criterii: urban, semnificativ rural, moderat semnificativ rural,
nesemnificativ.
Pentru a selecta eantionul din zone, gospodria care reprezenta punctul de plecare a
fost aleas la ntmplare cu fiecare cel de-al 7-lea apartament din orae sau regiuni
urbane i fiecare a 3-a sau a 4-a cas din regiunile rurale incluse n sondaj. Evaluatorii
au vizitat gospodriile n zonele selectate pn cnd au atins cota necesar de brbai
i femei n vrst de munc.
Eantionarea sistematic aleatoare a fost folosit pentru a reduce distorsionarea care
ar fi putut rezulta n urma eantionrii prin cote.

x B

x

x
B

70

Determinarea volumului eantionului

x
x
x
x

x
x
x
x

recensmnt

aceluiai volum de eantion

tabelelorcalculatoarelor de eantion
electronice

formulelor

Eantionarea calitativ

x B
71

x
x

B

x
x
x
x
x

B

B

B
B

72
Metode de analiz a datelor calitative

x
x
x
x

abordarea studiu de caz
analizaconinutului

Analiza de coninut

Exemplul 22
(categorizarea datelor)

B
B

categorizarea
datelor
73

B

x
x
x
x
x

74

B categorizrii datelor manual

software-ul

nelegerea analitic

B

75

Analiza tematic

EXEMPLUL 23. Primii doi pai ai analizei tematice

O familie a fost intervievat pentru a nelege mai bine experiena lor cu sistemul juridic
privind delicvena juvenil. ntregul interviu a fost transcris. Primul tipar de experien
pus pe list au fost diferitele explicaii de la diveri membri ai familiei cu privire la
motivul pentru care tnrul familiei a fost arestat. Cel de-al doilea tipar a fost
atitudinea fiecrui membru al familiei cu privire la ceea s-a ntmplat.Apoi tot ceea ce
se ncadra n tiparul specific era identificat i plasat n dreptul tiparului corespunztor.
De exemplu, fiecare membru al familiei i numea ntr-un fel sau altul "atitudinea" n
timp ce vorbea. Tatl a afirmat c este "iritat", mama a spus c este "protectoare", iar
fiul a zis c "I-a prut ru pentru ce a fcut"
studiul de caz

76

Metode de analiz a datelor cantitative

x Date fracionare/numerice

x Datele nominale

x Datele ordinale

B

x
x
x
pregtirii datelor

B

77

Statistica descriptiv

x
x
x

Distribuia

B

Tendina central

mediann.

B

mediana

78
EXEMPLUL 24. Venitul mediu i median
ntr-o ar care are o clas de mijloc slab dezvoltat i cu foarte puini oameni bogai
calcularea venitului mediei pe lun nu prezint o imagine real. Valoarea medie a
venitului pe lun va fi mai mare dect venitul median pentru c venitul foarte mare este
o valoare aberant, care distorsioneaz imaginea general. Aa c n schimb, folosirea
venitului median prezint punctul de mijloc al tuturor veniturilor i nu este distorsionat
de valori foarte mari.
modul

Dispersia

x Amplitudinea

x Abaterea standard

79
EXEMPLUL 25. Abaterea standard a venitului mediu

Dac tim c pentru o populaie venitul mediu este de 50.000 EUR i abaterea standard
este 10.000 EUR, putem spune c 68% din populaie are un venit ntre 40.000 i 60.000
EUR. 95% din populaie ar avea venituri ntre 30.000 i 70.000 EUR. Astfel, dac am fi
ntrebai care este probabilitatea ca o persoan din aceast populaie s aib un venit
ce depete 70.000 EUR, am estima c trebuie s fie n mare de 2,5 % anse (pentru c
5% au venituri care depesc intervalul 30.000 70.000 EUR).

coeficient de variaie.

statistica
inferenial

analiza prin regresie
multipl

80

eroare standard

B

model statistic.

B

EXEMPLUL 26. Regresia asupra factorilor privind rata natalitii

De exemplu, rata natalitii n ar depinde de volumul de beneficii pe care mamele le
primesc, de norma de lucru flexibil pentru mamele care lucreaz, disponibilitatea
creelor i ali factori. S presupunem c cei care formuleaz politicile doresc s tie
care factor influeneaz rata natalitii cel mai mult. Prin folosirea analizei de regresie
multipl se descoper care este funcia care coreleaz toi aceti factori. Atunci cnd
vom ti ecuaia putem anticipa volumul de beneficii optim pentru a crete rata
natalitii.
EXEMPLUL 27. Regresie multipl linear pentru politica de integrare a delicvenilor

ntrebare de evaluare. n ce msur se explic durata pedepsei prin vrsta
delicventului, numrul de antecedente penale i educaia sa?
Cercettorii au folosit matricea de date privind vrsta delicvenilor, numrul de
antecedente penale i educaia acestora i folosirea pachetului statistic pentru a simula
diferite ecuaii de regresie pn cnd au ajuns la cea mai potrivit (n cadrul limitelor
erorii standard acceptabile).
Rezultatele regresiei
Pedeaps = -17,97 + 0,96 (vrsta) + 0,52 (antecedente)+ 0,14 (educaie)
Durata anticipat a pedepsei pentru un delicvent de 23 de ani cu 3 antecedente i
educaie pn la clasa a 9a liceal:
Pedeaps = -17,97 + 0,96 (23) + 0,52 (3) + 0,14 (9)
Pedeaps = 6,93 ani

81

Comunicarea analizei, judecarea datelor

x
x
x

B

Tabelul 9

82

Tabel 9. Tipologia Altman a graficelor
Tipul de Cuvinte cheie Forma Grafic Comparaii tipice

comparaie

Sursa: Altman S., Teaching Data Analysis to Individuals Entering the Public Service, Journal of Urban
Analysis 3, octombrie 1976.
83

EXEMPLUL 28. Planul de analiz pentru evaluarea impacturilor micro-creditelor

debitorilor de gen feminin
ntrebare de evaluare 1: Care este impactul programului privind venitul dobndit al

femeilor?
Ipotez: Femeile care particip la program vor avea un venit dobndit mai mare dect
cele care nu particip.
Variabile: Femeile care au primit mprumuturi i femeile care nu au primit, venitul

dobndit, vrsta, educaia, experien anterioar de conducere a unei afaceri.
Analiza 1: Compararea mediei venitului dobndit al femeilor care au primit i care nu

au primit mprumuturi prin proiect (teste-t pentru diferena mediilor).
Analiza 2: Analiza de regresie multipl pentru a testa dac exist o diferen n venitul
dobndit pentru participani i non-participani dup analiza vrstei, educaiei i
experienei anterioare de conducere a unei afaceri.
ntrebare de evaluare 2: Evaluarea impactului programului asupra sentimentului

femeilor de afirmare personal.
Ipotez: Femeile care au participat n program vor avea un sentiment mai puternic de
auto-afirmare dect femeile care nu au participat.
Variabile: Femeile care au participat n program i cele care nu au participat (not:

participarea va fi definit ca variabil da/nu i n termenii numrului diferitelor servicii
primite mprumuturi, cursuri de formare, sprijin tehnic, ntlniri n cadrul grupurilor
etc.) nivelul de afirmare profesional.
Analiza 1: Tabel cu dou seciuni care compar participare/non-participarea cu scorul

pe o scar de afirmare de 5 punct. Vor fi folosite testele de contingen F2 sau similare.
Analiza 2: Tabel cu dou seciuni care compar dou variabile ordinale: scorul pe
scara de afirmare de 5 puncte i numrul serviciilor primite prin program (1 la 5). Teste
de contingen pentru compararea a dou variabile ordinale.
Sursa: Fink, A. 2003c How to manage, Analyse, and Interpret Survey Data. Vol.9. The survey kit,
Thousand Oaks, CA:Sage

84

Pasul 5. Crearea unui format potrivit pentru constatrile evalurii

Principii cheie

B

Structura i stilul raportului

Tabel10

85

Tabel 10. Exemplu de posibil structur a unui Raport de evaluare

Prefa

Rezumat executiv

Introducere

Descrierea
activitilor
Evaluarea posibilelor Relevan
dimensiuni ale
interveniei 5
Eficacitate

Eficien

Implementare

Impact

Durabilitate
f
Concluzii
Recomandri
Anexe

B

B

86

x
x
x

Tabel 11

Tabel 11.Caracteristicile Raportului de evaluare n ceea ce privete scopul

Dac scopul raportului Consecinele pentru stilul scrierii vor fi
este

relevan,
eficacitate

87

i

B

88

Procesul de consultare

x

x

x

x

x

x

Prezentarea raportului

edin de prezentare

x
x
x
89

x

B

Sugestii practice

90

EXEMPLUL 29. nlocuirea opiniilor negative cu aspecte faptice

Aceast fraz ... Ar putea fi nlocuit cu aceasta

B

B

91

Pasul 6. Implementarea constatrilor de evaluare
Abordri ale procesului de implementare

x Instrumental

x De proces

x Politic

x Conceptual

B

Factorii care afecteaz procesul de implementare

x caracteristicileevalurii
x organizare

92

Tabel 12

Tabel 12.Factori referitori la caracteristicile evalurii

Factori Aspecte de luat n considerare

Tabel 13

Tabel 13. Factorii referitori la organizare

Factori Aspecte de luat n considerare

93

Aranjamente instituionale n vederea implementrii

x B
x B
x

nfiinarea unei comisii de implementare

B

un
grup de proiect

Instituionalizarea implementrii

B

Anexa 3

94

Managementul calitii efortului de evaluare

Componentele managementului calitii evalurii

x
x
x
x
Organizare i roluri

Procesul de evaluare

95

Cerinele referitoare la coninutul evalurii

x B

x
x

x

Stimulentele

Lista de verificare pentru evaluarea managementului calitii

B

96

Tabel 14. Lista de evaluare a managementului calitii
Durata n Bifai dac Comentarii

cadrul este finalizat
Jaloane de evaluare
procesului
de evaluare
Structuri organizaionale

Etapele evalurii

B

97

98

99
PARTEA A DOUA. CULEGERE DE EXEMPLE DIN DIFERITE

RI

100

101

Cazul 1. TIC n coli, Studii de Evaluare a Inspectoratului, Irlanda, 2005-2006
(Adaptat dup raportul de evaluare TIC n coli i materialele adiionale furnizate de Departamentul
pentru Educaie i tiin, Irlanda).
De ce acest exemplu?

Informaii generale

Iniiativa pentru integrarea tehnologiei
f

Iniiativa pentru abiliti de predare

Iniiativa pentru sprijinirea colilor

B

O schi pentru
viitorul TIC n nvmntul irlandez

x
x
x
x

102

B
f

ntrebri de evaluare

B
B

B

Planul de evaluare

Octombrie Decembrie 2005

Octombrie 2005 Februarie 2006

B

Echipa de evaluatori

f

103

x

x

f

Colectarea de date

B

Sondaj naional asupra directorilor i profesorilor din colile primare i
gimnaziale
Metode de eantionare a sondajului

B

260
155 coli

x
x
x
x

N

Metode de colectare a datelor pentru sondaje
B

104

f f

Studiu de caz: evaluarea colilor
Metode de eantionare n procesul de evaluare a colilor supuse studiului de caz

52

Metode de colectare a datelor pentru evaluarea colilor supuse studiului de caz
f

x

x

x
x

105

x

x

B

437 primar 450 gimnaziu
Asisten la or (nvmnt primar) i inspecii la anumite materii

(nvmnt gimnazial)

B

B

106

B

B

B

Evaluarea on-line

B

Metode de analiz a datelor

Diseminarea constatrilor evalurilor

107

Cazul 2. Abordarea Bncii Mondiale a evalurii impactului al oselelor
(Adaptat dup Evaluarea impactului socio-economic al oselelor rurale, Metodologie i chestionare,
Banca Mondial, 2002)

x

x

x

x

Informaii generale

ntrebri de evaluare

Efectele directe ale proiectelor de construire de osele pot fi:
x
x

x
108

Indicatorii de rezultate directe utilizai pentru a msura efectele directe:
x
x
x
x

x
x

Indicatorii de rezultate ale politicii utilizai pentru a msura efectele directe:
x
x

x

x

x

x

x

x
Indicatori de rezultate pe termen lung utilizai pentru a msura efectele

indirecte:
x

x

x
x
x

x

109

Modelul evalurii

x

x

Modelul 2

B

dou etape

Prima etap

A doua etap

110

Colectarea de date

Bcomparaiilor reflexive
B
comparaiile generice

Comparaiile umbr

111

Variabile de trafic
Densitatea traficului

Capacitatea oselei

Taxe i costuri

Modele de transport

Deinerea de vehicule

Accidente

Variabile ale veniturilor i cheltuielilor
Impactul asupra activitilor agricole

Impactul asupra activitilor non agricole

Modelul de venit

Modelul de cheltuieli

112

Piee

Preuri

Altele

Variabile sociale
Educaie

x
x
x
Sntate

x
x
x
x

Interaciunea social

Participarea politic

113


Metoda diferenelor duble (Double-Differences Method) (utilizare Model 2)

Yroad1 Ynoroad1

Yroad 2 Ynoroad1

(Yroad 2 Yroad1 ) (Ynoroad 2 Ynoroad1 )

(post-osea)

Yc 2 a bRc cX c 2 uc 2

variabila temporal

, pentru t
= 1,2
114

B Yc1 a cX c1 u1

Yc 2 Yc1 bRc c(X c 2 X c1) ec 2 ec1 (3)

b

B

115

Cazul 3. Mobilitatea geografic a muncii Ministerul Proteciei Sociale

Informaii generale

B

B

ntrebri de evaluare

B
x

x
x B
x
x

x

B

116

ipoteze

x

x

x

x

Planul de evaluare

x
x
x
x
x

Echipa de evaluare

Metode de colectare a datelor

Interviuri cu experi

instituii ale administraiei publice

117

B

ase Agenii de Ocupare
a Forei de Munc Regionale B

sindicatele comerciale sectoriale
i asociaiile profesionale
B

B

ageniile de dezvoltare
regional

Liderii de district municipal din zonele de grani

universitii regionale

Sondaj n rndul angajatorilor

B

118

B

Sondaj n rndul populaiei

x
x
x
x
x
x
x
x

x
x

Selectarea unui eantion pentru sondajul n rndul populaiei

x
x

B

119

Sondaj n rndul cetenilor Letoniei ce lucreaz n strintate

,
B


Statistici descriptive

x
x

x

x

x

x

x

statistici infereniale

x
x
x

x
x

x

120

Implementarea constatrilor evalurii

121

Cazul 4. Reforma mineritului n Romnia
(Adaptat dup Srcia i Analiza Impactului Social al Reformelor, Banca Mondial, 2006)

Informaii generale
B

B

B

B

122

Sursa: www.worldbank.org)

ntrebri de evaluare

Planul de evaluare

Colectarea datelor
Studiu comparativ al comunitilor miniere i non-miniere

123

Analiza impactului social asupra diferiilor factori interesai

x
x
x
x

Examinarea impacturilor pe sexe a reformelor sectorului minier

Studiu de impact al programelor de recuperare a sectorului minier

x
x
x
124

x
x

B

B

Analiza distribuiei resurselor financiare n sectorul minier.

Analiza datelor
Studiu comparativ al comunitilor miniere i non-miniere

f
x
125

x
x
x
x

Analiza impactului social asupra diferiilor factori interesai

B

x A
x B
x C

B

126

Examinarea impacturilor pe sexe a reformei sectorului minier

Studiu de impact al programelor de recuperare a sectoarelor de minerit

i

Analiza distribuiei resurselor financiare n sectorul minier.

127

128

Cazul 5. Descentralizarea i privatizarea sectorului apelor n Albania
(Adaptat dup Srcia i Analiza Impactului Social al Reformelor, Banca Mondial, 2006)


Informaii generale

ntrebri de evaluare

x

x

B

129

Planificarea evalurii

Instrumente i metode de colectare a datelor

revizuiri de
birou

x
x
x

130

Interviurile cheie de informare

guvernrii centrale

guvernare local
B

discuii n cadrul focus grupurilor

Echipa a explorat
percepiile comunitilor asupra guvernrii municipale i a instituiilor din
sectorul apelor

Sondajele pe gospodrii au relevat date de baz referitoare la consumatorii
interni
Sondajul la nivelul gospodriilor a acoperit aspecte
ca: nivelul de satisfacie al consumatorilor n ceea ce privete guvernarea
municipal

B

131

Analiza datelor

f

i Aceste profiluri au furnizat informaii asupra
populaiei i ratei creterii numrului acesteia

B
analiz a factorilor interesai. datele
obinute n activitatea de teren

x
x
x

B

Factorii interesai care afecteaz/implementeaz reforma
Consiliul de Minitrii

Ministerul Amenajrii Teritoriului i Turismului

f opoziia

Ministerul Guvernrii Locale i Descentralizrii

implicare puternic

Ministerului Economiei

132

sprijin ideologic reform, dei nu acordase o
atenie adecvat recomandrilor

Ministerul Finanelor

Agenia de Reglementare a Domeniului Apelor,

ezitat

Guvernele locale

Factori interesai afectai pozitiv de ctre reform
Guvernele locale au sprijinit

Utilitile de ap

puternic

Clienii au sprijinit

Gospodriile foarte srace
opus
sprijinit

Grupurile etnice minoritare

sprijinit
opus

133

Factori interesai afectai n mod negativ de ctre reform

utilizatorilor din gospodriile neautorizate

Firmele utilizatoare neautorizate

puternic opoziie

Factori interesai cu influen asupra reformei
Guvernul i utilitile de ap

Finanatorii internaionali au demonstrat susinere puternic
.

134

Cazul 6. Programul pentru Internet de band larg n colile din Irlanda
(Adaptat dup Raportul de evaluare al Programului pentru Internet de Band Larg n coli,
Departamentul pentru Educaie i tiin, Irlanda 2009)

Informaii generale
B
f

f

ntrebri de evaluare

x
x
x
x

135

Planificarea evalurii
f

B

x

x

x
x

Colectarea datelor

x primaresecundare;
x mari
mediimici;
x urbanerurale;
x tehnologiilor majore de livrare

Tehnologie Numr coli

136

un sondaj

vizite pe teren
interviuriinspecii la faa locului.
B

B

Analiza datelor

137
Concluzii

B

B

138

139

ANEXE

140

Anexa 1 Descrierea procesului de colectare a datelor
Politica
Obiectivul

ntrebri de Informaia necesar Cine o poate furniza? Surse de informaii Cine / cnd Riscuri Pregtiri
evaluare /metode de prealabile
colectare a datelor

B

141

B

142
Anexa 2 Determinarea volumului eantionului aleator
(Nivel de ncredere 95%; Marj de eroare + sau - 5%)

N- populaie
S - eantion
N S N S N S

384
384
384
Surs:

143
Anexa 3 Implementarea recomandrilor de evaluare

Recomandarea de Jalon/Activitate Responsabil Termen Instituionalizat
evaluare limit n:
Analizai trei ntocmirea Minister lider: octombrie Planul anual de
alternative: propunerii de Ministerul 2009 afaceri, planul
- scderea politic public Muncii: individual,
fenomenulu inclusiv a Ministerul planul strategic
i emigraiei analizei Economiei,
- dezvoltarea opiunilor de Finanelor,
regiunilor politic propuse Educaiei,
- promovarea Dezvoltrii
imigrrii n Regionale,
anumite arii Internelor
ntocmirea HG Minister n termen Documente de
(dac e nevoie) lider:Ministerul de 2 luni politic, planul
pe baza Muncii: dup anual de
rezultatelor Ministerul luarea activiti, planul
discuiilor legate Economiei, deciziei individual,
de politic Finanelor, referitoare planul strategic
Educaiei, la politic
Dezvoltrii
Regionale,
Internelor
Revizuirea Conform HG ncepnd Procesul de
planului strategic cu 2010 planificare
de costuri strategic
Publicarea unui nfiinarea unui Ministerul Iulie 2009 Planul strategic
buletin de GL pentru a Muncii de activiti,
informare pentru decide asupra planul de afaceri
emigrani coninutului, instituional i
publicrii i individual
distribuirii
buletinului
ntocmirea unei Grupul de lucru Final 2009 Planul de
propuneri pentru activiti
buletin i strategice, planul
efectuarea individual
aranjamentelor
de publicare
Revizuirea Ministerul Procesul de
planului strategic Muncii planificare
de costuri strategic
Distribuirea Ministerele: Martie Planul anual de
buletinului Muncii, 2010 afaceri sau
Afacerilor planul individual
Externe

144

145
Referine
Cri i articole tiinifice

Resurse electronice

Institutionalizing impact evaluation within the framework of a
monitoring and evaluation system

Practical Assessment, Research & Evaluation

146

Evaluating local economic

and employment development.

147

Introduction to Program Evaluation for Comprehensive Tabacco Control Programs

manual de
monitorizare i evaluare
a politicilor publice
ISBN
978-973-1846-22-4

Manual de Monitorizare Si Evaluare A Politicilor Publice PDF

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Manual de Monitorizare Si Evaluare A Politicilor Publice PDF

Încărcat de

Drepturi de autor:

Formate disponibile

Proiect finanat de GUVERNUL ROMNIEI

UNIUNEA EUROPEAN Secretariatul General

Numr proiect: RO 2006/018-147.01.03.03.01

Drepturile de autor asupra acestei publicaii sunt rezervate Secretariatului

Data publicrii: noiembrie 2009

Editor: Secretariatul General al Guvernului - Direcia de Politici Publice

Autori: experi ai proiectului pentru monitorizare i evaluare, Sandra Briggs, Egle

Pentru informaii despre Uniunea European, v invitm s vizitai

MANUAL DE MONITORIZARE I EVALUARE

MANAGEMENTUL CALITII EFORTULUI DE EVALUARE........................................................... 94

Politici, programe i elementele acestora

Obiectiv general: rezultatul ateptat al politicii sau programului Efecte:

Factori externi: influene i impact asupra rezultatelor politicii;

Modelul Logic contribuii Activiti Rezultate Efecte

Colectarea datelor contribuii Activiti Rezultate Efect

Figura 2. Rolul modelului logic i ai indicatorilor de monitorizare n evaluare

Rolul indicatorilor de performan

EXEMPLUL 1. Indicatorii unei Evaluri privind Politica pentru Familie

Ministerul Asistenei Sociale deruleaz un program privind familia pentru a reduce

n cazul n care reducerea nivelului violenei n familie reprezint o prioritate la nivel

Trebuie s se menioneze, de asemenea, c indicatorii de impact privind violena n

n cazul evalurii formative (explicat n Pasul 3) analiza se va concentra asupra

n cadrul evalurii formative a unei politici de reducere a violenei domestice indicatorii

Paii urmai n cadrul procesului de evaluare a politicilor publice

PASUL 1: Identificarea factorilor interesai:

PASUL 2: Definirea ntrebrilor de evaluare:

PASUL 3: Planificarea Evalurii

PASUL 4: Selectarea datelor i metodelor de analiz:

PASUL 5: Elaborarea raportului:

PASUL 6: Implementarea constatrilor n urma evalurii:

Figura 3. ase pai ai evalurii

PARTEA NTI. PAS CU PAS NSPRE REZULTATE

Pasul 1. Identificarea clienilor, publicului i factorilor interesai ai

EXEMPLUL 2. Factorii interesai i publicul mai larg

Ministerul Mediului a decis s creasc veniturile la bugetul de stat i a dispus

Prile. i nevoile acestora

Identificai clientul, nevoile sale i scopul exerciiului de evaluare! Concentrai-v pe

Pasul 2. Definirea ntrebrilor de evaluare

Dac scopul atunci ntrebrile de evaluare ar trebui s se concentreze

Chiar i atunci cnd clientul nu a formulat ntrebrile de evaluare, folosii edinele

Pasul 3. Planificarea evalurii

EXEMPLUL 4. Perspective diferite asupra aceleiai probleme

Evaluri descriptive vs. cauzale

EXEMPLUL 5. Tipuri de evaluri descriptive

EXEMPLUL 7. Tipuri de evaluri formative

EXEMPLUL 8. Tipuri de evaluri sumative

Validitate intern 2

Dac X, atunci Y dac nu X, atunci nu Y

Procedura de randomizare a fost desfurat n mai multe etape. Pentru nceput,

Comparaiile ntre grupurile de control i cele de tratament aveau trsturi de context

Modelul cvasi-experimental (QE)

Model Avantaje Dezavantaje

EXEMPLUL 10. Planificarea evalurii ex-post asupra politicii privind tineretul n

Cercetarea a fost desfurat conform urmtoarelor etape logice:

Pasul 4. Selecia metodelor de colectare i analiz a datelor

Metode de colectare a datelor

Metodele cantitative de colectare a datelor

Interviurile fa n fasondajele prin telefon

ntrebrile cu rspuns deschis

Elaborarea unui chestionar

Tiprii numrul solicitat de exemplare ale chestionarului unul pentru fiecare

Cteva sugestii pentru desfurarea unei anchete:

Discutai i ajungei la un consens n cadrul echipei dvs. cu privire la metodele de

Politici, programe i elementele acestora

Obiectiv general: rezultatul ateptat al politicii sau programului Efecte:

Factori externi: influene i impact asupra rezultatelor politicii;

Figura 2. Rolul modelului logic i ai indicatorilor de monitorizare n evaluare

Rolul indicatorilor de performan

Paii urmai n cadrul procesului de evaluare a politicilor publice

PASUL 4: Selectarea datelor i metodelor de analiz:

Figura 3. ase pai ai evalurii

Prile. i nevoile acestora

Dac scopul atunci ntrebrile de evaluare ar trebui s se concentreze

Dac X, atunci Y dac nu X, atunci nu Y

Interviul

Metode de analiz a datelor calitative

Tendina central

Tipul de Cuvinte cheie Forma Grafic Comparaii tipice

Abordri ale procesului de implementare

Factorii care afecteaz procesul de implementare

Componentele managementului calitii evalurii

Lista de verificare pentru evaluarea managementului calitii

Durata n Bifai dac Comentarii

Studiu de caz: evaluarea colilor

Asisten la or (nvmnt primar) i inspecii la anumite materii

Diseminarea constatrilor evalurilor

Yc 2 Yc1 bRc c(X c 2 X c1) ec 2 ec1 (3)

Instrumente i metode de colectare a datelor

Guvernul i utilitile de ap

Anexa 2 Determinarea volumului eantionului aleator

(Nivel de ncredere 95%; Marj de eroare + sau - 5%)

Anexa 3 Implementarea recomandrilor de evaluare

Evaluating local economic