Sunteți pe pagina 1din 150

Proiect finanat de

UNIUNEA EUROPEAN

GUVERNUL ROMNIEI
Secretariatul General
al Guvernului

manual de

Noiembrie 2009

monitorizare i evaluare
a politicilor publice

Acest material este publicat n cadrul proiectului Dezvoltarea procesului de


formulare a politicilor publice la nivelul administraiei publice centrale, cu
sprijinul financiar al Uniunii Europene prin Programul Phare.
Numr proiect: RO 2006/018-147.01.03.03.01
Drepturile de autor asupra acestei publicaii sunt rezervate Secretariatului
General al Guvernului.
Data publicrii: noiembrie 2009
Editor: Secretariatul General al Guvernului - Direcia de Politici Publice
Adresa: Palatul Victoria, Piaa Victoriei nr. 1, sector 1, Bucureti
Telefon: 021 319 15 08, 021 319 15 21
Fax: 021 319 15 08
Internet: www.sgg.ro
Autori: experi ai proiectului pentru monitorizare i evaluare, Sandra Briggs, Egle
Rimkute i Eugen Perianu
Coninutul acestui material nu reprezint n mod necesar poziia oficial a Uniunii
Europene.

Pentru informaii despre Uniunea European, v invitm s vizitai


http://ec.europa.eu

1


2


MANUAL DE MONITORIZARE I EVALUARE


A POLITICILOR PUBLICE

Cuprins
PREFA ...................................................................................................................................................... 5
INTRODUCERE ........................................................................................................................................... 7
PARTEA NTI. PAS CU PAS NSPRE REZULTATE ........................................................................... 17
PASUL 1. IDENTIFICAREA CLIENILOR, PUBLICULUI I FACTORILOR INTERESAI AI
EVALURII................................................................................................................................................. 19
 i f    i ................................................................................................................. 19
 $i   B ................................................................................................. 20
 $ ................................................................................................................................. 21
PASUL 2. DEFINIREA NTREBRILOR DE EVALUARE ................................................................... 23
B$ ............................................................................................................. 23
 B$  .................................................................................................. 23
  B$  ............................................................................................................. 26
PASUL 3. PLANIFICAREA EVALURII................................................................................................. 28
 
$ ............................................................................ 28
Decizia de externalizare a evalurii i factorii care afecteaz aceast decizie ............................... 29
Elaborarea Termenilor de Referin pentru experi ......................................................................... 29
   f     .............................................. 30

   ................................................................................................................. 31
PASUL 4. SELECIA METODELOR DE COLECTARE I ANALIZ A DATELOR .......................... 45
 ................................................................................................................................ 45
Planificarea procesului de colectare a datelor.................................................................................. 46
Metode de colectare a datelor............................................................................................................ 48
Eantionarea ...................................................................................................................................... 61
 $   ................................................................................................ 72
 $  .............................................................................................. 76
     ............................................................................................. 81
PASUL 5. CREAREA UNUI FORMAT POTRIVIT PENTRU CONSTATRILE EVALURII .......... 84
      .......................................................................................................................................... 84
f   ............................................................................................................... 84
 .......................................................................................................................... 88
 ......................................................................................................................... 88
PASUL 6. IMPLEMENTAREA CONSTATRILOR DE EVALUARE .................................................. 91
$   ............................................................................................. 91
  $  .............................................................................. 91
   i B $ ........................................................................ 93

3

MANAGEMENTUL CALITII EFORTULUI DE EVALUARE........................................................... 94

  $i $ .............................................................................. 94
  
  $i ......................................................... 95
PARTEA A DOUA. CULEGERE DE EXEMPLE DIN DIFERITE RI....................................................... 99
 Bf      ............................ 101
$  $   f ........................................ 107
  

 $   i   ....................................... 115
    B   ............................................................................................ 121
 f    B  .......................................... 128

 $
$Bf    ..................................... 134
CONCLUZII ................................................................................................................................................ 137
ANEXA 1 DESCRIEREA PROCESULUI DE COLECTARE A DATELOR ............................................... 140
ANEXA 2 DETERMINAREA VOLUMULUI EANTIONULUI ALEATOR ............................................ 142
ANEXA 3 IMPLEMENTAREA RECOMANDRILOR DE EVALUARE................................................. 143
REFERINE ............................................................................................................................................... 145

4


5


Prefa


B
        



 
           

B          
             

               




           


          
          
            
         


          


            
            

            



           

          
            



           
          
          
 
         








6



7


Introducere

   
      
             
             


             
         
          




B
           
            


            
          
   output      outcome   
         


       
         



           
            
          
       
           

Politici, programe i elementele acestora
B             
           
           Politicile
          
         
     Programele    
        
      proiecte   output 
        

8

        



       scopurile, obiectivele 
activitileIndicatorii


           
modelul logic     (Figura 1)     

          
         

         
         
          
outputsoutcomes

Problem rezolvat de politic sau program

Obiectiv general: rezultatul ateptat al politicii sau programului

Resurse:
umane,
timp,
materiale,
financiare

Obiective
specifice,
activiti:
aciuni
prevzute
pentru
implementare
a
politicii sau
a programului
i pentru
atingerea
rezultatelor
prevzute

Rezultate:
Produse
directe
i servicii
furnizate
de
politic sau
program

Efecte:
schimbri
imediate
sau
pe termen
lung
ale politicii
sau
programului
(pentru
societate,
organizaii,
beneficiari,
etc.)

Factori externi: influene i impact asupra rezultatelor politicii;


circumstane exterioare controlului politicii sau programului

Figura 1. Structura modelului logic (Adaptat dup Logic Model Workbook, Innovation
Network, 2006)

        
        



9

Monitorizarea i evaluarea n cadrul Ciclului de Formulare a Politicii

      Monitorizarea i evaluarea   

           



         evalurii ex-ante  
          

           


Monitorizarea politicii 
  indicatorii       


         
         

 


            
         

  B          
       
          

           


Evaluarea intermediar i ex-post     
outputs

           
         

          


Monitorizarea i evaluarea
          
             

             

10

             
           
           
             
(Figura 2)

Modelul Logic

contribuii

Activiti

Rezultate

Efecte

Indicatori de performan
Planificarea
Colectarea datelor contribuii

Activiti

Rezultate

Efect

Indicatori de performan
Figura 2. Rolul modelului logic i ai indicatorilor de monitorizare n evaluare


           
            
             
          

Rolul indicatorilor de performan

         
          
          


          B  
         
B

           


            
            



              
          
           

11

 


            

(Tabel 1)


Tabel 1. Dimensiunile indicatorilor de performan

Dimensiunea
de msurare

Sub-dimensiuni

    


Volum









Calitate

  


  





Gradul de ncredere privind


serviciile

Folosirea
resurselor



  



Exemple de rezultate ale aciunii


(outputs) cu indicatorii folosii
      
      

B   
   
    

B   
    
   




B   
   

   
     

    


      

B   
    
       

B    
   
   
     dac
folosirea acestui sistem nu este
obligatorie ci doar recomandat
   
    
    

    
     

   


12


B
           

x          
        
input
x           

 input     output      
outcome)
x           
output
outcome
x           



  B        
          
        
             
inputsoutputsoutcomes

input)



        

       


          


B

   B        
          
          
outcome          
   output     outcome   
outputinputs

13


EXEMPLUL 1. Indicatorii unei Evaluri privind Politica pentru Familie
Ministerul Asistenei Sociale deruleaz un program privind familia pentru a reduce
violena domestic. n cadrul evalurii de impact a programului ministerul ar putea lua
n considerare urmtorii indicatori de rezultat al politicii (outcome) care msoar
diferii factori ce au legtur cu dimensiunea nivelului de violen domestic:
Nivelul violenei domestice.
Acesta poate fi msurat folosind date din diferite surse: anchet sociologic sau
sondaje de opinie public, care determin nivelul violenei domestice, precum i
crimele nregistrate (calificate ca fiind crime ale violenei domestice). Nivelul de
referin comparativ (descris mai trziu) ar trebui s fie stabilit la nceputul
programului i msurat din nou la momentul evalurii.
Plasamente n afara domiciliului.
Acesta poate fi msurat folosind statistici ale adposturilor pentru a determina cte
femei (i copiii acestora) folosesc astfel de adposturi drept consecin a violenei
domestice.
Calitatea relaiilor printe-copil.
acesta poate fi msurat n diferite moduri: folosind sondajele de opinie (ex. Ci copii
se simt n siguran acas), numrul cazurilor de violen mpotriva copiilor
raportate la agenia de protecie a drepturilor copilului.
Nivelul de contientizare n ceea ce privete drepturile femeii i ale copilului.
Acest aspect este dificil de msurat. De obicei, se face cu ajutorul anchetelor,
sondajelor de opinie.
n cazul n care reducerea nivelului violenei n familie reprezint o prioritate la nivel
nalt pentru guvern/minister, se poate alege stabilirea indicatorilor de baz prin
desfurarea unui sondaj sociologic care s reflecte diferitele dimensiuni ale violenei n
familie la nceputul programului (ex. gradul violenei fizice i psihologice, violen
mpotriva femeilor i copiilor etc.) i s se msoare dezvoltarea prin compararea n
baza acestor dimensiuni pe parcursul evalurilor ulterioare.
Altfel, este posibil s se foloseasc date din sondajele de opinie desfurate, n alte
scopuri, de ctre organizaiile naionale sau internaionale i ONG-uri. Aceasta este o
metod de msurare a gradului de violen n familie care implic resurse mai puin
intense, dar produce i msurtori mai puin de ncredere, deoarece metodologia de
msurare a violenei n familie poate fi diferit.
Cea mai bun metod de a msura impacturile unei politici privind descreterea
violenei domestice este folosirea datelor din surse diferite. n acest sens, rezultatele
sondajelor de opinie pot fi sprijinite de date mai solide, cum ar fi numrul crimelor
provocate de violena domestic, numrul femeilor din adposturi sau a celor care
beneficiaz de programe de consiliere.
Trebuie s se menioneze, de asemenea, c indicatorii de impact privind violena n
familie ar trebui interpretai cu atenie, deoarece sunt ntotdeauna influenai de factori
externi. De exemplu, numrul n cretere nregistrat al crimelor provocate de violena n
familie nu nseamn neaprat faptul c violena n familie este n cretere. Dimpotriv,

14

aceasta poate reprezenta faptul c femeile devin din ce n ce mai contiente de
drepturile lor i de aciunile pe care trebuie s le ntreprind n astfel de cazuri, drept
rezultat al interveniei guvernamentale sau altor factori externi. Este sarcina evalurii
s disting contribuiile diverselor aciuni n comparaie cu efectul factorilor externi n
ceea ce privete ndeplinirea rezultatelor.
n cazul evalurii formative (explicat n Pasul 3) analiza se va concentra asupra
indicatorilor intermediari. O astfel de evaluare poate implica corecii ale programului n
decursul perioadei de desfurare a acestuia. Evaluarea formativ analizeaz procesul
de implementare a programului: ndeplinirea rezultatelor aciunii (output) i
mecanismele de sprijin (structuri organizaionale, personal, proces etc.). Astfel, aceasta
analizeaz rezultatele care sunt mai uor de corelat cu bugetul guvernamental anual.
n cadrul evalurii formative a unei politici de reducere a violenei domestice indicatorii
de rezultat al aciunii (output) se vor plasa n centrul analizei. Acetia ar putea fi
urmtorii:
Vizite la domiciliul familiilor n situaii de risc.
Acesta este de obicei aplicat i msurat de instituiile de servicii sociale la nivel local.
Acces la ajutor social
Acesta poate fi msurat folosind date de la ageniile executive ce implementeaz
diverse programe sociale, precum cele de consiliere sau de educare a prinilor.
Numrul beneficiarilor acestor programe va arta de obicei rata de acces la
serviciile de ajutor social.
Eficiena furnizrii serviciilor (ajutor social).
Acesta poate fi msurat prin compararea costurilor de furnizare a serviciilor n
diferite regiuni ale rii i ncercarea de a gsi modaliti de cretere a eficienei.
Campanii sociale de contientizare privind femeile i copiii.
Pe parcursul evalurii formative nu se va msura doar numrul campaniilor sociale,
ci i costurile aferente acestora, procesul de desfurare a unor astfel de campanii
etc.

Paii urmai n cadrul procesului de evaluare a politicilor publice



          
             
          (Figura
3)

15


PASUL 1: Identificarea factorilor interesai:


CINE are nevoie de evaluare? DE CE au nevoie?

PASUL 2: Definirea ntrebrilor de evaluare:


CE vrem s tim?

PASUL 3: Planificarea Evalurii


CE resurse avem? CUM vom desfura evaluarea?
CINE ar trebui s-o desfoare?

PASUL 4: Selectarea datelor i metodelor de analiz:


CE date ne sunt necesare? CUM colectm informaiile?
CINE i CND? CUM analizm datele? CE judecat emitem?

PASUL 5: Elaborarea raportului:


CARE este formatul? CINE are nevoie de el? CUM comunicm?

PASUL 6: Implementarea constatrilor n urma evalurii:


CE i CND ar trebui implementat?
CUM monitorizm progresul? CUM obinem feedback?

Figura 3. ase pai ai evalurii



B         
           

         



              
            
               


 
           



16


17



PARTEA NTI. PAS CU PAS NSPRE REZULTATE

18



19



Pasul 1. Identificarea clienilor, publicului i factorilor interesai ai


evalurii

Clienii i factorii interesai

        
B



Clientul          



Factorii interesai           



         

        
              

              



        
  externaliti        
             
    publicul mai larg     
           









20

EXEMPLUL 2. Factorii interesai i publicul mai larg
Ministerul Mediului a decis s creasc veniturile la bugetul de stat i a dispus
construirea unui sit de depozitare a deeurilor periculoase ntr-o anumit comunitate,
cu scopul de a cumpra acest tip de deeu din alte ri. Membrii acestei comuniti pot fi
considerai public mai larg, deoarece ei sunt afectai n mod negativ de aceast decizie
(externaliti). n acelai timp, dac aceast comunitate mobilizeaz un ONG de mediu
bine organizat i dezvoltat, poate influena procesul decizional i poate deveni un factor
interesat n cadrul evalurii. Ministerul poate implica acest ONG n procesul de
evaluare, solicitnd ca ONG-ul s furnizeze evaluatorilor dovezi cu privire la efectele
negative asupra comunitii.

Nevoile prilor implicate n evaluare

             

            

nevoi Tabel 2).





            

            
        

          
             



Tabel 2. Principalele pri i nevoile acestora
Prile.
Finanator/promotor
al interveniei




i nevoile acestora



B








21

Managementul interveniilor

publice

B








Factori decizionali de nivel

superior









Beneficiari/grupuri int direci/te 





 


Societatea civil












Scopurile evalurii



        



x


x       

x         


x B

x
        

x 
x          



22

x


       





Sugestii practice

Identificai clientul, nevoile sale i scopul exerciiului de evaluare! Concentrai-v pe
aceste nevoi i pe scop, pe ntreaga durat a procesului de evaluare, lund n acelai
timp n considerare i nevoile diverilor factori interesai. Prin urmare, evaluatorul ar
trebui s identifice factorii interesai mpreun cu clientul i ar trebui s-i implice n
procesul de evaluare: colectai datele necesare de la factorii interesai, luai n
considerare opiniile acestora cu privire la intervenie, precum i ateptrile lor,
consultai-i cu privire la eventualele recomandri asupra raportului de evaluare, n
special cele care au relevan pentru ei.
Luai n considerare att nevoile explicite ct i pe cele implicite (neexprimate). De
exemplu, nevoia managerilor de a demonstra succesul interveniei este, n majoritatea
exerciiilor de evaluare, neexprimat ca atare, dar este o nevoie uman fundamental
pe care evaluatorul nu o poate ignora.


23



Pasul 2. Definirea ntrebrilor de evaluare



Rolul ntrebrilor de evaluare

B
B

          
           
           
   B         
             

 
            
          




x B

x           

    B     



Focalizarea ntrebrilor de evaluare

B           
B
           
    B       
          

cuiasupra cuipentru cine

Tabelul 3



24

Tabelul 3. Formularea ntrebrilor de evaluare n conformitate cu scopurile
evalurii.
Dac scopul
evalurii este...



atunci ntrebrile de evaluare ar trebui s se concentreze


pe.

      
     
      
       

        

       
  relevan, eficacitate, eficien, impact,
sustenabilitate etc.

      




       


      

       

       

      


    



     

     



      



       



           




           


            
          


            

25

          
         



          

           

        
            

            



             
           
               
            
           B

  B          
exerciiul de confirmare a opiniilor mele pre-definite are o valoare suficient pentru a
justifica plata costurilor unui exerciiu de evaluare? Este aceasta singura valoare
adugat pe care o putem atepta de la exerciiul de evaluare?
            
             
  B           
           



EXEMPLUL 3.
Ce se poate evalua?
x Eficacitatea rezultatelor programului (am redus congestiile n trafic, n ceea ce
privete timpul i volumul dorit?);
x Eficacitatea diferitelor strategii de management (dac managementul
descentralizat al programului este mai eficace dect managementul
centralizat);
x Eficacitatea diferitelor strategii de implementare (compararea aplicrii
flexibile a politicii de reglementare cu aplicarea rigid, compararea
contractrii externe a furnizrii de servicii de paz pentru nchisori i servicii
de siguran mpotriva incendiilor cu furnizarea de servicii intern).



26

Tipuri de ntrebri de evaluare

(Tabel 4)
x 
x 
x 
x 

x            


Tabel 4.Tipuri de ntrebri de evaluare, grupate pe dimensiunile de evaluare i
pe momentul evalurii

Ex-ante
Relevan









Eficacitate















Eficien

Implementare





Intermediar



Ex-post


























































27

Impact

 




















Durabilitate

































Sugestii practice

Chiar i atunci cnd clientul nu a formulat ntrebrile de evaluare, folosii edinele
preliminare sau etapa preliminar pentru a explora i a agrea mpreun cu acesta i
factorii interesai, ntrebrile fundamentale de evaluare.
Managerii exerciiilor de evaluare trebuie s rein c ntrebrile de evaluare pot fi
dificil de identificat atunci cnd se dorete ca raportul de evaluare s fie folositor ct
mai multor factori interesai. Fiecare factor interesat poate formula ntrebri diferite i
lista poate deveni prea lung. Prin urmare nu ar fi posibil s se rspund la toate
ntrebrile adresate, iar clientul i factorii interesai ar trebui s aleag doar acele
ntrebri pe care le consider a fi ntrebri de evaluare eseniale.


           
          
           



28



Pasul 3. Planificarea evalurii



Crearea structurilor de management ale evalurii
B           comitetul de
pilotajechipadeevaluare. 
            
           
           
           
           
B            


B

          
          

          
           
          
           
          




x 
x              

x 



B
          
       




29

Decizia de externalizare a evalurii i factorii care afecteaz aceast
decizie

Autoevaluarea realizat de ctre      
       
        

B
            


ministere

          


evaluatorii externi 
            

           
          


Evaluarea independent       
          
          
         
          


             
           
            
          
          
         
           


Elaborarea Termenilor de Referin pentru experi

         


           


         



30

             
          
             


        B     
            
            

         
           



         
           





output







B
         


Evaluarea resurselor de timp, umane, financiare i datele disponibile

           




           
explicate mai jos



           
          
             



31

            
         
           
          
B






  B       
           
           

B


           
            
           
         


          
          
          
            


Alegerea tipului de evaluare

          
            
      B      




           
         
   eficiena resurselor alocate     
              

          
          
           



32

           
         egalitate i dreptate
social          
         



        outputs

           
            

 
          


         


EXEMPLUL 4. Perspective diferite asupra aceleiai probleme
x

Sociologul poate evalua reforma privind asistena social (mbuntirea


condiiilor de trai n comunitile Roma) astfel: dac aceast reform elimin
srcia sau dac reduce diferenele n ceea ce privete nivelurile de srcie ntre
diferite grupuri de populaie.

Economitii ar putea evalua reforma privind asistena social astfel: dac


mbuntete viaa oamenilor n general (inclusiv a contribuabililor) fa de
perioada anterioar.

Din punctul de vedere al administraiei publice aceast reform ar putea fi


valorizat dac implementarea se desfoar la timp i nu depete resursele
planificate.

Psihologii ar putea evalua modul cum i-a afectat aceast reform pe copiii de
etnie Rom sau relaia acestora cu prinii.



            
B
    B       
 inputs     outputs  
outcomes

Evaluri descriptive vs. cauzale


Evaluarea descriptiv
   analiza nevoilor.     
         
outputs

33


EXEMPLUL 5. Tipuri de evaluri descriptive
x

Grupul int copii precolari din familii aflate sub nivelul admis de srcie.
Evaluarea descriptiv poate analiza starea lor nutriional, starea sntii n
general i abilitile verbale.

Grupul int clieni ai programelor locale de reciclare. Evaluarea descriptiv


poate analiza bugetul mediu, poate descrie cine gestioneaz programul (guvern
sau contractant), poate caracteriza tipul de program (plata pentru returnarea
sticlelor, tipuri de reciclare, tipuri de depozitare).



Evalurile cauzale 
outputs
        



            
 

EXEMPLUL 6. 
x
x

Pentru a descoperi msura n care obiectivele de formare au fost ndeplinite i


planul iniial de formare a fost implementat.
Studiu de impact privind programul de prevenire a polurii.

.



Evaluri formative vs. sumative



B           

outputs    outcomes     
           
evaluarea procesuluievalurile formative. 
        
  evaluarea impactului  evalurile sumative.   
           


Evaluarea formativ       
         
        
          
    outputs       

34

          
         
         

           

           
            


B
x Unde este problema i care este sfera sa?
x De ce, pentru cine i cum merge sau nu o intervenie?
x Cum ar trebui s fie mbuntit un program sau o politic n cazul n care
eueaz?

            
          
       
B
    



          
           



EXEMPLUL 7. Tipuri de evaluri formative
Analiza nevoilor determin cine are nevoie de program, nivelul nevoilor i ce
anume ar putea fi aplicat pentru a ndeplini aceste nevoi.
Analiza evaluabilitii determin dac un anumit program este pregtit pentru
evaluare i dac evaluarea va genera rezultate de ncredere.
Evaluarea procesului analizeaz dac metodele de implementare folosite sunt
adecvate sau trebuie s fie schimbate


Evalurile sumative       
         


B
x Care este nivelul de eficacitate al programului?
x Care este impactul net al programului?

35

           
         

           
        


EXEMPLUL 8. Tipuri de evaluri sumative
x

x
x

Analiza programului educaional: msura rezultatului aciunii (output


measure) notele de la testele standard, msura rezultatului aciunii rata de
absolvire, statutul de ocupare a forei de munc i nivelul salarial n urma
absolvirii.
Analiza programului de asisten social sau formare la locul de munc:
ctiguri, nivel de srcie, mobilitate pe piaa muncii, creteri salariale pe
termen lung.
Analiza programului de reglementare (de exemplu, implementarea unei legi):
msura rezultatului aciunii volumul de inspecii, penaliti i ali indicatori
de conformitate sau neconformitate, msura rezultatului aciunii nivelul
polurii, siguranei, accidentelor etc.


B
         
          



Trei abordri principale n cadrul evalurilor cauzale


Validitate intern 2

              
  tratament     

   dac X, atunci Y     

            
           

Dac X, atunci Y dac nu X, atunci nu Y


           


              



36

             
grup de tratament
grup de control

B               
         


            
 (comparaii n serie temporal)      
(comparaii transversale). 


Modelele experimentale        
           

            
             
      


B
   
   (program)  
     (comparaie)     

       



       atribuirea aleatoare 

 
            
            

            


B
       placebo,   
      B   
         
           
            
exemplul 9

       selecie aleatoare  atribuire aleatoare
           
   nu     

37

 
        
          



         

           



          

           
           



             
           




 





38

EXEMPLUL 9. 


n 1977, programul a fost implementat avnd drept grup int femeile nsrcinate care
erau la primul copil i care ndeplineau una sau mai multe dintre trsturile
urmtoare: vrsta sub 19 ani, familie monoparental sau nivel crescut de srcie.
Existau multe anse ca aceste condiii s genereze o posibilitate mai crescut ca mama
s fie fumtoare, dependent de droguri sau alcool, sau s aib un istoric familial
nefericit i prin urmare, s nu aib nivelul adecvat de cunotine i abiliti pentru a-i
ngriji copilul.
n total, un numr de 400 de femei au fost atribuite unuia dintre cele patru grupuri.
x n grupul 1, 94 de femei au beneficiat de servicii de screening pentru copii lor
cu vrste cuprinse ntre 1 - 2 ani pentru a vedea dac respectivii copii se
confrunt cu probleme de dezvoltare.
x n grupul 2, 90 de femei au beneficiat de servicii de screening plus transport
gratuit la programrile pe care le aveau la doctor pentru copiii cu vrste pn
n 2 ani.
x n grupul 3, 100 de femei au beneficiat de servicii de screening, transport i
vizite regulate la domiciliu efectuate de asistente medicale, pe durata sarcinii.
x n grupul 4, 116 de femei au beneficiat de servicii de screening, transport i
vizite la domiciliu att nainte de natere ct i dup, pe durata primilor 2 ani
de via ai copiilor.
Primele dou grupuri au fost grupuri de control, iar grupurile 3 i 4 au fost grupuri
de tratament.
Procedura de randomizare a fost desfurat n mai multe etape. Pentru nceput,
femeile care intrau n general n grupul de risc, au fost invitate s participe la studiu.
Intre 1978 i 1980, 500 de femei au fost intervievate i 400 dintre ele au fost de acord
s participe la studiu. Fiecare participant a fost atribuit unuia dintre cele patru
grupuri folosindu-se un pachet de cri la sfritul interviului iniial, fiecare femeie a
tras o carte din pachet, care coninea cri amestecate la ntmplare, avnd numerele
de la 1-4 pe fiecare carte. Pachetul a fost n mod periodic re-echilibrat (fiecare
participant avnd mereu aceeai probabilitate de a intra n oricare dintre cele patru
grupuri).
Comparaiile ntre grupurile de control i cele de tratament aveau trsturi de context
similare. n modelul de cercetare, existau multe variabile diferite care msurau efectele
tratamentelor asupra copiilor i mamelor. Comparaia grupurilor de tratament i de
control demonstreaz un nivel semnificativ de beneficii ctre acele participante care
au fost influenate de rezultatele aciunii acestui program.

Modelul cvasi-experimental (QE)        
          
          



39

          



              
      nu     

B


        
            
          
Tabelul 5.

Model 1: Model longitudinal cu observaii preliminare, intermediare, post i ex-post
asupra grupurilor de tratament i de control

          
        
           


Model 2: Grupurile de tratament i de control pre-testare post-testare



            
         

         


Model 3: Model longitudinal trunchiat privind grupurile de tratament i de comparaie
pre-testare post-testare

            
              




Model 4: Grupul de tratament pre-testare combinat cu analiza post-test i grupurile de
control.


          

           


40


           


Model 5: Comparaie post-testare a grupurilor de tratament i control
             
           B   
            
         B  
            


          


Model 6: Grupul de tratament pre-testare post-testare


             
          

            
          
          



Model 7: Grupul de tratament post-testare
B             



        
          

 

            

            



41

Tabelul 5.Punctele forte i punctele slabe ale celor apte modele principale de
evaluare

Model

Avantaje

Dezavantaje



































































































42

    
    




















   


















































Surs: Bamberger, M., Rugh, J., Mabry, L. (2006). Real World Evaluation, Working under budget, time,
data and political constraints. CA: SAGE



   modelul non-experimental     



           

43

         


          
           

 
             
      B     


B          
        

         
          




Elaborarea unui plan de management al evalurii



           
          
B
        



B






Exemplul 10          
            
           


44

EXEMPLUL 10. Planificarea evalurii ex-post asupra politicii privind tineretul n
Letonia
Cercetarea a fost desfurat conform urmtoarelor etape logice:
1. Elaborarea unui plan de cercetare i obinerea aprobrii de la
Departamentul de Afaceri pentru Tineret din cadrul Ministerului pentru
Copii i Afaceri Familiale (Clientul).
2. Elaborarea unor instrumente de cercetare i obinerea aprobrii din
partea Clientului asupra:
a. Formularului privind chestionarul;
b. Liniile directoare pentru interviurile aprofundate individuale i
experte;
c. Liniile directoare pentru discuiile din cadrul focus grupurilor.
3. Cercetare documentar pentru analiza datelor secundare.
4. Activiti pe teren, ce desfoar:
a. anchete;
b. interviuri aprofundate;
c. discuii n cadrul focus grupurilor;
d. interviuri cu experi.
5. Studiu de caz identificarea bunelor practici n lucrul cu tinerii i
desfurarea unei analize aprofundate ale celor mai de succes exemple.
6. Analiza datelor calitative (materiale din interviuri i discuii n grup;
documente) i cantitative (procesarea datelor statistice ale rezultatelor
chestionarelor).
7. Prezentarea rezultatelor provizorii.
8. Lucru asupra raportului de cercetare final.
9. Prezentarea schiei de raport.
10. Ajustrile finale ale raportului la cerinele clientului; traducerea i
depunerea acestuia.

45


Pasul 4. Selecia metodelor de colectare i analiz a datelor



         
            

            



             
     Ghidul privind Monitorizarea i Evaluarea (2008) 
Manualul metodelor folosite n planificarea politicilor i studiilor de impact (2006)


            

          



B            
           
            


Colectarea datelor

          
           






           


        B     
cantitativecalitative


primare 
secundare            
         



46

longitudinaletransversale
           
              


            


B

Planificarea procesului de colectare a datelor

B            

x          
 
x 
x  
x  

             
            


              


x              

x 
x 
x 
x             





Tabel 6.ablon pentru planul de colectare a datelor

ntrebrile
de evaluare




Informaiile
necesare

Cine le
poate
furniza?

Metode de
colectare a
datelor

Cine/cnd

Riscuri

Pregtiri
prealabile

47

Anexa 1


             




            
          




x 
x 
x 
Cercetarea documentar

           
             

x 

x 

x         
           

x 

x          
        


           
          
            
          
           




x            

x B



48




Metode de colectare a datelor

           



B
x Utilizatorii de servicii sau beneficiarii programului   

x Cei care livreaz programul

x Cei responsabili de direcia strategic i management   


x Grupuri mai largi de persoane afectate (pozitiv sau negativ) indirect de
programul dvs.         


            
      

x 
x 
Metodele cantitative de colectare a datelor


            



           

x            

x             
          

Ancheta

         

           
           


49



         


x 
x 
x 


              
           

Interviurile fa n fasondajele prin telefon
   
         
           

B



           
             



Sondajul auto-completare

              
      


             

             


B

           



50

Tabel 7.Sumar al tehnicilor de colectare a datelor cantitative

Tipul
sondajului
Fa n fa

Telefon

Aplicare

Avantaje



 










 











Dezavantaje





f









Auto-completare
pe
hrtie/internet/
email


































Informaii de baz privind chestionarul

         
            

          
B

ntrebrile cu rspuns deschis     

             
B


51

ntrebrile cu rspuns nchis


x B

x B
x B        


            


 chestionar structurat        
            
           


 chestionar semi-structurat         


Elaborarea unui chestionar

         
         B  



B


           


Tabel 8.Structuri tipice ale unui chestionar

Scrisoare de intenie

            







           
           


52

Introducere n
chestionar

B


        

      
     






Aranjarea
ntrebrilor

ntrebri
demografice


          
          
       




        

       
       



       

       
        

     
      

       
         

         

        
        


Alte comentarii

       


V mulumim

      


53

Ce se ntmpl apoi
cu chestionarul

        
        

B




Testarea chestionarului



           


          




Tiprii numrul solicitat de exemplare ale chestionarului unul pentru fiecare
persoan i unul pentru dvs.
Alegei o sal linitit i rugai persoanele s completeze chestionarul, permindu-le
s comenteze ntrebrile cu voce tare.
Lsai-i s treac prin ntregul chestionar.
Lsai-i s adreseze ntrebri clarificatoare (dac solicit asisten, asta este o
indicaie c trebuie s mbuntii chestionarul).


             

x 
x 
x 
x 



Rata de rspuns




           B 
           


54

            
       B   




x B

x             

x 
          
         


x    B      
            


Cteva sugestii pentru desfurarea unei anchete:

Discutai i ajungei la un consens n cadrul echipei dvs. cu privire la metodele de


anchet cele mai adecvate nevoilor i posibilitilor dvs.
Luai n considerare dac avei nevoie de asisten n ceea ce privete organizarea
i analiza anchetei.
Gndii-v dac este nevoie s externalizai ancheta sau pri ale acesteia ctre
companii specializate.
Verificai dac eantionul int este unul reprezentativ n baza criteriilor stabilite.
Pregtii un chestionar i un test asupra unui grup redus de persoane relevante
pentru programul dvs.
ncercai s limitai numrul de ntrebri i n special numrul de ntrebri
deschise din chestionar. ntrebrile cu rspuns nchis genereaz, de obicei, cele
mai bune rate de rspuns.
Dac este nevoie, pregtii o scrisoare de intenie semnat de o persoan de la un
nivel oficial nalt.
Stabilii inta anchetei n termenii ratei de rspuns.
Acordai timp suficient pentru a rspunde la ntrebri.
Planificai resursele pentru urmrirea anchetei intrrilor de date.
Procesai datele i utilizai rezultatele anchetei pentru a sprijini evenimente tipice
sau excepionale.

55

Metode calitative de colectare a datelor



                  


B
x 
x 
x 

Interviurile aprofundate
Interviul aprofundat
             
     B    
         
          

            
            



             
             

          


               
           
            

            


         
         B  




             


        



56



           



             


Focus grupurile
Focus grupurile        


         


             
         


x 
x 
x 
x 

           

               


          
             

            

            
            
           




           



57

Vizitele la faa locului

B
            

           

           


            



EXEMPLUL 11. Colectarea datelor n timpul vizitelor la faa locului
n timpul unei vizite la o coal reorganizat, scopul evaluatorului fiind strngerea de
informaii cu privire la contextul colar. n acest sens, evaluatorul va planifica probabil
urmtoarele activiti:
S viziteze diferite locuri din coala respectiv care au fost afectate de
reorganizare (sli de clas specializate, locuri sociale) pentru a observa
schimbrile fizice ateptate.
S participe la observaii la or pentru a nregistra informaii cu privire la
activitatea de predare, activitile elevilor, contextul de interaciune,
folosirea tehnologiilor n procesul de nvare etc.
S se ntlneasc i s intervieveze diferite persoane sau grupuri de
persoane din cadrul colii (profesori, directori, elevi) pentru a afla opiniile
acestora cu privire la schimbrile ateptate n urma reorganizrii sau
S colecteze documente sau date suplimentare.




Alegerea metodelor de colectare a datelor


      B       

             
             


         
           

           


58


       

         


          

x         
         
         

           
          
      
           

x

         
        


         
         

            
           
            


           
       
  B        




           
             



B            
            
           
          
           
            



59

Descriere sumar a metodelor calitative de colectare a datelor

Metoda

Descriere

Cnd se folosete

Avantaje

Dezavantaje

Resurse
necesare

Interviul
aprofundat



















































 
 








 











Focus
grupuri





































 










 



















































































60








 














Vizitele la
faa locului
































































61

Eantionarea


       recensmnt 4     

Eantionarea 
         
           
         
eantion 


x 
x 
x 
x 

Determinarea cadrului de eantionare

B


         
cadru de eantionare

B                
          
          


            
           

x 
x 
x 

x 

x          


         
             
          





B

62

               

         
            
           
B


          



EXEMPLUL 12. Procedura de acces la populaia int
Populaia int persoane fr adpost.
Procedura care ofer acces ctre populaia int va oferi acces ctre persoanele care
triesc n adposturi. Toate persoanele din adposturi vor forma cadrul de eantionare.
Populaia int persoanele dependente de droguri
Procedura care ofer acces ctre populaia int va oferi acces ctre persoanele
dependente de droguri care beneficiaz de programe de incluziune social. Toate
persoanele nregistrate n diverse programe de incluziune social care furnizeaz
tratament, consiliere sau alte servicii pentru cei dependeni de droguri vor forma cadrul
de eantionare.
Populaia int persoanele care fumeaz
Procedura care ofer acces ctre populaia int va folosi sondajele asupra populaiei
pentru a determina numrul de persoane fumtoare. Rezultatele sondajelor asupra
populaiei realizate pentru diverse scopuri, de obicei prezint ct de mare ar putea fi
numrul celor care fumeaz din totalul populaiei.


          
             


          

          
             


Alegerea metodei de eantionare
             

            


63

            


         probabilistice 
neprobabilistice Eantionarea probabilistic        

            
        

Eantionarea neprobabilistic         
             


            


B           
        
         
          
          

Eantionarea simpl aleatoare


              
 

             
             


            
      
  
 

           
             
         
            
 f          
          

Eantionarea sistematic


          

64





EXEMPLUL 13. Eantionarea sistematic
De exemplu, administraia local trebuie s evalueze implementarea unei noi scheme de
colectare a deeurilor introdus ntr-o anumit parte a oraului. Avnd n vedere c
administraie dorete s obin feedback de la persoanele care au beneficiat de schem,
trebuie s aplice sondaje n gospodriile din zon i s ntrebe oamenii care este opinia
lor despre noul serviciu. Pentru a alege intervalul de selecie a gospodriilor, trebuie
aplicat urmtoarea formul. S spunem c zona supus sondajului include o strad cu
120 de case i 8 case trebuie selectate. 120/8 = 15, aa c fiecare a 15a cas este aleas
dup stabilirea unui punct de pornire ales la ntmplare ntre 1 i 120. Dac punctul de
pornire aleator este 11, atunci casele selectate sunt 11, 26, 41, 56, 71, 86, 101 i 116.



            
          

              
B



B
Eantionarea prin grupuricluster

            
          
            


EXEMPLUL 14. Eantionarea prin grupuri
Ministerul Agriculturii i Dezvoltrii Rurale intenioneaz s analizeze procesul de
folosire a pesticidelor de ctre agricultori n Romnia. Poate fi aplicat o eantionare
prin grupuri folosindu-se judeele din Romnia drept grupuri. Un numr de judee
(grupuri) vor fi alese n mod aleatoriu i toi agricultorii din judeele selectate la
ntmplare vor fi inclui n eantion.


          




65


            

            

Eantionarea stratificat


             
          
          
          
 

         



EXEMPLUL 15. Eantionarea stratificat
Ministerul Educaiei, Cercetrii i Inovrii intenioneaz s analizeze numrul de ore pe
sptmn petrecute rezolvnd teme pentru acas are influen asupra performanelor
colare ale elevilor de liceu. Pentru c se crede c orele petrecute rezolvnd teme pentru
acas difer n mod considerabil de la o clas de liceu la alta, va fi aplicat eantionarea
stratificat. Populaia elevilor de liceu va fi grupat n 4 straturi alctuite din elevi de
clasa a IXa, a Xa, a XIa i a XIIa. Din fiecare strat va fi ales un eantion aleatoriu de elevi.
Rezultatele analizei din fiecare strat pot fi combinate pentru a obine o estimare care se
ateapt s fie mai precis dect cea obinut dintr-un eantion aleatoriu al ntregii
populaii.


           

             
         



          
          
         
         
B



    B       
           


66

Eantionarea multistadial 

B            
         eantionarea
multistadial 

    B       

          



EXEMPLUL 16. Eantionarea multistadial
Ministerul Educaiei, Cercetrii i Inovrii intenioneaz s analizeze impacturile
reformei educaionale pe teritoriul rii. Eantionarea multistadial poate fi aplicat n
urmtorul mod. Sondajul n coli ncepe cu divizarea rii n regiuni i alegerea
aleatoare a anumitor regiuni (primul stadiu). Toate regiunile selectate sunt apoi
divizate n districte, iar districtele sunt apoi alese din regiunile selectate (al doilea
stadiu). Apoi, colile sunt ncadrate ntr-o list n fiecare district selectat i este selectat
un numr de coli (al treilea stadiu). Doar colile alese n cel de-al treilea stadiu vor fi
incluse n eantion. Aceast metod demonstreaz cu nu este necesar existena unei
liste cu toate colile din ar, ci doar pentru acele districte care au fost selectate.


           
           
         

B         
          



EXEMPLUL 17. Eantionarea multistadial n practic
Petru a evalua impacturile reformei educaionale, s-ar putea s nu fie suficient s
selectai colile pe baza distribuiei regionale. colile pot fi de diferite tipuri (primare,
gimnaziale), ele se pot afla n zone diferite (urbane i rurale), pot avea dimensiuni
diferite (mici, medii, mari) i pot fi de stat sau private. Toate aceste trsturi ar putea
avea o valoare intrinsec pentru evaluare i trebuie analizate separat. n acest sens,
eantionarea multistadial va fi realizat prin aplicarea criteriilor mai sus menionate
n diferite stadii ale procesului de eantionare.



67

Eantionarea raional

B         
         
            

x 
x 
x 


EXEMPLUL 18. Eantionarea raional
Ministerul Muncii, Familiei i Proteciei Sociale intenioneaz s mbunteasc
politica privind egalitatea de anse i n special s identifice factorii eseniali pentru
realizarea acesteia n cadrul funciilor de management. n acest caz evaluatorul poate
decide mai degrab s evalueze doar pe acele femei care au ajuns n funcii la nivel de
senior management dect pe toate femeile n vrst de lucru. Decizia evaluatorului este
bazat pe raionamentul c doar femeile care au ajuns n acele funcii vor avea
experien i cunotine relevante. n astfel de cazuri, sondarea persoanelor de gen
feminin ar fi prea costisitoare i ar necesita prea multe resurse.
Sau un teatru poate decide c auditoriul cel mai reprezentativ care ar putea evalua
nivelul de succes al noilor piese de teatru este auditoriul care vine la teatru seara n
zilele de lucru. Decizia este bazat pe raionamentul c auditoriul din serile din timpul
sptmnii reprezint un public regulat i sunt cei mai n msur s compare i s
judece noul repertoriu.




           

Eantionarea n lan (tip bulgre de zpad)




          



68


EXEMPLUL 19. Eantionarea n lan
n cadrul evalurii implementrii strategiei privind migrarea, n special eficacitatea
msurilor de ncurajare a emigranilor s se rentoarc n ara de origine, un minister
poate hotr aplicarea eantionrii n lan pentru a sonda cetenii care lucreaz n
strintate. Adesea, datele formale privind cetenii care lucreaz n strintate sunt
imprecise i este dificil de identificat posibilii respondeni. Ca punct de plecare,
emigranii nregistrai formal pot fi folosii drept respondeni iniiali. Apoi acestora li se
poate cere s recomande alte persoane, cum ar fi prieteni sau rude care lucreaz n
strintate, pentru a fi incluse n sondaj. Respondenii secundari pot la rndul lor s
numeasc alte persoane. n acest mod numrul de respondeni va crete precum un
bulgre de zpad care se rostogolete pn cnd se ajunge la numrul dorit.
Dezavantajul unei astfel de metode de eantionare este c eantionul poate fi
distorsionat. n funcie de respondenii iniiali, eantioanele ulterioare pot fi similare n
fond, deoarece respondenii iniiali vor alege persoane care au valori similare cu ale lor
i provin din medii sociale asemntoare.


         
         

Eantionarea prin cote

B           






EXEMPLUL 20. Eantionarea prin cote
Ministerul Muncii intenioneaz s evalueze implementarea unei politici de ocupare a
forei de munc i s aplice un sondaj asupra brbailor i femeilor n vrst de munc
ntre 25 i 65 de ani. Populaia int are 40 la sut brbai i 60 la sut femei, iar
ancheta necesit un eantion total de 1000. Evaluatorul va continua eantionarea pn
cnd obine procentajele necesare. Dac 400 de brbai sunt deja inclui n eantion,
dar nu sunt nc 600 de femei, evaluatorul va continua s eantioneze femei. Chiar dac
evaluatorul va ntlni n timpul sondajului brbai eligibili, acetia nu vor fi inclui n
eantion, deoarece cotele necesare alocate brbailor au fost deja atinse.


B             




69


            


B
        



EXEMPLUL 21. Metodele de eantionare n practic
n cadrul evalurii privind mobilitatea forei de munc din Letonia (vezi Cazul 3 din
Partea II), a fost folosit o combinaie de metode de eantionare pentru a ndeplini
obiectivele propuse ale evalurii i constrngerile legate de resurse. Sondajul populaiei
n vrst de munc ntre 15 i 65 de ani a inclus eantionare multistadial cu 4 metode
de eantionare diferite n diferite etape: eantionare prin grupuri, stratificat, prin cote
i aleatoare sistematic. Eantionarea a nceput cu metoda grupurilor (cluster). Pentru
a se asigura c evaluarea acoper populaia n vrst de munc din diferite zone ale
Letoniei, eantionarea prin grupuri a fost folosit prin divizarea teritoriului rii n 6
cele mai mari orae i 26 districte (primul stadiu).
n cel de-al doilea stadiu, toate districtele au fost stratificate n zone pe baza
urmtoarelor criterii: urban, semnificativ rural, moderat semnificativ rural,
nesemnificativ.
Pentru a selecta eantionul din zone, gospodria care reprezenta punctul de plecare a
fost aleas la ntmplare cu fiecare cel de-al 7-lea apartament din orae sau regiuni
urbane i fiecare a 3-a sau a 4-a cas din regiunile rurale incluse n sondaj. Evaluatorii
au vizitat gospodriile n zonele selectate pn cnd au atins cota necesar de brbai
i femei n vrst de munc.
Eantionarea sistematic aleatoare a fost folosit pentru a reduce distorsionarea care
ar fi putut rezulta n urma eantionrii prin cote.


x     B      
           
        



x           
         


x          
B



70

Determinarea volumului eantionului



           
           

x 
x 
x 
x 


x 
x 
x 
x 

recensmnt



aceluiai volum de eantion 

             


tabelelorcalculatoarelor de eantion
electronice             
         
             

             


formulelor 
           
         
           

           

Eantionarea calitativ

                



x B

71

x
x


      



            

       B    

x 
x 
x 
x 
x 

B
       

          
            
          


           
B


           
           
 B           
B
           


72

Metode de analiz a datelor calitative
         
           

           
              


          
            


            


x 
x 
x 
x 


     abordarea studiu de caz  
analizaconinutului



Analiza
de
coninut
      
     
       


         


             
         
           
Exemplul 22
       (categorizarea datelor) 

B           
         B    
         



           categorizarea
datelor

73



              








             
             

          
    B      

x 
x 
x 
x 
x 









           

74

             


             
             


B  categorizrii datelor manual      



            




  software-ul       





        


       nelegerea analitic   
           

        






           



           

         


           
      B        

             



75


         

         


Analiza tematic
           



             
         


            



        
               


             

           


          



EXEMPLUL 23. Primii doi pai ai analizei tematice
O familie a fost intervievat pentru a nelege mai bine experiena lor cu sistemul juridic
privind delicvena juvenil. ntregul interviu a fost transcris. Primul tipar de experien
pus pe list au fost diferitele explicaii de la diveri membri ai familiei cu privire la
motivul pentru care tnrul familiei a fost arestat. Cel de-al doilea tipar a fost
atitudinea fiecrui membru al familiei cu privire la ceea s-a ntmplat.Apoi tot ceea ce
se ncadra n tiparul specific era identificat i plasat n dreptul tiparului corespunztor.
De exemplu, fiecare membru al familiei i numea ntr-un fel sau altul "atitudinea" n
timp ce vorbea. Tatl a afirmat c este "iritat", mama a spus c este "protectoare", iar
fiul a zis c "I-a prut ru pentru ce a fcut"

studiul de caz 

              

76

           



           
          

           

          



Metode de analiz a datelor cantitative

            
         
           

x

Date fracionare/numerice
        


Datele nominale         



Datele ordinale

        



B          

x 
x 
x 

  pregtirii datelor         
           
           
B          


         
       


          

77

          


Statistica descriptiv         
        

             
           




x 
x 
x 

             
           

Distribuia          

          

       



   B       
               



Tendina central 
mediann. 
           
          

    B        


mediana            

             
          


78

EXEMPLUL 24. Venitul mediu i median
ntr-o ar care are o clas de mijloc slab dezvoltat i cu foarte puini oameni bogai
calcularea venitului mediei pe lun nu prezint o imagine real. Valoarea medie a
venitului pe lun va fi mai mare dect venitul median pentru c venitul foarte mare este
o valoare aberant, care distorsioneaz imaginea general. Aa c n schimb, folosirea
venitului median prezint punctul de mijloc al tuturor veniturilor i nu este distorsionat
de valori foarte mari.

modul
             


           




         

Dispersia           

x Amplitudinea 




x Abaterea standard        
            
          

             

         
          






             
          
           


79

EXEMPLUL 25. Abaterea standard a venitului mediu
Dac tim c pentru o populaie venitul mediu este de 50.000 EUR i abaterea standard
este 10.000 EUR, putem spune c 68% din populaie are un venit ntre 40.000 i 60.000
EUR. 95% din populaie ar avea venituri ntre 30.000 i 70.000 EUR. Astfel, dac am fi
ntrebai care este probabilitatea ca o persoan din aceast populaie s aib un venit
ce depete 70.000 EUR, am estima c trebuie s fie n mare de 2,5 % anse (pentru c
5% au venituri care depesc intervalul 30.000 70.000 EUR).



             

             

  coeficient de variaie.        
             


         
       

          
            statistica
inferenial           
           
             


            
           
           


          
        

           


          
          


           
analiza prin regresie
multipl
             
            
       

80

           
         
           
   eroare standard          




B           
            

model statistic. 
          
B          
          

            
            

           



EXEMPLUL 26. Regresia asupra factorilor privind rata natalitii
De exemplu, rata natalitii n ar depinde de volumul de beneficii pe care mamele le
primesc, de norma de lucru flexibil pentru mamele care lucreaz, disponibilitatea
creelor i ali factori. S presupunem c cei care formuleaz politicile doresc s tie
care factor influeneaz rata natalitii cel mai mult. Prin folosirea analizei de regresie
multipl se descoper care este funcia care coreleaz toi aceti factori. Atunci cnd
vom ti ecuaia putem anticipa volumul de beneficii optim pentru a crete rata
natalitii.

EXEMPLUL 27. Regresie multipl linear pentru politica de integrare a delicvenilor
ntrebare de evaluare. n ce msur se explic durata pedepsei prin vrsta
delicventului, numrul de antecedente penale i educaia sa?
Cercettorii au folosit matricea de date privind vrsta delicvenilor, numrul de
antecedente penale i educaia acestora i folosirea pachetului statistic pentru a simula
diferite ecuaii de regresie pn cnd au ajuns la cea mai potrivit (n cadrul limitelor
erorii standard acceptabile).
Rezultatele regresiei
Pedeaps = -17,97 + 0,96 (vrsta) + 0,52 (antecedente)+ 0,14 (educaie)
Durata anticipat a pedepsei pentru un delicvent de 23 de ani cu 3 antecedente i
educaie pn la clasa a 9a liceal:
Pedeaps = -17,97 + 0,96 (23) + 0,52 (3) + 0,14 (9)
Pedeaps = 6,93 ani


81


            
           


Comunicarea analizei, judecarea datelor

           

x 
x 
x 

B
            

            
           


             








         
        
  Tabelul 9       



82


Tabel 9. Tipologia Altman a graficelor
Tipul de
comparaie

Cuvinte cheie

Forma Grafic

Comparaii tipice








 



































































Sursa: Altman S., Teaching Data Analysis to Individuals Entering the Public Service, Journal of Urban
Analysis 3, octombrie 1976.

83


EXEMPLUL 28. Planul de analiz pentru evaluarea impacturilor micro-creditelor
debitorilor de gen feminin
ntrebare de evaluare 1: Care este impactul programului privind venitul dobndit al
femeilor?
Ipotez: Femeile care particip la program vor avea un venit dobndit mai mare dect
cele care nu particip.
Variabile: Femeile care au primit mprumuturi i femeile care nu au primit, venitul
dobndit, vrsta, educaia, experien anterioar de conducere a unei afaceri.
Analiza 1: Compararea mediei venitului dobndit al femeilor care au primit i care nu
au primit mprumuturi prin proiect (teste-t pentru diferena mediilor).
Analiza 2: Analiza de regresie multipl pentru a testa dac exist o diferen n venitul
dobndit pentru participani i non-participani dup analiza vrstei, educaiei i
experienei anterioare de conducere a unei afaceri.
ntrebare de evaluare 2: Evaluarea impactului programului asupra sentimentului
femeilor de afirmare personal.
Ipotez: Femeile care au participat n program vor avea un sentiment mai puternic de
auto-afirmare dect femeile care nu au participat.
Variabile: Femeile care au participat n program i cele care nu au participat (not:
participarea va fi definit ca variabil da/nu i n termenii numrului diferitelor servicii
primite mprumuturi, cursuri de formare, sprijin tehnic, ntlniri n cadrul grupurilor
etc.) nivelul de afirmare profesional.
Analiza 1: Tabel cu dou seciuni care compar participare/non-participarea cu scorul
pe o scar de afirmare de 5 punct. Vor fi folosite testele de contingen F2 sau similare.
Analiza 2: Tabel cu dou seciuni care compar dou variabile ordinale: scorul pe
scara de afirmare de 5 puncte i numrul serviciilor primite prin program (1 la 5). Teste
de contingen pentru compararea a dou variabile ordinale.
Sursa: Fink, A. 2003c How to manage, Analyse, and Interpret Survey Data. Vol.9. The survey kit,
Thousand Oaks, CA:Sage

84



Pasul 5. Crearea unui format potrivit pentru constatrile evalurii


Principii cheie

          
               
         




           
           
          
           





B





           



Structura i stilul raportului

         
           

          

          



          

           
Tabel10


85

Tabel 10. Exemplu de posibil structur a unui Raport de evaluare

Prefa








Rezumat executiv








Relevan


Eficacitate



Eficien


Implementare



Impact


Introducere
Descrierea
activitilor
Evaluarea posibilelor
dimensiuni ale
interveniei 5

Concluzii

Durabilitate
f


Recomandri



Anexe













       B    
            
B


86



x 
x 
x 

  Tabel 11        


Tabel 11.Caracteristicile Raportului de evaluare n ceea ce privete scopul

Dac scopul raportului
Consecinele pentru stilul scrierii vor fi
este
 

       
       
        


        

relevan,
eficacitate       
      
        
        
      
      

        
     
        

        

      

 

        
      


        




      

      

      
       

       




87


          
         
              
            
            


            


            






         







         
        
 


          
          


            
i


           



               

B                



88


Procesul de consultare



x             
             

x            





          

x 

x 





x 

x            
          
          
            


            
         







Prezentarea raportului

          
edin de prezentare          
           

x 
x 
x 

89

x

          



            
            


B
               
           


           
        


        


             


Sugestii practice





          



             

          



            


           


            
            

90

             


EXEMPLUL 29. nlocuirea opiniilor negative cu aspecte faptice

Aceast fraz ...


Ar putea fi nlocuit cu aceasta





B

 














B

            
            



91



Pasul 6. Implementarea constatrilor de evaluare


Abordri ale procesului de implementare

        
          
        

x Instrumental          
      

           
           

x

De proces         


        

            


Politic        
           
          
         


Conceptual         
          
          
           
         B  
              


Factorii care afecteaz procesul de implementare



         

        



x caracteristicileevalurii 
x organizare


92

Tabel 12
          


Tabel 12.Factori referitori la caracteristicile evalurii

Factori

Aspecte de luat n considerare





 









 










Tabel 13




Tabel 13. Factorii referitori la organizare



Factori



Aspecte de luat n considerare







































93



Aranjamente instituionale n vederea implementrii
          


      

x B
x B
x 

nfiinarea unei comisii de implementare 
         

          
       B   
             


           
un
grup de proiect
            


Instituionalizarea implementrii        
         

              
     B      



              
            
           


          
           
Anexa 3

           
      
 
         


94



Managementul calitii efortului de evaluare



           
            

           

            




        

Componentele managementului calitii evalurii



x 
x 
x 
x 
Organizare i roluri        

           
         

Procesul de evaluare         
             



            

        


          
             
           


95

Cerinele referitoare la coninutul evalurii 


x B

x 
x 
 
x 


           

           
           

Stimulentele           

          
          
              
        

Lista de verificare pentru evaluarea managementului calitii


           
B
              

          
          

             
           







96

Tabel 14. Lista de evaluare a managementului calitii
Durata n
cadrul
procesului
de evaluare

Jaloane de evaluare

Bifai dac
este finalizat

Comentarii

Structuri organizaionale
         



         


      


         


        


        


B        


          








           


Etapele evalurii







         








         


        



        
       


97

        
       














        



 










        
       


       
        




 


 


       
        


     
          





98


99


PARTEA A DOUA. CULEGERE DE EXEMPLE DIN DIFERITE


RI


100


101



Cazul 1. TIC n coli, Studii de Evaluare a Inspectoratului, Irlanda, 2005-2006
(Adaptat dup raportul de evaluare TIC n coli i materialele adiionale furnizate de Departamentul
pentru Educaie i tiin, Irlanda).

De ce acest exemplu?
            
         
           


Informaii generale

              
              
            
 


Iniiativa pentru integrarea tehnologiei      
       f    


Iniiativa pentru abiliti de predare      
            


Iniiativa pentru sprijinirea colilor
 

           
        
            
  
            


B 
             
            O schi pentru
viitorul TIC n nvmntul irlandez
           

x  
x 
x  
x 

             
            

102

           
              
  B        
   f        
 

ntrebri de evaluare
           
           

 
B
B 
 
 
 
 
B 


Planul de evaluare




Octombrie Decembrie 2005

           


Octombrie 2005 Februarie 2006
             
B








Echipa de evaluatori
            
    f      


           
  


103

x

      
         

x 
          

    f      


Colectarea de date

B
                
          



Sondaj naional asupra directorilor i profesorilor din colile primare i
gimnaziale
Metode de eantionare a sondajului
B
          
           
260
155 coli



x 
x 
x 
x 

          
            
             
N
           

           
              

        
            


Metode de colectare a datelor pentru sondaje
B
          

104

          
           


          




            
             
            
   f  f    




            


            
          


Studiu de caz: evaluarea colilor
Metode de eantionare n procesul de evaluare a colilor supuse studiului de caz
              
  52           
         
         
           
       


Metode de colectare a datelor pentru evaluarea colilor supuse studiului de caz
f
 

x           
 
x            

x 
x            


105

x

          
          

             



x

B           
            
   


            
            

            


             
         
 

    437    primar  450   gimnaziu 

Asisten la or (nvmnt primar) i inspecii la anumite materii
(nvmnt gimnazial)

             
 
             


B              

             



            
  
 

B
             





106

B 
           
          
           
             
             

              
     B     
             


B


Evaluarea on-line 

B
 

           
         
            

              
          
            



Metode de analiz a datelor

           



           

Diseminarea constatrilor evalurilor

          

 
               

 

 

107

Cazul 2. Abordarea Bncii Mondiale a evalurii impactului al oselelor
(Adaptat dup Evaluarea impactului socio-economic al oselelor rurale, Metodologie i chestionare,
Banca Mondial, 2002)

De ce acest exemplu?

x              
         


x 

x       

x 

Informaii generale
          
         
        




          

           
           



             
            
         



ntrebri de evaluare




Efectele directe ale proiectelor de construire de osele pot fi:
x 
x           

x 

108


         

           


Indicatorii de rezultate directe utilizai pentru a msura efectele directe:
x 
x 
x 
x           

x 
x 

Indicatorii de rezultate ale politicii utilizai pentru a msura efectele directe:
x 
x      

x 

x              

x       

x           

x 

x 
Indicatori de rezultate pe termen lung utilizai pentru a msura efectele
indirecte:
x        

x 

x 
x 
x            

x 


           
          
  


109

Modelul evalurii

          


x              

x 




            


           Modelul 2 




            
B




           
      
 
             


dou etape 


Prima etap         




A doua etap         






110


Colectarea de date
           

          
          



Bcomparaiilor reflexive
          B  
comparaiile generice     

Comparaiile umbr 
             


             

           
              

          
           



            



            
           



            
          
            




           




            



111


             


Variabile de trafic
Densitatea traficului
           


Capacitatea oselei


Taxe i costuri

           


Modele de transport


  


Deinerea de vehicule
            


Accidente


Variabile ale veniturilor i cheltuielilor
Impactul asupra activitilor agricole
         
            

           


Impactul asupra activitilor non agricole




Modelul de venit


Modelul de cheltuieli


112

Piee
           
             
           


Preuri


Altele
           
         

Variabile sociale
Educaie

           
          

x 
x 
x 
Sntate
            
            



x 
x 
x 
x 

Interaciunea social





Participarea politic


       



          


113


Metode de analiz a datelor
          
          


           


Metoda diferenelor duble (Double-Differences Method) (utilizare Model 2)
           
         


            
           

            





Yroad1
Ynoroad1



Yroad 2
Ynoroad1




            
 



 (Yroad 2  Yroad1 )  (Ynoroad 2  Ynoroad1 ) 



           




(post-osea)

Yc 2 a  bRc  cX c 2  uc 2 

  variabila temporal        

          

t
, pentru
= 1,2

114


B Yc1 a  cX c1  u1 




Yc 2  Yc1

bRc  c(X c 2  X c1)  ec 2  ec1

(3)

        
         
             
b


B
           






115


Cazul 3. Mobilitatea geografic a muncii Ministerul Proteciei Sociale
De ce acest exemplu?

         

           


         
           

Informaii generale
             

B
            






B
             
           
          


ntrebri de evaluare
             


B
x 

x 
x B
x 
x       


x          


B           



116

ipoteze 

x 

        

x 


x 
           

x 



Planul de evaluare


x 
x 
x 
x 
x 





Echipa de evaluare



Metode de colectare a datelor


          
           
         
          

         

Interviuri cu experi
            
instituii ale administraiei publice
 

117

  
 


          
           
       B    



ase Agenii de Ocupare
a Forei de Munc Regionale B     




sindicatele comerciale sectoriale
i asociaiile profesionale         
B  

          B   




         ageniile de dezvoltare
regional
          
         
        
          
           
          


Liderii de district municipal din zonele de grani     
          



universitii regionale




Sondaj n rndul angajatorilor 

    B       


          
         

118

   B          


Sondaj n rndul populaiei
            
         

x 



x 
x 
x 
x 
x 
x 
x 

x 
x 

Selectarea unui eantion pentru sondajul n rndul populaiei




           
           

            

x 
x 

          
B
           
  




               




           




119

Sondaj n rndul cetenilor Letoniei ce lucreaz n strintate



         ,     
         B     
           


Metode de analiz a datelor
             

          
         


         

          



Statistici descriptive 

x 
x           

x           

x 

x 

x             

x 

   statistici infereniale      

x 
x 
x 

x 
x          

x 



120

Implementarea constatrilor evalurii
           
            
       
         

        
      

       

        

         
          



           




          


121

Cazul 4. Reforma mineritului n Romnia
(Adaptat dup Srcia i Analiza Impactului Social al Reformelor, Banca Mondial, 2006)

De ce acest exemplu?
            
       
        
          
         
           


Informaii generale
B          


            
            
        


B 


         


           


              
    





B
               
            
 

B


             





122


            
          
           



          
            
Sursa: www.worldbank.org)

ntrebri de evaluare
 
           

           




            
 
         
           
           
          


Planul de evaluare
              







       

         




Colectarea datelor
Studiu comparativ al comunitilor miniere i non-miniere
          
            

            
               



123



            





 
Analiza impactului social asupra diferiilor factori interesai
         
           

x 
x 
x 
x 


  
 

          
            
        


           
         


             
            

Examinarea impacturilor pe sexe a reformelor sectorului minier
          

 
         
         


Studiu de impact al programelor de recuperare a sectorului minier
           

x   
x 
x 

124


x 
x 

B            
         
             



        
            
       

             
          

B
            

           
         
            


 

         
           
            

Analiza distribuiei resurselor financiare n sectorul minier.
            
        
           
         
            


          


Analiza datelor
Studiu comparativ al comunitilor miniere i non-miniere

        



f
x 

125


x
x
x
x







Analiza impactului social asupra diferiilor factori interesai
           


          
          
           


B
          

            
            



x A
x B 
x C










B
























           



         

           



126

         





             
          
            

         
         

Examinarea impacturilor pe sexe a reformei sectorului minier
              
          
          
 



            
         




             



Studiu de impact al programelor de recuperare a sectoarelor de minerit
             
          


          
          
 
 

i            

             


Analiza distribuiei resurselor financiare n sectorul minier.
           

127


   
          
           


           
           
             


128

Cazul 5. Descentralizarea i privatizarea sectorului apelor n Albania
(Adaptat dup Srcia i Analiza Impactului Social al Reformelor, Banca Mondial, 2006)


De ce acest exemplu?
       
          

             
         


              
         
            

         


Informaii generale
           




          

            


ntrebri de evaluare





x        

x          



B         
     
    
         




        
 


129

Planificarea evalurii
           
             
        

 

            
           
        






            

           

         

              
          






Instrumente i metode de colectare a datelor

        


revizuiri de
birou 
          





           

x 
x 
x 


130




Interviurile cheie de informare
        
            

            
         



guvernrii centrale





guvernare local 
        B   
          


    discuii n cadrul focus grupurilor     
      

            

             
           
       Echipa a explorat
percepiile comunitilor asupra guvernrii municipale i a instituiilor din
sectorul apelor


Sondajele pe gospodrii au relevat date de baz referitoare la consumatorii
interni
   Sondajul la nivelul gospodriilor a acoperit aspecte
ca: nivelul de satisfacie al consumatorilor n ceea ce privete guvernarea
municipal          
         


             
          




B           


131


Analiza datelor
          
f           


            

             
    i Aceste profiluri au furnizat informaii asupra
populaiei i ratei creterii numrului acesteia
           
        
          



B           
    analiz a factorilor interesai.    datele
obinute n activitatea de teren


x 
x 
x 

            
     B      


Factorii interesai care afecteaz/implementeaz reforma
Consiliul de Minitrii         
           


Ministerul Amenajrii Teritoriului i Turismului     
          

     f  opoziia  


Ministerul Guvernrii Locale i Descentralizrii    

      implicare puternic    



   Ministerului Economiei     
             

132

         
    sprijin ideologic  reform, dei nu acordase o
atenie adecvat recomandrilor      


Ministerul Finanelor 


Agenia de Reglementare a Domeniului Apelor,    

             ezitat  
            
          


Guvernele locale          


          


Factori interesai afectai pozitiv de ctre reform
Guvernele locale au sprijinit        


        
         


Utilitile de ap            
             
puternic 


Clienii     au sprijinit    



Gospodriile foarte srace 
 opus
sprijinit 


Grupurile etnice minoritare
           
sprijinit 
opus



133

Factori interesai afectai n mod negativ de ctre reform
           
    utilizatorilor din gospodriile neautorizate  
           


Firmele utilizatoare neautorizate 
           
          
       puternic opoziie 
              


Factori interesai cu influen asupra reformei
Guvernul i utilitile de ap 


Finanatorii internaionali au demonstrat susinere puternic   
.
             
        

            


134

Cazul 6. Programul pentru Internet de band larg n colile din Irlanda
(Adaptat dup Raportul de evaluare al Programului pentru Internet de Band Larg n coli,
Departamentul pentru Educaie i tiin, Irlanda 2009)

De ce acest exemplu?
 
           




Informaii generale
B         
   f          

            
             
            

           
         


       f     
              

         



               


ntrebri de evaluare
             
           
          


           
         

x 
x 
x 
x 




135

Planificarea evalurii
f
            


B         


x           

x         

x 
x 

           
           
        

             


Colectarea datelor

               


            
            

x primaresecundare;
x  mari
mediimici;
x  urbanerurale;
x  tehnologiilor majore de livrare




Tehnologie
Numr coli







            
           
            
            



136

            
             

            
        


 un sondaj 
            


  vizite pe teren       
interviuriinspecii la faa locului.
 B




B
 
              
             
           

              



Analiza datelor
           
           
        


137


Concluzii

           
           

 B          

         


            

             




B           
         
           
             
           



          

            
           
           



             
                


138


139






















ANEXE


140

Informaia necesar





















ntrebri de
evaluare


















 







 






B


Cine o poate furniza?

























Surse de informaii
/metode de
colectare a datelor













Cine / cnd




















Riscuri












 







Pregtiri
prealabile

Obiectivul


Politica

Anexa 1 Descrierea procesului de colectare a datelor























 



B

































141

142


Anexa 2 Determinarea volumului eantionului aleator


(Nivel de ncredere 95%; Marj de eroare + sau - 5%)
N- populaie
S - eantion
N






























































S






























































N
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

S






























































N
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 











S





























384
384
384

Surs: 
 

143


Anexa 3 Implementarea recomandrilor de evaluare



Recomandarea de Jalon/Activitate Responsabil
evaluare
Analizai trei
ntocmirea
Minister lider:
alternative:
propunerii de
Ministerul
- scderea
politic public
Muncii:
fenomenulu inclusiv a
Ministerul
i emigraiei analizei
Economiei,
- dezvoltarea opiunilor de
Finanelor,
regiunilor
politic propuse
Educaiei,
- promovarea
Dezvoltrii
imigrrii n
Regionale,
anumite arii
Internelor
Minister
ntocmirea HG
lider:Ministerul
(dac e nevoie)
Muncii:
pe baza
Ministerul
rezultatelor
discuiilor legate Economiei,
de politic
Finanelor,
Educaiei,
Dezvoltrii
Regionale,
Internelor
Conform HG
Revizuirea
planului strategic
de costuri
Publicarea unui
nfiinarea unui
Ministerul
buletin de
GL pentru a
Muncii
informare pentru
decide asupra
emigrani
coninutului,
publicrii i
distribuirii
buletinului
ntocmirea unei
Grupul de lucru
propuneri pentru
buletin i
efectuarea
aranjamentelor
de publicare
Revizuirea
Ministerul
planului strategic Muncii
de costuri
Distribuirea
Ministerele:
buletinului
Muncii,
Afacerilor
Externe


Termen
limit
octombrie
2009

Instituionalizat
n:
Planul anual de
afaceri, planul
individual,
planul strategic

n termen
de 2 luni
dup
luarea
deciziei
referitoare
la politic

Documente de
politic, planul
anual de
activiti, planul
individual,
planul strategic

ncepnd
cu 2010

Procesul de
planificare
strategic
Planul strategic
de activiti,
planul de afaceri
instituional i
individual

Iulie 2009

Final 2009

Martie
2010

Planul de
activiti
strategice, planul
individual

Procesul de
planificare
strategic
Planul anual de
afaceri sau
planul individual

144


145


Referine
Cri i articole tiinifice
          


        


         
 
            
 
Resurse electronice


 Institutionalizing impact evaluation within the framework of a
monitoring and evaluation system      
          





            
         


          



           
         
          


Practical Assessment, Research & Evaluation


          
          



           
           

146

          
        




             
         
     
   




 





          


            



            
            
          



       

           




Evaluating local economic


and employment development.
          
          
         
            


  

 
          
 


147



Introduction to Program Evaluation for Comprehensive Tabacco Control Programs
           
           




           
          








manual de

monitorizare i evaluare
a politicilor publice

ISBN
978-973-1846-22-4