Proiect finanţat de GUVERNUL ROMÂNIEI

UNIUNEA EUROPEANĂ Secretariatul General

al Guvernului

manual de
monitorizare şi evaluare
a politicilor publice

Noiembrie 2009
Acest material este publicat în cadrul proiectului„Dezvoltarea procesului de
formulare a politicilor publice la nivelul administraţiei publice centrale”, cu
sprijinul financiar al Uniunii Europene prin Programul Phare.

Număr proiect: RO 2006/018-147.01.03.03.01

© Drepturile de autor asupra acestei publicaţii sunt rezervate Secretariatului
General al Guvernului.

Data publicării: noiembrie 2009

Editor: Secretariatul General al Guvernului - Direcţia de Politici Publice

Adresa: Palatul Victoria, Piaţa Victoriei nr. 1, sector 1, Bucureşti
Telefon: 021 319 15 08, 021 319 15 21
Fax: 021 319 15 08
Internet: www.sgg.ro

Autori: experţi ai proiectului pentru monitorizare şi evaluare, Sandra Briggs, Egle

Rimkute şi Eugen Perianu
Conţinutul acestui material nu reprezintă în mod necesar poziţia oficială a Uniunii
Europene.

Pentru informaţii despre Uniunea Europeană, vă invităm să vizitaţi

http://ec.europa.eu
1
 2

MANUAL DE MONITORIZARE $I EVALUARE

A POLITICILOR PUBLICE

Cuprins
PREFAEǍ .................................................................................................................................................... 5
INTRODUCERE.......................................................................................................................................... 7
PARTEA ÎNTÂI. PAS CU PAS ÎNSPRE REZULTATE ........................................................................... 17
PASUL 1. IDENTIFICAREA CLIENEILOR, PUBLICULUI ÇI FACTORILOR INTERESAEI AI
EVALUǍRII .............................................................................................................................................. 19
CLIEN!II ÇI FACTORII INTERESA!I .............. 19
NEVOILE PǍR!ILOR IMPLICATE ÎN EVALUARE...........................................................................................................................
................................................................................................. 20
SCOPURILE EVALUǍRII ................................................................................................................................. 21
PASUL 2. DEFINIREA ÎNTREBǍRILOR DE EVALUARE ................................................................... 23
ROLUL ÎNTREBǍRILOR DE EVALUARE ......... 23
FOCALIZAREA ÎNTREBǍRILOR DE EVALUARE ..........................................................................................................................
.................................................................................................. 23
TIPURI DE ÎNTREBǍRI DE EVALUARE ............................................................................................................. 26
PASUL 3. PLANIFICAREA EVALUǍRII...........................................................................................................................28
CREAREA STRUCTURILOR DE MANAGEMENT ALE EVALUǍRII ............................................................................ 28
Decizia de externalizare a evaluǎrii 3i factorii care afecteazǎ aceastǎ decizie ........................................ 29
Elaborarea Termenilor de ReferinUǎ pentru experUi ......................... 29
EVALUAREA RESURSELOR DE TIMP ,UMANE ,FINANCIARE ÇI DATELE DISPONIBILE.............................................................
.............................................. 30
ALEGEREA TIPULUI DE EVALUARE ................................................................................................................. 31
PASUL 4. SELECEIA METODELOR DE COLECTARE ÇI ANALIZǍ A DATELOR .......................... 45
COLECTAREA DATELOR ................................................................................................................................ 45
Planificarea procesului de colectare a datelor...................................................................................................... 46
Metode de colectare a datelor ..................................................................................................................................... 48
E3antionarea.......................................................................................................................................................................................61
METODE DE ANALIZǍ A DATELOR CALITATIVE ................................................................................................
M 76
7C2OMUNICAREA ANALIZEI, JUDECAREA DATELOR.............................................................................................................................................................
............................................................................................. 81
ETODEDE ANALIZǍ A DATELOR CANTITATIVE
PASUL 5. CREAREA UNUI FORMAT POTRIVIT PENTRU CONSTATǍRILE EVALUǍRII .......... 84
PRINCIPII CHEIE .......................................................................................................................................... 84
SPTRUCTURA
ROCESUL DEÇICONSULTARE
STILUL RAPORTULUI ............................................................................................................... 84
.......................................................................................................................... 88
PREZENTAREA RAPORTULUI ......................................................................................................................... 88
PASUL 6. IMPLEMENTAREA CONSTATǍRILOR DE EVALUARE ...................................................91
ABORDǍRI ALE PROCESULUI DE IMPLEMENTARE ............. 91
FACTORII CARE AFECTEAZǍ PROCESUL DE IMPLEMENTAR..E..................................................................................................
. .. ......................................................................... 91
ARANJAMENTE INSTITU!IONALE ÎN VEDEREA IMPLEMENTǍ R I I ........................................................................ 93
 3

MANAGEMENTUL CALITǍEII EFORTULUI DE EVALUARE .......................................................... 94

COMPONENTELE MANAGEMENTULUI CALITǍ!II EVALUǍRII .............................................................................. 94
LISTA DE VERIFICARE PENTRU EVALUAREA MANAGEMENTULUI CALITǍ!II ......................................................... 95
PARTEA A DOUA. CULEGERE DE EXEMPLE DIN DIFERITE !ǍRI....................................................... 99
CCAAZUL
ZUL 1. TIC ÎN ÇCOLI, STUDII DE EVALUARE A INSPECTORATULUI, IRLANDA, 2005-2006 ............................ 101
2. ABORDAREA BǍNCII MONDIALE A EVALUǍRII IMPACTULUI AL ÇOSELELOR
....................................... 115 107
CAZUL 3. R
AZUL 4. MEFORMA
OBILITATEA A MUNCII - MINISTERUL PROTEC!IEI SOCIALE...................................................................................
ÎN ROMÂNIA
GEOGRAFICǍ
MINERITULUI
................................................ 121
CAZUL 5. DESCENTRALIZAREA ÇI PRIVATIZAREA SECTORULUI APELOR ÎN ALBANIA.......................................................
.......................................... 128
CAZUL 6. PROGRAMUL PENTRU INTERNET DE BANDǍ LARGǍ ÎN ÇCOLILE DIN IRLANDA ..................................... 134
CONCLUZII .....................................................................................................................................................................137
ANEXA 1 –DESCRIEREA PROCESULUI DE COLECTARE A DATELOR ........................................................140
ANEXA 2 – DETERMINAREA VOLUMULUI EÇANTIONULUI ALEATOR ....................................................142
ANEXA 3 – IMPLEMENTAREA RECOMANDǍRILOR DE EVALUARE .........................................................143
REFERIN!E ........................................................................................................................................................145
4
 5

PrefaUǎ
Evaluarea politicilor publice în România a demarat odatǎ cu încercǎrile Guvernului de
a stabili un cadru procedural pentru aceastǎ activitate. În anul 2005 a fost aprobatǎ
reglementarea cu privire la procedu ile pentru elaborarea, implementarea çi
evaluarea politicilor publice la nivel central {HG 775).

Deçi pe parcursul anilor c e au urmat ministerele au dobândit cunoçtinu teoretice

precum çi experienuǎ practicǎ în urm diverselor proiecte de asistenuǎ tehnicǎ, au
existat totuçi prea puuini factori motiva uionali pentru desfǎçura procese de evaluare.
În 2006, Ministerul Finanuel Publice a elaborat „Strategia Nauionalǎ de Evaluare”
care este n document ce încearcǎ sǎ propunǎ o abo dare comunǎ çi integratǎ a
evaluǎrii tuturor intervenuiilor publice atât în ceea ce priveçte fondurile comunitare,
çi pe cele finanuate din bugetul nuion . Urmǎtorul pas a fost fǎcut în anul 2008,
când Secreta atul General al Guvernulu a l orat un Ghid privind Monitoriz a çi
Evaluarea, prin care se oferǎ explicauii detaliate ale diverselor aspecte legate de
p c sul de evalua r

Prezentul Manual este un document care vine în completarea activitǎuilor deja

sfǎçurate çi are drept scop explicarea procesu ui de moni rizare çi evaluar
d falcat în diverçi p i çi etape, a metode ractice çi a instrumentelo folosite
pentru monitorizarea çi evaluarea politicilor publice, precum çi furnizarea unor
ex ple de monitorizare çi evaluare di viaua r alǎ.

Acest Manual este alcǎtuit dintr-o introducere çi douǎ pǎrui principale. Partea
introductivǎ des rie necesit ea ev uǎrii çi rolul pe care îl joa ǎ indic torii în cadrul
acestui proces. Prima parte a Manu lului prezintǎ o abordare pas cu pas a procesului
de evaluare. Fiecare pas are dedicat câte un capitol separat, care conuine elemente
teor ice çi care explicǎ prin exemple adecvate modul de aplicare. Cea de-a doua
parte M ualului prezintǎ evalu i din viaua realǎ. Studiile de caz folosite în ce-a de-
a doua parte sunt adaptate dupǎ diverse rapoarte de evaluare çi ilustreazǎ prin
p cticǎ princip lii paçii ai procesului de valu e.

Grupul uintǎ al acestui Manual este reprezentat de factorii decizionali, managerii de

proiect, personalul care lucreazǎ în diverse programe çi în unitǎuile de politici publi e
din cadrul ministerelor, precum çi orice altǎ autoritat a administrauiei publice.
Autorii au presupus cǎ cititorii sunt familiarizaui cu terminologia de bazǎ çi cu
conceptele folosite în Ghidul privind Monitorizarea çi Ev luarea.

Obiectivul acestui Manual este de a oferi o prezentare generalǎ a principalelor

abordǎri çi m ode folosite în evaluǎrile intermediare çi ex-post le pol ticilor
publice 1. Prin urmare, Manua ul serveçte drept pas uial çi intr ducere în
dezvo tarea ulterioarǎ a practicilor de evaluare. Fiecare minister va elabora çi îçi va
îmbunǎtǎui pract ile de ev luare prin folosirea metodelor celor mai potrivite
domeniului propriu de activitate.

1Termenii „politicǎ publicǎ”, „program” çi „intervenuie publicǎ” sunt utilizaui în mod interçanjabil în
cuprinsul acestui manual.
6
 7

Introducere
C prom iuni s-a angajat Guvernul sǎ î deplineascǎ în schimbul impozitelor plǎtite
de contribuabili? A îndeplinit c ea ce a promis? A fǎcut asta într-un mod eficient?
Acestea sunt întrebǎrile pe care cetǎuenii din multe uǎri ale lumii le-au adresat în
ultimii 40 de ani sau chiar mai mult.

Pentru a rǎspunde la aceste întrebǎri, guvernele au fǎcut eforturi mari de a include

rezultatele care sunt importante din perspectiva cetǎuenilor în cadrul pol tici
public ç programelor çi de a furniza prezentǎri detaliate ale consecinuelor
intervenuiilor.

Fiecare politicǎ publicǎ are scopul de a îmbunǎtǎui viaua societǎuii respective çi d a

elimina condiuiile sociale problematice, de emplu rata çomajului sau a criminalitǎuii.
Înainte de elaborarea politicilor, cei care le formuleazǎ trebuie sǎ înueleagǎ motivele
pentru care situauia curentǎ genereazǎ numite consecinue çi modul în care acest
motive pot fi schimbate pentru a genera rezultate acceptabile din punct de vedere
social.

Adese , politicil çi programele oferǎ o „situauie vi toare doritǎ” care va dovedi c

politica implementatǎ merge în direcui corectǎ. Anumite seturi de ind atori de
rezultat al acuiunii {output) çi de rezultat al politicii {outcome) pot descrie aceastǎ
situauie. Cu toate acestea, trebuie luatǎ în considerare întrebarea „Programul
genereazǎ rezultatel sau acele rezultate ar fi apǎrut oricum?''.

Aceste aspecte necesitǎ mǎsurarea performanuelor, monitorizare politicilor çi

rogramelor p dur ta implementǎrii pentru a asigura o implementar conform
planificǎrii çi pentru a se asigura cǎ nu au un impact nedorit. Ulterior acestei etape se
poate lua o decizie d a continua, modifica sau finaliza o politicǎ.
de monitorizare çi
Rǎspunsul nu poate fi obuinut doar prin procesul obiçnuit
raportare a activitǎuilor. Pentru a lua decizii cu privire la viitorul unei int rvenu
trebuie analizate diverse aspecte, cum ar fi nivelul impactului asupra realizǎrii
obiectivelor, impactul factorilor externi asupra succesului intervenuiei, folosirea
eficientǎ a fondurilor publice etc. Astfel, evaluarea este un instrument care poate
asigura perfecuionarea çi învǎuarea.

Politici, programe çi elementele acestora

Înainte de a trece mai depar e, este utilǎ o d escriere p scurt a politicilor,

programelor çi proiectelor pentru a înuelege mai bine contextul în care aceastǎ
terminologie este folositǎ în literat ura de specialita te a analizei de po litici. Politicile
exprimǎ v ori ç obiective gener le stabilite de guvern. Ele încadre zǎ anumite
programe sau proiecte specifice adoptate la nivel guver am ntal. Politicile sunt
implementate prin programe çi proiecte. Programele sunt servicii sau activitǎui
erm nente, care vor conduce cǎtre îndeplinirea rezultatelor politicii. Programele
sunt alcǎtuite adesea din mai multe proiecte. Rezultatul acuiunii {output) fiecǎru
p oiect conduce la îndeplinirea rezultatelor programului. Adesea, evaluarea politicii
 8

esupune evaluarea mai multor rograme, neori ch ar eval area difer telor
proiecte. O evaluare de succes a u ei politici nu trebuie sǎ fie consideratǎ o activitate
separatǎ, ci ar trebui integratǎ în întregime în ciclul obiçnuit de formulare a politicii.

Elementele cheie ale politicilor çi programelor sunt scopurile,, obiectivele çi

activitǎUile, care soluuioneazǎ anumite probleme din domenii specific . Indicatorii de
performanuǎ indicǎ în ce mǎsurǎ o politicǎ sau un program îçi îndeplineçte uelurile çi
obiectivele, rezolvând astfel problema. Pentru o mai bunǎ identificare a elementelor
d program çi legǎturilor logice între acestea, managerii de program po fo si
modelul logic {de program). Modelul logic (Figura 1) este de obicei constr it în
decursul etapei de planificare a politicii. Este o arhitecturǎ vizualǎ a politicii publice
sau programului çi ilustrea o succesi e de relau i cauzǎ-efect între d eri ele
elemente. Modelul logic p ezintǎ cont ibuuiile folosite, descrie m nca planificat -
activitǎui çi procese - çi le transpune în rezultate ale acuiunii - çi rezultate ale politicii.
Toate mponentele modelului logic sunt conectate prin relauia „dacǎ-atunci”: d cǎ
progr mul are contribuuii necesare, atun anumite ctivitǎui pot fi implementate,
dacǎ activitǎuile sunt implementate cu succes, atunci anumite rezultate ale acuiunii
{outputs) çi rezultate ale politicii {outcomes) sunt açteptate sǎ aparǎ.

Problemǎ rezolvatǎ de politicǎ sau program

Obiectiv general: rezultatul açteptat al politicii sau programului Efecte:

schimbǎri
imediate
sau
Resurse: Obiective Rezultate: pe termen
umane, specifice, Produse lung
timp, activitǎţi: directe
acţiuni
ale politicii
materiale, çi servicii sau
prevǎzute
financiare pentru furnizate programului
implementare de (pentru
a politicǎ sau societate,
politicii sau program organizaţii,
a programului
beneficiari,
çi pentru
atingerea etc.)
rezultatelor
prevǎzute

Factori externi: influenţe çi impact asupra rezultatelor politicii;

circumstanţe exterioare controlului politicii sau programului
Figura 1. Structura modelului logic (Adaptat dupǎ “Logic Model Workbook”, Innovation
Network, 2006)
Modelul logic va reprezenta o contribuuie importantǎ pentru înuelegerea
fundamentului programului çi pentru planificarea evaluǎrii, în special pentru
persoanele care nu au jucat niciun rol în planificarea sau implementarea politicii.
 9

Monitorizarea çi evaluarea în cadrul Ciclului de Formulare a Politicii

P liticile sau programele sunt elaborate çi implementate pentru a îmbunǎtǎui diver

domenii ale vieuii so ale ç economice. Monitorizarea 3i evaluarea {M&E) sunt paçi
importanui în cadrul ciclului de formulare a politicii deoarece oferǎ posibilitatea sǎ se
verifice dacǎ existǎ probabilitatea ca politicile sǎ elimine problemele existente çi sǎ
atingǎ „situauia doritǎ”.

Cei care formuleazǎ p iticile au o primǎ experienuǎ în ceea ce priveçte valuarea n

tim pul etapei de elaborare a politicii, când în cadrul evaluǎrii ex-ante se identificǎ
pro blemele dintr-un anumit d meniu de politicǎ, se specificǎ criteriile folosite în
compararea alternativelor, se identificǎ o gamǎ de posibil alter ative, se analiz zǎ
folosind metode calitative çi cantitative çi se oferǎ recomandǎri cu privire la
indicatorii p
alternativa preferatǎ. implementare a politic i. Princip
Monitorizarea politiciim anaprocesul
este gement dde
e zicolectare
cu zi, daraminformauiilor
ai legate de schimbǎrile
apǎrute în

i {vari bilele politic ) pe parcu sul etapei de

anlivelu
ul scloupi adel mocnoitoçrizǎntriiz
tie i es
artee, srǎ
prsp
ijinun
ire
daere
decçizi iiflo
urrndiz
e ainteresaui
e a date relevanui trebuie
lor pentru evasǎ
l ǎr
uelxistǎoçairae.lteMa
mot
nagiversiiupdliemp en tarra
rog e,mcum çi apr ers
fi corençatlu
erlearesposabil împreunǎ cu factori

de planificare çi evaluare a politicii. Indicato i trebuie stabiliui ca fiind indicatori de

decidǎ
bazǎ în ce
funindicatori
cuie de carvor
e refialfolosiui
izǎrile seînvcadrul procesului
or mǎsura în mod regulat.

Progresul este mǎsurat în baza u or uinte, standarde çi criterii de s cces agreate.

Astfel, monitorizarea necesitǎ identificarea acelor indicatori la începutul etapei de
planificare a politicii pentru a determina modalitǎui rapide de a mǎsura schimbǎrile în
ace e variabil . În plus, ac st proces trebuie realizat cât mai obiectiv posibil din
spectiva celor care implementeazǎ programul. Informauiile privitoare
performanuǎ, colectate în decursul procesului de monitorizare de rutinǎ, ajutǎ la
analizarea necesitǎuii de desfǎçura evaluarea diverselor polit ci çi programe çi oferǎ
concluzii çi recomandǎri pentru acestea: de exemplu, poate fi mǎsurat progresul în
baza rezultatelor planificate.

Evaluarea intermediarǎ 3i ex-post implicǎ analizarea legǎturilor dintre contribuuiile

{inputs), activitǎuile, rezultatele acuiunii { outputs), rez ltatele programului çi fac rii
externi din mediul programului. De asemenea se verificǎ dacǎ situauia s-a îmbunǎtǎuit
çi dacǎ îmbunǎtǎuirea a avut loc drept rezultat al activitǎuilor desfǎçurate. Aceste
întrebǎ i r direcuioneazǎ atenuia spre et a de planificare a politicii, comparǎ
rezultatele açteptate cu cel îndeplinite çi încearcǎ îmbunǎtǎuirea viitoarelor politici
çi programe. Acest lucru necesitǎ obuinerea unor informauii cantitative çi calitative
despre indicatorii de performanuǎ colectaui într-o etapǎ mai timpurie.

Monitorizarea 3i evaluarea {M&E) of rǎ i formauii pentru a sprijini deciz iil viitoar

de îmbunǎtǎuire a formulǎrii çi implem ntǎrii politicilor çi programelor. Astfel, s
foarte important ca pe durata etapei de planificare a politicii sǎ se disc ute aspecte
legate de evaluare - când ar tr ui desfǎçuratǎ çi cu ce scop.

Pe parcursul evaluǎrii, ar putea apǎrea tentauia de a vǎ concentra în special asupra

 10

col ǎ i de date. Oricum, efortul de evaluare va fi unul mai eficient d ǎ procesul

începe cu modelul logic. Apli ar a acestui model logic va reprezenta un factor
ajutǎtor în asigurarea faptului cǎ evaluarea va produce informauii relevante çi utile.
Este p os ibil sǎ se identi fic e elementel e ch eiea le programului în jurul cǎrora se vor
concentra colectarea çi analiza datelor (Figura 2).

Modelul Logic contribuIii ActivitǎIi Rezultate Efecte

Indicatori de performanIǎ

Planificarea

Colectarea datelor contribuIii ActivitǎIi Rezultate Efect

Indicatori de performanIǎ

Figura 2. Rolul modelului logic çi ai indicatorilor de monitorizare în evaluare

Activit uil re n esitǎ cel mai m re volum de resurse de timp, financiare çi u an

sunt colectarea çi analiza datelor. Calitatea analizei çi judecǎuile depind într-o mare
mǎsurǎ de calitatea datelor colectate. Din acest motiv, datele care sunt colectate în
scopuri de evaluare ar trebui sǎ aibǎ legǎturǎ cu între rile de evaluare çi cu
rincipalele elemente ale politicii sau programului - obiective çi indicatori de
performanuǎ.

Rolul indicatorilor de performanUǎ

Colectarea çi monitoriz ea datelor este o activitate de lungǎ uratǎ în cadrul multor

nstituuii guvernamentale, inclusiv în cadrul ministerelor de lin e, agenuiilor de
implementare, birourilor nauionale de statisticǎ. Sute de indicatori pot fi elaboraui
pentru a monitoriza execuuia funcuiilor principale din cadrul acestor instituuii, iar
datele pot fi colectate zilnic.

Tendinua de a analiza calitat serviciilor publice este în creçtere. În acest sco

dicatorii care mǎsoarǎ nivelul de sa isfacu al clientului, atitudi ea f torilor
interesaui fauǎ de politici çi programe sunt folosiui din ce în ce mai des. În acelaçi timp,
indicatorii de performanuǎ ai organizauiilor internauionale sau eu pene, precum çi ai
genuiilor independente de cercetare socialǎ pot fi folosiui pentru a învǎua anumite
aspecte legate de performanuǎ.

Care este volumul optim de indicato folosit în cadrul procesulu de evaluare a

politici ? Având sisteme ficiente de înregistrare çi procesare a datelor se ot folosi
mii de indicatori. Cu toate acestea, interpretarea mǎsurǎtorilor necesitǎ timp çi efort,
prin urmare, numǎrul indicatorilor folosiui ar trebui sǎ fie unul l mita

Pe de altǎ parte, ar putea fi nevoie de foarte mului indicatori pentru a demonstra

performanua fiecǎrui factor interesat care ar responsabilitate în sistem, precum çi
multe alte aspecte legate de politicǎ, în special pentru reformele publice sociale
 11

complexe. Import ntǎ este alegerea indicatorilor celor mai adecvaui pentru o anumitǎ
politicǎ sau program çi scop.

Deç viziunea çi aborda ea privind mǎsurarea performanuelor pot fi diferite de l o

instituuie la alta, organizarea procesului de colectare a datelor în jurul dimensiunilor
mari de indicatori de performanuǎ (Tabel 1) ar putea ajuta la o mai bunǎ structurare
a acestui proces.

Tabel 1. Dimensiunile indicatorilor de performanUǎ

Dimensiunea Sub-dimensiuni
Grad de adecvare la nevoile Exemple de rezultate ale acUiunii
de mǎsurare societǎuii {formǎ numericǎ sau %)
(eol uttproun tsic)ǎc.u indicatorii folosiUi
DÎnin d20 cu1r0supl ânpǎeriîo nad2e0i1320 , 1100-2
00 0d 1e3
çccroeçlitevroera avaecca eascicbeili
s tlǎauiio bciublio1te5cǎ
%
Volum

Grad de decvare la anumite pentru serviciile de reciclare în

tandarde sau niveluri de comunitǎuile locale.
e form nuǎ În decursul 2010-2015 toui
p or i gr in
a rofes ni din ǎdu iue vor fi
Rapiditatea de fur zare a bsolve ui ai un i program
serviciilor {formǎ numericǎ sau T
mimasp
teurlald.e açteptare mediu p ntru
) un nou paçaport va fi de 2 zile în
0 1.

Î tre 2010-2015 bi ocrauia pentru

înregistrarea noilor IMM-uri va
sciǎndisetaecru 5
M e0 %
îç.i primǎ opinia
Schimb de informauii între asup a unui proiect de lege în
furnizorii de servicii decurs de 10 zile.
80 din agenuiile subordonate vor
Schimb de informauii între publica pe internet lista serviciilor çi
furnizor çi client timpul de lucru în 2012.
Satisfacuia clienuilor 60 % din c ienui sunt satisfǎcuui de
calitatea serviciilor.
Calitate
es bili ate ser În ecur u pe o i 20 -2 15
timpul m iu în care ambulanuele
vor ajunge la domiciliu va fi de 10
minute.
Î decursul 2010 numǎrul
întreprinderi care folosesc sistemul
e ron c r d lar ii e

impozit va creçte cu 25% {dacǎ

folosirea acestui sistem nu
Eficienuǎ este
Co r le aciddoar recomandatǎ).
obligatorie r iv n
stu i minist at e î anu
viitor pentru un pa ger al
trans ul i ǎd

% port u public vor sc ea cu

Capacitat {umanǎ, financiarǎ, 10 .
resurse de timp) Pânǎ în 2013 întârzierile cauz lor
de la Curtea Supremǎ vor descreçte
cu 17%.
Folosirea
 Timpul mediu pentru soluuionarea
cauzelor este de 1 lunǎ.

resurselor
 12

În timp ce instituuiile colecteazǎ dat pentru a elabora sute de ind atori, doar câuiva
dintre ei sunt vizibili pentru societate. Indicatorii pot fi folosiui pentru diferite
scopuri:
 mǎsura çi monitoriza execuuia çi eficienua funcuiilor instituuiei [ad sea
estea sunt mǎsurate folosindu-se indicatorii referitori la resurse çi
activitǎui{input)];
 a lua decizii zilnice în ce ce priveçte implementarea politicilor çi
programelor [aceastǎ activitate poate include toate tipurile de indicatori - de
resurse { input), de rezultat al activitǎuii {output) çi mai rar de rezultat al
politicii {outcome)];
 a lua decizii str egice cu privire la elabor ea sau îmbunǎtǎuirea output) çi politicilor
de rezultat
[vo r fi folos{outcome)];
al politicii iui mai des indicatori de rezultat al activitǎuii {

 a of ri explicauii publicului {acest lucru de obicei necesitǎ indicatori care

capteazǎ calitatea serviciilor).

Mod în care indic torii de performanuǎ sunt elaboraui çi selectaui s-a schimbat de-a
lungul timpului. În prezent, indicatorii de monitorizare sunt elaboraui în jurul
politicilor çi programelor care clarificǎ diverse niveluri de scopuri. Prin urmare,
monitorizarea politicilor va necesita mǎsurarea div rselor dim nsiuni ale furnizǎrii
de servicii - calitat çi cantit tea - çi a diferitelor niv luri de performanuǎ -
contribuuii {inputs), rezultate ale acuiunii {outputs) çi rezultate ale politicii {outcomes).
Mǎsurarea performanu or s-a dezvoltat pentru a acoperi nu do funcuia
{
contribuuie
Principainlput),
ii pcaiçiçipe
în cea
labde
orarezultate
rea çi sele-crezultate
ui i dicatale
orilacuiunii/rezultate
or sunt urmǎ orii: ale politicii.
1 Determin ea rezultatelor care au semnificauie pentru cetǎueni;
2. Analizarea datelor pentru a identifica factorii importanui care influenueazǎ
înd linirea rezultatelor;
3. Determinarea activitǎuilor çi proceselor majore care influenueazǎ îndeplinirea
rezultatelor;
4 D ter in ea resurselor necesare pe tru îndeplinirea rezultatelor;
5. Revizuirea acestor liste provizor i în cadrul discuuiilor permanente cu cei a
cǎror muncǎ este monitorizatǎ, cei care cunosc cel mai bine sistemul.

Î timp ce sis mele de monitoriz re tr buie sǎ genereze date pentru a acope i toate
scopurile çi toate tipurile de indicatori, evaluǎrile folosesc ind atorii de performanuǎ
în mod selectiv. În primul rând, alegerea indicatorilor depinde de întrebǎrile de
evaluare çi de structura pol icii çi programulu . Ma simplu spus, evaluarea
impactului programului se va concentra pe indicatorii de rezultat al politicii
{outcome); evaluarea eficacitǎuii va lua în considerare relauia dintre indicatorii de
rezultat al acuiunii {output) çi rezultat al politicii {outcome); evaluarea eficienuei, în
afarǎ de rezultatele acuiunii { output), va avea în vedere çi contribuuiile {inputs).
 13

EXEMPLUL 1. Indicatorii unei Evaluǎri privind Politica pentru Familie

Ministerul AsistenUei Sociale deruleazǎ un program privind familia pentru a reduce

violenUa domesticǎ. În cadrul evaluǎrii de impact a programului ministerul ar putea lua
în considerare urmǎtorii indicatori de rezultat al politicii (outcome) care mǎsoarǎ
diferiUi factori ce au legǎturǎ cu dimensiunea nivelului de violenUǎ domesticǎ:
- Nivelul violenUei domestice.
Acesta poate fi mǎsurat folosind date din diferite surse: anchetǎ sociologicǎ sau
sondaje de opinie publicǎ, care determinǎ nivelul violenUei domestice, precum 3i
crimele înregistrate (calificate ca fiind crime ale violenUei domestice). Nivelul de
referinUǎ comparativ (descris mai târziu) ar trebui sǎ fie stabilit la începutul
programului 3i mǎsurat din nou la momentul evaluǎrii.
- Plasamente în afara domiciliului.
Acesta poate fi mǎsurat folosind statistici ale adǎposturilor pentru a determina câte
femei (3i copiii acestora) folosesc astfel de adǎposturi drept consecinUǎ a violenUei
domestice.
- Calitatea relaUiilor pǎrinte-copil.
acesta poate fi mǎsurat în diferite moduri: folosind sondajele de opinie (ex. CâUi copii
se simt în siguranUǎ acasǎ), numǎrul cazurilor de violenUǎ împotriva copiilor
raportate la agenUia de protecUie a drepturilor copilului.
- Nivelul de con3tientizare în ceea ce prive3te drepturile femeii 3i ale copilului.
Acest aspect este dificil de mǎsurat. De obicei, se face cu ajutorul anchetelor,
sondajelor de opinie.

În cazul în care reducerea nivelului violenUei în familie reprezintǎ o prioritate la nivel

înalt pentru guvern/minister, se poate alege stabilirea indicatorilor de bazǎ prin
desfǎ3urarea unui sondaj sociologic care sǎ reflecte diferitele dimensiuni ale violenUei în
familie la începutul programului (ex. gradul violenUei fizice 3i psihologice, violenUǎ
împotriva femeilor 3i copiilor etc.) 3i sǎ se mǎsoare dezvoltarea prin compararea în
baza acestor dimensiuni pe parcursul evaluǎrilor ulterioare.

Altfel, este posibil sǎ se foloseascǎ date din sondajele de opinie desfǎ3urate, în alte
scopuri, de cǎtre organizaUiile naUionale sau internaUionale 3i ONG-uri. Aceasta este o
metodǎ de mǎsurare a gradului de violenUǎ în familie care implicǎ resurse mai puUin
intense, dar produce 3i mǎsurǎtori mai puUin de încredere, deoarece metodologia de
mǎsurare a violenUei în familie poate fi diferitǎ.

Cea mai bunǎ metodǎ de a mǎsura impacturile unei politici privind descre3terea
violenUei domestice este folosirea datelor din surse diferite. În acest sens, rezultatele
sondajelor de opinie pot fi sprijinite de date mai solide, cum ar fi numǎrul crimelor
provocate de violenUa domesticǎ, numǎrul femeilor din adǎposturi sau a celor care
beneficiazǎ de programe de consiliere.

Trebuie sǎ se menUioneze, de asemenea, cǎ indicatorii de impact privind violenUa în

familie ar trebui interpretaUi cu atenUie, deoarece sunt întotdeauna influenUaUi de factori
externi. De exemplu, numǎrul în cre3tere înregistrat al crimelor provocate de violenUa în
familie nu înseamnǎ neapǎrat faptul cǎ violenUa în familie este în cre3tere. Dimpotrivǎ,
 14

aceasta poate reprezenta faptul cǎ femeile devin din ce în ce mai con3tiente de

drepturile lor 3i de acUiunile pe care trebuie sǎ le întreprindǎ în astfel de cazuri, drept
rezultat al intervenUiei guvernamentale sau altor factori externi. Este sarcina evaluǎrii
sǎ distingǎ contribuUiile diverselor acUiuni în comparaUie cu efectul factorilor externi în
ceea ce prive3te îndeplinirea rezultatelor.

În cazul evaluǎrii formative (explicatǎ în Pasul 3) analiza se va concentra asupra

indicatorilor intermediari. O astfel de evaluare poate implica corecUii ale programului în
decursul perioadei de desfǎ3urare a acestuia. Evaluarea formativǎ analizeazǎ procesul
de implementare a programului: îndeplinirea rezultatelor acUiunii (output) 3i
mecanismele de sprijin (structuri organizaUionale, personal, proces etc.). Astfel, aceasta
analizeazǎ rezultatele care sunt mai u3or de corelat cu bugetul guvernamental anual.

În cadrul evaluǎrii formative a unei politici de reducere a violenUei domestice indicatorii

de rezultat al acUiunii (output) se vor plasa în centrul analizei. Ace3tia ar putea fi
urmǎtorii:
- Vizite la domiciliul familiilor în situaUii de risc.
Acesta este de obicei aplicat 3i mǎsurat de instituUiile de servicii sociale la nivel local.
- Acces la ajutor social.
Acesta poate fi mǎsurat folosind date de la agenUiile executive ce implementeazǎ
diverse programe sociale, precum cele de consiliere sau de educare a pǎrinUilor.
Numǎrul beneficiarilor acestor programe va arǎta de obicei rata de acces la
serviciile de ajutor social.
- EficienUa furnizǎrii serviciilor (ajutor social).
Acesta poate fi mǎsurat prin compararea costurilor de furnizare a serviciilor în
diferite regiuni ale Uǎrii 3i încercarea de a gǎsi modalitǎUi de cre3tere a eficienUei.
- Campanii sociale de con3tientizare privind femeile 3i copiii.
Pe parcursul evaluǎrii formative nu se va mǎsura doar numǎrul campaniilor sociale,
ci 3i costurile aferente acestora, procesul de desfǎ3urare a unor astfel de campanii
etc.

Paçii urmaUi în cadrul procesului de evaluare a politicilor publice

E l r poate fi desfǎçuratǎ din mai multe motive çi în diferite moduri. Pentru ca

evaluarea sǎ aibǎ rezultate pozitiv semnificative, este cesar sǎ se asigure
respectarea unui proces structurat. Cei çase paçi de bazǎ sunt prezentaui mai jos çi
alcǎtuiesc modelul de elaborare çi implementare a activitǎuilor de evaluare (Figura
3).
 15

PASUL 1: Identificarea factorilor interesaţi:

CINE are nevoie de evaluare? DE CE au nevoie?

PASUL 2: Definirea întrebǎrilor de evaluare:

CE vrem sǎ çtim?

PASUL 3: Planificarea Evaluǎrii

CE resurse avem? CUM vom desfǎçura evaluarea?
CINE ar trebui s-o desfǎçoare?

PASUL 4: Selectarea datelor çi metodelor de analizǎ:

CE date ne sunt necesare? CUM colectǎm informaIiile?
CINE $i CÂND? CUM analizǎm datele? CE judecatǎ emitem?

PASUL 5: Elaborarea raportului:

CARE este formatul? CINE are nevoie de el? CUM comunicǎm?

PASUL 6: Implementarea constatǎrilor în urma evaluǎrii:

CE çi CÂND ar trebui implementat?
CUM monitorizǎm progresul? CUM obIinem feedback?

Figura 3. Çase paçi ai evaluǎrii

În mod ideal, pot uialii factori interesau coordonarea procesului de evaluare,

recum çi resursel disponibile trebuie agreate în decursul etap i de planificare a
politicii. Cu toate acestea, pe parcursul exerciuiului de evaluare întrebǎrile ar trebui sǎ
fie revizuite pentru a identifica schimbǎrile apǎrute în decursul implementǎrii
politicii.

Nu existǎ nic un pas al evaluǎrii c re sǎ fie mai important decât altul. Totuçi, calitatea
u ei evaluǎri va depinde d c ea ce s-a fǎcut pânǎ la mom ntul respectiv în paçii
anteriori. Din acest motiv, este foarte important ca cerinuele pentru fiecare pas în
rte sǎ fie uçor de înueles çi, de semenea, sǎ existe o perioadǎ suficientǎ de timp
pentru ca acestea sǎ fie implementate.

Parte I a acestui Manu l va fi dedicatǎ explicǎrii celor ças paçi ai evaluǎrii. Acest
explicauii vor combina atât aspecte teoretice cât çi metode çi instrumente practice
ilustrate prin exemple.
16
 17

PARTEA ÎNTÂI. PAS CU PAS ÎNSPRE REZULTATE

18
 19

Pasul 1. Identificarea clienUilor, publicului 3I factorilor interesaUi ai

evaluǎrii
ClienUii çi factorii interesaUi

Planificar a politicilor, implementarea çi, prin urmare, evaluarea sunt ocese

complexe, pe t rmen lung, care implicǎ diferiui actori. În cadrul acestei “interpretǎri”
ei joacǎ diferite roluri, dar nici unul dintre ei nu este mai puuin important decât altul.
Principalii actori sunt clienuii, factorii interesaui çi publicul larg.

Clientul este cel care solicitǎ evaluarea. El ar putea fi finanuatorul/promotorul

intervenuiei.

Factorii interesaUi sunt entitǎui sau indivizi care sunt afectaui în mod direct de
intervenuie {politicǎ, program, proiecte) çi prin urmare de evaluare.

Principalii factori interesaui ai evaluǎrii p iticii publice includ, dar nu se limiteazǎ l ,

ministerele sectoriale, agenuiile subordonate çi alte inst tuuii afectate direct de
intervenuie, beneficiari {grupuri civile care sunt afectate de impactul direct pozitiv al
intervenuiei), facto ii decizion i çi evaluatorii. Un ori factorii interesaui presupun
faptul cǎ nu au o respo abilitate directǎ pentru evaluare çi cǎ acestea ar fi doar
sarcina evaluatorilor. Prin urmare, este important ca factorii interesaui sǎ fie implicaui
în procesul de evalu chiar de la început. Cheia unei evaluǎri de succes a unui
program este colaborarea.

Deçi politica te de obicei orientatǎ cǎtre soluuionarea unor probleme ale unui grup
uintǎ, adesea implementarea acestei politici are impacturi indirecte neintenuionate
{aça numitele externalitǎUi) asupra altor membri ai societǎuii Pǎruile care sunt
afectat indirect çi pot avea un interes indirect în ceea ce priveçte intervenuia çi
rezultatele evaluǎri sunt d numite publicul mai larg. Publicul larg poate fi compus
din diferite grupuri de interes ale societǎuii, instituuii publice afectate indirect de
intervenuie çi care doresc sǎ înveue din experienua de implementare a intervenuiei.

Graniuele dintre actorii implicaui nu pot fi definite în mod clar. Câteodatǎ publicul larg
poate deveni factor interesat, dacǎ este sprijinit de societǎui bine organizate {ex. ONG-
uri).
 20

EXEMPLUL 2. Factorii interesaUi 3i publicul mai larg

Ministerul Mediului a decis sǎ creascǎ veniturile la bugetul de stat 3i a dispus

construirea unui sit de depozitare a de3eurilor periculoase într-o anumitǎ comunitate,
cu scopul de a cumpǎra acest tip de de3eu din alte Uǎri. Membrii acestei comunitǎUi pot fi
consideraUi public mai larg, deoarece ei sunt afectaUi în mod negativ de aceastǎ decizie
(externalitǎUi). În acela3i timp, dacǎ aceastǎ comunitate mobilizeazǎ un ONG de mediu
bine organizat 3i dezvoltat, poate influenUa procesul decizional 3i poate deveni un factor
interesat în cadrul evaluǎrii. Ministerul poate implica acest ONG în procesul de
evaluare, solicitând ca ONG-ul sǎ furnizeze evaluatorilor dovezi cu privire la efectele
negative asupra comunitǎUii.

Nevoile pǎrUilor implicate în evaluare

E l area are valoare doar dacǎ este utilizatǎ çi va fi utilizatǎ doar dacǎ clientul
evaluǎrii o va considera utilǎ. Prin urm ar const ǎrile evaluǎrii trebuie sǎ furnizeze
informauii noi çi de încredere pentru client. Toate pǎruile implicate au açteptǎri çi
motivauii diferite pentru c sunt implicate în proc sul de evalua sau interesate de
constatǎrile evaluǎrii. Acestea sunt aça numitele nevoi ale pǎruilor {Tabel 2). Uneori
nevoile sunt explicite çi transmise evaluatorilor. Alteori acestea sunt dificil de definit,
deoar ce chiar dacǎ actor i realiz azǎ importanua evaluǎrii, s-ar putea ca aceçtia sǎ
nu aibǎ informauiile sau nivelul de experienuǎ adecvate pentru a defini în mod clar ce
anume doresc sǎ obuinǎ în urma evaluǎrii.

Id t icarea cât mai clar pos bilǎ a nevoilor cl entului s u clienuilor este un aspect
esenuial. Pare un lucru evident, dar în practicǎ , adesea evaluatorii îi pot considera p
mului dintre factorii interesaui drept „clienui”, çi prin urmare, pot pierde din vedere
n voile clientului din cauza mult tud ii dorinuelor factorilor int resaui, abundenue
inf auii despre intervenuie çi din cauza propriilor o i i, experienuelor çi stilului
de abordare. Nevoile diferitelor pǎrui reprezintǎ baza pentru diferitele scopuri ale
e , d çi relauia nu este m eu una directǎ - i.e. o anumitǎ nevoie {ex.
demonstrarea succesului intervenuiei) nu se transpune în mod necesar într-un scop al
evaluǎrii.

Tabel 2. Principalele pǎrUi çi nevoile acestora

PǎrUile…. … çi nevoile acestora

- Informauii despre progresul înregistrat
al intervenui i p lice;
e s ra u e nt v nuiei;
ÎD monǎtǎ t re a is cc
p csu
t lui
ui i zer
i ive
gm
enbu
e al uiintera vm uaiei;ul po t
- Sprijin tru pr c sul dec io
FinanUator/promotor pen o e iz nal cu
privire la posibilele revizuiri ale
al intervenUiei - intervenu ei pentru a creçte eficacitatea;
Persoanǎ, departam t sau institu Idei pr d mod e îmbu ǎt
ivin u d n ǎuire a
care alocǎ fonduri pentru intervenuie elaborǎrii viitoarelor intervenuii
similare.
 21

Managementul intervenUiilor Informauii cu privire la procesul

publice intervenuiei;
- mbu ǎtǎuiri ult rioar ale
Persoane, departament sau instituuii me i u u mp pentru
care su implicate în gestionarea can m l i de i leme a
procesului de implementare a a asigura îndeplinir a obiec velor;
int ervnuie
e la i ifdr te
e ni e uivi l r Demonstrarea succesului intervenuiei.
o mau i d pre impactul inter e
- D
Inem
f i v ului
nuiei;
nte ovn
e str
u area suc lui sau eçec
Factori decizionali de nivel i r
- S ij n n iei; u cesu deci i al cu
superior
Persoane la un nivel înalt care iau - privire la sprijin adiuional în sector;
decizii în sectorul sau domeniul în Ajustarea programului pentru a servi
cBe
areefi
opeiari/gr
reazǎ intervri
enuia tǎ n voilor lor într-un mod mai eficace;
Ui/te Sprijin c ont in uu ;
- Ben ici
G upuri de persoane sau instituuii
care vor beneficia în mod direct de pe
Info
urma intervenuiei
de che ir a durilor publice;

rmauii mdesupre
on eficaci trtea m
t odtului e
- Ba inf ltu e f
Societatea civilǎ lobby .
zǎ or a i alǎ pen u ac ivi ǎui d
Benef ciar i indire ui ai intervenuiei,
organizauii interesate în rezultatele
intervenuiei, publicul larg

Scopurile evaluǎrii

Evaluarea are drept scop îmbunǎtǎu rea rezultatului çi procesului interv nuiei ublice
Acest lucru poat fi efectuat prin furnizarea de informauii privind diferite aspecte ale
intervenuiei, care ajutǎ factorii decizionali sǎ îmbunǎtǎueascǎ activitatea respectivǎ.
Astfel, ev luarea poate fi privitǎ drept un instrument de management.

Prin urmare, principalele scopuri ale evaluǎrii sunt:

 Generarea de informauii cu privire la progresul implementǎrii unei intervenuii
publice specifice;
 Mǎsurarea eficacitǎuii intervenuiei publice: comparar a rezultate r çi
impactului generat de o intervenuie publicǎ specificǎ cu obiectivele iniuiale;
Responsabiliza a: furnizarea de informauii cu privire la intervenuie çi
 informarea factorilor interesaui çi societǎuii civile asupra modului în care sunt
cheltuite fondurile publice;
 Îmbunǎtǎuirea mecanismelor de implementare a intervenuiei publice pentru o
creçte eficacitatea;
Generarea de cunoçtinue despre abordǎrile care dau rezultate, formularea
 lecuiilor învǎuate cu scopul îmbunǎtǎuirii intervenuiilor similare viitoare;
 Identificarea nevoilor adiuionale ale grupurilor uintǎ;
Unif pǎruilo din structura de implementare î r-un efort com de
 analizare çi îmb nǎtǎu e ale programului. Cu alte cuvinte, poate contribui la o
îmbunǎtǎuire a lucrului în echipǎ;
 22

 Crearea unui sti l pentru managementul programului în scopul

îmbunǎtǎuirii performanuei.

Cine decide care este scopul unui exerciuiu de evaluare

specific?
Clientul!

Sugestii practice

Identificaţi clientul, nevoile sale çi scopul exerciţiului de evaluare! Concentraţi-vǎ pe

aceste nevoi çi pe scop, pe întreaga duratǎ a procesului de evaluare, luând în acelaçi
timp în considerare çi nevoile diverçilor factori interesaţi. Prin urmare, evaluatorul ar
trebui sǎ identifice factorii interesaţi împreunǎ cu clientul çi ar trebui sǎ-i implice în
procesul de evaluare: colectaţi datele necesare de la factorii interesaţi, luaţi în
considerare opiniile acestora cu privire la intervenţie, precum çi açteptǎrile lor,
consultaţi-i cu privire la eventualele recomandǎri asupra raportului de evaluare, în
special cele care au relevanţǎ pentru ei.
Luaţi în considerare atât nevoile explicite cât çi pe cele implicite (neexprimate). De
exemplu, nevoia managerilor de a demonstra succesul intervenIiei este, în majoritatea
exerciţiilor de evaluare, neexprimatǎ ca atare, dar este o nevoie umanǎ fundamentalǎ
pe care evaluatorul nu o poate ignora.
 23

Pasul 2. Definirea întrebǎrilor de evaluare

Rolul întrebǎrilor de evaluare

Întrebǎrile de evaluare sunt ac e într bǎri la care evaluatorii trebuie sǎ rǎspundǎ în

raportul de evaluare. Î trebǎrile ajutǎ evaluatorii sǎ îçi concentreze munca çi astfel sǎ
ofere plus valoare clientului. Prin urmare, clientul este cel care ar trebui sǎ formuleze
întrebǎrile de evaluare specifice pentru fiecare exerciuiu de evaluare, în cadrul
consultǎr or cu factorii interesaui. De obicei întrebǎrile de evaluare sunt bazate pe
nevoile çi açteptǎrile specifice ale clientului çi factorilor interesaui cu privire la pot
raportul de evaluare. Întrebǎril de evaluare joacǎ un rol cheie î procesul de
evaluare çi ar trebui sǎ fie definite ca atare. Dacǎ acestea lipses , atunci evaluatorii
alege sǎ evalueze oricare aspect din multitudinea de aspecte ce pot fi analizate în
ea ce priveçt o intervenuie publicǎ. Formularea întrebǎrilor de evalu e garanteazǎ
cǎ evaluarea va rǎspunde la acele întrebǎri specifice la care clientul çi factorii
interesaui doresc sǎ afle rǎspunsul. Uneori evaluatorii pot sugera în decursul
procesului de consultare alte întrebǎri pe care clientul le-a scǎpat din vedere çi care
sunt relevante pentru evaluare.

Cine formuleazǎ întrebǎrile de evaluar

 În mod idea , ar trebui sǎ fie clientul, în urma consultǎrii cu factorii interesaui,
la momentul definirii sferei çi scopului unui exerciuiu specific de evaluare;
 Atunci când clientul are exp rienuǎ limitatǎ în gestionarea unui ex rciuiu d
evaluare, poate fi necesar ca v l torul sǎ sprijine clientul în ceea ce priveçte
formularea întrebǎrilor de evaluare. În cadrul unui proces de cooperare,
evaluatorul îl asistǎ pe client în definire nevoilor çi açteptǎrilor acestuia din
urmǎ çi în definirea întrebǎrilor de evaluare.

Focalizarea întrebǎrilor de evaluare

În mod obiçnuit, nivelul de detaliere în formularea întrebǎr or de evaluare variazǎ

considerabil de la un exerciuiu de evaluare la altul. În forma lor generalǎ, într bǎrile
de evaluare pot pur çi simplu sǎ coincidǎ cu dimensiunile evaluǎrii: relevanua,
eficacitatea, ef ienua çi impactul. În alte cazuri, în cadrul fiecǎreia dintre acest
dime siuni tipice evaluǎrii, clientul poate formula întrebǎri foarte specifice de care
este interesat. De exemplu, întrebǎri mai specifice asupra imp actului programului pot
acoperi urmǎtoarele trei aspecte: impactul cui çi impactul asupra cui çi pentru cine?

Tabelul 3 prezintǎ principalele as cte pe care se focalizeazǎ întrebǎrile de evaluare

çi care depind în special de scopul pentru care a fost iniuiatǎ evaluarea.
 24

Tabelul 3. Formularea întrebǎrilor de evaluare în conformitate cu scopurile

evaluǎrii.

Dacǎ scopul pe…. întrebǎrile de evaluare ar trebui sǎ se concentreze

atunci
aspectele asupra cǎrora clientul are n oie de informauii despre
evaluǎrii este... progresul înregistrat de intervenuie, aspectele negative çi
generarea de
informauii pozitive ale procesului de implem a , caracteristici
structeturilorct detatim eapxleme. ntare, dacǎ intervenuia ajung la
d
grem
upounrisltr
e aruienatǎfod
loesfirniiiteadaen
cvteari
teora, fcoare
dursiluonrt -pri.oe.blbeemneelfeiciicle
e
responsabilizarea afeuin
ob c uatzeǎpeniv i grupueritcle uintǎ, eficienua costurilor etc. Cel mai
tru

p
sursotbab
enail
bi, lit
toaatteeetc
dim
. ensiunile evaluǎrii vor fi acoperite într-un
îmbu tǎuirea mgoǎdturechiilibt rat:nevrelevçainUaǎb, ordeafirceaacitanttee, eefniuiei
cienU{relevanuǎ)
ǎ, impact,
mecanismului calitatea formulǎrii obiectivelor çi indicatorilor.
le g aduld ndere adecovare a structuril i or rvç proceselor de,
î unǎtǎuirea implementare prevǎzute;
implementǎrii - problemele interne sau externe întâlnite pe parcursul

implementǎrii cu privire la st ucturi sau procese;

- dacǎ este probabil ca rezultatele pr zente sǎ sig e
îndeplinirea obiectivelor intervenuiei în cele din urmǎ;
v ǎ cǎ d o i d r i l i i mai sun
r l n n ec
ific da in icat ri e eal zare p a f cau
analiz r a - e eva ui çi dacǎ sunt mo itorizaui în mod ad vat;
rezultatelor, apreciazǎ dacǎ pre-condiuiile pentru sustenabilitate au fost
identific ate ç sunt asi gurat e.
obiectivelor, analiza indicatorilor care demonstreazǎ îndeplinirea
m - aobie
alicztivelorp; ctului folosind metode d evaluare socio-
a im
evpoacltoului çi economice {analize cost-eficienuǎ, cost-beneficiu), studii de
iudlteenrtiiofiacraerea
n r caz etc.;
generarea de
c ç nue, - identificarea domeniilor çi motivelor din cauza rora
fo impactul a fost sau nu a fost cel açteptat.
u n o ti analiza eficacitǎuii generale a abordǎrii aplicate în cadrul
r u e ve
e c ui In n v an a i
a e s,
r nui i - ce a mers b e çi de ce, ce nu a mers bine çi de ce.
cau z ef ct.
c st se f n z
l m larea de ǎ- e
i a i nevoie de un umǎr re onabil de l ze

O uiunea pentru întrebǎri generale sau specifice depinde de nevoile clientului çi de

tipul de evaluare.

Adesea c lienuii sau factori i interes ui ai evaluǎrii a sǎ nu formu eze întrebǎri d

ev luare specifice, lǎsând evaluato ru l sǎ îçi alea gǎ propr ile întrebǎri. Acest luc
apare datoritǎ dorinuei de a verifica d acǎ constatǎ rile çi opiniile evaluatorilor despre
intervenuia publicǎ coincid cu ale lor. Aceastǎ abor re ste una comunǎ çi de înueles,
 25

altcineva le împǎrtǎçeçte opiniile. Deçi este inter sant de vǎzut dacǎ evaluatori
împǎrtǎç sc opiniile clienuilor çi ale factorilor interesaui, trebuie formulate totuçi
avertismente în acest sens.

Evaluatorii sunt confruntaui cu un volum foarte mare de informauii çi o multi dine de

aspecte privind imple entarea intervenuiei pe care le-ar putea evalua. Chiar çi
intervenuiile la o scarǎ mai redusǎ, care au funcuionat pentru o perioadǎ relativ scurtǎ
de mp, g ereazǎ un volum mare de informauii. Intervenuiile relativ mari,
variazǎ în termeni financiari de la câteva milioane la su de milioane de euro, çi care
sunt implementate cu ajutorul unor structuri instituuionale complexe, având
numeroçi f ct i interesaui çi fiind funcuionale timp de mai ului ani, de ob cei
g nereazǎ un volum extraordinar de mare de informauii. Prin urmare, putea exista
nevoia de a formula întrebǎri de evaluare mai specifice pentru a acoperi aceste
aspecte diferite.

Dacǎ evaluatorii nu au un focus pre-definit în ceea ce priveçte întrebǎrile de evaluare,

ex stǎ çanse reduse ca aceçtia sǎ analizeze exa t acele aspecte pe care clientul l
considerǎ a fi import nte. Adesea, în astfel de cazuri, constatǎrile evaluatorilor se
întâmplǎ sǎ nu fie foarte utile, din cauza mai multor motive - acestea pot fi prea
ge erale s u detaliate inuti sau nu a pe ǎ ceea ce clienuii çi fact rii interesaui
consid rǎ a fi probleme esenuiale, sau constatǎrile sunt deja cunoscute tuturor. În
final, sentimentul care prevaleazǎ este cǎ exerciuiul de evaluare a avut o plus-valoare
prea redusǎ. În plus, clientul ar trebui întotdeauna sǎ ia în considerare întrebarea
exerciUiul de confirmare a opiniilor mele pre-definite are o valoare suficientǎ pentru a
justifica plata costurilor unui exerciUiu de evaluare? Este aceasta singura valoare
adǎugatǎ pe care o putem a3tepta de la exerciUiul de evaluare?

sea, în practicǎ se întâmplǎ ca respectivul client sǎ facǎ alegere neinformatǎ.

Adicǎ, al ge sǎ nu defineascǎ întrebǎri de evaluare specifice, fǎrǎ a fi conçtient de
posibilele consecinue. În concluzie, dacǎ un client sau un factor interesat aleg sǎ nu
defineascǎ întrebǎr de evaluare detaliate, ar trebui sǎ facǎ acest lucru deplin
conçtienui de consecinuele posibile.

EXEMPLUL 3.
Ce se poate evalua?
 Eficacitatea rezultatelor programului (am redus congestiile în trafic, în ceea ce
prive3te timpul 3i volumul dorit?);
 Eficacitatea diferitelor strategii de management (dacǎ managementul
descentralizat al programului este mai eficace decât managementul
centralizat);
 Eficacitatea diferitelor strategii de implementare (compararea aplicǎrii
flexibile a politicii de reglementare cu aplicarea rigidǎ, compararea
contractǎrii externe a furnizǎrii de servicii de pazǎ pentru închisori 3i servicii
de siguranUǎ împotriva incendiilor cu furnizarea de servicii internǎ).
 26

Tipuri de întrebǎri de evaluare

Tipul întrebǎrilor de evaluare (Tabel 4) de obicei depinde de un numǎr de factori:

 Scopul exerciuiului de evaluare;
 Momentul evaluǎrii - ex-ante, intermediarǎ sau ex-post;
 Tipul intervenuiei {proiect, program, politicǎ) supusǎ evaluǎrii;
 Aspectele specifice de implementare cu care se confruntǎ intervenuia {cine çi
cum implementeazǎ);
 Rolul clientului în ceea ce priveçte pr ramul - ex finanuator, parte a
managementului de program, factor decizional senior etc.

Tabel 4. Tipuri de întrebǎri de evaluare, grupate pe dimensiunile de evaluare çi

pe momentul evaluǎrii
Ex-ante
Va soluuiona i tervenuia Intermediarǎ Ex-post
problema în întregime sau S-a modificat nevoia Intervenuia a ajuns la
RelevanUǎ iniuialǎ? grupul uintǎ dorit?

doar paruial?
Schimbarea necesitǎ
La ce nevoi rǎspunde? justare corespunzǎtoare
a intervenuiei?
S e evoi
f unt ac ste n
Rezultatel obuinute Care au fost motivele
ormulate clar çi susuinute pentru succesul
pânǎ în prezent asigurǎ
în mod adecvat de date? r gist at
de i i ea
Sunt obi ecti ve le alese la un
niv
Esteeldaede
aşcte
vapt?
tat ca în pl n r e r în
Eficacitate
activitǎuile prevǎzute sǎ obiectivelor? înd plinirea
conducǎ la îndeplinirea C e sunt lementele obiectivului x?
ob v particulare care au
iecti elor? afectat eficacitatea pǎruii
x a intervenuiei?
Care sunt costuril fauǎ de
b n i ontate? Existǎ
vre o l te de
efic ile sc
o m da it
derula programul într-o Cum po te fi crescutǎ A fost activitatea x
mand ǎ aleasǎ este cea eficienua procesului x? îndeplinitǎ folosindu-
ier mtaǎideficientǎ din
pauinecfticdien
e eire
n paul nct de se cea mai bun ǎ
Eesdteerme a cavonesdstu
mruill dr?e Este programul
vcosturilol rc? o implementat conform abordare din punct de
impl entare- structuri çi
planul i? v
coed
steure
rilaolr?
eficienuei
EficienUǎ Abroorcear b n ju i c t?
m Cât de bu ǎ a fost
pe rfo rmanua
i n t i sa a
p stroc
i uu esu
ei x,lui u
z?
p se - i e st fi a u Ce lecuii pot fi
Este cal darul de învǎuate?
Implementare De ce performanua
implementare realist?
proces
ului x este sub
uintǎ? Ce proceduri
instituuionale tr bui
simplif
icate astfel încât
implementarea sǎ fie mai
eficientǎ?
 27

Intervenuia re efecte
Impact Care este mpactul
Care ste impactul açteptat neintenuionate pe
l intervenuiei? parcursul implementǎrii? activitǎu i x, în
com arauie cu
C s t r p aç p ǎ ile
a re un g u urile ui ǎ te t r ?
supra cǎrora intervenuia
va avea impact? Care este mpa tul
n po
oii r ceduri în
coemcpam
rapuiaectcuul cea
vecnhtreu? regiunea
fost mai redus decât
D
cel eçti
Sunt asigurate p xa
Impactul va fi unul de pre-condiuiile pentru a ep at?
duratǎ?
Care sunt çansele ca
rez l
d ze e o
Ca e unt elementele care p u tatele x sau y sǎ
vor asigura acest lucru? p
i a ǎ î el at
e ru
durabilitat obiectiv or aerreosudnt cnd ostuung
rile ǎ
x, y, z? Ce se poate face dieito
v timp
are?anticipate
f ctori afecteazǎ
pentru a le asigura? paernetrauupfroosgt rm ot?ive
am
negativ durabilitatea Centru durabilitate
re
C alizǎrilor x, y, z? C dusǎ a rezultatului le
Durabilitate re
xp a
?
C e lecuii pot fi
învǎuate?

Sugestii practice

Chiar çi atunci când clientul nu a formulat întrebǎrile de evaluare, folosiţi çedinţele

preliminare sau etapa preliminarǎ pentru a explora çi a agrea împreunǎ cu acesta çi
factorii interesaţi, întrebǎrile fundamentale de evaluare.
Managerii exerciţiilor de evaluare trebuie sǎ reţinǎ cǎ întrebǎrile de evaluare pot fi
dificil de identificat atunci când se doreçte ca raportul de evaluare sǎ fie folositor cât
mai multor factori interesaţi. Fiecare factor interesat poate formula întrebǎri diferite çi
lista poate deveni prea lungǎ. Prin urmare nu ar fi posibil sǎ se rǎspundǎ la toate
întrebǎrile adresate, iar clientul çi factorii interesaţi ar trebui sǎ aleagǎ doar acele
întrebǎri pe care le considerǎ a fi întrebǎri de evaluare esenţiale.

Activitǎuile descrise în pasul urmǎtor prezintǎ dul î care trebuie planificatǎ o

evaluare în mode adecvat, luând în considerare întrebǎrile de eval are, resursele
disponibile {umane, de timp çi financiare) çi cum se construiesc structurile pentru
gestionarea çi desfǎçurarea unei evaluǎri.
 28

Pasul 3. Planificarea evaluǎrii

Crearea structurilor de management ale evaluǎrii

În mod obiçnuit existǎ douǎ organisme de management al evaluǎrii - comitetul de

pilotaj çi echipa de evaluare. Com tetul de pilotaj este un grup de factori interesaui l interesate
nivel înalt care sunt responsabili cu furnizarea de îndrumǎri cu privire la direcuia
strategicǎ generalǎ a evaluǎrii. Aceçtia nu înlocuiesc clientul, dar ajutǎ la nivel
strat gic în ceea ce priveçte decizia asupra principalelor act vitǎui çi ueluri ale
evaluǎrii. Comitetul de pilotaj este de obicei format din organizauiii partener çi
çi este o combinauie de clienui direcui çi factori interesaui indirecui.
Î tâ niril regulate ale comite lui de pi taj ajutǎ echipa de evaluare sǎ aibǎ o
înuelegere unitarǎ asupra prioritǎuilor çi valorilor pe parcursul procesului de evaluare
a politicii.

În pr icǎ, comitetele de pilotaj sunt alcǎtu e pent u l ǎrile la scarǎ largǎ, în timp
ce evaluǎrile la scarǎ mai redusǎ pot folosi structurile sau practicile de management
existente {ex. consiliu de management, întâlnirile regulate la nivel de management)
pentru desfǎçura evaluarea. Pentru autoevaluǎri chiar un departament poate fi
responsabil pentru program.

Crearea ei e ipe de evaluare depinde de complexitatea în rebǎrilor de evaluare.

Evaluarea poate fi gestionatǎ din interi r sau exterior, poate implica persoane din
medii multidisciplinare. De exemplu, colectarea datelor poate fi desfǎçuratǎ de o
agenuie de tatisticǎ, dar cel mai adesea, colectarea d lor ste delegatǎ cǎtre
institutele de cercetare, universitǎui sau companii private care au experienuǎ în
domeniul respectiv. Capacitatea necesarǎ nu ar trebui subestimatǎ.

Urmǎtoarele aspecte ar trebui avute în vedere în decursul etapei de creare a echipei

de evaluare:
 Ce abilitǎui, cunoçtinue, experienuǎ sunt necesare în cadrul echipei?
 Echipa trebuie sǎ fie internǎ sau externǎ intervenuiei sau ar trebui sǎ fie o
combinauie între cele douǎ?
 Cum pot fi implicaui factorii interesaui?

Echipa de evaluare trebuie sǎ includǎ diferite contexte çi abilitǎui, atât în ceea priveçte
colectarea, cât çi în eea ce priveçt anali d telor. Este enuial ca întreaga hipǎ
analiticǎ sǎ ia parte la laborarea çi finalizarea ch tionarelor de anchetǎ. În c ea ce
priveçte partea de colectare a datelor, urmǎtoarele abilitǎui sunt esenuiale: expert
eçantionare, proiectant anchetǎ/chestionar, manager pentru activitǎ le pe te n,
persoane implicate în procesul de colectare a datelor, specialiçti/experui procesare a
intrǎrilor de date.
 29

Decizia de externalizare a evaluǎrii çi factorii care afecteazǎ aceastǎ

decizie

Autoevaluarea realizatǎ de cǎtre instituuie es adecvatǎ atunci când pri cipal le

obiective ale evaluǎrii sunt creçte capacitǎuii angajauilor sau/îmbunǎtǎuirea
managementului privind implementarea programului sau politicii. Cu toate acestea,
timpul çi compet nuele personalul i pot fi insuficiente, gama de probleme acoperit
poat fi limit ǎ, iar credibilitate constatǎr or poate fi pusǎ la îndoialǎ. Înseamnǎ cǎ
autoevaluarea trebuie privitǎ ca un exerciuiu de evaluare çi ca punct de pornire
pentru pregǎtire urmǎtorilor paçi în ceea ce priveçte practica evaluǎrii.

Evaluarea efectuatǎ de ministere este adecvatǎ atunci când obiectivul evaluǎrii este
eval area performanuelo ministerulu î conformitate cu planul sǎu strategic, pentru
îmbunǎtǎui ea prioritǎuilor bugetare çi atunci când este important ca evaluatorul sǎ
aibǎ legǎturi strânse cu procesul decizional.

Evalu rea fectuatǎ de evaluatorii externi {ex. organisme de cercetare çi consultanu

d manag ent) poate fi efectuatǎ atunci când obiectivul este de a furniza noi
perspective asupra politicilor publice sau când sunt necesare competenue de evaluare
spec alizate. Cu oate acestea, aceçti evaluatori pot avea o înueleger limitatǎ a
conuinutului politicii sau a culturii organizauiei supuse evaluǎrii çi oferǎ evaluǎri
teoretice.

Evaluarea independentǎ poate fi adecvatǎ când obiectivele uintesc îmbunǎtǎuirea

nivelului de responsabilitate çi transparenuǎ. Cu toate acestea, cei are formuleazǎ
politicile pot avea ezitǎri în ceea ce priveçte acceptarea constatǎrilor çi
recomandǎrilor. Procesele d audit al performanuei sunt ad ea similare cu
evaluǎrile. Printre caracteristicile lor cheie se aflǎ çi independenua auditorului çi
concentrarea mai degrabǎ pe responsabi itate decât pe perfecuionare.

Decizia e ext nalizare a eval ǎrii sau a unor pǎrui din evaluare trebuie luatǎ în
primul rând de client, în consultare cu principa lii factori nt resaui. De asemenea,
aceastǎ decizie depinde de resursele financiare, de timp çi cele umane. Nivelul de
i plica e al centrelor de evaluare, universitǎu or çi companiilor private depinde d
în rebǎrile de evaluare, timpul çi resursele financiare dispo ile, precum çi d
interesul politic privind constatǎrile evaluǎrii. De obicei, ministerele çi agenuiile
externalizeazǎ pǎrui din activitatea de cercet e çi studii pe teren, care trebuie
analizate folosindu-se metode calitative çi cantitative complexe.

Elaborarea Termenilor de ReferinUǎ pentru experUi

Termenii de Referinuǎ {TdR) oferǎ contextul general pentru ev lu re; definesc

obiectivele çi sfera acesteia, alcǎtuirea echipei de evaluare çi coordonarea în timp.

Elaborar a unor TdR este un pas iniuial fundamental în cadrul oricǎrei analize,
anchetǎ, cercetare sau aluare. TdR clarificǎ açteptǎrile, rolurile çi r ponsabilitǎuile
între diverçi factori interesaui, furnizeazǎ planul pentru activitatea generalǎ, inclusiv
activitǎuile de urmǎrire. D asemenea, reprezintǎ çi baza pentru aranjamentele
contractuale cu consultanuii externi.
 30

Prof nzimea çi gradul d d taliere al TdR depinde de tipul de evaluare. P entru o

evaluare facilitatǎ din exterior a un ui program care implicǎ numeroçi factor
interesaui, TdR vor fi foarte detaliaui, pe când pentru o evaluare internǎ a unei
activitǎui sau o evaluare de urgenuǎ poate fi doar o simplǎ schiuǎ.

TdR pot fi elaboraui în mai multe etape. În decursul etapelor iniuiale ale evaluǎrii,
factorii int resaui se vor co centra mai mult pe detaliile legat de întrebǎrile
evaluare. Atunci când va fi nevoie de recrutarea u ei echipe de as stenuǎ externǎ,
Termenii de Referinuǎ trebuie sǎ conuinǎ mai multe informauii cu privire la sursele de
informauii exist nte, alcǎtuirea echipei, proceduri çi produse, dar pot descrie
metodologia çi calendarul activitǎuilor în termeni generali. TdR pot fi poi revizuiui
dupǎ alcǎtuirea echipei de evaluare. Scopul acestei revizuiri este analiza întrebǎrilor
cheie çi elaborarea ulterioarǎ a m todologiei.

Departamentul responsabil cu evaluarea elaboreazǎ apoi TdR în baza nevoilor

ientului çi principal or factori interesaui. Este foarte important sǎ se ia în
considerare nevoile de informare ale tuturor pǎruilor implicate.

Termenii de Referinuǎ pot include urmǎtoarele capitole:

1 Context
2. Obiectiv
3 Rezultat al acuiunii {output)
4 Sf a de lucru
5. Metodologie
6 Plan de lucru
7
8. Alcǎtuirea echi i de evaluare
Documente disponibile

Eval ǎril se desfǎçoarǎ de obicei în mai multe etape, cum ar fi studiul documentar,
activitǎui pe teren çi analiza datelor. În astfel de cazuri, Termenii de Referinuǎ oferǎ un
cadru pentru evaluare çi unul dintre obiectivele studiului documentar este
formularea unui plan detaliat de lucru pe teren pentru evaluare.

Evaluarea resurselor de timp, umane, financiare çi datele disponibile

Aça cum a f st menuionat te ior, abordarea privind eval rea dep nde în
mǎsurǎ de într bǎrile de evaluare. Acestea determinǎ structura echipei de evaluare,
precum çi modelul posibil al evaluǎrii. Evaluǎrile care presupun un efort foarte mare
sunt evaluǎrile de impact, deoarece estea ne sitǎ de oper rea unei relauii cauzale
între rezultatele intervenuiei ç lumea realǎ. Dacǎ nu existǎ suficiente resurse de timp,
financiare sau umane, atunci se desfǎçoarǎ analize ex-post, rapide, fǎrǎ a folosi
grupurile d comparauie, sau studi tra svers le {explicate mai jos). Alegerea evaluǎrii
rezultatelor doar în urma finalizǎ ii intervenuiei n oferǎ rezultate precise çi nu poate
fi privitǎ drept o sursǎ de încredere pentru luarea unei viitoare decizii.

P n urmare, la nivel d ma agement/decizional tr buie sǎ se emitǎ judec u cu

privire la timpul, resursele finan are çi umane disponibile, folosirea m ode or de
colectare çi analizǎ a datelor adecvate çi trebuie sǎ se încerce ajustarea evaluǎrii în
mod realist.
 31

Chiar çi eval ǎrile bine planifica e se pot confrunta cu situauii ne çteptate care pot
neces a resurse financiare suplimentare. Atunci echipa de evaluare poat face
anumite modificǎri asupra activitǎuilor de evaluare çi poate lua în considerare doar
colectarea çi analiza datelor senuiale pentru întrebǎrile de evaluare cele mai
imp rtante. În plus, existǎ multe surse secunda e de date care pot fi folosite în locul
metodelor mai costisitoare de colectare a datelor primare.

Un ori evalu torii sunt solicitaui chiar în mijlocul proc ul de implementar al unei
intervenuii, sau chiar când aceasta s-a finalizat. Atunci evaluǎrii îi lipsesc resursele d
timp. Asta înseamnǎ cǎ evaluatorii nu au posibilitatea de a folosi modele de evaluare
care necesitǎ mult timp çi colectarea dat lor la început de program { . studii de gr p
pre-testare, explicate ulterior). În aceste condiuii, modelul care n esitǎ foarte mult
timp este posibil doar dacǎ evaluarea beneficiazǎ de un buget adecvat pentru
angajarea resurselor umane pentru a desfǎçura mai rapid procesul de col ctare a
atelor. Datele culese rapid pot fi distorsionate, iar clientul poate sǎ fie nesatisfǎcut
de nivelul lor de acurateue. În astfel de cazuri, este recomandabil ca marja de eroare
sǎ fie clarificatǎ în prealabil.

Se întâmplǎ adesea ca evaluarea sǎ fie desfǎçuratǎ în urma implementǎrii unui

anumit program sau politicǎ çi nu existǎ date de bazǎ disponib le. Aceasta, din
perspec va validitǎuii da lor, este cea mai nefericitǎ situauie çi trebuie sǎ fie
justificatǎ prin toate metodele posibile: reconstruirea datelor de bazǎ folosind
metode participative, alte surse existente s u persoane-resursǎ cheie.

O evaluare complet obiectivǎ, nepǎrtinitoare çi perfectǎ nu existǎ. Deciziile implicǎ

întot eauna judecata um ǎ. Cu toate acestea, echipa de evaluare poate folosi
abordǎri diferite {ex. combinarea metodelor c litative çi cantitative de colectare a
datelor, folosirea triangulauiei) cu scopul de a crea o evaluare cât mai obiectivǎ
posibil, în acelaçi timp luând în considerare nevoile specifice ale clientului.

Alegerea tipului de evaluare

ferite m todele de cercetare constituie baza fi ǎrei evaluǎri a unei politici.

Depinde de analistul politicii respective sǎ decidǎ cât de detaliatǎ t buie sǎ fi
analiza în fiecare caz în parte. În plus, cunoçtinuele legate de abordǎrile adecvate
privind evaluar a ex-post pot ajuta la determinarea valo altor evaluǎri çi cercetǎri
desfǎçurate anterior pe care dorim sǎ le includem în propriile evaluǎri.

Programul sau politica pot fi evaluate în conformitate cu o gamǎ largǎ d criterii d

eficacitate. Fiecare domeniu de politicǎ are propriile valori fundamentale pe care le
utilizeazǎ pentru a-çi evalua programele. De exemplu, în domeniul economic
principala valoare este eficienUa resurselor alocate. Acest lucru înseamnǎ cǎ nivelu
costurile sociale marginale trebuie sǎ fie cel puuin egal sau mai mic cu cel al
beneficiilor sociale marginale. Prin urmare, pe parcursul evaluǎrii economiçtii iau în
considerare nu doar efe tele intenuionate, ci çi pe c le neintenuionate { ternalitǎui
pozitive çi negative). Dacǎ valorile economice reprezintǎ principalul interes al celor
care formuleazǎ politicile, aceçtia vor alege sǎ foloseascǎ analiza cost beneficiu sau
analiza eficienuei costurilor pentru a evalua nivelul de eficienuǎ al programului.
 32

Alt domen i au alte valori fundamentale prin urmare motivele evaluǎrii vor fi
diferite. Soc iologii adesea se concentreazǎ pe aspecte legate de egalitate 3i dreptate
socialǎ. Specialiçtii din administrauie publ cǎ ar putea evalua dacǎ programul est
imp leme nta t în conf or mitat e cu pref er in uele l eg ui itoril or , precum çi nivelul de
satisfacuie al comunitǎuii cu privire la serviciile furnizate.

Cei care form leazǎ politici au diferite v lori fundamentale. Ei dor sc sǎ se asigure cǎ
politic implementatǎ genereazǎ rezultatele po itic i çi rezultatele acuiunii {outputs)
açteptate çi nu înrǎutǎueçte condiuiile de viauǎ ale nimǎnui. De obicei, diferite politici programe
au fost implementate folosindu-se re urse financiare din bugetul d sta din cadrul
unui numit program al unui minist r sau al unei agenuii. Unele dintre est
au o duratǎ nedefinitǎ {ex. beneficiile sociale) prin urmare, pot fi evaluate
ar prin efectuarea unor evaluǎri int mediare. In aceste cazuri, un set de indicatori
de monitorizare definiui în prealabil ajutǎ la emiterea de judecǎui, dacǎ
implementarea conduce cǎtre obiectivele de politicǎ sau program.

Astfel, evaluarea performanuei un i politici sau unui program include estimarea

intervenuiei guvernamentale din diferite perspective.

EXEMPLUL 4. Perspective diferite asupra aceleia3i probleme

 Sociologul poate evalua reforma privind asistenUa socialǎ (îmbunǎtǎUirea
condiUiilor de trai în comunitǎUile Roma) astfel: dacǎ aceastǎ reformǎ eliminǎ
sǎrǎcia sau dacǎ reduce diferenUele în ceea ce prive3te nivelurile de sǎrǎcie între
diferite grupuri de populaUie.
 Economi3tii ar putea evalua reforma privind asistenUa socialǎ astfel: dacǎ
îmbunǎtǎUe3te viaUa oamenilor în general (inclusiv a contribuabililor) faUǎ de
perioada anterioarǎ.
 Din punctul de vedere al administraUiei publice aceastǎ reformǎ ar putea fi
valorizatǎ dacǎ implementarea se desfǎ3oarǎ la timp 3i nu depǎ3e3te resursele
planificate.
 Psihologii ar putea evalua modul cum i-a afectat aceastǎ reformǎ pe copiii de
etnie Romǎ sau relaUia acestora cu pǎrinUii.

Existǎ mai multe tipuri de studii d evaluare çi ecare dint e e adreseazǎ întrebǎr
difer te. Astf l, tipurile de evaluare pot fi clasificate în termeni metodologiei çi ai
focalizǎrii acestora. În ceea ce priveçte metodele folosite, evaluǎrile pot fi descriptive
sau po t a nali za c auzalitate a. Î n priv n
i u conui nut ul u,i e val uǎ irle se pot co
n centra p
contribuuii {inputs), procese, rezultate ale acuiunii {outputs) sau rezultatele
programului { outcomes).

Evaluǎri descriptive vs. cauzale

Evaluarea descriptivǎ d fineçte diferite trǎsǎturi ale grupului uintǎ. Un exemplu de

evaluare descriptivǎ este analiza nevoilor. Alte evaluǎri descriptive pot analiza
grupurile uintǎ ale diferitelor programe, precum çi contribuuiile, rezultatele acuiunii
{outputs), sau ambele.
 33

EXEMPLUL 5. Tipuri de evaluǎri descriptive

 Grupul Uintǎ – copii pre3colari din familii aflate sub nivelul admis de sǎrǎcie.
Evaluarea descriptivǎ poate analiza starea lor nutriUionalǎ, starea sǎnǎtǎUii în
general 3i abilitǎUile verbale.
 Grupul Uintǎ – clienUi ai programelor locale de reciclare. Evaluarea descriptivǎ
poate analiza bugetul mediu, poate descrie cine gestioneazǎ programul (guvern
sau contractant), poate caracteriza tipul de program (plata pentru returnarea
sticlelor, tipuri de reciclare, tipuri de depozitare).

Evaluǎrile cauzale de obicei analizeazǎ cauzalitatea: a generat programul rezultatele

acuiunii {outputs) dorite, evitându-le pe cele nedorit Este important pentru cei car
formuleazǎ politicile ca, dupǎ implementarea acestora, sǎ compare impacturil
realizate atât în termenii rezultatelor pozitive cât çi negative. De asemenea, ei trebu e
cunoascǎ efectul net al politicii în comparauie c desfǎçurarea unei alte activitǎui,
sau cu scenariul „a nu face nimic”. De obicei acest lucru necesitǎ un model de politicǎ
anume {sau teorie) çi un test al acestor opuiuni folosind metode experimentale sau
cvasi-experimentale {explicate mai jos) de evaluare.

EXEMPLUL 6. Tipuri de evaluǎri cauzale

 Pentru a descoperi mǎsura în care obiectivele de formare au fost îndeplinite 3i
planul iniUial de formare a fost implementat.
 Studiu de impact privind programul de prevenire a poluǎrii.
.

Evaluǎri formative vs. sumative

În ceea ce priveçte conuinutul lor, anumite evaluǎri se axeazǎ pe implementare

programului, în timp ce altele se concentreazǎ pe nivelul atins de rezultatele acuiunii costurilor
{outputs) çi rezultatele politicii {outcomes). Analiza proceselor de furnizare a
serviciilor publice este un lucru obiçnu în administrauia publicǎ çi serveçte drept
exemplu pentru evaluarea procesului sau evaluǎrile formative. Anali ele eficienuei
çi cost-beneficiu, precum çi meta-analizele sunt principalele metode
losite în evaluarea impactului sau evaluǎrile sumative. Aceste evaluǎri sun
foarte des întâln te în domeniile economic, social çi ducauional. S udiile de impact
social çi cele privind sǎrǎcia servesc drept exemple de evaluǎri sumative des întâlnite.

Evaluarea formativǎ examineazǎ procesul de d fǎçurare a programului {logica

intervenuiei), cu accent asupra calitatǎui implementǎrii sale çi a contextulu
organizauional, personalului, structurilor çi procedurilor. Ca abordare a evaluǎrii
orient t cǎtre schimbare, acordǎ o atenuie deosebitǎ diferenuei dintre direcuia çi
rezultatele açteptate ale acuiunii {outputs) din cadrul programului çi ceea ce se
 34

întâmplǎ în realitate. Analiza punctelor forte, punctelor sl e, a ameninuǎrilor çi

oportu itǎuilor ste o parte obiçnuitǎ a evaluǎrilor fo mative. Analiza nevo or
menuionatǎ anterior, este atât evaluare descriptivǎ, cât çi evaluare fo mativǎ.
Programele s u pol iticile la sca rǎ la rgǎ a co perǎd e obi cei gr upuri u intǎ m ailar gis, u nt
complexe ç i u o muluime de r ezultate. P rin urma re, g tiona rea im plementǎir il or
este o activitate care prezintǎ multe provocǎri, deoarece este foarte uçor sǎ te abaui
la obiectivele politicii publice. Partea esenu alǎ a form ǎrii de politici este
desfǎçurarea în mod r ulat a evaluǎrii formative cu scopul de a observa dacǎ
activitǎuile sunt orientate cǎtre publicul potrivit.

Întrebǎrile cheie çi metodele folosite în cadrul evaluǎrii formative sunt:

 Unde este problema 3i care este sfera sa?
 De ce, pentru cine 3i cum merge sau nu o intervenUie?
 Cum ar trebui sǎ fie îmbunǎtǎUit un program sau o politicǎ în cazul în care
e3ueazǎ?

Dacǎ activitatea de monitorizare a politicilor publice çi progr melor s desfǎçoarǎ în

mod regulat çi în conformitate cu indicatorii stabiliui în prealabil, a est lucru oferǎ
funcuionarilor publici de nivel superior oportunitatea de a identifica problema pe
parcursul implementǎrii unei anumite intervenuii guvernamentale. Odatǎ problema
identificatǎ, este nevoie de evaluǎri suplimentare. În ac astǎ et pǎ pot fi folosite mai
multe abordǎri, de exemplu consultǎrile cu factorii interesaui, analiza nevoilor, care
poate include analiza surselor de date existente, interviuri cu grupurile uintǎ çi focus
grupuri.

Metodele are ajutǎ la defi irea naturi çi dimen iunii problemei exi ente, necesitǎ
lucru în echipǎ çi anumite pregǎtiri în p alabil {de exemplu, brainstorming, focus
grupuri, metodele Delphi, analiza factorilor interesaui, scheme conceptuale).

EXEMPLUL 7. Tipuri de evaluǎri formative

- Analiza nevoilor determinǎ cine are nevoie de program, nivelul nevoilor 3i ce
anume ar putea fi aplicat pentru a îndeplini aceste nevoi.
- Analiza evaluabilitǎUii determinǎ dacǎ un anumit program este pregǎtit pentru
evaluare 3i dacǎ evaluarea va genera rezultate de încredere.
- Evaluarea procesului analizeazǎ dacǎ metodele de implementare folosite sunt
adecvate sau trebuie sǎ fie schimbate

Evaluǎrile sumative examineazǎ efectele sau rezultatele anumitor programe. Ele

rezumǎ cons cinuele intervenuiei çi determinǎ legǎturile dintre aceste consecinue çi
implementarea politicii.

Întrebǎrile cheie çi metodele folosite în cadrul evaluǎrilor sumative sunt urmǎtoarele:

 Care este nivelul de eficacitate al programului?

 Care este impactul net al programului?

 35

Evaluatorii pot aleg metode observauie pentru a demonstr d cǎ au fost

înd plinite efect l dorite çi modele cvasi-expe mentale çi experimentale pentru a
determina dacǎ efectele observate ar putea fi atribuite în mod rezonabil intervenuiei
ç nu altor surse . Pentr u anal iza efi ci uei co stu r or çi ce a a c osturil or/bene ifc iilor
sunt necesare metodel e economet rice, m etod e c alitative care permit rezumarea
întregii game de impacturi intenuionate çi neintenuionate.

EXEMPLUL 8. Tipuri de evaluǎri sumative

 Analiza programului educaUional: mǎsura rezultatului acUiunii (output
measure) – notele de la testele standard, mǎsura rezultatului acUiunii – rata de
absolvire, statutul de ocupare a forUei de muncǎ 3i nivelul salarial în urma
absolvirii.
 Analiza programului de asistenUǎ socialǎ sau formare la locul de muncǎ:
câ3tiguri, nivel de sǎrǎcie, mobilitate pe piaUa muncii, cre3teri salariale pe
termen lung.
 Analiza programului de reglementare (de exemplu, implementarea unei legi):
mǎsura rezultatului acUiunii – volumul de inspecUii, penalitǎUi 3i alUi indicatori
de conformitate sau neconformitate, mǎsura rezultatului acUiunii –nivelul
poluǎrii, siguranUei, accidentelor etc.

Î barea de ev uare prin ea însǎçi oferǎ rǎspunsul la întrebarea ce tip de evaluar

trebuie desfǎçuratǎ. Cu toate acestea, în cadrul posibilelor combinauii transversale
între evaluǎri descriptive, cauzale, formative çi sumative, existǎ posibilitatea de a
alege.

Trei abordǎri principale în cadrul evaluǎrilor cauzale

Validitate internǎ 2 este în centrul tuturor concluzi lor bazate pe impac uri cauzale sau
de tipul cauzǎ-efect. Val itatea internǎ ste cr i lǎ pentru capacitatea evaluǎrii de
impact de a fi justificabilǎ. Când cel care formuleazǎ politica doreçte sǎ afle dacǎ o
i venuie guvernamentalǎ {tratament) este într-adevǎr cauza care determinǎ
apariuia unui anumit rezultat, atunci acesta doreçte ca intervenuia sǎ aibǎ o validitate
internǎ puternicǎ: adicǎ dacǎ X, atunci Y {dacǎ rogramul es e aplicat, atunci
rezultatele apar). Din pǎcate, nu este suficient doar sǎ dovedim faptul cǎ atunci când
are loc intervenuia apare çi rezultatul açteptat. Ar putea exista multe alte motive
datoritǎ cǎrora rezultatul a fost observat. Pentru a dovedi existenua unei relauii
cauzale, trebuie sǎ fie rezolvate simultan douǎ afirmauii:

Dacǎ X, atunci Y çi dacǎ nu X, atunci nu Y s dacǎ intervenuia nu are loc, nu au loc

nici rezultatele. Acest lucru subliniazǎ eficienua cauzalǎ a programului.
Pentru a determina çi a demonstra eficienua cauzalǎ a programului, evaluatorii

Deoarece ar fi nevoie de cunoçtinue d st ticǎ, aces Manual n acoperǎ validitatea externǎ

{generalizarea con tatǎrilor cǎtre populauie), validitatea statisticǎ çi siguranua çi validitatea mǎsurǎrii,
2
chiar dacǎ acestea sunt importante pentru toate evaluǎrile.
 36

încearcǎ pe cât posibil sǎ creeze sau sǎ gǎseascǎ douǎ grupuri similare, sǎ creeze
situauii comparabile çi sǎ gestioneze programul în grup de tratament {çi sǎ vadǎ dacǎ
apar rezultatele) nu în grup de control {çi sǎ v ǎ d cǎ rezultatele nu apar).

În cazurile în care echipa de evaluare are sarcina de a gǎsi o relauie cauzalǎ între
rezultatele int venuiei çi rezultatele intenuionate ale politicii sau programului, ar
put a fi folosite trei abordǎri pentru a rǎspunde la întrebǎrile de evaluare: modelul
experimental, cvasi-experimental çi non-experimental. Aceste modele includ diferi e
combinauii çi diferite perioade de timp pentru douǎ tipuri de comparauii: pre-test -
post-test (comparaUii în serie temporalǎ) çi grupuri de control vs. tratament
(comparaUii transversale). Modele diferǎ în ceea ce priveçte abordarea folositǎ pentru
alegerea grupurilor respective.

Modelele experimentale sunt primele modele aplicat în cerc area socialǎ çi

educauionalǎ çi sunt încǎ recunoscu drept „standardele de aur” ale m elelor de
cercetare, în baza cǎrora sunt judecate toate celelalte modele. Dacǎ este posibil ca un
model xperimental sǎ fi i pl m nta în mod adecv , atunci acesta este cel mai
solid model în ce ce priveçte validitatea internǎ. Asta înseamnǎ cǎ, în ceea ce
priveçte modelele experimentale, estimǎrile impactului intervenuiei asupra
rezultatelor açteptate vor fi, în comparauie cu alte modele, mai puuin distorsionate.

În cadrul celui mai simplu tip de experiment, cercetǎtorii creeazǎ douǎ grupuri care
sunt „echivalente” unul altuia. Grupul de tratament (program) beneficiazǎ de
intervenuie iar grupul de control (comparaUie) nu beneficiazǎ. Pentru toate celelalt
aspecte, grupurile sunt tratate la fel. Au persoane si ilare, condiuii de ai çi medii d
provenienuǎ asemǎnǎtoare. Acum, dacǎ observǎm diferenuele dintre rezultatele
acestor douǎ grupuri, aceste diferenue trebuie sǎ fie cauzate de singurul lucru care le
diferenuiazǎ - çi anume cǎ unul a beneficiat de program çi altul nu.

O trǎsǎturǎ es uialǎ pentru modelul experimental este atribuirea aleatoare a

unitǎuilor anal ei în studiul d f ritelor grupuri. Unitǎuile de analizǎ pot fi indivizi
grupuri de indivizi identificabile, separate, precum çcoli, oraçe etc. Fiecare individ sau
grup este în mod aleatoriu atrib it unui program sau tratam nt diferit. Pentru a
selecta un tratament la întâmplare pentru fi are unitate puteui da cu ba l, cu
zarurile, sau puteui folosi un computer care genereazǎ numere aleatorii. Se spune cǎ o
astfel de atribuire leatoare est oarbǎ, deoarece alegerea nu este fǎcutǎ nici de
managerul de program, nici de clientul afectat, nici chiar de evaluator.

Se întâmplǎ foart rar ca grupul de control sǎ nu b eficieze de niciun tratament. În

experim ntele medicale aceste grupuri primesc aça numitul placebo, în timp ce
grupurile de tratament încearcǎ noi medicamente. În cadrul evaluǎrii unui
program/politici, cele mai obiçnuite xperimente au fost proiectate drept atribuiri
aleatorii pentru programul sau tratamentul A vs. programul sau tratamentul B. A
poate fi noul program, în timp ce B este programul curent. Adesea, experimentele
analizeazǎ impactul relativ al mai multor alternative {vezi exemplul 9).

Este important sǎ se facǎ diferenua între selecUie aleatoare çi atribuire aleatoare.

Selecuia aleatoare a indivizilor din grupul uintǎ mai vast al populauiei pentru
eçantionul studiului final nu determinǎ caracterul aleatoriu al experimentului.
 37

Intensificǎ validitatea xternǎ 3, dar nu a u impact direct asup validitǎuii inter e

{relauie cauzalǎ). Eçantionarea aleatore nu este necesarǎ pentru experiment.
Dimpotrivǎ, ceea ce defineçte experimentul este mai degrabǎ atribuirea aleatoare a
fiecǎrui element din eçantion, care poate sau nu sǎ fi fost selectat la întâmplare, unei
alternative de tratament.

Principala dificulta e care ap pe ar rsul unui xperiment este lipsa

participanuilo . Acest lucru se poate întâmpla din cauza migrauiei sau decesu ui. Sau,
câteodatǎ, participanuii pot lipsi pentru cǎ ei considerǎ cǎ selecuia persoanelor care
beneficiazǎ de program {grupul de tratament) nu este corectǎ, ei meritând sǎ intre în
acest program la fel de mult ca çi ceilalui etc.

Mode l expe imental este dificil de desfǎçurat în majoritat contextelor din viau
realǎ. Este intruziv çi creeazǎ într-o anumitǎ m surǎ o situauie artificialǎ cu scopul de
a evalua relauia cauzalǎ cu o validitate internǎ ridicatǎ. Prin urmare, generalizarea
rezultatelor în viaua realǎ este limitatǎ. Cu alte cuvinte, cercetǎtorul a redus
validitatea externǎ cu scopul de a obuine o validitate internǎ mai ridicatǎ.

Nu existǎ n rǎspuns la într are dacǎ modelul experim ntal este o abordare bunǎ
sau mai puuin bunǎ. Dacǎ situauia este adecvatǎ, un experiment poate fi un model
foarte solid de folosit. Modelul experimental este foarte des întâlnit în cercetǎrile
efectuate în diverse domenii sociale: sǎnǎtate, educauie, politici de asistenuǎ socialǎ.

3 Validit tea externǎ implicǎ generalizarea constatǎrilor cǎ e pop auie. De exemplu, dacǎ eçantionu
select t este format doar din bǎrbaui în vârstǎ de muncǎ cu vârste cuprinse între 25 çi 35 de ani, iar
populauia studiului este formatǎ din bǎrbaui çi femei în vârstǎ de muncǎ, atunci rezultatele vor fi dificil

de generalizat la întreaga populauie uintǎ.

 38

EXEMPLUL 9. Programul Elmira de vizite la domiciliu efectuate de cǎtre asistente

medicale, 1977 - 1992, USA

În 1977, programul a fost implementat având drept grup Uintǎ femeile însǎrcinate care
erau la primul copil 3i care îndeplineau una sau mai multe dintre trǎsǎturile
urmǎtoare: vârsta sub 19 ani, familie monoparentalǎ sau nivel crescut de sǎrǎcie.
Existau multe 3anse ca aceste condiUii sǎ genereze o posibilitate mai crescutǎ ca mama
sǎ fie fumǎtoare, dependentǎ de droguri sau alcool, sau sǎ aibǎ un istoric familial
nefericit 3i prin urmare, sǎ nu aibǎ nivelul adecvat de cuno3tinUe 3i abilitǎUi pentru a-3i
îngriji copilul.

În total, un numǎr de 400 de femei au fost atribuite unuia dintre cele patru grupuri.
 În grupul 1, 94 de femei au beneficiat de servicii de screening pentru copii lor
cu vârste cuprinse între 1 - 2 ani pentru a vedea dacǎ respectivii copii se
confruntǎ cu probleme de dezvoltare.
 În grupul 2, 90 de femei au beneficiat de servicii de screening plus transport
gratuit la programǎrile pe care le aveau la doctor pentru copiii cu vârste pânǎ
în 2 ani.
 În grupul 3, 100 de femei au beneficiat de servicii de screening, transport 3i
vizite regulate la domiciliu efectuate de asistente medicale, pe durata sarcinii.
 În grupul 4, 116 de femei au beneficiat de servicii de screening, transport 3i
vizite la domiciliu atât înainte de na3tere cât 3i dupǎ, pe durata primilor 2 ani
de viaUǎ ai copiilor.
Primele douǎ grupuri au fost „grupuri de control”, iar grupurile 3 3i 4 au fost „grupuri
de tratament”.

Procedura de randomizare a fost desfǎ3uratǎ în mai multe etape. Pentru început,

femeile care intrau în general în grupul „de risc”, au fost invitate sǎ participe la studiu.
Intre 1978 3i 1980, 500 de femei au fost intervievate 3i 400 dintre ele au fost de acord
sǎ participe la studiu. Fiecare participantǎ a fost atribuitǎ unuia dintre cele patru
grupuri folosindu-se un pachet de cǎrUi – la sfâr3itul interviului iniUial, fiecare femeie a
tras o carte din pachet, care conUinea cǎrUi amestecate la întâmplare, având numerele
de la 1-4 pe fiecare carte. Pachetul a fost în mod periodic re-echilibrat (fiecare
participantǎ având mereu aceea3i probabilitate de a intra în oricare dintre cele patru
grupuri).

ComparaUiile între grupurile de control 3i cele de tratament aveau trǎsǎturi de context

similare. În modelul de cercetare, existau multe variabile diferite care mǎsurau efectele
tratamentelor asupra copiilor 3i mamelor. ComparaUia grupurilor de tratament 3i de
control demonstreazǎ un nivel semnificativ de beneficii cǎtre acele participante care
au fost influenUate de rezultatele acUiunii acestui program.

Modelul cvasi-experimental (QE) se prezintǎ ca un model exp imental, dar îi

lipseçte ingredientul cheie - atribuirea aleatoare. Aceste modele nu prezintǎ o
validitate internǎ solidǎ ca experimentele randomizate, dar sunt mai uçor de
implementat.
 39

La f l ca modelu experimental, modelul cvasi-exp rimental poate conuine studii în

serie mporalǎ {longitudina e) çi transve sale în diferite v iauii. O trǎsǎturǎ unicǎ a
QE este faptul cǎ cercetǎtorul selecteazǎ grupurile de comparat, astfel încât acestea sǎ
fie pe cât posibi similare în toate privinuele, cu excepuia fapt lui cǎ un grup intrǎ în
progr m çi celǎlalt nu, sau i trǎ în alt program. Acest lucru înseamnǎ cǎ QE face
comparauie între programe în desfǎçurare care nu au fost atribuite de cercetǎtor.
Altfel spus, acele intervenuii guvernam ntale au fost atribuite sau lese î mod politic
sau ministr iv de un proc s în care evaluatorul este un observator pasiv. În cadrul
QE, adesea doar un sub-set de unitǎui relevante analizei sunt selectate pentru studiu.

E istǎ çap modele cvasi-experimentale care acoperǎ majoritatea scenar ilor de

valuare a unei politici. Aceleaçi modele pot fi, de asemenea, folosite çi
experimente. O scurtǎ descriere a avantajelor çi dezavantajelor este furnizatǎ în
Tabelul 5.

Model 1: Model longitudinal cu observaUii preliminare, intermediare, post 3i ex-post

asupra grupurilor de tratament 3i de control

Acest del este c l m i ap opiat de abordarea privind mo elul experimental

„çtiinuific”. Colectarea datelor çi evaluarea încep înainte de implementarea
programului, într-o perioadǎ intermediarǎ, dupǎ ce implementarea a început çi la o
anumitǎ perioadǎ dupǎ implementare.

Model 2: Grupurile de tratament 3i de control pre-testare – post-testare

Modelul est similar celui anterior, dar este implementat mai des, deoarec acoperǎ o
perioadǎ mai scurtǎ de timp çi este mai puuin costisitor decât m delul 1 {deçi este ma
costisitor decât modelele mai puuin solide). Acest model este o alegere bunǎ atunci
când evaluarea neces ǎ o imagine explicativǎ cuprinzǎtoare a procesului de
implementare a politi ii çi a analizei contextuale pentru a analiza influ nua diferiuilor
factori socio-economici asupra populauiei, atunci când evaluarea începe înainte de
implementarea programului çi are un buget adecvat.

Model 3: Model longitudinal trunchiat privind grupurile de tratament 3i de comparaUie

pre-testare – post-testare

Modelul este folosit atunci când este disponibil un buge adecvat dar evaluarea nu
începe pânǎ când programul nu a fost deja implementat de o perioadǎ de timp, dar
totuçi mai rǎmân cel puuin 18 luni pânǎ la încheierea acestuia. Grupul de tratament çi
de control sunt comparate în perioada intermediarǎ çi la sfârçitul programului.

Model 4: Grupul de tratament pre-testare combinat cu analiza post-test 3i grupurile de

control.

M elul este folosit când unitatea de imlementar a politicii a c ectat anterior d t

de bazǎ. Datele de bazǎ nu sunt colectate din grupului de control pentru urmǎtoarele
motive: pentru a economisi bani, dificultǎui tehnice, sau dacǎ managementul o
p iveçte drept o activitate inutilǎ, conside ând cǎ sarcina evaluǎrii este de a compara
grupul de trata înainte çi dupǎ implementarea politicii. Cu toate acestea, pe
parcursul implementǎrii progr mului apare necesitatea unei extinderi, şi nevoia unui
 40
d control este înueleasǎ. Astfel, se organizeazǎ o anchetǎ de bazǎ doar pentru
grupul de tratament, dar î urma implementǎrii programului ambele grupuri - de

tratament çi de control
Model 5: ComparaUie - sunt comparate.
post-testare a grupurilor de tratament 3i control

Acest model este utilizat când evaluarea nu începe înainte ca pro amul sǎ fie deja

derulat de o anumitǎ p ioadǎ de timp sau sǎ fie finalizat. În ciud începceorii ntrcoul
întârziere, eantio
gestiona valuǎreilvaste
e careale
utgrupurilor
ilizeazǎ acede
st tratament
model adesçiecontrol.
a au un În
bualte
get ad ecvatMçoi dpeoltu
cazuri,
este sin
evaluarea este b ǎ pe date sec dare obuin e din alte anchete. Acest model se
bazeazǎ pe comparauia de la sfârçitul programului între grupurile de tratament çi cele
fǎrǎ sǎ fie colect e date de bazǎ cu privire la nici unul dintre aceste grupuri.
l funcuioneazǎ mai bine în cadrul comunitǎuilor izolate, acolo unde proiectul
gura intervenuie.

Model 6: Grupul de tratament pre-testare – post-testare

Acest model este utilizat în condiuii similare ca modelul 4. Evaluarea începe în etapa
iniuialǎ a proiectului, dar din nou, din diverse motive, datele de bazǎ, prec çi
evaluarea de la sfârçitul programului sunt desfǎçurate doar pentru grupul de
tratament. Diferenua între ac model çi modelul 4 este cǎ în cazul acesta, grupul d
control nu apar deloc. Acest model este destul de b n pentru proiectele care
utilizeazǎ intervenuii tip „bune practici” care s-au dovedit eficiente în condiuii
similare. De asemenea, poate fi eficient dacǎ scopul evaluǎr este înuelegerea
procesului de implementare a programului, iar evaluarea cantitativǎ a impactului nu
este atât de importantǎ {evaluǎri formative).

Model 7: Grupul de tratament post-testare

În acest mo l, doar grupul de tratamen al rogramulu est studiat çi ancheta se

desfǎçoarǎ doar dupǎ ce programul a fost implementat. Datele pot fi cules în urma
unui studiu de eçantion simplu, rapid; din focus grupuri; din surse secundare sau prin
informatori cheie etc. Acesta este tehnic c mai slab model deoarece n controleazǎ
ameninuǎrile asup validitǎuii, prin urmare recom ndǎrile tre uie luate în
considerauie cu mare atenuie. Absenua unei pre-testǎri face dificilǎ observarea unei
s himbǎri care po e apǎ ea, iar absenua grup l i de ontrol gene eazǎ d ficultate în a
çti ce s-ar întâmpla fǎrǎ tratamentul progr mului. In ciuda ac stor limitǎri acesta este
un model de evaluare foarte popular, mai ales pen tru proiectele mai mici cu un buget
de evaluare mai redus. Ac t model es e utilizat când evaluatorul are foarte puuin
timp la dispoziuie çi un buget foarte limitat. Când se foloseçte acest model, este foart
important sǎ se cunoascǎ nevoile de informare ale clientului çi modul în care
rezultatele evaluǎrii vor fi folosite.
 41

Tabelul 5. Punctele forte çi punctele slabe ale celor çapte modele principale de
evaluare

Model Avantaje Dezavantaje

1. Model longitudi al cu Cel mai solid model, care Cel mai costisitor, ce care
bservauii eliminar , studiazǎ çi procesul de consu ǎ cel mai mult timp
i t edi e p t çi x im e en are çi cel id f ld
supr rup il r e rabi i atea. oat f m le e at.
n er ar , e -post
a ag ur o d pl m t çi i ici e
tratament çi de control du lt P e i i p m nt
necesar pentru cercetare în
tes r a u ei i ovauii în
2. Grupurile de tratament çi c dtr eu uni prngra çi dacǎ
e control pre-testare - a x unl n oa m
st t st impgactul se poente drovedi, va
fi e ti s la o sc rǎ mult mai Presupune cǎ grupul de
politici).
lar ǎ {implem ta ea unei ontrol este în mare similar
Modelul care are cel mai grup l i de p ie t i
id scop general. Cu un
po - e are grup de con trol bin
s l c i n u ize zǎ uu o c ç
estimǎri foarte bune ale dor sǎ p r ic la d
3. Model lo gitudinal impac utri lo rpr ogramului. studii chiar dacǎ nu primesc
trunchiat privin grupurile Respectǎ pro l de niciu enefici .
tr ament çi de lementare çi
u le es ui N nb u
u acceseazǎ
implementarea proiectului.
u începe pânǎ în jurul
N
per adei intermediare a
impact ri ac t a.
de at ro ct i a t el încât n
comparauie pre-testare - Un mod l solid, în spe l p ie ulu , s f u
post-testare p ntru p g am le în care sunt acoperit demararea çi
i ntarea demareazǎ perioeadaeninaiuiealǎ de lu
e ro e impl m t r a proiectu i.
4. Grupul de tratament pre- mpleme
es r combinat cu analiza î et astf încât sǎ nu se Nu analizeazǎ dacǎ
p st s a u o paiaiunii
rdǎ pdor
rea m te.ul t prin diferçienuueler obsem
rvaltei,lantre
începerea evaluǎrii mai afârb t l p ogra su u î
tâvrazliu.
E ueazǎ s milaritǎui çi
rezultatul programului în
d
Eiferenue între domeniile de
tratament çi control. sine sau sunt generat de
g e az ez l le diferenue preexistente între
Evalueazǎ mǎsura în care grupurile respective.
prvoalu
graemul daracpǎuptea
rogramul
fi
reepnrordeusǎ
. u tate Nu are capacitatea de a
cu i gestion contextul local c
ar putea afecta rezultatele.
o -te t gru p l r de
t ta ç o nt l
 42

5. Compa aui post-testare a

grupurilor de tratament çi Evalueazǎ programele r
control implementeazǎ intervenuii
foarte bine testate sau care
op ea d me
u er n zǎ în o nii izolate
nde u existǎ nicio
interferenuǎ a altor
Nu estimeazǎ dimensiunea
exactǎ a impacturilor
proiectului.
N c
u are apacitatea de
gestiona contextul local.

intervenuii externe. Nu evalueazǎ p enuialul de

reproducere la o scarǎ
laurgsǎt. diazǎ procesul de
mplementare al
6. Grupul de tratament pre- N u
proiectului.
testare - post-testare i
Oferǎ o estimare N
proximat vǎ a imp tur or e u esǎtimeazǎ dimensiunea
xact a impacturilor
proiectului, î special în proiectului.
cadrul comunitǎuilor mici Nu are capacitatea de
sau izolate.
gestiona contextul local.
N o cu

uu caorme pairǎ
li ptreaiectul
de
altestcioonmauenfe
itcǎtuui.l variab
Nce survin prtian folosirea
7. Grupul de tratament post-
testare gana i m lti ri te. ilelor
Util din punctul de vedere al N e

lize u -va a
u obuine estimǎri precis
studiilor de docu entare asup im
pentru a avea o imagine de pro
ansamblu asupra nivelului
ra pacturilor
iectului.
Este dificil de obuinut
du e efi eienuǎazǎ alesmodelelor
timare de s r at s t rez l
sentimentul de convingere
pnro iuiaelcǎt,. aproximativǎ a proiectului i nu al altor
cum cǎ schimbǎrile
rezultatelor, în special factori ai intervenuiei.
F
p n rntrzu o sau ob e v e un u tatul
e proiectele mici
ii Nu are capaçcitat de a
zolate. g
estiona evenimentele
externe.
N tive
u ob ine date compara
entru a estima capacitat a
potenuialǎ de reproducere.

Sursǎ: Bamberger, M., Rugh, J., Mabry, L. (2006). Real World Evaluation, Working under budget, time,
data and political constraints. CA: SAGE

Dacǎ cercetǎtorii folosesc modelul non-experimental s t mai puuin pretenuioçi în

ceea ce priveç e unitǎuile de analizǎ, selectând pentru studiu toate {sau majoritatea)
unitǎuilor {ex. toate satele din judeu), sau un eçantion aleatoriu sau reprezentativ. Cu
toate acestea, atât în c drul QE cât çi în modelul non- perimental, c cetǎtorul es
un observator pa siv al modului în care programele sunt selectate sau atribuite
 43

fi cǎrei unitǎui de analizǎ. Ce cetǎtorul gestioneazǎ alocarea programelor pe unitǎui

de analizǎ, folosind o procedurǎ aleatoare, doar în cadrul experimentului.

Modelul non-exper mental {NE) este foarte des întâlnit în cadrul evaluǎrilor d
politici/programe. Dacǎ prog amul/politica se aplicǎ tut or, nu va fi posibil sǎ se
efectueze comparauii între persoanele sau unitǎuile care sunt afectate de program cu
cele care nu sunt afectate. In acest caz, „tratamentel sunt legi, regulament etc. ca
existǎ de foarte mult timp. Ar fi f arte dificil de analizat impactul acestor legi
folosindu-se un fel de model pre-post. În plus, pentru programele cu „acoperire
deplinǎ”, formarea grupulu de control este foarte dificilǎ sau chiar imposibilǎ.

În aceste cazuri, evaluatorii creeazǎ un model statistic pentru rezultatul respectivei

politici/program çi stud azǎ impactul diferite or variabile asupra acestuia folosind
iferite instrumente statistice {ex. regresia mul plǎ). Având în v der cǎ acesta face,
de asemenea, parte din modelele experimentale çi cvasi-experimentale, linia de
demarcauie între aceste douǎ modele çi modelul non-experimental nu este clarǎ.
Putem presupune cǎ NE, în majoritatea cazurilor, este parte din cele douǎ modele mai
sus menuionate.

Elaborarea unui plan de management al evaluǎrii

Planul de anag ment al evaluǎrii este un instrument esenuial pentru echipa de

evaluare, mai ales dacǎ politic sau p gramul supuse evaluǎrii includ multe
obiective. Planul de management al evaluǎrii nu are un format specific. În majoritatea
cazurilor, plan de evaluare conuin activ tǎui, instituuii responsabile, terme el
limitǎ pentru anumit activitǎui, metodele princip le de colectare çi analizǎ a datelor,
precum çi costurile pentru fiecare pas în parte. Elaborarea în prealabil a unui plan de
evaluare ajutǎ echipa sǎ împiedice t rminarea açteptatǎ a resurselor financiare
decursul procesului de valuare. În mod asemǎnǎtor cu TdR, formatul poate varia în
funcuie de nevoile echipei de evaluare.

Dacǎ e aluarea este una complexǎ çi trebuie sǎ fie externalizatǎ, Comitetul Pilot j
este invitat sǎ aprobe planul de management al evaluǎrii cu scopul de a coordona mai
bine procesul de evaluare.

Exemplul 10 prezintǎ princip lii paçi ai unui plan de evalu e. Activitatea de

cercetar a fost externalizatǎ ǎtre o c panie, iar plan de evaluare mai detaliat
{termene limitǎ, resurse financiare) a fost înaintat clientului, dar nu este disponibil
pentru public.
 44

EXEMPLUL 10. Planificarea evaluǎrii ex-post asupra politicii privind tineretul în

Letonia

Cercetarea a fost desfǎ3uratǎ conform urmǎtoarelor etape logice:

1. Elaborarea unui plan de cercetare 3i obUinerea aprobǎrii de la
Departamentul de Afaceri pentru Tineret din cadrul Ministerului pentru
Copii 3i Afaceri Familiale (Clientul).
2. Elaborarea unor instrumente de cercetare 3i obUinerea aprobǎrii din
partea Clientului asupra:
a. Formularului privind chestionarul;
b. Liniile directoare pentru interviurile aprofundate individuale 3i
experte;
c. Liniile directoare pentru discuUiile din cadrul focus grupurilor.
3. Cercetare documentarǎ pentru analiza datelor secundare.
4. ActivitǎUi pe teren, ce desfǎ3oarǎ:
a. anchete;
b. interviuri aprofundate;
c. discuUii în cadrul focus grupurilor;
d. interviuri cu experUi.
5. Studiu de caz – identificarea bunelor practici în lucrul cu tinerii 3i
desfǎ3urarea unei analize aprofundate ale celor mai de succes exemple.
6. Analiza datelor calitative (materiale din interviuri 3i discuUii în grup;
documente) 3i cantitative (procesarea datelor statistice ale rezultatelor
chestionarelor).
7. Prezentarea rezultatelor provizorii.
8. Lucru asupra raportului de cercetare final.
9. Prezentarea schiUei de raport.
10. Ajustǎrile finale ale raportului la cerinUele clientului; traducerea 3i
depunerea acestuia.
 45

Pasul 4. SelecUia metodelor de colectare 3I analizǎ a datelor

Odatǎ principalii factori interesaui identificaui çi întrebǎrile de evaluare formulate,

trebuie sǎ se demareze procesul de col ctare a datelor pentru a obuine formauiile
care vǎ vor ajuta sǎ rǎspundeui la întrebǎri. Colectarea çi analiza dat lor sunt activitǎui
strâ ns legate u na d e ce al al tǎ î n cadrul e xe rciiu uul i de evaul a re, aec st
a fi
in d movti ul
pent ru care, în acest capitol, ele sunt descrise çi explicate urmând o secvenuiere logicǎ
a evenimentelor.

Existǎ douǎ documente oficiale la care poate veui dori sǎ faceui referire atunci când
colectaui çi analizaui datele - Ghidul privind Monitorizarea 3i Evaluarea (2008) çi
Manualul metodelor folosite în planificarea politicilor 3i studiilor de impact (2006).
Ghidul privind Monitorizarea çi Evaluarea prezintǎ conceptele de b zǎ ale col tǎrii çi
analizei de date çi descrie pe scurt gama de metode folosite. Manualul metodelor
folosit în planificarea politici çi studiilor de impact xplicǎ în tali metodele d
analizǎ a d telor çi aplicarea lor. Deçi al doil a document explicǎ evaluarea ex-ante,
metodele cantitative de analizǎ a datelor sugerate în respectivul document pot fi, de
asem ea, folosite çi pentru evaluarea ex-post.

În acest Manual, metodele de colectare çi analizǎ a datelor sunt explicate într-o

manierǎ simplǎ çi c eazǎ o abordare coerentǎ a înt gului efort de evaluare
intermediar çi ex-post. Mai mult, sunt furnizate îndrumǎri practice çi studii de caz
pentru a ilustra aplicarea diverselor metode.

Colectarea datelor

Colectarea dat or este o activi ate fo te importantǎ în cadrul exerc uiului de

va ua e, deoarece calitate acestor date va avea un impact direct asupra calitǎuii
evaluǎrii dumneavoastrǎ - analiza, constatǎrile çi recomandǎrile dvs. vor fi emise în
baza dat lor colectate anterior.

Colectarea datelor este de obicei procesul care consumǎ cel mai mult timp çi cele mai
mult resurse. Scopul acestui proces în cadrul evaluǎri este d a obuine informauiil
de care veui nevoie pentru a putea rǎspunde la întrebǎrile de evaluare. Evaluarea se
poate baza pe informauiile existente sau, dacǎ aceste informauii nu sunt suficiente,
poate apǎrea nevoia de a colecta noi date.

Existǎ mai multe modalitǎui de clasificare a datelor. În primul rând, se face adesea
distincuia între datele cantitative çi cele calitative. Datele cantitative se referǎ la cifre -
câui/câte - iar cele calitative la motive, opinii çi motivauie - de ce.

Datele pot fi, de asemenea, clasificate în funcuie de sursele acestora, adicǎ primare çi
secundare. Datele rimare sunt col ct e de obicei d cǎtre evaluator de la diverç
actori din cadrul politicii sau programului. Datele secundare reprezintǎ informauii
colectate anterior de cǎtre aluii çi adesea cu scopuri diferite.
 46

Mai mult, datele pot fi clasificate în longitudinale çi transversale. Datele longitudinale

sunt de obicei cole ate de-a lungul anilor. Pentru a îndeplini scop ile evaluǎrii,
aceste date trebuie colectate cel puuin de douǎ ori de-a lungul timpului - înainte de
începer programul {de bazǎ-baseline) çi la mom tul efect r i intermediare sau
ex-post. Datele longitudinale prezintǎ schimbǎri ale aceluiaçi subiect de-a lungul unei
perioade de timp. Datele transversale sunt colectate la un anumit moment în timp
comparând diferenu e dintr subiecui de-a lungul vremii.

În scopul evaluǎrii se pot colecta diferite tipuri de date.

Planificarea procesului de colectare a datelor

Înainte de a începe colectarea datelor, asiguraui-vǎ cǎ discutaui çi ajungeu la un

consens în cadrul echipei dvs. cu privire la urmǎtoarele aspecte:
 CeE inaforerm
valu çiaCuiIN
i Etrp
ebouaiee fusǎrniczoaleac
cteasutie pinefo
ntrrm
u auaii rǎspunde întrebǎrilor de
 CE metode veui selecta pentru a obuine datele necesare
 CÂND veui colecta datele.
 CINE va colecta datele
Pentru a decide CE informauii va trebui sǎ colectaui, trebuie sǎ vǎ întoarceui la

întrebǎrile de evalua , la nevoile factorilor interesaui çi la modelul logic. Dacǎ aui

fǎcut acest lucru în preal bil, atunci alegerea datelor de care aveui nevoie v fi mult
mai facilǎ. Dupǎ identificarea nevoilor de informare, urmǎtorul pas este de a decide
NE poate furniza aceste informauii çi CE metode de colectare a datelor v i folosi.
Când selectaui metodele pentru a colecta datele pentru fiecare întrebare de evaluare,
trebuie sǎ luaui în considerare câteva aspecte:
 Datele de care aveui nevoie existǎ deja sau trebuie sǎ creaui noi surse de
date?
 Dacǎ existǎ, cine le are?
 Dacǎ nu existǎ, cine vǎ poate furniza aceastǎ informauie çi cum?
 Vǎ permiteui costurile asociate procesului de colectare a datelor?
 Ce riscuri çi constrângeri aui putea întâlni çi care sunt pregǎtirile pe care
trebuie sǎ le faceui?

Pentru a schiua activitǎuile majore în cadrul colectǎrii de date, puteui folosi tabelul de
mai jos.

Tabel 6. Çablon pentru planul de colectare a datelor

Întrebǎrile InformaUiile Cine le Metode de Cine/când Riscuri Pregǎtiri

de evaluare necesare poate colectare a prealabile
furniza? datelor
 47

Un xemplu de plan de colectare a datelor este prezent t în Anexa 1.

Este foarte probabil ca deciziile pe care le luaui în aceastǎ etapǎ sǎ se schimbe odatǎ
cu demararea procesul de col ctare a datelor. S-ar putea sǎ fie nevoie sǎ vǎ
întoarceui la plan çi sǎ modificaui perioadele de timp çi metodele de colectare. Cu toate
acestea, aceste aspecte sunt importante çi trebuie discutate de la început, de preferat
pe parcursul perioadei d planificare a evaluǎrii, deoarece vor reflecta ce tip de çi câte
resurse, în termeni de persoane, timp, bani, va fi nevoie sǎ alocaui p ntru colectarea
datelor. Veui putea, de asemenea, sǎ identificaui ce pregǎtiri trebuie sǎ efectuaui în
avans {ex. formarea intervievatorilor) çi dacǎ pot apǎrea anumite riscuri {ex.
sensibilitatea sau lipsa anumitor date, date dificil de obuinut etc.).

De obicei, echipa de evaluare joacǎ rol foarte important în proiectarea çi proc ul

de colectare a datelor. A tfel, trebuie sǎ vǎ asiguraui cǎ membrii echipei de evaluare:
 Au cunoçtinue despre subiectul supus evaluǎrii;
 Au abilitatea de a identifica surse pentru informauiile relevante;
 Au acces facil la sursele necesare de date.

Cercetarea documentarǎ

Cercetarea docum ntarǎ este o revizuire a datel sec ndare. De obicei, xistǎ un
v lum foarte are de date c e deja au fost col ctate de cǎ e aluii. Cercetarea
documentarǎ implicǎ strângerea datelor de la diversele surse existente:
 Datele pot fi disponibile în rapoartele de activitate sau de performanuǎ pe care
managerii de program sau personalul relevant le colecteazǎ.
 Datele secundare pot fi pǎstrate în cadrul instituuiilor de implementar pe care
dvs. va trebui sǎ le vizitaui pentru obuine exemplare ale acestor documente.
 Biroul nauiona de statisticǎ çi institutele de cercetare subordonate
minis relor colecte ǎ de obicei date care sunt disponibile çi care pot fi
folosite pentru evaluarea dvs.
 Personalul din program poate avea rezultatele în urma anchetelor desfǎçurate
în trecut.
Organizauiile urope s u internau nale sunt o sursǎ relevantǎ
 consult cercetǎrile, studiile, revizuirile desfǎçurate anterior sau pentru a
folosi baza de date a indicatorilor.

Un bun pu t de plecare ste alizar a acestor surse çi obuinerea informauiilor.

Avantajele cele mai comune asociate cercetǎrii documentare sunt: este ieftinǎ çi
eficientǎ din punct de vedere al timpului. De asemenea, permite o cunoaçtere mai
bunǎ a subiectului, identificar a nevoilor suplimentare sau a surselor de informauii.
Adesea, majoritatea evaluatorilor decid asupra nevoii de a colecta date din surse
primare doar atunci când au efectuat cercetare documentarǎ.

Existǎ diferite modalitǎui de localizare a surselor pe care trebui sǎ le con ltaui. Aveui
mai jos câteva suge tii:
 Discutaui posibilitǎuile în cadrul echipei de evaluare - eficace în special dacǎ
membr provin din instituuii diferite;
 Întâlniui-vǎ cu factorii interesaui importanui pentru a identif ca dacǎ diversel
baze de date, arhive, rapoarte ale managementului sau alte informauii interne
operauionale care pot fi relevante pentru evaluare.
 48

Pe de altǎ parte, informauiile deja colectate pot fi învechit sau dacǎ vǎ referiui la surse
informale de informauii acestea poate nu mai sunt de încredere.

Metode de colectare a datelor

Dupǎ ce aui final zat cercetarea documentarǎ veui putea identifica ce alte informauii
suplimentare mai sunt necesare de la sursele primare.

Politicile sau programele dvs. pot implica o gamǎ largǎ de actori diferiui de la care dvs.
este posibil sǎ aveui nevoie de informauii. În principiu ac çtia sunt:
 Utilizatorii de servicii sau beneficiarii programului: aceçtia sunt persoanele
uintǎ în program;
 Cei care livreazǎ programul: d exemplu personalul din agenuie sau centru care
furnizeazǎ servicii pentru beneficiarii programului, furnizori de formare;
 Cei responsabili de direcUia strategicǎ 3i management: de xemplu factorii
d cizionali, managerii de program de la diferite niveluri sau personal în cadrul
programului;
programmai
 Grupuri ul dvlargi
s.: dedeexpersoane
emplu, societatea, media sau
afectate (pozitiv sau negativ)
alte instituuii care
indirect de sunt
interesate de program.

Urmǎtoarea întrebare la care trebuie sǎ rǎspundeui este CE metode vor fi folosit

pentru generarea informauiilor primare. Metodele sunt grupate în 2 secuiuni majore
mai jos:
 cantitative
 calitative

Metodele cantitative de colectare a datelor

Colectarea datelor can titative este folositǎ pentru a rǎspunde la întrebǎrile legate de
„cifre” - c âui oam eni au participat la program, câui dintre aceçtia considerǎ cǎ
programul a fost u nul util etc. Cea mai des întâlnitǎ metodǎ cantitativǎ de colectare a
da lor este a heta.

Este important ca atunci când se desfǎçoarǎ cercetǎri cantitative sǎ se reuinǎ

urmǎtoarele aspecte:
 e sǎ adresaui aceeaçi întrebare în acelaçi mod fiecǎrui respondent - va
trebui sǎ adunaui rǎspunsurile la un loc;
 informauiile pe care trebuie sǎ le colectaui pentru evaluare ar trebui sǎ fie
reprezentative pentru toate persoanele care au participat la program - s-ar
putea sǎ aveui nevoie de eçantionare.

Ancheta

Ancheta este un instrum folosit pentru colectarea informauiilor cantita ive cu

privire la diverçi actori, evenimente sau servicii legate de politica sau programul dvs.
Este foarte des folosit pentru a ancheta evenimente çi persoane din sectoarele
guvernamental, social, sǎnǎtate, educauie çi alte sectoare în care este nevoie de
colectare de informauii sau opinii.
 49

Ancheta este una dint e cele mai frecvent folosite tehnici de col ctare a informauiilor
rimare. Se desfǎç arǎ cu ajutorul unui chestionar aplicat persoanelor anchetate
pentru a obuine informauii despre politicǎ sau program. Existǎ mai multe metode de
colectare a acestor informauii:
 interviu fauǎ în fauǎ
 la telefon, sau
 prin completarea unui chestionar tipǎrit sau în variantǎ electronicǎ prin email
{auto-completare).

T pul care va fi ales se va decide în funcuie de anumiui factori, inclusiv resursele

disponibile {de timp, umane, financiare), de gradul de acurateue al rezultatelor çi
trǎsǎturile grupului uintǎ.

Interviurile faUǎ în faUǎ çi sondajele prin telefon pot genera informauii de o mai bunǎ
calitate. Acestea cresc probabilitatea a întrebǎrile sǎ fie m ai bine înuelese deoarec
respondenuii au oportunitatea de a clarifica nelǎmuririle. Interviurile çi sondajele
telefonice genereazǎ, de aseme a, o ratǎ mai mare de rǎspuns çi respond ui
potriviui. Cu toate acest a, ele pot necesita mai multe resurs çi pot fi mai costisitoare
în cazul în care aveui nevoie sǎ anchetaui un numǎr mare de persoane. În acest sens,
interviurile çi sondajele prin t lefon sunt cele mai adecvate metod atunci când aveui
nevoie de informauii de încredere çi când nu sunteui constrânçi de resurse limitate.

De asemenea, trebuie luate în considerare çi trǎsǎturile grupului uintǎ. De exemplu,

dacǎ aveui nevoie sǎ ch taui familii cu un venit redus, puteui lua în considerare
folosirea mai degrabǎ a interviurilor fauǎ în fauǎ sau auto-completarea decât cele prin
sa email, pentru cǎ existǎ o probabilitate redusǎ ca astfel de familii sǎ aibǎ
telefon sau sǎ foloseascǎ internetul.

Sondajul auto-completare ste relativ ieftin çi rapid, dar prezintǎ un risc mai mare ca
întrebǎrile sǎ fie greçit înueles çi respondenuii sǎ nu fie cei potriviui. Rat de rǎspuns
poate fi, de asemenea, mai redusǎ decât în cazul sondajelor fauǎ în fauǎ sau prin
telefon. Sondajul auto-c mpletare este de obicei condus pentru a ancheta un numǎr
mare de populauie çi de obicei dintr-o zonǎ geograficǎ vastǎ.

Uneori, se foloseçte o combi auie de mai multe tehnici de so daj. De xemplu, u

sondaj auto-completare poate fi urmat de unul prin telefon sau de un interviu fauǎ în
fauǎ pentru a clarifica rǎspunsurile, dacǎ este nevoie, sau pentru a creçte rata de
rǎspuns.

În cazul sondajelor mari çi atunci când sondajele vor fi folosite drept principala sursǎ
de dovezi care sprijinǎ ev luarea, veui dori sǎ cǎu ui sprijin specializat extern pentru
a vǎ ajuta cu organizarea, desfǎçurarea sau analiza sondajului. Uneori veui decide
externalizarea anchetei cǎtre o agenuie de specialitate.
 50

Tabel 7. Sumar al tehnicilor de colectare a datelor cantitative

Tipul Aplicare Avantaje Dezavantaje

sondajului C le mai potrivite
pentru eçantioane mai Date de o înaltǎ calitate: Consumǎ multe resurse çi
FaUǎ în faUǎ - o mai bunǎ înuelegere a sunt mai costisitoare.

mici. întrebǎrilor {le puteui

repeta/explica); Ri cul de apariuie a
distorsiunii/pǎrtinirii.
- çtiui cǎ au rǎspuns
oamen p vi
C le mai potrivite - t
ii otri ui;
pentru eçantioane mai
pu eui folosi chestionare
ici Çi acestea consumǎ multe
mai lunegi. al t te
resurse dar sunt mai
Duan te d o c i a destul de
- ǎ: bunǎ n l g a ief tine decâ tinterv ui rile
bo mai
m într bǎrilor {lîe upeuteeui ere fau ǎ în f au .
r- eapvet
euia/çeaxnpsliacsaǎ);çtiui cǎ au Tr buie sǎ folosiui
Telefon Le puteui folosi ca rǎspuns oamenii potriviui. chestionare mai scurte
tehnicǎ de urmǎrire a {10-15 min.).
unui sondaj de auto-
completare. Relativ ieftine. N
Folos e p ntru
eçantioane mai mari u toatǎ lumea poate fi
gǎasititat
ǎ learteedlefoǎn. datelor:
Auto-completare -Cntlu
pe sau când eça tionul Puteui folosi chestionare repbuǎte
riluei fiauusifgur
oast cǎ
hârtie/internet/ ac erǎ o zonǎ mai lungi. nuelese;
email geograficǎ vastǎ. - nu puteui fi sigur cǎ au
E
xclud pǎrtinirea rǎspuns oamenii potriviui.
F n intervievatorilor.
olos e când aveui u Poate genera o ratǎ de
Date uçor de analizat.
eçantio bi e definit. rǎspuns redusǎ.
U cân nt rvi
a
tile d i e urile
r fi pr a dificile,
onsumǎ timp çi le
li çte
c pse
onfidenuialitatea.

InformaUii de bazǎ privind chestionarul

Chestionarul este un instrume t de sondaj/anchetǎ elaborat pent a colecta

informauii pent u analize statistice. Poate fi o metodǎ foarte eficientǎ din punct d
vedere al costurilor pentru a ajunge la un grup larg de persoane în cadrul unei zone
ge rafice vaste. Ades ea, are rǎs pu ns uri s tand ar diza te, astfel î nc ât datele nt mai
uçor de analizat. Întrebǎrile folosite în cadrul chestionarului po t fi cu rǎspuns deschis
çi închis.

Întrebǎrile cu rǎspuns deschis so icitǎ re pondentului sǎ furn zeze propriile

rǎspunsuri. Rǎspunsurile la întrebǎrile deschise sunt an lizate prin diverse categorii
de date {cel mai adesea folosind analiza conuinutului care este explicatǎ mai jos în
Pasul 4). Întrebǎrile deschise sunt mai dificil de rǎspuns çi ar trebui folosite cu atenuie
în cadrul anchetelor.
 51

Întrebǎrile cu rǎspuns închis solicitǎ respondentului sǎ aleagǎ rǎspunsul dintr-o gamǎ

opuiuni. Numǎrul de rǎspunsuri ar tre bui sǎ fie limitat. Existǎ mai multe categorii
de întrebǎri închise:
 Întrebǎri dihotomice - de obicei respondentul are douǎ opuiuni - întrebǎri de
tipul da/nu, adevǎrat/fals;
 Întrebǎri cu alegere multiplǎ - respondenuii au mai mult de douǎ opuiuni ;
 Î scal te - respondenuii trebuie sǎ categorizeze rǎspunsurile la
întrebǎri cu scarǎ datǎ;

Chestionarele pot fi atât structurate cât çi semi-structurate, în funcuie de tipul çi

scopurile anchetei.

Un chestionar structurat este cvenuiere de întrebǎri furnizate cǎtr toui

respondenuii în a laçi m d. In aceste cazuri, într bǎrile pot fi închise sau deschise.
Chestionarul structurat poate fi folosit drept o metodǎ de intervievare, prin telefon
sau auto-completare.

Un chestionar semi-structurat este de obicei completat în cadrul întâlnirilor fauǎ în

fauǎ unde anumite întrebǎri çi secvenuialitatea lor sunt stabilite în prealabil, în timp ce
altele apar pe mǎsurǎ ce se desfǎçoarǎ interviul.

Elaborarea unui chestionar

Elaborarea unui chestionar est un proces complex. Designul chestionarului poate

avea un impact asupra disponibilitǎuii respondenuilor de a rǎspunde. În acest sens,
este important sǎ se ia în considerare cu atenuie modul în care va arǎta chestionarul çi
lungimea acestuia, precum çi cum veui aranja întrebǎrile.

Înainte de a elabora instrumentul de anchetǎ ar trebui sǎ verificaui dacǎ nu existǎ un

chestionar similar çi sǎ îl adaptaui la evoile proprii. Ac t lucru va economi i ti ç
va uçura elaborarea chestionarulu Altfel, va trebui sǎ elaboraui propriul instrument
de anchetǎ. Chestionarul de obicei include elementele prezentate în tabelul de mai
jos.

Tabel 8. Structuri tipice ale unui chestionar

Scrisoare de intenUie Un chestionar ar trebui sǎ aibǎ o scrisoare de intenuie în care se

explicǎ în mod clar:
- titlul çi scopul anchetei;
finan atoru a hetei;
selecuia respondenuil ;
confidenuialita ea informauiil oferite;
termenele limitǎ pentru înapoierea chestionarului çi
- informauii de contact.
Rata de rǎs pun s la ch estionar s-ar putea sǎ fie mai ridicatǎ dacǎ
scrisoare este semnatǎ de o persoanǎ oficialǎ de la un nivel mai
înalt.
 52

Introducere în Înainte de aranjarea înt ebǎrilor, furnizaui urmǎtoarele informauii:

chestionar Un scurt titlu pentru chestionar;
- Scopul chestionarului - de ce desfǎçuraui ancheta çi cum veu
fol si ez t le a t n r ii
o r ulta e nchetei {este o scur ǎ versiu e a sc isor
de intenuie);
- Instruc iuni clare privind modul de completare a
chestiona l De e pl da ǎ p den ii nce
r s u i , sau d ǎ t b s i ez co e i;
ru ui. xem , c r s on u î rcuiesc
ǎ p nsur le ac ar ui ǎ furn z m ntari
- Cât timp este necesar pentru a completa chestionarul.
Introdu e ea c o aru t un zu s ii t
a m ct r f hesti a lui es f r re dmat al scri de or de in enui
r ri ǎ sǎ urnizaui ceste in o mauii in nou, oarece scrisorile
de intenuie uneori sunt desprinse de chestionar.
u i tre ǎ e p e imila {sa a olo nde es e un proces
Gmrgpipliaca
uDtînîn fubncruiene
deoite mdeslei pform
etap rcesuilui)
udecpen uu a asig
atr t urar uln f{lux.
loe c. e o
d acǎg anvi eui , v es ei n au i
ǎri r b zǎe slauîngenpe a în ex
seât
cuiuaneposenp t ariatǎ.ntr aranjare întrebǎrilor
m laui în ebar s fel î câ în a p ac ç agi
Aranjarea C ev pe u a :
{evitaui întoarcerea unei pagini în mijlocul unei întrebǎri);
Fo u tr ea t t sǎ c pǎ eea i p nǎ
- Furnizaui instrucuiuni clare cu privire la modul în care
trebuie rǎspuns la întrebare {de exemplu, dacǎ respondentul
întrebǎrilor poate selecta din câteva opuiuni furnizat , rugaui-i sǎ
înc r uias r p nsuri u sǎ i e fie a e rǎ pu s e
s ǎ;
ec cǎ ǎs u le sa b fez c r s n car
- e aplic )
Organizarea întrebǎrilor çi rǎspunsurilor pe un flux vertical.
Evi aui sǎ p asa i hiar l ng într b re;
S t x ste l au u srǎs ufipu
ciennsulpc â ǎ e a
ǎe i sp iu t entru coment rii dupǎ întrebare,
- dacǎ le solicitaui;
Organizaui rǎspu u i ep tate n a eeaç rdine în toate
î trebǎrile. D nsmrp ur de îl c i o
n e exe l , acǎ fo osiui “da” çi “nu”, urmaui
- mereu aceeaçi secvenuialitate;
Folosiui coloane/rân ur mu tiple p ntru a evita
r petitiv tatea î t e ǎrilo xe c o s
i l e
e nr b De e mplu, da ǎ d riui ǎ
eval aui modul în care div rçi paçi ai procesului de formulare
de politici sunt impleme taui în cadrul unei organizauii,
ebu e sǎ aranj u toui p nçii a e ui p în oloa
- ai a st roces ne de
tabel verticale çi scǎri de mǎsurare în rânduri orizontale;
Folosiui un limbi aja simplu, a çi clar. Evsaituaui pe cât pnoicsibil
Dacǎ dpor
roipuiozsiuǎiilaefla
luuni gin, jfor
rgm
oanuuiil dberm
evoigeraile, {vcâr
fice uvstin
ǎ,tegte
enh, eten. ie,
ducauie etc.) cu privire la respondenui, atunci adresaui aceste
e r l fin l.
 într bǎ i a a
Furnizaui spauiu l finalul întrebǎrilor
respondentului sǎ adauge alte comentarii.

pentru a solicita

Întrebǎri

demografice

Nu uitaui sǎ muluumiui respondenuilor pentru completarea

chestionarului.

Alte comentarii
Vǎ mulUumim
 53

Ce se întâmplǎ apoi La finalul chestionarulu aduceui-le aminte de termenul limitǎ de

cu chestionarul înap ere acestuia çi informauiile de contact {nume, adresǎ,
telefon, email).
n cazul în care desfǎçuraui o anchetǎ în format tipǎrit, asiguraui-vǎ
cǎ includeui un plic pre-plǎtit cu adresa expeditorului tipǎritǎ.

Testarea chestionarului

Chestionarele din anch te tr uie test t înainte de a fi trimise respondenuilor pentru

a fi siguri cǎ întrebǎrile sunt uçor de lecturat çi înueles. Cea mai bunǎ metodǎ de a-l
testa este sǎ întrebaui câteva din acele persoane care urmeazǎ sǎ completeze
chestionarul. Dacǎ nu doriui ca acestea sǎ v ǎ hestion rul înainte de a fi termin t,
atunci puteui ruga pe cineva dintr-un program similar sau pe colegii dvs. care nu au
fost implicaui în elaborarea chestionarului, dar cunosc politica sau programul supus
evaluǎrii.

Câteva sugestii utile pentru testarea chestionarului:

Tipǎriţi numǎrul solicitat de exemplare ale chestionarului – unul pentru fiecare

persoanǎ çi unul pentru dvs.
Alegeţi o salǎ liniçtitǎ çi rugaţi persoanele sǎ completeze chestionarul, permiţându-le
sǎ comenteze întrebǎrile cu voce tare.
Lǎsaţi-i sǎ treacǎ prin întregul chestionar.
Lǎsaţi-i sǎ adreseze întrebǎri clarificatoare (dacǎ solicitǎ asistenţǎ, asta este o
indicaţie cǎ trebuie sǎ îmbunǎtǎţiţi chestionarul).

Pe parcursul procesului de testare rolul dvs. este de a însemna pe exemplarul dvs.

urmǎtoarele:
 Unde au apǎrut dificultǎui în înuelegerea întrebǎrilor;
 Unde nu a fost clar sensul cuvintelor;
 Unde întrebǎrile sau înuelesul cuvintelor a fost greçit înueles, sau
 Unde respondentul a crezut cǎ i-ar f dificil sǎ obuinǎ informauia.

Puteui desfǎçura oricâte runde de testare doriui, pânǎ când obuineui un rezultat
satisfǎcǎtor.

Rata de rǎspuns

R a e rǎspuns a anchetei poate influen ua în mod semnificativ calitatea informauiei

Dacǎ rat de rǎspuns este redusǎ, nivelul de credibilitate al informauiei poate fi redus.
Este dificil de precizat care ar fi rata de rǎspuns adecvatǎ deoarece aceasta depinde
de sub ectul respectiv, de scopul evaluǎrii çi de nevoile privind acurateuea. În mod
obiçnuit, cercetǎ orul va considera o ratǎ de rǎspuns ca fiind satisfǎcǎtoar dacǎ
aceasta se aflǎ între 60 çi 90 la sutǎ. Ratele mai reduse ne esitǎ de obicei strategii de
 54

urmǎrire pentru a creçte acest n vel sau, d ǎ nu este cazul, folosire rezultatelor
anchetei uinând seama de posibilele limitǎr ulterioare. Înaint de a tr ite
chestionarul cǎtre respondenui, ar fi util sǎ stabiliui rata de rǎspuns pe care doriui sǎ o
real izaui ç i sǎ p lan if icau i st giile de mǎ rire ,în ca zulî n caer nu vǎ atingeui uinta.

Factorii care influenueazǎ rata de rǎspuns sunt, dupǎ cum urmeazǎ:

 F matul chestionarului. Întrebǎril aranjate prost sau cele dificil de înueles se
pot dovedi descurajatoare pentru respondenui în completarea chestionarului
 Lungimea chest narului. Cele care sunt prea lungi au un risc mai mare sǎ
obuinǎ o ratǎ ridicatǎ de non-rǎspuns sau sǎ fie completate doar paruial;
 Afiliere respondenuilor. Adesea, o leg turǎ strânsǎ a potenuialilor respondenui
cu politica sau programul în cauzǎ {ex. utilizatori de servicii, angajaui
organizauii subordonate) genereazǎ o ratǎ mai mare de rǎspuns. Dimpotrivǎ,
respondenuii care nu au nicio legǎturǎ directǎ sa inter s cu subiect l se vor
simui mai puuin dorito sau angajaui în furn z rea unui rǎspuns;
 Strategiile de urmǎrire. În cazul anchetei auto-completare, în cazul cǎreia
ratele de rǎspuns sunt cele mai reduse, ar trebui luate în considerare în
prealabil strategii de urmǎrire, cum ar fi memento-urile prin email, poçtǎ sau
telefon.

Câteva sugestii pentru desfǎ3urarea unei anchete:

Discutaţi çi ajungeţi la un consens în cadrul echipei dvs. cu privire la metodele de

anchetǎ cele mai adecvate nevoilor çi posibilitǎţilor dvs.
Luaţi în considerare dacǎ aveţi nevoie de asistenţǎ în ceea ce priveçte organizarea
çi analiza anchetei.
Gândiţi-vǎ dacǎ este nevoie sǎ externalizaţi ancheta sau pǎrţi ale acesteia cǎtre
companii specializate.
Verificaţi dacǎ eçantionul ţintǎ este unul reprezentativ în baza criteriilor stabilite.
Pregǎtiţi un chestionar çi un test asupra unui grup redus de persoane relevante
pentru programul dvs.
Încercaţi sǎ limitaţi numǎrul de întrebǎri çi în special numǎrul de întrebǎri
deschise din chestionar. Întrebǎrile cu rǎspuns închis genereazǎ, de obicei, cele
mai bune rate de rǎspuns.
Dacǎ este nevoie, pregǎtiţi o scrisoare de intenţie semnatǎ de o persoanǎ de la un
nivel oficial înalt.
Stabiliţi ţinta anchetei în termenii ratei de rǎspuns.
Acordaţi timp suficient pentru a rǎspunde la întrebǎri.
Planificaţi resursele pentru urmǎrirea anchetei intrǎrilor de date.
Procesaţi datele çi utilizaţi rezultatele anchetei pentru a sprijini evenimente tipice
sau excepţionale.
 55

Metode calitative de colectare a datelor

Metod calitative de colectare a datel r permit obuinerea de informauii cu privire la

aspecte mai profunde, cum ar fi de ce oamenilor le-a plǎcut/nu le-a plǎcu t programul,
de ce cred ei cǎ a fost/nu a fost un program de succes sau ce anume p oate fi fǎcut
pentru a fi îmb nǎtǎuit.

În cadrul acestui Manual sunt introduse cele mai frecvent utilizate metode:
 Interviurile aprofundate {pot fi semi-structurate)
 Focus grupuri
 Vizite la faua locului {pe teren).

Interviurile aprofundate

Interviul aprofundat este un dial g între ntervievator çi o persoa ǎ din grupul uintǎ,
u sc ul de a obuine formauii cu ivi e la opiniile, atit inile çi modurile d
c mportament ale participanuilor la program. În cadrul unui interviu persoanele
i ervievate sunt rug sǎ-çi xprime mai deg bǎ opiniile detaliate asupra
evenimentelor din viaua realǎ decât sǎ facǎ g neralizǎ . Acestea ra ori includ
întrebǎri pre-determinate çi de obicei permit intervievatorului sǎ acopere în detaliu
subiecte care nu pot fi acoperite printr-o anchetǎ. Cu toate acestea, se recomandǎ
fol sirea unui ghid de subiecte/teme pentru a conduce discuuia çi pentru a obuine
informauiile necesare.

Interviurile aprofundate de obicei sunt aplicate pentru a discuta cu acei oameni care
au o agendǎ de lucru foarte încǎrcatǎ, funcuii înal e sau când subiectul ste unul
delicat çi persoanele ezitǎ sǎ îçi exprime opiniile într-un grup mai mare de oameni.
Sunt utile, de asemenea, în situauiile în care existǎ un numǎr rela v redus de persoan
care pot furniza informauii folositoare în legǎturǎ cu rezultatele çi impacturile
programului.

Cel m bi e este ca inter iul sǎ fie d sfǎçurat de cǎtre o perso nǎ care a fost
implicatǎ în procesul de evaluare çi care înuelege bine obiectivele çi r zultatel
programului. Este foarte probabil ca aceastǎ persoanǎ sǎ fie cineva din echipa de
eval are. Adesea, se açteaptǎ de la r spondenui sǎ fie persoane bin ocumen ate, iar
faptul cǎ intervievator este o persoanǎ care, la rândul sǎu, are cu oçti ue în
domeniu, va reduce riscul de a apǎrea diferenue mari între nivelurile de cunoçtinue ale
çi intervievatului. Alt motiv ar fi cǎ intervi rile aprofundate per it
ntervievatorului sǎ interacuioneze cu utilizatorii programu i çi el/ea poate testa
ideile care se formeazǎ pe parcursul procesului de evaluare. În acelaçi timp,
intervievatorul trebuie sǎ aibǎ bune abilitǎui de intervievare çi trebuie sǎ p atǎ stabili
un mediu propice î care respondenuii sǎ se simtǎ confortabil. Uneori, factori precum
vârsta, genul, nauionalitatea pot fi, de asemenea, importanui pentru respondent.

Un alt aspect care trebuie rezolvat este cel al înregistrǎrii datelor obuinute în urma
interviului. Acest a pot fi înregistra fie pe casetǎ fie rezumate sub forma notiuelor
scrise. Pentru înregistrarea audio este necesarǎ obuinerea permisiunii respondentului
çi sigurar confidenuialitǎui informaui or. Oricum, uneori înr gistrarea pe casetǎ
poate influenua interviul çi chiar calitatea informauiilor, deoarece respondenuii pot fi
mai puuin deschiçi çi sinceri în rǎspunsurile lor.
 56

O altǎ modalitate de înregistrare a datelor este luarea de notiu detaliate pe parcursul

interviului çi cl rificarea acestora imedia dupǎ interviu. Este utilǎ atunci când sunt
necesare rezultate rapide sau când subiectul interviului nu este unul foarte complicat.
Dezavantajul acestei abordǎri este faptul cǎ intervievator l trebuie sǎ vorbeascǎ ç sǎ
ia notiue în acelaçi timp, ceea ce pentru multe persoane este un lucru dificil. O soluuie
ar fi sǎ existe doi intervievatori, dar asta ar putea duce la creçterea costurilor
procesului de colectare a datelor.

Focus grupurile

Focus grupurile combinǎ trǎsǎturile interviului rofu dat çi al observauiei. Ele

concentreazǎ un grup mic persoane asemǎnǎtoare pentru a comenta çi împǎrtǎçi
idei cu privire la program {de exemplu, profesori, manageri, beneficiari ai beneficiilor
sociale, pacienui etc.). Tehnica i licǎ observarea discuuiil r în cadrul grupului,
interacuiune çi analizǎ a comportamentelor çi atitudinilor persoanelor din grup.
Focus grupurile se folosesc atunci când este posibil sǎ strângi un grup de persoane
asemǎnǎtoare çi care pot comenta asupra pr sului çi rezultatelo programului.
Acestea sunt utile în special când evaluatorul doreçte sǎ afle ideile participanuilor cu

scopul de a:
 identifica çi defini problemele din procesul de implementare a programului
 identifica punctele forte, slabe çi recomandǎri
 obuine
genera informauii
idei noi cu privire la rezultatele çi impacturile programului

Valoarea adǎugatǎ de focus grup este cǎ permite observarea aceluiaçi aspect din
diferite perspective çi permite cǎutarea unor motive pentru care lucrurile merg într-
un anume fel în program, toate acestea într-un mod dinamic ce nu ar fi posibil în
cadrul unui interviu individual.

Pe de altǎ parte, focus grupu ile pro uctive n ecesitǎ moderatori comp enui. Rol
unui moderator este de a menuine discuuia pe fǎgaçul corect fǎr a întrerupe fluxul
ideilor çi com ntariilor. Moderatorul va trebui sǎ furnizeze o listǎ cu subiectele care
trebuie acoperite de focus grup, d r nu existǎ n ciun model prestabilit de rmat
Moderatorul ar trebui sǎ rǎspundǎ la probleme e ridic te de participanui asigurându-
se în acelaçi timp cǎ subiectele stabilite iniuial sunt acoperite în cadrul discuuiilor.
Ace t lucru ermite participanuilor sǎ sesizeze problem care nu fost luate în
considerare în prealabil. Moderatorul trebuie, de asemenea, sǎ se asigure cǎ toui
membrii grupului au çansa de a contribui çi cǎ discuuia nu este dominatǎ de un singur
participant. Numǎrul adecv de participanui este între 5 çi 8 çi timpul de discuuii de
obicei este de la o orǎ jumǎtate pânǎ la douǎ ore.

Ca regulǎ, d scuuiil din cadrul focus grupurilor sunt înregistrate çi se desfǎçoarǎ

analize ulterioare pentru a obuine opiniile participanuilor, modelele de comportament
sau deviauii etc.
 57

Vizitele la faUa locului

În loc de sǎ se bazeze doar pe rapoartele respondenuilor au pe d el instituuionale,

mului evaluatori preferǎ sǎ facǎ propriile observauii. Vizitele la faua locului s t de
obicei plǎnuite pentru a colecta informauii directe de la dispozitive specifice sau de la
o ganisme de fu izare a serviciilor, pentru a desfǎçura terviuri cu ndivizi sau
grup ri, sau pentru a face observauii asupra activitǎuilor specifice. Aceste vizite la faua
locului implicǎ adesea o combinauie de activitǎui - interviuri, observauii sau focus
grupuri.

Vizitele la faua locului sunt folosite în programe sociale {educauie sau sǎnǎtate) sau
proiecte de infrastructurǎ {transport sau mediu), dar çi în alte domenii.

EXEMPLUL 11. Colectarea datelor în timpul vizitelor la faUa locului

În timpul unei vizite la o 3coalǎ reorganizatǎ, scopul evaluatorului fiind strângerea de

informaUii cu privire la contextul 3colar. În acest sens, evaluatorul va planifica probabil
urmǎtoarele activitǎUi:
- Sǎ viziteze diferite locuri din 3coala respectivǎ care au fost afectate de
reorganizare (sǎli de clasǎ specializate, locuri sociale) pentru a observa
schimbǎrile fizice a3teptate.
- Sǎ participe la observaUii la orǎ pentru a înregistra informaUii cu privire la
activitatea de predare, activitǎUile elevilor, contextul de interacUiune,
folosirea tehnologiilor în procesul de învǎUare etc.
- Sǎ se întâlneascǎ 3i sǎ intervieveze diferite persoane sau grupuri de
persoane din cadrul 3colii (profesori, directori, elevi) pentru a afla opiniile
acestora cu privire la schimbǎrile a3teptate în urma reorganizǎrii sau
- Sǎ colecteze documente sau date suplimentare.

Vizitele la faua locului necesitǎ anumite pregǎtiri prea abile pentru a vǎ asigura cǎ veui
avea acces la siturile vizitate sau sǎ stabiliui eventualele întâlniri cu factorii interesaui.

Alegerea metodelor de colectare a datelor

Este mporta t sǎ vǎ sigurau cǎ metodele selectate gen eazǎ date care rǎspund cel
mai bine la întrebǎrile de evaluare. În practicǎ, nicio metodǎ de colectare a datelor
folositǎ exclusiv nu va fi potrivitǎ pentru a rǎspunde la întrebǎrile de evaluare, prin
urmar este nevoie de o combin ie de mai multe met e. Adesea, întrebarea va fi
care metode - cantitative sau calitative - vor fi preponderente çi pe care dintre
metodele calitative sau cantitative sǎ le alegeui.

Ca regulǎ, evaluarea formativǎ fav rize zǎ metodele calitative pentru a identifica

problemele çi a furniza recomandǎri de îmbunǎtǎuire. De obicei, pentru a sprijini
constatǎrile, este completatǎ de metode cantitative care necesitǎ mai puuine resurse.
Evalu ea sumativǎ, pe d altǎ parte, ar putea necesita focalizarea pe metode
cantitative, deoarece trebuie de obicei sǎ rǎspundǎ la întrebǎrile legate de eficacitatea
 58

program dacǎ acesta din ur ǎ va mai continua sau nu. Ast de decizii tr bui
fundamentate folosindu-se inform uii/dovezi corecte çi de încredere. Observauiil
personalului çi beneficiarilor programului, care au fost colectate folosindu-se metode
calitative, pot furniza informauii valoroase asupra impactului programului çi a
necesitǎuii acestuia.

Indif rent de tipul evaluǎrii, alegerea metod lor depinde de urmǎtorii factori çi
adesea de o combinauie între ac ç a:
 Scopul evaluǎrii. Pentru evaluǎrile la scarǎ redusǎ îndreptate spre
formularea sa implementarea de politici, evaluatorii poat vo dori sǎ
selecteze metode calitative çi poate metode c ntitative care sunt mai
eficiente din punct de vedere al resurselor, cum ar fi anchetele prin email
s internet. Cu toate acestea, pentru evaluǎrile cauzale la sc ǎ largǎ, în
cazul cǎrora scopul este de a dovedi/respinge ipoteze, sau nd se
intenuioneazǎ folosirea analizei statistice pentru evaluǎrile descriptive,
este foarte probabil sǎ se facǎ alegerea unor metode cantitative care vor
genera informauii semnificative din punct de vedere statistic.
 Resursele disponibil Constrângerile legate de r urse pot afecta în mod
sem ificat deciziile çi chiar alegerea todelor. Chiar dacǎ scopul
evaluǎrii çi nevoia de a obuine informauii semnificative din punct de vedere
statistic vor necesita metode c re sǎ genereze informau cor te çi precise,
constrângerile financiare çi umane vor produce un schimb între a
desfǎçura activitatea cu acurateue çi a desfǎçura activitatea cu resurse
limitat . Adesea va trebui sǎ alegeui între metodele de anchetǎ mai mult sau
ai puuin costisitoare {ex. anchet prin email vs. cea fauǎ în fauǎ) çi
metodele calitative care necesitǎ mai mult sau mai puuin efort {efortul în
ter eni de resurse va depinde de fi are caz în parte, în funcuie de
numǎrul populauiei uintǎ çi de persoanele care au abilitǎui).
 Perioada de timp. U eo , mai ales când s t olicitate de la nivelul
managementului ministerial, evaluǎrile trebuie sǎ fie desfǎçurate sub
presiunea timpului. În aceste cazuri, evaluatorii vor trebui sǎ îçi aleagǎ
metodele car pot genera informauii într-un timp scurt. Alegerea met elor
va depinde de cât de mare este eçan ionul çi dacǎ aveui nevoie de i ormaui
semnificative din punct de vedere statistic. Dacǎ dimensiunea eçantionului
nu este mare, atunci ancheta fauǎ în fauǎ va g era i ormauii de încredere
într-email
un tim
sau spoçtǎ
curt. ar
Oricum, îfinmult
putea cazulmai
unu i eçantiodin
eficientǎ n m are, odean
punct chetǎ al
vedere prin

timpului.

În ceea ce priveçte metodele calitative, alegerea va depinde de informauiile pe care

doriui sǎ le co ectaui çi de grupul uintǎ. In rviurile aprofundate sunt cele mai
obiçnuite forme d colectare a informauiilor çi vor fi folosite de majoritatea
evaluatorilor. Acestea sunt de obicei gestionate chiar de evaluatori. Focus grupurile
nec sitǎ în mod obiçnuit mai multe pr gǎtiri çi un moderator experimentat, prin
urmare, vor fi folosite pentru evaluǎril l scarǎ largǎ çi atunci când informauiile
generate de dinamica grupu ui sunt foarte valoroase pentru evaluare.
 59

Descriere sumarǎ a metodelor calitative de colectare a datelor

Metoda Descriere Când se foloseçte Avantaje Dezavantaje Resurse

necesare

Discuuie Când do riui sǎ Creeazǎ Necesitǎ m ulte Intervievator

ormalǎ obuineui portunitatea de e rse çi or
s f rma i a al z cost to e m a t
au
nfo ta i te d ubi ctel în tru aj
i rmalǎ i o z
no ui an i a isi ar
cu osoanǎ D sp itive
d l e la s e e pen a unge
Interviul pentru a persoanele cheie. d aliu. la un numǎr audio
strânge Când existǎ un {opuional)
mar e
aprofundat inform numǎr r lativ G nereazǎ date ed
O s
auii redus de bogat çi detalii persoane.
c p r oanǎ
detali te persoane. despre program.
Volum prea are bate la
asupra
Când persoanele P mare de maçinǎ
unor
pot ezita în a-çi o i ormauii çi tr n c a
bie ct e oate genera dificil de
exprima opiniile a s riere
spec if ic e. pinii sinc e, înregistrat.
de fauǎ cu alui O persoanǎ
perspective
oameni. in Este nevoie de care
dividuale, idei oameni a a z
Pentru oamenii noi.
c noscǎtori ç n li eazǎ
care sunt ocupaui, ermit rǎspunsurile
au o funcuie înaltǎ P rvievator ului intervievatori
sau când inǎ explice buni în acelaçi S l de
timp. aǎ
reprezintǎ un îsntr b rile çi sǎ
Poate conduce întâlniri
grup de oameni o e ǎ
cǎ r o
specific. buinǎ accentuare a
N e rǎspunsuri utile. temelor f vorite
c O f exib ilitate ale
ferǎ l intervievauilor.
u est potrivitǎ i tervievatorului
âfnod m
doruiuii pen
Discuui în futrnu ua se ajusta
obuuineerriceea sdaeu în
grupuri situauice.ie de O singurǎ Moderator
ico
n mrparaaitive.
ic n Poate obuine persoan poate ormat
Când doriui sǎ
r un rǎspunsuri d i a di cuui
dresaui întrebǎri i oz
d tp ce spontane. iueeii
um.
Interacuiunea
e o denuilor
p a

ǎs unsur
oate gener mn s a
i în
r p ç n l op ni
ju ul ui D sp itive
detaliate çi idei pot fi trecute
set de audio
trebǎri n s
îndrumate oi.
P Su s Salǎ de
de un rticipanu i pot întâlnire
moderator ex
b ându-se pe O persoanǎ
ub tǎcere. care sǎ
e i ul de çi tinde ideile analizeze
cce ul
c az rǎspunsurile
epinde de
mentariile namica
C n d sǎ
Focus ce dis de
lorl
m al
t ui. za g

eorblei m
e ealor din
nali cuuiilor
prferite rup.
p
dierspective çi se
obuin o Ne ulte
si re ste
c
 ce itǎ m
e anumitǎ urse çi e
nergie. ostisitoare.

â d oriui Pot fi au e Ne
estaui /clarificaui m moc sitǎ un
aspecte ce apar în id . zit mai derator
ti ulte opinii çi experiment t çi
ei os l alǎ.
F ǎ speci
rva Permite
ercepuiile Poate fi
grupuri introducerea çi
im
reputl ev
înaluǎrii. nere tativ
testarea noilor
din p ezen ui
com lopsitǎ p
amentul,
ntru a
aotbse ort cauza un
numǎr redus de
p itudinile çi
respondenui.
ldimbcajeul
respo ndenuilor.
 60

idei.
Este nevoie s
Poate fi mai veui un numǎr
r ǎ decât acceptabil de
apid p
ancheta. articipanui într-
o
timp u ǎ sa l çi
singdefinitǎ.
Poate fi mai puuin pe o perioadǎ de
costisito e
{comparatǎ cu
mul interviuri

te
aprofundate).
Poa ajunge la P n cesita
Vizite la Folosite pentru a ma l mult resurse çi Intervi vatori
spauiile obuine inform ii te t fi çi moderator
are ecte ç vizua e i mu te or au în
persoane decât
inte iurile
apr
rv
ofundate.
Put
c veu u
fu eazǎ foeui fi
ausigu ec cǎ
servicii. i ob ine
dir i l in r i dir te poa e f m i{
m i
asupra furn zǎrii çi puteui obs rva stisitoare în cazul în care
d
scehsiemrbviǎcriiiloçir a fsuerviciairpeea te
deren. cazul în care sunt
prevǎzute mai
raportat în
Poat combina sunt planificate multe
mediul respectiv.
vizitele la faua mul activitǎui. activitǎui)
Vizitele la loculu cu
interviurile Poate necesita o D
hipǎ de isp zitive
profundate sau audio
evaluatori
anchetele.
{formaui) care sǎ S
desfǎçoare ma alǎ de
multe activitǎui întâlnire
iferite în O p oanǎ
decursul unei ers
faUa locului
singure vizite. care
analizeazǎ
rǎspunsurile
 61

Eçantionarea

Dacǎ numǎrul utilizatorilor programului sau politicii su uçi sondajului este redus çi î
puteui acoperi pe toui, atunci realizaui un recensǎmânt 4. Oricum, în cazul în care
programul acoperǎ un numǎr mare de beneficiari, este posibil sǎ fie nevoie sǎ alegeui
un eçantion pentru a evita costurile ridica te ale colectǎrii de date. E3antionarea este
pr c ul de selectare unitǎuilor {perso ane, orga izauii, obiecte sau evenimente)
acoperite de politicǎ sau program astfel încât prin analiza eçan tionului sǎ puteui
aplica rezultatele asup util atorilor programulu din rândul cǎrora aui selectat
eçantionul. Un e3antion reprezintǎ numǎrul de unitǎui incluse în sondajul dvs.

Procesul d eça tionare impl ǎ anumite etape:

 Determinarea cadrului de eçantionare
 Alegerea metodei de eçantionare
 Determinarea volumului eçantionului
 Realizarea eçantionǎrii.

Determinarea cadrului de eçantionare

În od ideal, ar trebui sǎ fie p sibil sǎ identificaui fiecare unitate din cadrul populauiei
çi sǎ o includeui în eçantion. Totuçi, adesea nu este posibil sǎ iden ificaui çi sǎ çtiui cât
de mare este volumul populauiei uintǎ {de exemplu numǎrul exact al fumǎtorilor de pe
pǎmânt). Prin urmare, eçantionarea încearcǎ sǎ rezolve aceastǎ problemǎ prin
folosirea unui cadru de e3antionare.

În cel m direct mod, se poate firma cǎ cest cadru d antionare o listǎ a

tuturor unitǎuilor din populauia care face obiectul interesului dvs. Cadrul de
eçantionare de obicei defineçte populauia uintǎ din cadrul cǎreia este selectat
eçantionul.

Cadrul de eçantionare este o listǎ oficialǎ sau un registru privind populauia uintǎ.
Astfel d liste sau registre s nt de obicei gestionate de diverse org nizauii
guvernamen ale sau de servicii publice çi pot fi urmǎtoarele:
 Registrul cetǎuenesc poate fi folosit pentru a sonda toatǎ populauia din uarǎ.
 Registrul agricultorilor poate fi folosit pentru a sonda activitǎuile agricole.
 Listele beneficiarilor asigurǎr lor sociale pot fi folosite pentru a evalua diverse
aspecte ale politicii privind asigurǎrile sociale.
 Registrul conducǎtorilor auto poate fi folosit pentru a sonda impactul pe care îl
au iniuiativele privind siguranua drumurilor.
Lista pacienuilor dintr-o instituuie de asistenuǎ medicalǎ pr marǎ poate fi
 folositǎ pentru a sonda activitǎuile instituuiilor de asistenuǎ medicalǎ primarǎ.

Cadrul de eç ntionar poate furniza de obicei in ormaui suplimentare despre

unitǎuile pe care le veui supune evaluǎrii çi poate fi folosit pentru îmbunǎtǎui
modelul de sondaj çi procesul de eçantionare. De exemplu, registrul agricultorilor
poate furniza informauii în legǎturǎ cu localizarea, activitatea agricolǎ etc., care pot fi
folosite pentru a uçura procesul de colectare a datelor.

4 În eçantionare, recensǎmântul este un studiu ce acoperǎ toate unitǎuile populauiei uintǎ.

 62

Cu toate acestea, în anumite cazuri nu este del uçor sǎ obuineui o listǎ oficialǎ a
populauiei uintǎ. Aceasta fie nu existǎ, fie este incompletǎ. De exemplu, nu existǎ nicio
listǎ cu oate persoanele fumǎtoare, persoanele fǎrǎ adǎpost sau persoanele
ependente de droguri di ntr-o uarǎ. Sa u, alt exemplu, li sta emig ranuilo r ar pu tea if
incompletǎ deoarec nu toui cei care p ǎrǎs esc o uarǎ o ferǎ informauii instituui ilor
responsabile. În astfel de cazuri, procedura prin care se obuine acces la populauia uintǎ
va fi consideratǎ cadrul de antionare.

Urmǎtoarele sunt exemple de proceduri folosite pentru a determina cadrul de

eçantionare:

EXEMPLUL 12. Procedura de acces la populaUia Uintǎ

PopulaUia Uintǎ –persoane fǎrǎ adǎpost.
Procedura care oferǎ acces cǎtre populaUia Uintǎ va oferi acces cǎtre persoanele care
trǎiesc în adǎposturi. Toate persoanele din adǎposturi vor forma cadrul de e3antionare.
PopulaUia Uintǎ – persoanele dependente de droguri
Procedura care oferǎ acces cǎtre populaUia Uintǎ va oferi acces cǎtre persoanele
dependente de droguri care beneficiazǎ de programe de incluziune socialǎ. Toate
persoanele înregistrate în diverse programe de incluziune socialǎ care furnizeazǎ
tratament, consiliere sau alte servicii pentru cei dependenUi de droguri vor forma cadrul
de e3antionare.
PopulaUia Uintǎ –persoanele care fumeazǎ
Procedura care oferǎ acces cǎtre populaUia Uintǎ va folosi sondajele asupra populaUiei
pentru a determina numǎrul de persoane fumǎtoare. Rezultatele sondajelor asupra
populaUiei realizate pentru diverse scopuri, de obicei prezintǎ cât de mare ar putea fi
numǎrul celor care fumeazǎ din totalul populaUiei.

Cadrul de eçantionar determinat prin fol irea procedurii de acces are anum
puncte slabe, mai ales în cadrul evaluǎrilor în care existǎ nevoia de a produc
rezulta te semnificative din punct de vedere statistic. Unul dintre cele mai des întâlnite
puncte slabe este riscul de a genera ju cǎui distorsionate ca rezul t al col ctǎrii çi
analizei datelor. Cadrul de eçantion e este folosit pentru a de ermina volumul
eçantionului, ceea ce înseamnǎ cǎ un cadru de eçantionare incomplet poate genera un
eçantion non-rep ezentativ. Aces lucru nu înseamnǎ cǎ evalu rea nu ar tr bui
desfǎçu tǎ în astfel de cazuri, ci cǎ pe parcursul evaluǎrii ar trebui luate în
considerare constrângerile existente.

Alegerea metodei de eçantionare

Atunci cân e alege çantionul trebuie sǎ vǎ asiguraui cǎ toui cei acoper ui d

programul dvs. au çanse eg e de a fi incluçi în eçantion. Acest lucru ajutǎ la evitarea
distorsiunilor, deoarece poate exista tentauia de a obuine feedback de la grupul de
persoane cǎrora le-a plǎcut programul sau care par de încredere. Pe de altǎ parte, nici
 63

existenua nui numǎr m re de respondenui nu este o so uie, deoarece aceçtia s-ar

putea sǎ nu fie reprezentativi pentru utilizatorii programului.

Metodele de eçantionare sunt, prin urmare, grupate în metode probabilistice çi

neprobabilistice. E3antionarea probabilisticǎ este o schemǎ în care fiecare unitate a
populauiei are o çansǎ egalǎ de a fi inclusǎ în eçantion, iar aceasta poate fi determinatǎ
cu acurateue, adicǎ toate unitǎuile din cadrul de eçantionare pot fi identificate çi
incluse în eçantion. Eçantionarea probabilisticǎ face posibilǎ producerea unor
eçantioane pe cât posibil obiective {nedistorsionate).

E3antionarea neprobabilisticǎ este o schemǎ în cadrul cǎre an mite unitǎui al

populauiei nu au n cio çansǎ de a fi selectate. Selecuia eçantionului este bazatǎ p
tehnici ad-hoc {ex. ipoteze sau judecǎui privind populauia care formeazǎ criteriile de
selecui în cadrul cǎrora u existǎ un cadru de eçantionare clar sau exact. Astfel de
metode pun problema cantitǎuii de informauii pe care un eçantion o poate furniza
privind populauia.

În acest Man ual sunt prezentate c l mai des întâlnit metode de eçantionar
probabilisticǎ {s mplǎ ale toare, sistem aticǎ aleatoare, stratificatǎ, prin grupuri çi
multistadialǎ) çi neprobabilisticǎ {ra uionalǎ, prin cote, în lanu). Metodele de
eçantionare probabi sticǎ sunt ades folosite în metodele de colectare a datelor
antitative, în timp ce metodele neprobabilistice sunt mai frecvent folosite în
colectarea datelor calitative.

E3antionarea simplǎ aleatoare

Metoda de eçantionare simplǎ aleatoare pe ite fiecǎrei unitǎui din populauia uintǎ sǎ
fie inclusǎ în mod egal î eçantion. Este mai cunoscutǎ sub numele de “tr g re la
sorui”. Implicǎ selectarea numǎrului necesar de unitǎui din cadrul de eçantionare într-
un mod aleatoriu. Un numǎr mai mic de unitǎui ate fi selectat din listǎ f losindu-se
metoda lo riei. De ex mplu, fiecǎrui nume de pe listǎ îi poate fi atr uit un numǎr.
Dacǎ eçantionul are nevoie de 100 persoane, atunci vor fi extrase din bolul loteriei
100 de numere çi potrivite numelor de p lis .

Numerele mai mari de unitǎui pot fi selectate cu ajutorul programelor pe calculator

{ex. Random Sampler pentru Excel, Random Number Generator). Prin folosirea
programelor IT se pot selecta eçantioane aleatorii în câteva minute.

Tehnica d eçantionare simplǎ aleatoare are çi anumite limitǎri. Necesitǎ listǎ

precisǎ populauiei uintǎ, listǎ care nu ex stǎ mereu. De asemenea, ar putea fi
costisitoare pentru populauii e împrǎçtiate din punct de vedere geografic, deoarece
costurile de cǎlǎtorie pentru a a peri eç tioanele în diferite zone pot fi foarte
ridicate. Çi foarte impo tant, norocoçii ex ag ii s-ar putea sǎ n fie reprezentativi
pentru diversele grupuri care sunt importante pentru politica sau programul supus
evaluǎrii {ex. femei sau bǎrbaui, grupe de vârstǎ etc.).

E3antionarea sistematicǎ

Aceastǎ metodǎ de eçantionare este eç tionare aleatoare în cadrul nui stem. Asta
înseamnǎ selectarea fiecǎrui “al n-lea” utilizator de program sau existenua unui
 64

interval înt f ecare unitate selectatǎ. Este important ca punctul de pornire sǎ fie ales
la întâmplare, iar apoi la intervale regulate.

EXEMPLUL 13. E3antionarea sistematicǎ

De exemplu, administraUia localǎ trebuie sǎ evalueze implementarea unei noi scheme de
colectare a de3eurilor introdusǎ într-o anumitǎ parte a ora3ului. Având în vedere cǎ
administraUie dore3te sǎ obUinǎ feedback de la persoanele care au beneficiat de schemǎ,
trebuie sǎ aplice sondaje în gospodǎriile din zonǎ 3i sǎ întrebe oamenii care este opinia
lor despre noul serviciu. Pentru a alege intervalul de selecUie a gospodǎriilor, trebuie
aplicatǎ urmǎtoarea formulǎ. Sǎ spunem cǎ zona supusǎ sondajului include o stradǎ cu
120 de case 3i 8 case trebuie selectate. 120/8 = 15, a3a cǎ fiecare a 15a casǎ este aleasǎ
dupǎ stabilirea unui punct de pornire ales la întâmplare între 1 3i 120. Dacǎ punctul de
pornire aleator este 11, atunci casele selectate sunt 11, 26, 41, 56, 71, 86, 101 3i 116.

Eçantion ea sistematicǎ are un atu major çi anume cǎ disperseazǎ eça tionul în mod
uniform asupra populaui i fauǎ de cei aleçi în cadrul eçantionǎrii aleatorii. Cu toate
acestea, eçantionarea aleatoare poate prezenta puncte slabe da cǎ în cadrul listei
existǎ o anumitǎ periodicitate. De exempl în cazul colectǎrii deçeurilor toate case
din p rtea nordicǎ a strǎzii pot aparui e unor familii bogat , î timp c casele din
partea sudicǎ, celor mai puuin bogate. În funcuie de interval {ex. numerele impare ale
caselor pot fi pe partea rdicǎ çi cele pare pe cea sudicǎ a strǎzii), puteui avea acces
doar la casele care fie sunt bogate, fie sǎrace, ceea ce va distorsiona rezultatele.

În practicǎ, un eçantion sistematic este aproape mereu acceptabil ca fiind aleatoriu.

E3antionarea prin grupuri {de tip cluster)

At nci când ti ul este prea dispersat {de exemplu p tot teritoriul unei uǎ ),
puteui alege eçantionarea prin grup i pentru a reduce c u l . Eçantionarea prin
grupuri divizeazǎ toatǎ populaui în grupuri. Un numǎr de grupuri este selectat la
întâmplare çi toate unitǎuile din cadrul grupurilor sunt incluse în eçantion.

EXEMPLUL 14. Eçantionarea prin grupuri

Ministerul Agriculturii 3i Dezvoltǎrii Rurale intenUioneazǎ sǎ analizeze procesul de
folosire a pesticidelor de cǎtre agricultori în România. Poate fi aplicatǎ o e3antionare
prin grupuri folosindu-se judeUele din România drept grupuri. Un numǎr de judeUe
(grupuri) vor fi alese în mod aleatoriu 3i toUi agricultorii din judeUele selectate la
întâmplare vor fi inclu3i în e3antion.

Av ntajul eçantionǎrii prin grupuri es e cǎ reduce cost rile çi restrânge activitǎuile

doar în grupurile selectate. Cu alte cuvinte, folosirea pesticidelor este analizatǎ doar
acele judeue care au fost selectate la întâmplare, iar evaluatorii nu trebuie sǎ viziteze
toui agricultorii din România.
 65

Dezavantajul este cǎ ar putea exista eroare de eçantionare mai mare. Eçantionul

electat la întâmplare poate nclude zonele din vecinǎtate {judeuele) care ar putea fi
similare çi s-ar putea sǎ nu identifice toate problemele importante prezente în alte
pǎrui.

E3antionarea stratificatǎ

Riscul eçantio ǎrilor simple aleatorii çi sistematice este cǎ s-ar putea sǎ omiteui din
eçantion un anumit gru care sǎ fie specific populauiei uintǎ. Pen u a evita aceastǎ
situauie, puteui aranja populauia analizatǎ în grupuri numite straturi çi selectaui
eçan ionul d n cadrul fiecǎrui grup folosind tehnica de çantionare aleatorie sau
sistematicǎ. A oi puteui fi siguri cǎ eçantionul va fi mai repr zentativ. Gruparea se
face de obicei prin aplicarea criteriilor/variabilelor relevante pentru program, cum ar
fi vârstǎ, gen, religie, dim nsiune, grupuri sociale, abilitǎui academice, teritoriu
geografic, tipul de activitate etc.

EXEMPLUL 15. E3antionarea stratificatǎ

Ministerul EducaUiei, Cercetǎrii 3i Inovǎrii intenUioneazǎ sǎ analizeze numǎrul de ore pe
sǎptǎmânǎ petrecute rezolvând teme pentru acasǎ are influenUǎ asupra performanUelor
3colare ale elevilor de liceu. Pentru cǎ se crede cǎ orele petrecute rezolvând teme pentru
acasǎ diferǎ în mod considerabil de la o clasǎ de liceu la alta, va fi aplicatǎ e3antionarea
stratificatǎ. PopulaUia elevilor de liceu va fi grupatǎ în 4 straturi alcǎtuite din elevi de
clasa a IXa, a Xa, a XIa 3i a XIIa. Din fiecare strat va fi ales un e3antion aleatoriu de elevi.
Rezultatele analizei din fiecare strat pot fi combinate pentru a obUine o estimare care se
a3teaptǎ sǎ fie mai precisǎ decât cea obUinutǎ dintr-un e3antion aleatoriu al întregii
populaUii.

Eçantion stratificatǎ acoperǎ întreaga ulauie uintǎ çi î c laçi timp ia în

considerare trǎsǎturile acesteia care sunt importante pentru v luare. Este posibil sǎ
se ajungǎ la o precizie çi mai mare în analizǎ fauǎ de eçantionarea aleatoare.
Eçantionarea stratificatǎ poate fi convenabilǎ din punct de vedere administrativ.
Intervievatorii pot fi formaui în acest sens pentru a administra un grup etnic sau grup
de vârstǎ.

Dezavantajele unei stfel de eçantionǎri se pot afla în dificultatea id ntific

mai degrabǎ pe b za relevanuei criteriilor decât pe baza disponibilitǎuii
straturilor. Eçantionarea stratificatǎ poate fi mai dificil de analizat. Rezultatele
obuinu de la fiec st t pot reprezenta un interes in rinse çi ar trebui analiza
separat. În cazurile în care existǎ un numǎr mare de straturi, aceastǎ tehnicǎ necesitǎ
un eçantion mai mare decât celelalte.

Deçi eçantionarea prin grupuri çi cea stratificat par la prima vedere sǎ aibǎ anumit
semǎnǎri, ele sunt dife t . În cazul eçantionǎrii stratificate, este ales un eçantion
aleator din toate straturile, iar în cazul eçantionǎrii prin grupuri doar grupurile
selectate sunt analizate cu toate unitǎuile incluse.
 66

E3antionarea multistadialǎ

În realitate, procesul de eçantionar e poate include un numǎr de stadii pânǎ

eçantionul adecvat este selectat. Adesea, va trebui sǎ folosiui
cândultistadialǎ în c drul cǎreia douǎ sau mai mult niv ur de unitǎui unt incluse un
m
îne3antiolntaru
eal. Eçantionarea multistadialǎ este o eçantionare prin grupuri complexǎ. Primul
stadiu include selectarea grupurilor. În cel de-al doilea stadiu, selectaui în mod
aleatoriu unitǎuile pr mare din fi are grup. Apoi în fiecare intre grupurile selectate,
sunt selectate eçantioane suplimentare çi aça mai departe. Toate unitǎuile ultime
{indivizi sau organizauii) selectate în ultimul stadiu sunt sondate.

EXEMPLUL 16. E3antionarea multistadialǎ

Ministerul EducaUiei, Cercetǎrii 3i Inovǎrii intenUioneazǎ sǎ analizeze impacturile
reformei educaUionale pe teritoriul Uǎrii. E3antionarea multistadialǎ poate fi aplicatǎ în
urmǎtorul mod. Sondajul în 3coli începe cu divizarea Uǎrii în regiuni 3i alegerea
aleatoare a anumitor regiuni (primul stadiu). Toate regiunile selectate sunt apoi
divizate în districte, iar districtele sunt apoi alese din regiunile selectate (al doilea
stadiu). Apoi, 3colile sunt încadrate într-o listǎ în fiecare district selectat 3i este selectat
un numǎr de 3coli (al treilea stadiu). Doar 3colile alese în cel de-al treilea stadiu vor fi
incluse în e3antion. Aceastǎ metodǎ demonstreazǎ cu nu este necesarǎ existenUa unei
liste cu toate 3colile din Uarǎ, ci doar pentru acele districte care au fost selectate.

Eçantionarea multistadialǎ este folositǎ atunc când nu existǎ o listǎ completǎ a

pop lauiei uintǎ sau când lista completǎ nu este adecvatǎ. De asemenea, reduce
costurile asociate cu eçantionarea prin grupuri. Folosirea eçantionǎrii prin grupuri
necesitǎ o listǎ cu to te çcolile din regiunile din car vor fi alcǎtuite grupurile.
În practicǎ, eçantionarea multistadialǎ este realizatǎ prin gruparea populauiei uintǎ
mai degrabǎ pe baza variabilelor relevante pentru program decât pe criterii
geografice.

EXEMPLUL 17. E3antionarea multistadialǎ în practicǎ

Petru a evalua impacturile reformei educaUionale, s-ar putea sǎ nu fie suficient sǎ
selectaUi 3colile pe baza distribuUiei regionale. (colile pot fi de diferite tipuri (primare,
gimnaziale), ele se pot afla în zone diferite (urbane 3i rurale), pot avea dimensiuni
diferite (mici, medii, mari) 3i pot fi de stat sau private. Toate aceste trǎsǎturi ar putea
avea o valoare intrinsecǎ pentru evaluare 3i trebuie analizate separat. În acest sens,
e3antionarea multistadialǎ va fi realizatǎ prin aplicarea criteriilor mai sus menUionate
în diferite stadii ale procesului de e3antionare.
 67

Eçantionarea raUionalǎ

În cazul eçantionǎrii rauionale analistul select zǎ eçantionul pe baza propriilor

rauionamente sau criterii. Rauionamentul este de obicei bazat pe experienua
evaluatorului çi relevanua fauǎ de program sau politicǎ. Este folositǎ în cazurile în
care :
Existǎ un numǎr limitat de populauie care poate furniza informauiile relevante;

 Populauia este dificil de determinat;
 Unii dintre membri au mai multe cunoçtinue çi pot oferi informauii relevante.

EXEMPLUL 18. E3antionarea raUionalǎ

Ministerul Muncii, Familiei 3i ProtecUiei Sociale intenUioneazǎ sǎ îmbunǎtǎUeascǎ
politica privind egalitatea de 3anse 3i în special sǎ identifice factorii esenUiali pentru
realizarea acesteia în cadrul funcUiilor de management. În acest caz evaluatorul poate
decide mai degrabǎ sǎ evalueze doar pe acele femei care au ajuns în funcUii la nivel de
senior management decât pe toate femeile în vârstǎ de lucru. Decizia evaluatorului este
bazatǎ pe raUionamentul cǎ doar femeile care au ajuns în acele funcUii vor avea
experienUǎ 3i cuno3tinUe relevante. În astfel de cazuri, sondarea persoanelor de gen
feminin ar fi prea costisitoare 3i ar necesita prea multe resurse.
Sau un teatru poate decide cǎ auditoriul cel mai reprezentativ care ar putea evalua
nivelul de succes al noilor piese de teatru este auditoriul care vine la teatru seara în
zilele de lucru. Decizia este bazatǎ pe raUionamentul cǎ auditoriul din serile din timpul
sǎptǎmânii reprezintǎ un public regulat 3i sunt cei mai în mǎsurǎ sǎ compare 3i sǎ
judece noul repertoriu.

Prin folosir eçantionǎrii rauionale este dificil de menuionat dacǎ populauia uintǎ est
bine reprezentatǎ în cadrul eçantionul selectat. Astfel, este important sǎ se ajungǎ la
un consens cu clientul evaluǎrii asupra criteriilor de selecuie pentru a reduce
distorsiunile.
E3antionarea în lanU (tip bulgǎre de zǎpadǎ)

Eçantionarea în lanu este folositǎ atunci când este extrem de dificil sau costisitor sǎ se
d termine respo enuii. Aceastǎ metodǎ alege respondenuii dintre cei iniuiali p
genera respondenui suplimentari. Acest tip de eçantionare este adesea folosit pentru a
scoperi aça numita „populauie ascunsǎ” - persoanele fǎrǎ adǎpost sau persoanele
dependente de droguri.
 68

EXEMPLUL 19. E3antionarea în lanU

În cadrul evaluǎrii implementǎrii strategiei privind migrarea, în special eficacitatea
mǎsurilor de încurajare a emigranUilor sǎ se reîntoarcǎ în Uara de origine, un minister
poate hotǎrî aplicarea e3antionǎrii în lanU pentru a sonda cetǎUenii care lucreazǎ în
strǎinǎtate. Adesea, datele formale privind cetǎUenii care lucreazǎ în strǎinǎtate sunt
imprecise 3i este dificil de identificat posibilii respondenUi. Ca punct de plecare,
emigranUii înregistraUi formal pot fi folosiUi drept respondenUi iniUiali. Apoi acestora li se
poate cere sǎ recomande alte persoane, cum ar fi prieteni sau rude care lucreazǎ în
strǎinǎtate, pentru a fi incluse în sondaj. RespondenUii secundari pot la rândul lor sǎ
numeascǎ alte persoane. În acest mod numǎrul de respondenUi va cre3te precum un
bulgǎre de zǎpadǎ care se rostogole3te pânǎ când se ajunge la numǎrul dorit.
Dezavantajul unei astfel de metode de e3antionare este cǎ e3antionul poate fi
distorsionat. În funcUie de respondenUii iniUiali, e3antioanele ulterioare pot fi similare în
fond, deoarece respondenUii iniUiali vor alege persoane care au valori similare cu ale lor
3i provin din medii sociale asemǎnǎtoare.

Deçi ace tǎ metodǎ poate reduce costurile, poate, de asemenea, introduce

distorsionarea, deoarece este posibil ca eçantionul sǎ nu reprezinte secuiunea
transversalǎ potrivitǎ a populauiei.

E3antionarea prin cote

În c ul eçantionǎrii prin cote oatǎ popu au a este grupatǎ în g upuri mutual

exclusive, precum în cea stratificatǎ iar apoi unitǎuile sunt selectate din fiecare grup
pe baza unei cote specificate. Grupurile sunt formate pe baza anumitor caracteristici,
cum ar fi vârsta, genul, religia, educauia etc.

EXEMPLUL 20. E3antionarea prin cote

Ministerul Muncii intenUioneazǎ sǎ evalueze implementarea unei politici de ocupare a
forUei de muncǎ 3i sǎ aplice un sondaj asupra bǎrbaUilor 3i femeilor în vârstǎ de muncǎ
între 25 3i 65 de ani. PopulaUia Uintǎ are 40 la sutǎ bǎrbaUi 3i 60 la sutǎ femei, iar
ancheta necesitǎ un e3antion total de 1000. Evaluatorul va continua e3antionarea pânǎ
când obUine procentajele necesare. Dacǎ 400 de bǎrbaUi sunt deja inclu3i în e3antion,
dar nu sunt încǎ 600 de femei, evaluatorul va continua sǎ e3antioneze femei. Chiar dacǎ
evaluatorul va întâlni în timpul sondajului bǎrbaUi eligibili, ace3tia nu vor fi inclu3i în
e3antion, deoarece cotele necesare alocate bǎrbaUilor au fost deja atinse.

În cazul eçantionǎrii prin cote sel cuia eçantionului este aleatoare çi asta face ca
eçantionul sǎ fie mai distorsionat. Este n fel de eçantionare de c ven nuǎ în care
unitǎuile sunt incluse în eçantion pe mǎsurǎ ce apar pe baza anumitor variabile.
 69

Eç ti r a prin cote este adesea folositǎ când t pul alocat este limitat, cadrul
eçantionare nu este disponibil, bugetul este limitat çi acurateuea nu este atât de
importantǎ.

În practicǎ, procesul de eç tionare rareori implicǎ o singur metodǎ. Pentru a lua în

consid rare c strângerile legate de resurse çi numeroasele trǎsǎturi ale populauiei
uintǎ, se va folosi o combinauie de metode pentru fiecare etapǎ a sondajului.

EXEMPLUL 21. Metodele de e3antionare în practicǎ

În cadrul evaluǎrii privind mobilitatea forUei de muncǎ din Letonia (vezi Cazul 3 din
Partea II), a fost folositǎ o combinaUie de metode de e3antionare pentru a îndeplini
obiectivele propuse ale evaluǎrii 3i constrângerile legate de resurse. Sondajul populaUiei
în vârstǎ de muncǎ între 15 3i 65 de ani a inclus e3antionare multistadialǎ cu 4 metode
de e3antionare diferite în diferite etape: e3antionare prin grupuri, stratificatǎ, prin cote
3i aleatoare sistematicǎ. E3antionarea a început cu metoda grupurilor (cluster). Pentru
a se asigura cǎ evaluarea acoperǎ populaUia în vârstǎ de muncǎ din diferite zone ale
Letoniei, e3antionarea prin grupuri a fost folositǎ prin divizarea teritoriului Uǎrii în 6
cele mai mari ora3e 3i 26 districte (primul stadiu).
În cel de-al doilea stadiu, toate districtele au fost stratificate în zone pe baza
urmǎtoarelor criterii: urban, semnificativ rural, moderat semnificativ rural,
nesemnificativ.
Pentru a selecta e3antionul din zone, gospodǎria care reprezenta punctul de plecare a
fost aleasǎ la întâmplare cu fiecare cel de-al 7-lea apartament din ora3e sau regiuni
urbane 3i fiecare a 3-a sau a 4-a casǎ din regiunile rurale incluse în sondaj. Evaluatorii
au vizitat gospodǎriile în zonele selectate pânǎ când au atins cota necesarǎ de bǎrbaUi
3i femei în vârstǎ de muncǎ.
E3antionarea sistematicǎ aleatoare a fost folositǎ pentru a reduce distorsionarea care
ar fi putut rezulta în urma e3antionǎrii prin cote.

Alegerea metodelor de eçantiona e va depinde de numǎrul de factori inclusiv:

 Scopul çi acurateuea cerinuelor. În cazurile în care su t necesare at
semnificative din punct de vedere statistic cu un nivel înalt de încredere
{validitate externǎ), metodele de eçantionare probabilistice vo fi folosi
pentru a r duce distorsiunile. Ca regulǎ, ele sunt folosite în aluǎrile în car
este nevoie sǎ se dovedeascǎ sau sǎ se respingǎ anumite ipoteze sau când este
 neces sǎ se decidǎ continuarea sau finalizarea u i program.
Natura çi calitate populauiei uintǎ va influenua în mod semnificativ alegerea
accesul
m etodella
orpopulauia
de eçantiuintǎ,
onare.cât
Acde
estdispersatǎ
e metode este
de eaceasta,
çantionadin
re câte
vor variabile
depinde este
de

constituit p ofilul populauiei uintǎ etc.

 Constrânger legate de resurse. Anumite metode de eçantionare pot fi
co tisitoare çi pot n cesita foarte mult timp. În acest sens, alegerea me delor
de eçantionare poat genera un compromis între nevoile privind acurateuea çi
resurs le disponibile.
 70

Determinarea volumului eçantionului

Volum eçantionului determinǎ cât de mare va fi grupul unitǎuilor c e vor fi supuse

sondajului. Definirea volumului eçantionului este o tivit te importantǎ çi dificilǎ în
cadrul procesului de colectare a datelor. Cu toate acestea, volumul eçantionului nu
te întotdea na aspec l principal, ci doar u l dintre pectele legate de calitatea
evaluǎrii. Volumu eçantionului depinde de un numǎr de factori:
 Scopul evaluǎrii;
 Volumul populauiei;
 Eroarea de eçantionare acceptabilǎ;
 Riscul selectǎrii unui eçantion n potrivit.

Existǎ mai multe abordǎri pentru a determina volumul eçantionului:

 Recensǎmânt pentru populauie redusǎ;
 Folosirea unui volum al eçantionului din evaluǎri similare;
 Folosirea tabelelor publicate sau a calculatoarelor de eçantion electronice;
 Aplic rea formulelor.

Eçantionarea prin recensǎmânt este de obic i folositǎ pentru p ulauiile cu un numǎr

redus pentru a evita costurile foarte mari de colectare a datelor. Eliminǎ eroarea de
eçantionare çi sondeazǎ toatǎ unitǎuile din recensǎmânt.

O altǎ abordare este folosirea aceluia3i volum de e3antion de la evaluǎ i similar . Cu

toate acest a, dacǎ nu revizuiui procedurile de determin re a vo umul , s-ar putea
repetaui greçelile care au fost fǎcute. Pe de altǎ parte, adesea literatura din diverse
domenii furnizeazǎ îndrumǎri cu privire la volumul obiçnuit al unui eçantion.

O a treia modalitate este folosirea tabelelor publicate sau a calculatoarelor de e3antion

electronice care suger ǎ volu l de ça tion pe baz unui set dat de criteri - de
obicei numǎrul populauiei, nivelul de încred e, marginea erorii çi distribuuia
rǎspunsurilor. Un tabel de volume de eçantion este prezentat în Anexa 2. De obicei
ac ste tabele sau calculatoarele de eçantion electronice oferǎ numǎrul de rǎspunsuri
care trebuie primit. Din acest motiv s-ar putea sǎ fie nevoie sǎ creçteui numǎrul
pentru a compensa non-rǎspunsurile.

A patra modalitate de calcul a eçantionului este folosirea formulelor. Formulele sunt

de obicei folosite în c zurile când se intenuioneazǎ folosirea metodelor de analizǎ
cantitativǎ precum analiza de regresie multiplǎ, analiza co-variauiei {ANCOVA) etc.
Dacǎ folosiui formule p tru a calcula volum eç ntionului veui avea nevoie de
cunoçtinue de statisticǎ {ex. sǎ participaui la un curs dacǎ nu aveui un statistician sau o
persoanǎ cu abilitǎuile adecvate în cadrul echipei dvs.) sau puteui cǎuta asistenuǎ
specializatǎ externǎ.

Eçantionarea calitativǎ

Cine ar trebu sǎ fie prezent la int rviuri çi cine ar trebui sǎ facǎ parte d focus
grupuri ste o întrebare la care nu se rǎspund cu uçurinuǎ. Pentru colectarea datelor
calitative participanuii pot fi selectaui în funcuie de diferite variabile, cum ar fi nivelul
de experienuǎ, funcuia, clasa socialǎ. Variabilele vor depinde de:
 Întrebǎrile de evaluare;
 71

 Trǎsǎturile programului sau politicii dvs.;

 Factorii interesaui ai programului {factori decizionali, dezvoltatori,
implementatori, beneficiari).

Adesea, pentru interviuril aprofundate s- r putea sa fie nevoie sǎ vǎ întâlniui cu

persoane care au cunoçtinue bogate referitoare la program çi care vǎ pot ajuta cel mai
bine sǎ rǎspundeui la întrebǎrile de evaluare. În general, grupurile principale care
sunt inclus în eçantion sunt:
 Beneficiarii programului;
 Factorii decizionali;
 Managerii de program;
 Implementatorii programului;
 Alui factori interesaui care au impact direct sau indirect asupra programului.

În cazul proceselor de colectare a datelor calitative cele mai frecvent folosite metode
de eçantiona e s t m todel non-probabilistice. Scopul interviurilor aprofundate
sau al focus grupurilor este de a obuine informauii despre implementarea sau impact
politicii/programului de la persoanele cu cele mai bogate cunoçtinue în domeniul
respect v. In acest sens, met a de eçantionare rauionalǎ va fi cea mai potrivitǎ
deoarece evaluatorii, adesea în urma consultǎrilor cu cli nuii sau factorii interesaui,
vor decide care grupuri uintǎ pot furniza informauii intrinsece evaluǎrii.

Decizia priv ind câte intervi i sau grupuri sunt neces implicǎ o echilibrare a
costurilor çi a nevoilor de info are ale evaluǎrii. În mod obiçnui puteui avea nevoie
de cel puuin douǎ focus grupuri pentru o variabilǎ. Cu toate acestea, chiar dacǎ aveui
mai multe grupuri concluziile sunt d obicei limitate la indivizii car au luat parte la
focus grupuri. Pentr nterviurile aprofundate s-ar putea sǎ aveui nevoie sǎ vǎ
întâlniui cu mai mului oameni pentru a observa tendinuele çi modelele de
comportament. Î general, u va fi neces sǎ desfǎçuraui prea multe interv uri sau
focus grupuri pentru a observa cǎ nu mai primiui informauii noi de la res ondenui. În
majoritatea cazurilor, rauionamentul se va baza pe o combinauie de factori inclusiv
resursele disponibile, nevoile de informare çi situauiile specifice.
 72

Metode de analizǎ a datelor calitative

Dat e calit tiv sun informauiile colectate într-o formǎ non-numericǎ. Exemple de
astfel de date sunt: transcrieril interviurilor, note privind domeniul {note luate în
domeniul care este studiat), înregistrǎri video, audio, imagini, documente {rapoarte,
p ocese verbal ale întâlnirilo , e-mail-uri). Cele mai des întâlnite forme ale datelor
calitative sunt c anume au afirmat s u au fǎcut oamenii, ca un f de explic uie,
precum çi o înuelegere sau interpretare a persoanelor çi situauiilor care sunt evaluate.

Ce mai obiçnuitǎ analizǎ a datelor calitative este impresia observatorului. Experuii

examineazǎ datele, le interpreteazǎ çi îçi formeazǎ o impresie pe care apoi o
raporteazǎ într-o formǎ structuratǎ çi uneori cantitativǎ.

Idee este de a analiza conuinutul care este semn icativ ç simbolic al datelor
calitative. De exem lu, pe dur a analizei notelor din interviuri este important sǎ se
afle rǎspunsuri asupra urmǎtoarelor întrebǎri:
 Interpretarea respondentului asupra situauiei;
 De ce are un anumit punct de vedere;
 Care este atitudinea sa asupra situauiei;
 Cum se identificǎ sau clasificǎ pe sine însuçi sa p alui prin c ce spune.

Existǎ douǎ abordǎri principale „opuse” pentru a documenta interpretarea cu metode

d analizǎ a datelor calitative: abordarea studiu de caz non-cantitativǎ çi
nestructuratǎ çi abordarea structuratǎ privind analiza conUinutului care genereaz
date cantitative. Existǎ ulte alte metode de analizǎ a datelor calitative care combinǎ
ambele abordǎri, precum analiza tematicǎ, descrisǎ mai jos.

Analiza de conUinut este o metodǎ de analizǎ c itativǎ a

comportamentelor/tendinuelor. Aceastǎ abordare sistem icǎ limiteazǎ efectele
distorsiunii analistului. Este tehnica preferatǎ pentru analiza interviurilor semi-
struct ate. Acest tip de analizǎ poate fi folos t pentr întrebǎri cu rǎspuns deschis,
care au fost adǎugate chestionarelor în sondaj e canti ive voluminoase, permiuând
astfel cercetǎtorului sǎ cuantifice rǎspunsurile. Rezultatul analizei de conuinut este
transformarea documentului non-cantitativ în date ntitative.
cu cel al datelor de
Modul de prezentare a rezultatelor este de obicei similar
anchetǎ/sondaj. Prin fo osirea acestei metode cercetǎtorul trece în mod sistematic
prin ecare transcriere, atribuie coduri, care pot fi numere sau cuvinte, trǎsǎturilor În
specifice în cadrul textului {vezi Exemplul 22). Cercetǎtorul poate are deja o listǎ de
tegorii sau poate cr a catego ile citind datele (categorizarea datelor). Unii
cer etǎtori folosesc ambele abordǎri.
cazul analizei de conuinut din cercetǎrile privind çtiinuele sociale aceasta poate
implica cât d des apar anumite cuvinte sau fraze. În analiza polit ǎ, analiza
c nuinut poate implica identificarea reuelelor de comunicare, preferinue, tipare de
votare etc.

Gǎsirea temelor este una dint e principalele pǎrui ale metodelor de analizǎ a datelor
calitative. Primul pas în cadrul procesului de gǎsire a temei este categorizarea
datelor. Asta înseamnǎ identificarea pǎruilor din text {sau din imagini) çi etichetarea
 73

acestora pentru a indica faptul cǎ ele sunt exemple ale anumitor idei tematice. Acest
proces permite cercetǎtorilor cǎ colecteze rapid toate textele çi celelalte date asociate
cu anumite idei tematice, astfel încât sǎ poatǎ fi analizate împreunǎ çi sǎ poatǎ fi
realizate comparauii ale diferitelor cazuri.

Analiza î cepe cu categorizarea de hisǎ: ana stul citeçte textul çi încercuieçte ceea
ce par a fi termenii, eveniment le sau acui nile cheie. O notǎ scurtǎ explicativǎ este
scrisǎ lângǎ cerc {nu çi în acest exemplu din motive tehnice). Aceste note sunt
d scut ate m ai tâ rziu între analiçt i cu sco pul d e ac rea o listǎ odare cucuvin et ch
e i
po r ivit e. L ista d e codare de o bic ei rezum ǎ acuiu nile çi evenime tnele desfǎç urat
e
anterior în categorizǎ ile deschise. În acest exemplu lista de categorizare/codare ar
putea fi:
 Creçtere a activitǎuilor,;
 Pesimism;
 Intenuii bune;
 Speranua pentru îmbunǎtǎuire;
 Sentimentul de implicare.

Pentru o codare mai facilǎ textul poate fi tipǎrit folosindu-se spauierea dublǎ, astfel
încât sǎ se poatǎ scrie ideile codat çi etichetele între rânduri.

Crearea listei de categorizare pare mai uçoarǎ çi mai eficientǎ din punct de vedere al
timpulu i d cât st în realit ate. Ch iar dacǎ s u ile de dat ep ntru analiza de conuinut
sunt m ai re du se dec ât c ele p entru ab ordǎrile cantitative, e el a u tendinua de a fi foart
lungi çi necesitǎ examinǎri intensive, o înuelegere çi un mod de lecturare/interpretare
care doar fiinuele umane le posedǎ. Este importan pentru analiçti sǎ îçi planifice o
perioadǎ de timp adecvatǎ pentru aceastǎ activitate a primelor analize a datelor
 74

calitative. Chiar çi acest pas de început, m i uçor, implicǎ un

interpretare, mai ales atunci când mai mului analiçti codeazǎ datele. anumit nivel de

Pentru a nu fi cop çit de volumul mare de date çi documente analitice, analistul

trebuie sǎ se organizeze. Acest lucru poate fi efectuat în douǎ moduri: manual çi cu
ajutorul computerului.

Î cad l categorizǎrii datelor manual, notele çi interviurile sunt transcrise, iar

transcrierile çi imaginile sunt copiate. Cercetǎtorul foloseçte apoi fiçiere, dulapuri de
îndosariere pentru a colecta materialele într-un singur loc care sunt exemple de teme
similare sau idei analitice. De obicei este necesar sǎ se facǎ op multiple ale datelor
originale, deoarece aceleaçi date pot reprezenta douǎ sau mai multe teme sau idei
analitice. Aceastǎ abordare oferǎ posibilitatea de a re-verifica çi a examina contextul
mai larg în care datele au ap ut.

Din ce în ce mai mului cercetǎtori preferǎ sǎ nu mai foloseascǎ sistemul de îndosariere

çi preferǎ software-ul Computer Assisted Qualitat ve Da Analysis {CAQDAS), c re
este folosit pent u a cǎuta, organiza, categoriza çi adnota date de tip text sau vizuale.
Existǎ douǎ tipuri principale de programe disponibile pentru analiza textualǎ:
1 S c re c autǎ, organizeazǎ çi adnoteazǎ datele textu le pentru viito rele
analize calitative çi/sau cantitative {CAQDAS);
2. Software care an alizeazǎ datele textuale prin evaluarea statisticilor textuale çi
conc rdanuele çi/sau desfǎçurarea unor analize de conuinut bazate pe
dicuionare {CatPac, Concordance etc.)
Urmǎtorul pas dupǎ co are çi ca gorizare es te înUelegerea analiticǎ, de c sunt
lucrurile aça cum le-au descoperit cer tǎtorii. Procesul de interpretare a datelor în
termeni de teme/concepte/idei/interacuiuni/pr ocese trebuie realizat de cǎtre analist.
El/ea p gǎteçte rapoartele în care rezumǎ rǎspândirea codurilor, discutǎ
asemǎnǎrile çi deosebiri e priv toare la codurile asociate din surs /contexte original
diferite, sau comparǎ relauia dintre coduri. Nu existǎ alt software care sǎ desfǎçoare
aceastǎ activitate decâ crei ul um .

Analiza de conuinut este o tehnicǎ facilǎ çi nu necesitǎ foarte mult timp. Dar ca çi alte
tehni , aceasta are çi ea dez vantajele sale. Rezult le pot fi destul de “grosiere” çi
subiective. Chiar çi pentru datele narative, folosirea exclusivǎ a a alizei de conuinut
nu este o abordare satisfǎcǎtoare. Analiza de conuinut este un bun început, dar nu este
suficient.

Criticii adesea subliniazǎ faptul cǎ procesul de codare cautǎ sǎ transforme datele

calitative în date cantitative, çi prin urmare, datele îçi pierd din bogǎuia de informauii
çi din trǎsǎturile individuale. Analiçt i rǎspund aces ei critici prin expunerea
definiuiilor lor cu privire la coduri çi explicǎ anumite trǎsǎturi ale datelor.

An liz datelor ali ative nu este mereu bazatǎ pe codarea çi numǎrar a datelor.
Poate fi un proces de reflectare. În acest caz, analiza datelor tinde sǎ d vinǎ o
activitate permanentǎ pe tot parcursul procesului de colectare a datelor. Cercetǎtorul
în caz d nevoie include în analizǎ teme noi, adaptând çi schimbând metodele dacǎ
este necesar.
 75

De exemplu, cercetǎtorul a susuinut trei interviuri, conform planificǎrii din calendarul

interviurilor. Cu toate acestea, pe parcu u interviurilor descoperǎ cǎ participanuii
un probleme la care nu se gândise în prealabil. Aça cǎ cercetǎtorul îçi structureazǎ
programul int er vi ur ilo r pe ntru a include ac est e prob lem în urmǎt oare el in
ter viuri.
Astfel, înseamnǎ cǎ cercetǎtorul desfǎçoarǎ o analizǎ a datelor în timpul procesului de
colectare a datelor.

Analiza tematicǎ este metoda de an li ǎ a datelor calita ive în cadrul cǎreia oamenii
vorbesc despre experienuele lor. Analiza tematicǎ se concentreazǎ pe teme uçor de
identificat çi tipare de trai çi/sau comportament. Analiza tematicǎ adesea este folositǎ
pentru a aliza dat e colectate de la focus grupuri..

Primul pas este colectarea datelor. Cel mai bun mod este de a înregistra sesiunile
{interviuri etnografice, focus grupuri) çi apoi id ntificarea tiparelor de experienuǎ
folosind citate directe sau parafrazând ide i com une.

Al doilea pas este identificarea tuturor datelor care au legǎturǎ cu tiparele deja
clasificate.

Al tr lea pas este combinar çi catalogarea tipar l r asociate în te {subiecte de

conversauie, vocabular, înu lesuri, sentimente etc.). Temele f rmate în urma
poveçtilor expuse de cǎtre respondenui sunt puse cap la cap cu scopul de a crea un
context al experienuei lor colective.

Al patrulea pas dupǎ ce temele sunt combinate într-un cadru cuprinzǎtor este de a
obuine fe dba k din partea informatorilor.
C l de-al cincilea pas este stabilirea unu argument valid pentru alegerea temelor.
Lecturarea literaturii de specialitate este implicatǎ aici, deoarece cercetǎtorul obuine
aprobǎril privi are la informau ile obuinute î cadrul interviurilor sau al sesiunilor
d terapie. Odatǎ temele colectate çi literatura studiatǎ, cercetǎtorul e pregǎtit
pentru a formula declarauiile privind temele pentru a genera un fir al poveçtii.

EXEMPLUL 23. Primii doi pa3i ai analizei tematice

O familie a fost intervievatǎ pentru a înUelege mai bine experienUa lor cu sistemul juridic
privind delicvenUa juvenilǎ. Întregul interviu a fost transcris. Primul tipar de experienUǎ
pus pe listǎ au fost diferitele explicaUii de la diver3i membri ai familiei cu privire la
motivul pentru care tânǎrul familiei a fost arestat. Cel de-al doilea tipar a fost
atitudinea fiecǎrui membru al familiei cu privire la ceea s-a întâmplat. Apoi tot ceea ce
se încadra în tiparul specific era identificat 3i plasat în dreptul tiparului corespunzǎtor.
De exemplu, fiecare membru al familiei î3i numea într-un fel sau altul "atitudinea" în
timp ce vorbea. Tatǎl a afirmat cǎ este "iritat", mama a spus cǎ este "protectoare", iar
fiul a zis cǎ "I-a pǎrut rǎu pentru ce a fǎcut".

Aça cum a fost menuionat mai devreme, studiul de caz st o metodǎ nest ct ratǎ
de analizǎ a datelor calitative. Cr ticii estei metode considerǎ cǎ studiul unui numǎr
mai redus de cazuri nu poate fi o bazǎ pentru stabilirea nivelului de încredere al
 76

constatǎrilor çi prin urmare este utilǎ doar sub forma ui instrument de

documentare. Cu toate acestea, este des folositǎ cu succes în evaluare a politicilor.

Studiul de c este o înuelegere aprofundatǎ a procesului, evenim ntu i sau s uauiei.

Aceastǎ m odǎ este adecvatǎ în cazurile î c re întrebarea de evaluare înseamn
descoperirea fundamentului unui proces din cadrul unui grup redus de participanui
sau chiar individual, emiterea unor concluzii doar despre ac l participant sau grup çi
fǎrǎ a generaliza. Studiile de caz nu demonstreazǎ ipoteze çi u generalize ǎ
adevǎrul. Nu încearcǎ sǎ gǎseascǎ relauiile cauzǎ-efect dar pun accentul pe explorare
çi descriere. Cu toate acestea, pe baza analizelor aprofundat ale problemelor
concrete, studiile d caz pot sugera direcuii pentru cei care formuleazǎ politici pentru
îmbunǎtǎuirea procesului de implementare a politicilor.

Metode de analizǎ a datelor cantitative

Datel au o semnificauie pentru client doar dupǎ ce sunt int pretate çi comunicate în
mod efici t în conformitate cu interesele cl ntului. Un volum prea mare de date
dezorienteazǎ cititorul çi poate crea confuzie în perceperea rezultatelor. Adesea
datele statistice extensive sunt incluse ca anexe ale evaluǎrii. Existǎ trei tipuri
principale de date:
 Date fracUionare/numerice sunt cifre “reale”. Aceste date permit efectuarea
diverselor operauii matematice, de exemplu, volumul de beneficii sociale
acordate fiecǎrei gospodǎrii pe lunǎ;
 Datele nominale prezi tǎ date calitati e codate în cifre çi s vesc drept
abrevieri ale informauiilor. Acele c fre nu au nici un înueles de sine stǎtǎtor, de
exemplu, 1=cǎsǎtorit, 2=necǎsǎtorit, 3=divoruat;
 Datele ordinale prezintǎ date calitative codate în cifre, dar diferenua fauǎ de
datele nominale este aceste cifre au un înueles. Cu toate acestea, ele nu pot fi
folosite pentru calcule, de exemplu, 1=foarte satisfǎcut de servicii,
2=s isfǎ ut, 3= arecum satisfǎcut, 4=nesatisfǎcut.

În majoritatea cazurilor de cercetare analiza datelor cantitative implicǎ trei paçi

maj ori:
 Organizarea datelor pentru analizǎ {pregǎtirea datelor);
 Descrierea datelor {statisticǎ descriptivǎ);
 Testarea ipotezelor çi modelelor {statisticǎ inferenuialǎ).

Pe parcursul pregǎtirii datelor - prim l pas al analizei datelor - datele sunt

introduse, verificate din punct de veder al acurateuei, transformate çi transpuse în
baza de date care integreazǎ diverse mǎsuri de performanuǎ, adecvate întrebǎrii de
evaluare. În cadrul rapoartelor de evaluare partea legatǎ de procesul de pregǎtire a
datelor trebuie sǎ fie scurtǎ çi sǎ se concentreze doar pe aspectele unice ale studiului.

Difer i indicatori de obicei mǎs arǎ nivelul de realizare al rezultatelor

imediate/rezultatelor programului/politicii d s. Asta înseamnǎ cǎ pe parcursul
activitǎuii de M&E obuineui o cantitate mare de variabile diferite. Statistica vǎ permite
sǎ descrieui ac t set de date çi sǎ emiteui declar ii çi judecǎui cu privire la o populauie
din datele de eçantion, precum çi eficacitatea politicii. A easta este sarcina
 77

urmǎtorilor
inferenuialǎ. paçi în ceea ce priveçte analiza datelor: statisticǎ descriptivǎ çi

Statistica descriptivǎ ste folositǎ pentru a d scrie ce an ume prezintǎ datele.

Furnizeazǎ rezumate ale diferitelor mǎsuri ale eç ntionului. St tistica descriptivǎ
poate fi exprimatǎ sub forma diferitelor grafice sau tabele çi est e baza oricǎrei analize
cantitative a datelor. Volumul de rezultate poate fi mare çi dificil de înueles, prin
urmare, adesea este organizat în tabele çi grafice rezumat care prezintǎ doar
informauiile cele mai relevante.

Existǎ trei trǎsǎturi majore care sunt folosite în statistica descriptivǎ pentru a descrie
trǎsǎturile variabilelor:
 distribuuia,
 tendinua centralǎ,
 dispersia.

Aceleaçi trǎsǎturi sunt folosite çi pentru orice tip de descriere în cazurile în care
anticipaui anumite tipare în viitor, inclusiv în cazul studiului de impact ex-ante
privind politicile.

DistribuUia of rǎ o bunǎ imag e generalǎ asupra unor observauii numeroase a e

unei singure variabile. Distribuuia d frecvenue este distribuuia pe categori Este utilǎ
pentru a prezenta datele nominale sau ordinale, de exemplu, rezultatele privind
satisfacuia clienuilor. Distribuuia procentualǎ este de exemplu listarea numǎrului sau
proce tului de elevi de l fiecare nivel de învǎuǎmânt. Distribuuiile pot fi prezentate
folosindu-se grafice sau tabele.

Existǎ aproximat v 20 de tipuri diferite de distribuuie, dar cel mai des întâlnit este a
numita distribuuie normalǎ. Înseamnǎ cǎ re majoritate a datelor sunt localizate
aproape de medie çi cu cât ne îndepǎrtǎm mai mult de medie, cu atât existǎ mai
puuine mǎsurǎtori. Multe dintre mǎsurǎtorile din viaua realǎ sunt dist ibuite normal -
înǎluime, greutate, scor de test, venit etc., çi graficul datelor are o curbǎ în formǎ de
clopot.

Tendin Ua centralǎ prezintǎ “centrul” setului de date:

-media este o valoare sau sumǎ medie a n numer divizate la n. O medie este o
mǎsu ǎ utilǎ deoarece est relativ de încredere în sensul cǎ mediile multor
eçantioane din cadrul aceleiaçi populauii de obicei nu au fluctuauii prea mari.
Nu se aplicǎ în cazurile când setul de date are multe valori, care sunt departe
de “centru” {valoare aberantǎ). În acest caz o mǎsurǎ mai bunǎ a tendinuei
centrale este mediana.

-mediana ste punctul de mijloc al unu set de d e. Pentru descoperi

mediana, datele trebuie aranjate de la cele cu valorile cel mai mici la cele cu
valorile cele mai mari, iar abia apoi aflaui care valoare este situatǎ exact la
mijloc. Mǎsurare medianei poate fi utilǎ atunci cân datele includ valori
foarte mici sau foarte mari, care ar putea distorsiona media.
 78

EXEMPLUL 24. Venitul mediu 3i median

Într-o Uarǎ care are o clasǎ de mijloc slab dezvoltatǎ 3i cu foarte puUini oameni bogaUi
calcularea venitului mediei pe lunǎ nu prezintǎ o imagine realǎ. Valoarea medie a
venitului pe lunǎ va fi mai mare decât venitul median pentru cǎ venitul foarte mare este
o valoare aberantǎ, care distorsioneazǎ imaginea generalǎ. A3a cǎ în schimb, folosirea
venitului median prezintǎ punctul de mijloc al tuturor veniturilor 3i nu este distorsionat
de valori foarte mari.

-modul este def nit rept valoarea care ap e cu cea mai mare frecvenuǎ çi mai
des decât o singurǎ dat De exemplu, d acǎ doriui sǎ aflaui care est ca rtea
preferatǎ a copiilor de grǎdiniuǎ, în cadrul evaluǎrii p uteui folosi valoarea m od.

Pentru aluarea de bazǎ a politicii/p gramului timarea sumelor totale, mediilor,

vǎ va permite sǎ analizaui suficient datele. Aceste proceduri simple explic ǎ rezolvǎ
probleme çi sunt uçor de înueles de cǎtre majoritatea factorilor interesaui.

Dacǎ dat au o calitat bunǎ rezonabi ǎ çi sunt raportat în o clar, este posibil ca
mǎsurile d statisticǎ descriptivǎ d scrise mai jos sǎ nu fie necesare. Cu toate acestea,
programele mari {de exemplu dezvoltare regionalǎ) sau modificǎrile majore de
politicǎ {de exemplu reforma privind impozitul) pot necesita folosirea acestor mǎsuri.

Dispersia se ref ǎ la extinderea valorilor în jurul tendinuei centrale. Existǎ douǎ

mǎsuri comune de dispersie: amplitudinea çi abaterea standard.
 Amplitudinea este pur çi simplu cea mai mar valoare minus valoarea cea m
icǎ. De exemplu, dacǎ cel mai vârstnic pacient din spital are 87 de ani çi ce
mai tânǎr are 10 ani, atunci amplitudinea privind vârsta pacienuilor din spital
este de 77 de ani.
Abaterea standard prezintǎ cât de împrǎçti te sunt valorile într-un anumit
t de da din jurul mediei. Abaterea standard este sensibilǎ la valori, care
 sunt foarte departe de centru {valori aberante). O singurǎ valoare aberantǎ
poate ridica abaterea standar çi poate distorsiona imaginea împrǎçti rii.
Dacǎ toate valorile unui set de date sunt la fel, abaterea standard este zero
{deoar ce fiecare v oare este galǎ cu media). Dacǎ multe puncte de date sunt
departe de medi , atunci abaterea standard este mare. Pe de altǎ parte, dacǎ
multe puncte de date sunt aproape de valoarea medie, atunci abaterea
standard te redusǎ. Abaterea standard este primatǎ în aceleaçi unitǎui ca çi
datele. Acele valori pot fi calculate folosindu-se SPSS software.
Pentru un set de date dis ribuit normal, regula empiricǎ afirmǎ cǎ în jur d
68% dintre valorile selectate dintr-o distribuuie n malǎ sunt cu o abatere
standard mai departe de medie, 95% dintre valori sunt cu douǎ abateri
standard, iar 99,7% cu trei abateri standard.
 79

EXEMPLUL 25. Abaterea standard a venitului mediu

Dacǎ 3tim cǎ pentru o populaUie venitul mediu este de 50.000 EUR 3i abaterea standard
este 10.000 EUR, putem spune cǎ 68% din populaUie are un venit între 40.000 3i 60.000
EUR. 95% din populaUie ar avea venituri între 30.000 3i 70.000 EUR. Astfel, dacǎ am fi
întrebaUi care este probabilitatea ca o persoanǎ din aceastǎ populaUie sǎ aibǎ un venit
ce depǎ3e3te 70.000 EUR, am estima cǎ trebuie sǎ fie în mare de 2,5 % 3anse (pentru cǎ
5% au venituri care depǎ3esc intervalul 30.000 – 70.000 EUR).

Deçi abaterea st nd ard este o ǎsurǎ tilǎ pentru clarifica cât de diferite sunt
rǎspunsurile la o anu mitǎ întrebare, este dificil de determinat dacǎ abaterea standard
este micǎ sau mare, fǎrǎ a o compara cu volumul eçantionului. Pentru a interpreta
m itudinea relativǎ a abaterii standard t buie împǎruitǎ la m di . Asta reprezintǎ
aça numitul coeficient de variaUie. De exemplu, dacǎ media este 0,5 çi ab terea
standard este 0,2 atunci coeficientul de variauie este 0,2/0,5 = 0,4. Aratǎ cǎ valorile
sunt larg împrǎçtiate {40%) în jurul valorii med .

Pe parcursul evaluǎrii reformelor semnificative privind politicile, precum çi pe

p r rsul v uǎrii programelor transversale, urmǎtorul p dupǎ statis ica
descriptivǎ este descoperirea c uzalitǎui çi nivelului de influenuǎ ale anumitor factori
asupra rezultatului açteptat al politicii. Aceastǎ sarcinǎ poate fi realizatǎ prin
folosirea ultimului pas - cel mai complicat pa al analizei datelor - statistica
inferenUialǎ. Stat stica inferenuialǎ asupra datelor de eçantion vǎ pot ajuta sǎ gǎsiui
puns ri la întrebǎrile legate de modul în care factori diferiui care influenueazǎ
rezultatul politicii sunt legaui între ei, care dintre factori are o influenuǎ mai mare,
care factor nu este importan pentru atingerea obiectivelor politicii.

Existǎ mai multe teste statistice {testul-t, testul-z), care pot fi folosite pentru a
rǎspunde la întrebarea dacǎ douǎ sau mai multe variabile sunt asociate sau
independente. Alegerea testelor depinde de tipul datelor, precum çi de numǎrul çi
tipul eçantioanelor.

De obi i, valuatorul testeazǎ într bǎrile de cercetare specifice u ipot zele prin
diferite metode {regresie, corelauie, analiza variauiei {ANCOVA), analiza factorilor
etc.). Acestea indicǎ cât de probabil este ca relauia sau asocierile descoperite în datele
de eça tion sǎ descrie trǎsǎturi ale p pulauie din cadrul cǎreia s-a selectat
eçantionul, sau dacǎ, în termeni statistici, constatǎrile sunt semnificative.

Astfel, folosim statist a inferenui ǎ pentru a f e deducuii {concluzii) din datele

noastre cǎtre condiuii i generale; f osim statistica descriptivǎ doar pentru a
descrie ce anume se întâmplǎ în datele noastre.

Una dintre cel mai des folosite metode pentru a descoperi cauzalitatea diferiuilor
factori care pot influenua rezultatul unei politici/program este analiza prin regresie
multiplǎ. Scop l a steia este de a descop ri uauia liniei care se potriveçte ce mai
bine pentru a descrie dispersia setului de date çi prin urmare sǎ descrie situauia
constatǎrilor cu cea mai redusǎ eroare. Regresia multiplǎ poate fi folositǎ în toate
tipurile de modele de evaluare: experimente, cvasi-experimente, non-experimente.
 80

Punctu forte al acestei metode este de a demonstra puterea variabilelor, c re

fluenueazǎ direct rezultatul politicii, de a exclude variabilele care influenueazǎ
indirect rezultatul politicii {factori externi diferiui) çi de a descoperi cauzalitatea cu
c a i micǎ eroare standard posibilǎ, ceea ce dicǎ cât de mult poate var a u
parametru estimat fauǎ de valoarea realǎ. A unci când eroarea standard este micǎ în
relauie cu dimensiunea parametrului estimat, coeficientul este semnificativ din punct
de vedere statistic.

Înainte ca cercetǎtorii sǎ aplice regresia multiplǎ, echipa de evaluare, împreunǎ cu

factorii interesaui çi cercetǎtorii trebuie sǎ de dǎ car va i bile p fi cele mai
semnificative çi pri urmare mǎsurabile în diferite modele de regresie. Urmǎtoru pas
este de a elabora un model statistic. Acest model conuine un set al tuturor variabilelor
care influenueazǎ dire ct rezult ul politicii, factorii exte i ç eroarea de mǎsura e.
Într-o situauie idealǎ, beneficiarul participǎ la o întâlnire iniu alǎ cu cercetǎtorii,
oferindu-le o imagine clarǎ asupra nevoilor sale çi asupra “destinului” constatǎrilor
ev uǎrii. Aça cum a fost menuionat în capitolele a terioa e, constatǎril v fi folosite
d ar dacǎ clientul le poate vedea utilitatea în viitorul proces de formulare
politicilor. Având în vedere cǎ cel care are cunoçtinue vaste legate de intervenuia
guvernamentalǎ supusǎ evaluǎ ii este clientul, acesta poate ajuta cercetǎtor printr-
un schimb de experi nuǎ reciproc, privind posibilele rezultate ale politicii çi factorii
care le influenueazǎ cel mai mult.

EXEMPLUL 26. Regresia asupra factorilor privind rata natalitǎUii

De exemplu, rata natalitǎUii în Uarǎ depinde de volumul de beneficii pe care mamele le
primesc, de norma de lucru flexibilǎ pentru mamele care lucreazǎ, disponibilitatea
cre3elor 3i alUi factori. Sǎ presupunem cǎ cei care formuleazǎ politicile doresc sǎ 3tie
care factor influenUeazǎ rata natalitǎUii cel mai mult. Prin folosirea analizei de regresie
multiplǎ se descoperǎ care este funcUia care coreleazǎ toUi ace3ti factori. Atunci când
vom 3ti ecuaUia putem anticipa volumul de beneficii optim pentru a cre3te rata
natalitǎUii.

EXEMPLUL 27. Regresie multiplǎ linearǎ pentru politica de integrare a delicvenUilor

Întrebare de evaluare. În ce mǎsurǎ se explicǎ durata pedepsei prin vârsta
delicventului, numǎrul de antecedente penale 3i educaUia sa?
Cercetǎtorii au folosit matricea de date privind vârsta delicvenUilor, numǎrul de
antecedente penale 3i educaUia acestora 3i folosirea pachetului statistic pentru a simula
diferite ecuaUii de regresie pânǎ când au ajuns la cea mai potrivitǎ (în cadrul limitelor
erorii standard acceptabile).
Rezultatele regresiei
Pedeapsǎ = -17,97 + 0,96 (vârsta) + 0,52 (antecedente)+ 0,14 (educaUie)
Durata anticipatǎ a pedepsei pentru un delicvent de 23 de ani cu 3 antecedente 3i
educaUie pânǎ la clasa a 9a licealǎ:
Pedeapsǎ = -17,97 + 0,96 (23) + 0,52 (3) + 0,14 (9)
Pedeapsǎ = 6,93 ani
 81

Ca majoritatea statisticilor, puteui folosi rezultat le regresiei multiple în diferite stadii

ale evaluǎ i politicii. Prin folosirea datelor de bazǎ este posibil sǎ se anticipeze
tiparul variabilelor conectate reciproc çi mai târziu pentru a le folosi pentru
anticiparea posibilelor rezultate ale politicii {vezi exemplele de mai sus çi mai jos).
Comunicarea analizei, judecarea datelor

Indiferent met dele folosite în analiza datelor, raportul de evaluare trebuie sǎ

punǎ în idenuǎ constatǎrile din trei perspective separate:
 Semnificauia statisticǎ,
 Punctele forte ale relauiei sau corelauiei {asociere),
 Cauzalit tea.

În statisticǎ „foarte semnificativ” înseamnǎ cǎ este foarte probabil sǎ fie adevǎrat, dar
asta nu înseamnǎ cǎ este mere foart impo tant. Cel mai obiçnuit nivel, folosit
pentru a preciza cǎ c este destul d bun pentru a fi credibil este .95. Ast înseamnǎ
respectiva constatare are 95% çanse de a fi adevǎratǎ. Cu toate acestea, software
statistic pe durata calculelor vǎ vor arǎta „0,05” asta însemnând cǎ respectiva
constatare are 5% çanse de a nu fi adevǎratǎ.

Existǎ în principiu cinci tipuri de co arauii care pot fi utile pentru a prezenta
constatǎrile evaluǎrii:
1) componentele sau proporuiile temei evaluate,
2 numǎrul de itemi sau diferenue
4)
3 frcorelauiile
ecvenua ddintre
istribuvariabile
uiilor trǎsǎturilor

5) seriile temporale sau tendinuele pen ru u item.

Diagramele circulare sunt cele mai potrivite pentru a ilustra proporuiile, diagramele
verticale pentru itemi, histogramel çi di ramele punct pentru distribuuiile de
frecvenuǎ, di grama de dispersie pentru corelauie, curbele seriilor temporale
tendinuele datelor. Tabelul 9 furnizeazǎ cea mai adecvatǎ descriere graficǎ pentru
cele mai obiçnuite comparauii folosite în rapoartele de evaluare.
 82

Tabel 9. Tipologia Altman a graficelor

Tipul de Cuvinte cheie Forma Graficǎ ComparaUii tipice

comparaUie

Contribuuie Diagr ǎ Proporuia venitului fiscal

Componenta rte circularǎ pe surse major
P oporuie - % din populauie în zone
- Procentaj di n total urb ne, rurale
Item - Itemul A mai Diagramǎ - Numǎrul angajauilor pe
asemǎnǎtor/mai verticalǎ departament
asemǎnǎtor decât B - Venit fiscal d n surse
D
Diis
fetrreibnuueuie majore
Distribuuia -CVoarnicaeuie
ntrauie H stogramǎ - dNiufemriǎtreulclfamiliilor
e de vendin it
frecvenuei - Frecvenuǎ relativǎ Diagramǎ punct - Distribuuia administrauiilor
jausduepr
ueanperpoepraietatǎduiei impozit

- Numǎrul angajauilor la stat

Corelauie - A este legat de B Diagramǎ de în comparauie cu volumul
populauiei statul i
- A creçte sau descreçte pe dispersie - Cheltuielile consumatorilor
B

cresc c venitul disponibil

Seriile T dinue Serii temporale - Schimbǎri în bugetul de
temporale când stat anual
- De la pânǎ la - Vari ii sezoniere în nivelul
- Verbe precum a fluctua, a çomajului
schimba

Sursa: Altman S., «Teaching Data Analysis to Individuals Entering the Public Service», Journal of Urban
Analysis 3, octombrie 1976.
 83

EXEMPLUL 28. Planul de analizǎ pentru evaluarea impacturilor micro-creditelor

debitorilor de gen feminin

Întrebare de evaluare 1: Care este impactul programului privind venitul dobândit al

femeilor?

Ipotezǎ: Femeile care participǎ la program vor avea un venit dobândit mai mare decât
cele care nu participǎ.

Variabile: Femeile care au primit împrumuturi 3i femeile care nu au primit, venitul

dobândit, vârsta, educaUia, experienUǎ anterioarǎ de conducere a unei afaceri.

Analiza 1: Compararea mediei venitului dobândit al femeilor care au primit 3i care nu

au primit împrumuturi prin proiect (teste-t pentru diferenUa mediilor).

Analiza 2: Analiza de regresie multiplǎ pentru a testa dacǎ existǎ o diferenUǎ în venitul
dobândit pentru participanUi 3i non-participanUi dupǎ analiza vârstei, educaUiei 3i
experienUei anterioare de conducere a unei afaceri.

Întrebare de evaluare 2: Evaluarea impactului programului asupra sentimentului

femeilor de afirmare personalǎ.

Ipotezǎ: Femeile care au participat în program vor avea un sentiment mai puternic de
auto-afirmare decât femeile care nu au participat.

Variabile: Femeile care au participat în program 3i cele care nu au participat (notǎ:

participarea va fi definitǎ ca variabilǎ da/nu 3i în termenii numǎrului diferitelor servicii
primite – împrumuturi, cursuri de formare, sprijin tehnic, întâlniri în cadrul grupurilor
etc.) nivelul de afirmare profesionalǎ.

Analiza 1: Tabel cu douǎ secUiuni care comparǎ participare/non-participarea cu scorul

pe o scarǎ de afirmare de 5 punct. Vor fi folosite testele de contingenUǎ 2 sau similare.

Analiza 2: Tabel cu douǎ secUiuni care comparǎ douǎ variabile ordinale: scorul pe
scara de afirmare de 5 puncte 3i numǎrul serviciilor primite prin program (1 la 5). Teste
de contingenUǎ pentru compararea a douǎ variabile ordinale.

Sursa: Fink, A. 2003c How to manage, Analyse, and Interpret Survey Data. Vol.9. The survey kit,
Thousand Oaks, CA:Sage
 84

Pasul 5. Crearea unui format potrivit pentru constatǎrile evaluǎrii

Principii cheie

Cl entul va utiliza rezultatele proc sului de evaluare - cons atǎri, lecuii învǎuate,
recomandǎri - numai dacǎ va înu lege raportul, va fi de acord cu acesta çi va gǎsi
mijloacele pentru a implementa recomandǎrile conuinute. Pentru a îndeplini aceste
obiective, raportul trebuie sǎ fie scris într-o manierǎ clarǎ çi sǎ includǎ cantitatea de
informauii adecvatǎ.

Mai pr sus de ate acestea, evalu tor trebui sǎ consult diferiui factori interesaui în
ceea ce priveçte conuinutul raportului de evalu re. Procesul de consultare va uçura
înuelegerea raportului de cǎtre factorii interesaui, va creçte gradul de implicare al
acestora çi va influenua nuinutul rapor ului determinând astf o acc ptare mai
rapidǎ a rezultatelor de cǎtre factorii teresaui. Ac st fapt este foarte important
deoarece deseori, pentru ca recoman ǎrile sǎ fie implementate cu succes este nevoie
de acordul factor lor interesaui.

Din pǎcate, obiceiul de a emite judecǎui asupra calitǎuii unui document în funcuie de
mǎrimea sa este des întǎlnit în practicǎ. Deseori, se crede cǎ un aport de evaluare
scurt este de o calitate mai scǎzutǎ. În realitate, situauia stǎ invers.

Un raport de evaluare scurt ç r levant neces tǎ multǎ muncǎ. Deseori, benefici rul
e înd ajuns timp la dispoziuie pentru a citi rapoarte de evaluare foarte lungi, fiind
aproape imposibil sǎ implementeze o listǎ foarte mare de recomandǎri. Evaluarea ar
trebui sǎ ibǎ drept rezultat o schimbare, dar schimbarea oricǎrui sistem este osibilǎ
numai într-o anu itǎ surǎ. Astfel, evaluatorii ar trebui sǎ aibǎ drept scop
furnizarea unui numǎr limitat de recomandǎri cheie - adicǎ, recomandǎrile care sunt
importante çi vor avea un impact mare.

Structura çi stilul raportului

Clarific rea structurii raportului împreunǎ cu clientul, la începutul proces ui d

evaluare va asigura înuelegerea clarǎ a tuturor aspectelor de care clientul este
interesat sǎ le acopere. Aceasta îi va ajuta pe evaluatori sǎ rǎmânǎ concentraui asupra çi
aspectelor heie, çi sǎ structureze rezultatele activitǎuii lo într-o formǎ scrisǎ,
s ab litǎ de comun acord. Pe mǎsurǎ ce procesul de evaluare progreseazǎ, eval torii
clientul pot simui nevoia modificǎrii structurii raportului în lumina concluziilor
evaluǎrii. Ar trebui sǎ facǎ acest lucru de comun cord.

Dupǎ cum am menuionat mai devreme, structura rapoartelor de evaluare depinde de

interesele cl enuilor çi întrebǎrile de evaluare formulate. Stilul rapoartelor d
evaluare trebuie sǎ fie adapt t în funcuie de nevoile clientului de evidenuia anumite
rezultate. Principalele pǎrui ale rapoartelor de evaluare rǎmân la fel în majoritatea
cazurilor {vezi Tabel10).
 85

Tabel 10. Exemplu de posibilǎ structurǎ a unui Raport de evaluare

PrefaUǎ Detalii despre misiunea de evaluare:

copul exerciuiului de evaluare
- Sfera evaluǎrii
Echip de evaluator
Durata exerciuiului de evaluare
- Metodologia exerciuiului de evaluare
e a r
Un rezumat c onci s, menit a furniza de cid uilor cu timp limitat o
I formauii generale referitoare la intervenuia evaluatǎ: nevoile
lecturǎ asu pra celor mai importante idei exprimate în raportul de
iniuiale, obiectivele, principalele activitǎui, buget, grupuri uintǎ etc.
v lua e.
Rezumat executiv
Introducere Ce activitǎui au fost finalizate pânǎ în prezent în cadrul politicii
Descrierea publice evaluate
activitǎUilor
Argumentarea relevanuei intervenuiei pe baza nevoilor societǎuii
Evaluarea posibilelor RelevanUǎ
dimensiuni ale
intervenUiei5
Eficacitate
Desc ierea nivelului de îndeplinire a rezultatelor directe çi a celor
pefictier
E enmUǎen lung
Analiza raportului cost-beneficiu

Implementare
Performanua mecanismului de implementare a intervenuiei:
structuri çi procese

Impact
Analiza impactului intervenuiei
urabilitate
Çansele ca rezu at obuinute sǎ fie de duratǎ
Aprecieri globale referitoare la intervenuie

Concluzii
O listǎ de recomandǎri
Recomandǎri Pot include:
- diferite analize aprofundate ale diferitelor pǎrui ale
Anexe ogr ul i
pr am u
- studii de caz

Ar trebui sǎ i clu :
n dǎ
celor interviev i
Lista documentelor consultate
- Comentarii asupra raportului efectuate de diferiui
factori interesaui şi care nu au fost incluse în raport

5 Nu întotde una evaluǎrile analizeazǎ toate dimensiunile. În cazul evaluǎrilor cauzale, dimensiunea
referitoare la imple entare va conuine câteva subcapitole de analizǎ din diferite aspecte ale
impacturilor asupra mai multor grupuri uintǎ. În cazul evaluǎrilor formative, dimensiunea impactului
nu va fi deloc analizatǎ. Tabelul aratǎ posibile dimensiuni în cazul abordǎrii mixte a evaluǎrii.
 86

Stilul de scr s utilizat de cǎtre evaluatori se referǎ la câteva dimensiuni:

 Cantitatea de informauii incluse în raport
 Descriptiv sau prescriptiv
 Stilul limbajului - frazare, terminologie, ton etc.

Stilul elaborǎrii { Tabel 11) depinde în mod considerabil de scopul iniuial al

exerciuiului de evaluare çi de cititorul cǎruia i se adreseazǎ.

Tabel 11. Caracteristicile Raportului de evaluare în ceea ce priveçte scopul

e ste …scopul raportului

Dacǎ ConsecinUele pentru stilul scrierii vor fi …
… generarea de informauii/ … cantitatea çi tipul de informauii ar trebui stabilite la
activitǎui început, împreunǎ cu clientul. Raportul va dedica o

mare parte inform iilor factuale, iar în aceastǎ parte,

… responsabilitatea
stilul exprimǎrii va fi în principal descr ptiv, fǎrǎ a
emnitue juoduiecǎtui. r apor ulu a info ma i ci în
…eea t privcieçi te prorgramtul. Canutitatear de uin
i foprm
e asuiei va
cfi mare,
c la fel ca çi dimensiunile referitoare la relevanUǎ,

eficacitate tc., ce vor trebui acoperite în detali .

Deoarece raportul are drept scop justifica a modului
de cheltuire a fondurilor, raportul va trebui sǎ fie
foarte descriptiv çi sǎ prezint un punct de veder
echilibr asupra rezultatelor pe termen lung pozitive
çi negative çi o jud catǎ obiectivǎ, detaliatǎ.
Terminologi trebuie sǎ fie accesibilǎ unui p ubl ic la rg;
tonul trebuie s fie obiectiv, frazarea clarǎ astfel încât
orice persoanǎ fǎrǎ cunoçtinue anterioare despre
r ǎ poatǎ î u g s m i ui a eea e se
pfiogmra.m s n le e e fc a c c
… îmbunǎtǎuirea formatului a ǎ
… raportul de evaluare se concentreazǎ asupra ariilor
identificat v
formul zǎ re com nd ri. Fap ele trebu e in cl use num i
… îmbunǎt irea
…
imepvleam
luearnetǎr
a diie rezultate, î ǎ u e î ca aae ân sud t nevo
neceieard
e în mbuunǎtǎuir
a su eineç
impact çi identificarea de afirmauea iile precizate. ǎRaporttul va i i lude astfel oa
t n cnantitaste ra
relantiv scrǎzut ǎnde info rm
s auiipçie vtar fi mai msuul t
prescriptiv decât descriptiv. Limbajul nu trebuie sǎ fie
înueles de publicul larg aça cǎ se poate utiliza
t
erminologie specificǎ.
… o mare parte din raportul de evaluare va fi dedicatǎ
analizei aprofu ate. O m e cantitate de informauii
f
r a r
act a e est ecesarǎ c a ǎ nr u care
ez l t or ç i p t u , çi de a n a pe u
vii oare evoi
u l e n a b z pe t u j de a
… generarea de cunoçtinue, u t el i m ac ul i seme e , nt
formularea de lecuii aprecierea viitoar r nevoi. Raportul va fi foarte
descriptiv. Limbajul va f o combinaui d t rmen
tehnici {necesari p entru dife ritele analize efectuate) çi
comun, deoarece este posibil ca cititorii sǎ fie diferiui.
 87

O c canǎ tip cǎ pentru evaluatori este concentr ea pre mare asupra aspectelor
n gat e ale implementǎrii programului çi impactului. Dacǎ pǎruile pozitive nu
beneficiazǎ de acelaçi nivel de atenuie, existǎ un risc mare ca raportul sǎ nu fie
î tâmpinat cu satisfacu de cǎtre diferiuii factori int esaui çi chiar de cǎtre client.
Acest aspect nu trebuie n lijat. Un raport ca lasǎ clientului un sentiment de
insatisfacuie are puuine çanse de a fi utilizat de cǎtre acesta din urmǎ.

Regula de aur este urmǎtoarea: acele const ǎri çi recomandǎri pe care clientul l
uelege, ac ep ǎ çi le considerǎ utile sunt cele mai importante çi ar trebui evidenuiate
în mod adecvat în cadrul raportului. Acelea care nu întrunesc aceste criterii ar trebui
revizuite de cǎtre evaluator în consultare cu clientul çi pe cât posibil, reformulate
astfel încât sǎ aducǎ clientului o valoare adǎugatǎ realǎ.

Reguli de bazǎ pentru scrierea raportului de evaluare: scrierea de propoziuii clare,

justificarea afirmauiilor explica în mod cl r cititorului
trecut sau care va avea loc în

utilizarea timpurilor verbale adecvate pentru a

datceǎnesgtliejavtorba despre un eveniment p trecut în
viitor. Deçi pare evident, de multe ori acest aspect
enumerarea întotdeauna a aspectelor pozitive

lista constatǎrilor “negative” ar trebui limitatǎ la cele cu adevǎrat importante

La scrierea de recomandǎri:
m nuionarea c larǎ a destinata rului recomandǎrilor. de . “Instit ia x sau
departamentul y ar trebui …”. Recoma dǎrile generice de tipul “Guvernul ar
trebui…” sau “R omânia trebuie… ” ar fi bine sǎ fie evitate
trebuie itatǎ adresarea de recom andǎri p ǎruilor car nu au avut nicio legǎturǎ
cu procesul de evaluare. Ca o re gulǎ, rec omandǎrile trebuie adresate numai
acelor factori interesaui {inclusiv, evident, clientului) care au fost implicaui în
procesul de evaluare.
recomandǎrile trebuie adresate acelor niveluri de decizie care au fost implicate
în procesul de evaluare çi limitate numai la cele adecvate puterii de dec zie
p ntru respectiva funcuie. !int nu trebuie sǎ o constituie nivelurile superioar ,
deoarece nu funcuioneazǎ aproape niciodatǎ. De exemplu, dacǎ cel mai înalt nivel
im licat în procesul de valuare ar fi un director d departament din c drul un
ministe recomandǎrile trebuie sǎ se refere la acel nivel, nu la managementul
superior al ministerului
utilizarea unui n vel adecvat de detalii. D ., formulǎrile prea g erice de tipul
“creçterea eficacitǎuii procesului x” treb u ie evitate, putând fi înlocuite cu sugestii
specifice referitoare la ce poate fi fǎcu t în mod exact çi de cǎtre cine pentru a
creçte efic citatea procesului x
În final, dar nu în cele din urmǎ - lista de recomandǎri ar trebui sǎ le conuinǎ
numai pe cele foarte importante!
 88

Procesul de consultare

Procesul de consul r furnizeazǎ de obicei douǎ tipuri principale de contribuuii din

partea pǎruilor invitate sǎ comenteze pe marginea raportului de evaluare:
 factuale - comentarii care au drept scop furnizarea de noi informauii pe care
evaluatorii este posibil sǎ le fi trecut cu vederea, sau de a corecta anumite
informauii factuale rezentate în cadrul raportului;
 rauionale - opinii privitoare la anumite pǎrui ale raportului de evaluare, în
spec l capitolele de concluzii çi recomandǎri, p ca e pǎruil comentatoare l
onsiderǎ necesar de exprimat. Astfel de opinii pot fi suplimentare, diferite de
cele deja exprimate în raport, sau chiar opuse acestora.

Utilizarea comentariilor este problemǎ pe care evaluatorii trebuie sǎ o stabileasc

u clientul dinainte çi care trebuie c unicatǎ factorilor interesaui care furnizeazǎ
comentarii. De obicei, existǎ douǎ mijloace de gestionare a comentariilor primite
 încor rarea acestora - adicǎ, mod ic rea r ortului pentru a reflecta fap le
sau opiniile exprimate în comentarii, dacǎ evaluatorii sunt de acord cu acestea;
 anexarea lor - adicǎ, dacǎ evaluatorii nu sunt de acord cu comentariile, acestea
pot fi anexate la raport odatǎ cu motivele pentru n ncluderea lor, astfel încât
orice cititor sǎ poatǎ vedea care au fost comentariile çi de ce nu au fost incluse
în raport.

Procesul de consultare este important deoarece:

 ajutǎ alu torii sǎ verifice înuelegerea faptelor çi sǎ-çi compare rauionamentul
cu cele ale altor persoane;
 factorii interesaui invitaui sǎ comenteze simt cǎ punctele lor de vedere sunt
considerate importante, luând la rândul lor în serios r portul. Cum umit
recomandǎri din cadrul raportului de evaluare vor fi adresate unora dintre
factorii interesaui, este destul de normal ca aceştia sǎ aibǎ çansa de a-çi
exprima opinia, în special referitor la acele pǎrui ce îi privesc în mod direct.

Decizia privitoare la cine anume va fi invitat sǎ formuleze comentarii, aparuine

clientului. Totuçi, evaluatorii îçi pot exprima opiniile asupra identitǎuii factorilor
interesaui care vor furniza comentarii.

Procedura de furnizare a comentariilor trebuie sǎ fie una simplǎ. Comentariile trebu e

sǎ fie mereu furnizate în scris çi întotdeauna, sǎ respecte un termen lim tǎ prest ilit.
De obicei, o perioadǎ de douǎ sǎptǎmâni pentru furnizarea de comentarii este cea mai
bunǎ opuiune.

Prezentarea raportului

Raportul trebuie prezentat în cadrul unei întâln ri plenare {denumitǎ de obicei

3edinUǎ de prezentare), altfel va exista percepuia conform cǎreia acesta nu este un
document important. Pǎruile cǎrora le este de obicei prezentat raportul în cadrul
întâlnirii plena cuprind:
 manageri ai diferitelor structuri çi niveluri de implementare a programelor;
 finanuatorul;
 decidenuii superiori;
 89

 diferiui alui factori interesaui {ex. departamente sau instituuii externe care au
legǎturǎ cu programul).

Pe tru organizarea çedinuei de prezentare, în mod ideal, clientul ar trebui sǎ s

consulte cu evaluatorul în ceea ce priveçte agenda, abordarea generalǎ çi lista de
prezenuǎ.

În afarǎ de pǎ ile prez nte l çedinua de prezentare, alte p rui pot, de aseme a, sǎ
fie informate cu privire la raport, pǎrui care nu au o legǎturǎ atât de strânsǎ c
programul, dar care sunt totuçi interesate de lectura raportului de evaluare. Pentru
acestea, de obicei rimiterea raportului va fi suficientǎ.

Cel mai important la çedinua de prezentare este discutarea recomandǎrilor în urma

eval rii, înueleg rea, aprobarea acestora. Metodele de implementare a acestor
trebui examinate çi aprobate între cei la care fac referire. De aceea, es e necesar ca
diferite pǎrui implicate în implementarea programului sau afectate de cǎtre acesta, çi
de asemenea a cǎror contribuuie este necesarǎ pentru implementarea
recom ndǎrilor, sǎ fie prezente la çe inua de preze are. Ca g ǎ generalǎ, anumite
pǎrui care au participat la çedinua de debut {preliminarǎ) ar trebui sǎ fie prezente çi la
cea de prezentare finalǎ. Este inutil s fie invitaui la çedinua de prezentare factori
interesaui, care nu au avut nicio legǎturǎ cu procesul de evaluare.

Sugestii practice

Structura raportului trebuie întotdeauna stabilitǎ cât mai devreme posibil împreunǎ
cu clientul.
La scrierea raportului, succesiunea paçilor este urmǎtoarea:
înainte de toate, se stabileçte împreunǎ cu clientul, structura raportului de
ev uare - capitole, cuiuni çi anexe;
în al doilea rând, se scriu ideile principale sub fiecare capitol çi secuiune. Scrierea
xtului detaliat nu va începe pânǎ ce ideile principale nu au fost menuionate în
totalitat Altfel, existǎ un grad foarte mare de risc de confuzie - prea multe
bucǎui de text împrǎçtiate, texte mutate de colo-colo, pânǎ ce întregul raport îçi
v pierd logica, schimbarea formulǎrii, repetiuii inutile ale ideilor în diferite
paragrafe;
odatǎ ce ideile principale au fost menuionate, se poate trece la scrierea textului
detaliat;
de obicei, pe mǎsurǎ ce textul detaliat este scris, va fi necesarǎ actualizarea
ideilor principale;
existǎ întotdeauna tentauia de a îmbunǎtǎui aportul. Dacǎ se doreçte realizarea
unui produs final, activitatea de îmbunǎtǎuire trebuie sǎ aibǎ anumi limite. O
dimensiune foarte importantǎ a calitǎuii este finalizarea produsului la timp.

Opiniile sunt m eu mai uçor de combǎtut decât faptele. Pentru a evita dispute
nesfârçite, în special în c eea ce priveçte opiniile negative, evaluatorii ar trebui sǎ
 90

furnizeze opinii bazate numai pe fapte dovedite cu date adecvate çi din surse de
încredere.

EXEMPLUL 29. Înlocuirea opiniilor negative cu aspecte faptice

Aceastǎ frazǎ ... Au fost furnizate dovezi nsuficiente e atorilor
Politica nu çi-a îndeplinit obiectivele penputea
tru a dfi
em onstra reacu
li aceasta
area obie…ctivelor politicii
Ar înlocuitǎ
Rata cost benefici este slabǎ. În comparaui cu st nd dele pentru sector, rat
cost benefi iu este mai scǎzut .
e st m i p el din h st e aratǎ cǎ u it i d c
Ac a ǎ ǎsurǎ nu a fost m lementatǎ
în mod adecvat. Dat e c e ionar un an m n i ator
privitor la implementare este mai mic decât în alte
comunitǎui …
sau
Implementarea adecvatǎ ar îns mna îndeplinirea
lor x, y, z ... Niciunul intre aceste
Instituuia x s-a implicat foarte puuin elemente nu a fost identificat de cǎtre evaluatori …
I stituuia x a furnizat con trib uuia proprie cu o
întârziere d x luni … nu a furnizat co ntribuuiile
conform înuelegerii iniuiale …

În timpul procesului de consultare, vor exista întotdeauna factori interesaui care nu

sunt de a rd cu anumi pǎrui din raport. Este imposibil ca portul de evaluare sǎ
coincidǎ cu pǎrerile tuturor factorilor interesaui çi încercarea de a ajunge la un
nsens se poate dovedi dificilǎ. Elementul cheie este ajungerea la un acord cu
clientul fǎrǎ a neglija pǎrerile factorilor interesaui.
 91

Pasul 6. Implementarea constatǎrilor de evaluare

Abordǎri ale procesului de implementare

Pot exi d ferite metode de implemen are reco andǎrilor procesului de a are.
Utilizarea evaluǎrilor nu se limiteazǎ numai la îmbunǎtǎuirea politicii,
responsabilitatea sau, în cazuri extreme, sancuiuni. Acestea pot fi utilizate pentru
schimbarea proceselor, culturii adm istrativ din cadr organizauiei sau învǎuare.
Astfel, utilizarea rezultatelor aluǎrii p fi u mǎtoarele:
 Instrumentalǎ - afecteazǎ în mod direct procesul decizional çi pune capǎt
procesul i de îmbunǎtǎuir /schimbare a politicii. Drept rezultat, Guvernul,
ministerul sau genuiil ex cu ive va lua mǎsuri pentru a el bora i politici
sau a le ajusta pe cele existente, sau mǎsuri administrative în vederea
 implementǎrii recom dǎril .
orgproces
De anizaui-eiafecteazǎ
. P ticipaprocesul
rea la evade
luarelaborare
e permite ao politicii
ma bunǎdinînuelegere a politici
interiorul
çi drept rezultat, îmbunǎtǎueçte planificarea de oli ici. Uneori, val area realǎ
a evaluǎrii poate schimba gândirea çi comportamentul personalului çi
determina çi mai multe schimbǎri în cultura administrativǎ çi comportamentul
rganizauional. Astfel de valori dureazǎ pe termen lung çi nu sunt uçor de
observat.
Politicǎ - jus ific deciziile {retrospectivǎ ç prospectivǎ) Uneori evalu
poate fi ef ctuatǎ pentru a justifica o decizie deja luatǎ. Astfel, uti zarea
 acesteia are valoare simbolicǎ. Totuçi, atunci când o evaluare este solicitatǎ
n ru a sprijini o anumitǎ decizie, implementarea constatǎrilor evaluǎrii se
poate îmbunǎtǎui semnificativ.
Conceptualǎ - afecteazǎ gândirea generalǎ în eea ce priveçt probleme
existente. De exemplu, evaluarea livrǎrii de servicii de sǎnǎtate sau soc ale
 poate furniza dovezi în sprijinul ideii cǎ modul curent de livrare a serviciilor
e te costisitor çi ineficient. Totuçi, este posibil ǎ nu aibǎ drept rezultat
aprobarea de n i politici sau revizuire a celor existente. În schimb, dovezile
pot fi luate în considerauie la luarea de decizii care nu au legǎturǎ directǎ cu
politica evaluatǎ, dar care pot avea un efect pe termen lung.

Factorii care afecteazǎ procesul de implementare

Implem ntare recomandǎrilor trebuie sǎ aibǎ legǎturǎ cu a tivitǎuile inst uuiei çi

personalul responsabil cu implementarea programului. De obicei, responsabilii cheie
cu implementarea recomandǎrilor evaluǎrii sunt decidenuii, managerii de program,
personalul responsabil cu implementar programului. Pot ista mului facto i care sǎ
ducǎ la creçterea sau descreçterea çanselor de implementare. Aceçtia pot fi grupaui pe
larg în douǎ categorii:
 Cei referitori la caracteristicile evaluǎrii çi
 Cei referitori la organizare.
 92

F c rii referitori a caracteristicile evaluǎrii {Tabel 12) sunt î majoritate privitori la

calitatea procesului de evaluare. Aceçtia sunt deseori controlaui de echipa de
evaluare.

Tabel 12. Factori referitori la caracteristicile evaluǎrii

Factori
Relevanua evaluǎrii Aspecte de luat în considerare
Rǎspunde evaluarea la întrebǎrile de valuare? Sunt
e omandǎrile pr actice, clar e ç i b az ate p e info rmauii de
încrede e? Iau a e te î con derare reocu i ç
e ar ri l c i cnts uai çi
n fa
si ct r lorpi esa
pǎru le i
Credibilitatea
com nt i e l e ul ale o i nter i?
e ut ve c ep n u
Eoxnistǎaînde a juns d m
ǎrile re ma d ril l e do i deǎ ii? n anaeli tr l a sprijini
în r eder
cpresut put nerile
çi peco
carenseǎbazee eava
zǎlac
u es
r teaSujust
t ificate
zeçei çi
Consultare çi comunicare explicate?
Au fost constatǎrile çi recomandǎrile comunicate clientului çi
A
facf tori
st lor
nalint
iz eresaui
evaluçiaar avuc t loc
espo coansu
r lta
t re
rmcu
e aceç
o tiia? itǎ? Se
Duratǎ încadreazǎ în ciclul decizional? Este prezentatǎ la timp pentru a
o fi a tǎ
veni în sprijinul deciziilor? ea u r e c t a e nel rlm

F ctorii referitori la organiz re {Tabel 13) privesc mediul organizauional în care are
loc procesul de evaluare. Astfel, aceçtia nd de un numǎr de factori çi activitǎui din
cadrul organizauiei çi sunt mai dificil de depistat de cǎtre evaluatori.

Tabel 13. Factorii referitori la organizare

Factori
Angajare çi implicare
Nevoia de informare
Caracteristici personale
Luarea de decizii
Aspecte de luat în considerare
Conducerea çi personalul ministerului înueleg rolul evaluǎrii?
ersoanel din cadrul ministerului /ag ui / programului au
fost implicate în proc ul de planificare çi efectuare a evaluare?
Simt cǎ acest proces le aparuine?
Este nevoie de noi cunoçtinue în cadrul organizauiei? Existǎ o
politicǎ de îmbunǎtǎuire?
Care sunt atitudinil managementului çi personalului fauǎ de
evaluare çi care este influenua çi experienua acestora în cadrul
organizauiei?
Cum s iau deciziil referitoare a poli cil de îmbunǎtǎuire -
te nevoie de dovezi? Este implementarea constatǎrilor
evaluǎrii utilizatǎ în mod retrospectiv - pentru a justifica decizii

deja - sau prospectiv - pentru a sprijini decizii ce vor fi

Mediul politic
Implicauiile financiare
luate.
E istǎ spr ijin politic pentru politicǎ sa program? Sunt
constatǎrile evaluǎrii conforme climatului politic intern çi
Este
ext erim
n?plementarea recomandǎril fezabilǎ din punct de
vedere financiar având în vedere constrângerile de buget?
 93

Aranjamente instituUionale în vederea implementǎrii

Deçi implementarea constatǎrilor evaluǎrii depinde de un numǎr de factori, câuiva
paçi ar putea fi întreprinçi pentru cr çte gradul de implicare în interiorul instituuiei.

Implementarea recomandǎrilor de evaluare poate fi consolidatǎ prin întreprinderea

urmǎtoarelor acuiuni:
 Înfiinuarea unei comisii de implementare;
 Înfiinuarea unui grup de proiect;
 Instituuionalizarea implementǎrii.

ÎnfiinUarea unei comisii de implem entare este utilǎ î cazurile în car ev uǎrile a c
la scarǎ largǎ ç i implementarea recomandǎrilor n esitǎ p articiparea mai mult
instituuii. Atunci calitatea de mem bru al unei astfel de comisii revine reprezentanuilor
nstituuiilor afectate. Principalul mandat al acestor comisii este de a superviza
implementarea jaloanelor principale conform unu plan stabilit. În cazurile în care
existǎ, structurile deja înfiinuate, cum ar fi comisii de cabinet, pot fi de asemenea,
utilizate.

Pentru evaluǎri care acoperǎ competenua unei instituuii sau arii, pot fi utilizate
structuri ministeriale interne {ex. comisii de management) sau ar putea fi înfiinuat un
grup de proiect pentru superviza implementarea constatǎrilor. Cal tatea de membru
al gr pului de pr ect ar putea aduce împreunǎ manageri de program, personal din
cadrul programelor, managementul sau personalul agenuiilor executive.

InstituUionalizarea implementǎrii are l c de obicei, prin planificarea politicii çi

procesul decizional. Este important ca aceste constatǎri çi recomandǎri al
evaluǎrilor sǎ fie transpuse în activitǎui organizauionale çi integrate în documente de
polit cǎ publicǎ, în procesul de planificare a polit cii çi bug tului çi sǎ li se confere
formǎ legalǎ dacǎ este necesar. În acest scop, calitatea çi relevanua recomandǎrilor
este importantǎ.

Una dintre m odele de g estionare a implementǎr constatǎrilor de evaluare este de

a întocmi un plan de im plementare. Scopul unui astfel de plan e st de a defalca
recomandǎrile în acuiuni specifice care vor fi cuprinse în procesul de planificare a
liticii instituuional . Planul d impl mentare oate lua diferi forme. P ate fi un
plan separat d implementare a constatǎ ilor imple ǎrii sau a activitǎuilor care au
legǎturǎ cu acestea çi care poate fi integrat în documentele existente de planificare a
liticii {ex. Planul de strategic de acuiune), planuri de dezvoltare instituuionalǎ,
planuri anuale de af ceri sau planuri individuale. Un exemplu a modului de
implementare a recomandǎrilor evaluǎrii este prezentat în Anexa 3.

Odatǎ ce ctivitǎuile sunt transpuse în acuiuni administrative, se înscriu în cadr

procedurilor de itorizare din cadrul instituui i sau G vernului. Feedback-ul
referitor la implementarea constatǎrilor evaluǎrii este asigurat prin proceduri de
monitorizare de rutinǎ.
 94

Managementul calitǎUii efortului de evaluare

Managementul calitǎuii efo ului de evaluare este un proces contin ce strǎba toui
paçii procesul i de evaluare. Nu reprezintǎ un eveniment unic sau focalizat asupra
unui singur punct, ci o serie de aranjamente, acuiuni çi cerinue care îmbu ǎtǎuesc
calitatea eva luǎrii . Major itat ac est or specte au fos t dis cut at e încad rul manual ului
în diferitele et ape çi sunt parte i tegrantǎ din ordin ea lo gicǎ a evenimentelor
exerciuiului de evaluare, çi de asemenea, ca elemente încorporate ce asigurǎ calitatea
e ǎ ii. Din acest motiv, manage ntul calitǎuii este un fel de „act vitate de dublǎ
verificare“ pentru a asigura cǎ în urma evenimentelor de evaluare cheie se va obuine o
evaluare de calitate.

Scop acestui capitol este astfel, de a vǎ ajuta sǎ identificaui factorii relevanui pentru
managementul c itǎuii çi furnizarea unui cadru pentru managementul calitǎuii
efortului de evaluare.

Componentele managementului calitǎUii evaluǎrii

Managementul calitǎuii efortului de evaluare poate fi asigurat cu ajutorul urmǎtorilor

patru piloni:
 Organizare çi roluri;
 Proces de evaluare;
 Conuinuturile çi cerinuele evaluǎrii;
 Stimulente.

Organizare 3i roluri sunt legate de structuril instituuion le sa organismele ce

trebuie sǎ conducǎ, supervizeze çi sǎ efectuez efortul de evaluare. Mandate çi roluri
clare trebuie distribuite diferiuilor actori ce participǎ la efortul de evaluare -
cidenui, manageri, personal implicat în progr me, evaluatori. Aceste aspecte sunt
discutate în cadrul pasului 3 din prezentul Manual.

Procesul de evaluare se fer de obicei la cerinuele, activitǎuil çi instru ntele

utilizate p ntru a asigur desfǎçurar a unei evaluǎri. Nu începe çi nu se terminǎ cu
activitǎui legate de evaluare, ci mai degrabǎ, acoperǎ întregul proces de management
al politicii.

Pentru managementul calitǎuii este important ca o organizauie sǎ aibǎ un proces de

e al a e stabilit formal {sau informal). Pr ocesul ar trebui sǎ încuraj e o planifica e
adecvatǎ a evaluǎrii, desfǎçurarea unei evaluǎri çi im plementarea constatǎrilor
evaluǎrii. Cerinue adecvate pr cum întocm irea unui plan d e management al evaluǎrii
sau d implementare, pot îmbunǎtǎui proces l de evaluare într-o organizaui Astfel,
cei responsabili de conducerea çi desfǎçurarea proc sului de eval re çi de
implementare a constatǎrilor evaluǎrii çtiu ce çi când trebuie sǎ fie fǎcut pentru a
desfǎçura evaluarea çi a in ude rezultatele în procesul de planificare a politicii.
Procesul de evaluare este discutat în cadrul Paçilor 3, 4 çi 6 din acest Manual.
 95

CerinUele referitoare la conUinutul evaluǎrii au în vedere în principal activitǎui de bazǎ

ce vor avea ca rezultat recomandǎri credibile. Activitǎuile cheie sunt legate de etapele
de evaluare:
 Î n t re b ar e ade evaluare - ar trebui sǎ fie formulatǎ în mod clar pentru a ghida
e val u a re a
 Clientul çi factorii interesaui - ar trebui consultaui întotdeauna
 Culegerea çi an6 aliza datelor - ar trebui sǎ se bazeze pe metode de încredere çi
pe triangulare
 Prezentarea constatǎril evaluǎrii - ar trebui structuratǎ çi sǎ îndeplineascǎ
nevoile clientului çi factorilor interesaui.

Pe lângǎ cerinuele de mai sus, calitatea constatǎrilor evaluǎrii poate fi conso datǎ
prin utilizarea unei verificǎri externe a calitǎuii. Un evaluator extern poate fi selectat
din cadrul unei baze de evaluatori independenui pentru a verifica dacǎ metodologia
de ev luare e te una robustǎ, dacǎ abordarea analiticǎ este adecvatǎ çi dacǎ
recomandǎrile sunt sprijinite de analizǎ.

Stimulentele sunt legate de cultura politicǎ çi min trativǎ. Evaluarea de cea mai
bunǎ calitate poate fi obuinutǎ dacǎ existǎ nevoia luǎrii de decizii çi învǎuǎrii bazate pe
dovezi. Acest lucru necesitǎ implicarea conducerii politic çi a funcuionarilor publici.
Deciziile bazate pe dovezi încurajeazǎ funcuionarii publ ci sǎ înveue. Dacǎ aceasta
lipseçte, funcuionarii pot iniuia çi efectua evaluǎrile {chiar la scarǎ m ǎ) pentru a
sprijini alegerile politice, determinând astfel, creçterea interesului decidenuilor fauǎ
de acest proces .

Lista de verificare pentru evaluarea managementului calitǎUii

Lista de v rificare pentru evaluarea managementului calitǎuii este o listǎ de întrebǎri

d ghidare în cadrul efortului de evalua , care evidenuiazǎ jaloa ele majore în
planificarea çi efectuarea unei evaluǎri. Întrebǎrile din lista de verificare ar trebui sǎ
fie organiz te astfel încât sǎ se çtie cǎ factorii interes ui çi clientul sunt implicaui în
punctele cheie ale proce lui, cǎ acuiunile pentru asigurarea relevanuei çi credibilitǎui
dovezilor au fost incluse, cǎ constatǎrile evaluǎrii au fost comunicate audienuei
necesare çi cǎ recomandǎrile aluǎrii sunt implementate. As fel, sta de verificare
acoper toui paçii procesului de evaluare çi schiueazǎ activitǎuile valorii intrinseci ale
calitǎuii evaluǎrii. Lista de întrebǎri nu este exhaustivǎ çi ar trebui sǎ fie revizuitǎ
pentru a lua în considerare complexitatea efortului de evaluare çi natura specificǎ,
cerinuele, structurile çi procedurile din cadrul fiecǎrei organizauii.

6 Sintetizeazǎ date provenite din diferite surse existente.

 96

Tabel 14. Lista de evaluare a managementului calitǎUii

Durata în BifaUi dacǎ Comentarii

cadrul este finalizat
Jaloane de evaluare
procesului
de evaluare
Structuri organizaUionale
Comitetul de Pilotaj a fost înfiinuat pentru a superviza
evaluarea {s au structura man ement existentǎ a fost
desemnatǎ drept comitet de pilotaj)
Echip de evaluare a fost înfiinuatǎ pentru a efectua
evaluarea
Rolurile çi responsabilitǎuile membrilor echipei de
evaluare au fost desemnate
Planul de management al evaluǎrii a fost întocmit çi
aprobat
Procedura de monitorizare a planului a management a
fost stabilitǎ

Etapele evaluǎrii
Cliennttu
fil uçi factorii interesaui în evaluare au fost
ide i ca i
eÎntr
valu
ebǎre
a rile de evaluare sunt clare pentru echipa de
Modelul de evaluare a fost discutat çi stabilit în cadrul
echipei de evaluare
Modelul de evaluare a fost discutat cu:

clientul
- factorii interesaui {poate fi specificat)

Plan de culeger a d elor a fost discutat çi aprobat în

cadrul echipei de evaluare
Planul de culegere a datelor a fost discutat cu:
- fcaliceto
ntu
riil interesaui {poate fi specific )
Metodele de analizǎ a datelor au fost discutate çi
aprobate în cadrul echipei de evaluare
Metodele de analizǎ a datelor au fost discutate cu:

clientul
- factorii interesaui {poate fi specificat)

Asistenuǎ externǎ pentru culegerea çi analiza de date a

fost aranjatǎ {dacǎ este necesar)
Pregǎtirile anterio e pentru culegerea de date au fost
finalizate {formarea intervievatorilor, acces la sursele de
date etc.)
Procesul de culegere a datelor a început conform
planificǎrii {aici poate fi furnizatǎ o defalcare a
activitǎuilor de culegere a datelor, dacǎ este necesar)
 97

Procesul de analizǎ datelor început conform

planificǎrii {aici poate fi furnizatǎ o defalcare a
activitǎuilor de culegere a datelor, dacǎ este necesar)
Constatǎrile iniuiale au fost testate çi discutate cu:
- factorii interesaui {poate fi specificat)
- clientul
Structura raportului de evaluare a fost stabilitǎ cu:
clientul
- factorii interesaui {poate fi specificat)

Dovezi suficie te çi de ca itate {sp jinite de diferite

surse) în sprijinul constatǎrilor evaluǎrii sunt furnizate în
raport

Recomandǎrile sunt clare çi au legǎturǎ cu întrebǎrile de

evaluare
Rapor final a fost discutat cu:
- clientul
factorii interesaui {poate fi specificat)
E
-v aleuaptǎorurui l{poexate
alt terfni spaecfio
fisctat)angajat pentru a asigu a
calitatea efortului d evaluare {în cazul în care
intenuioneazǎ sǎ efectueze o revizuire independentǎ)

Comentariile rezultate în urma consultǎrilor finale çi

asigurarea calitǎuii din exterior au fost analizate çi luate
în considerauie
Raportul final a fost întocmit
Strategia de comunicare a raportului final a fost discutatǎ
çi agreatǎ în adrul echipei de evaluare
Strategia de comunicare a raportului final a fost discutatǎ
cu clientul
Strategia de implementare a recomandǎrilor evaluǎrii a

fost discutatǎ çi aprobatǎ între factorii de decizie çi

personalul programului
Planifica ea politi ii relevante, dezvol area instituuionalǎ
çi planuri de afaceri au fost revizuite pentru a lua în
considerare recomandǎrile
98
 99

PARTEA A DOUA. CULEGERE DE EXEMPLE DIN DIFERITE

!ǍRI
100
 101

Cazul 1. TIC în çcoli, Studii de Evaluare a Inspectoratului, Irlanda, 2005-2006

(Adaptat dupǎ raportul de evaluare “TIC în 3coli” 3i materialele adiUionale furnizate de Departamentul
pentru EducaUie 3i (tiinUǎ, Irlanda).

De ce acest exemplu?
Acest ex plu a fost selectat pe ru a descrie procesul d evaluare sumat ǎ çi
principalele activitǎui efectuate în cadrul acestuia. Aici se regǎsesc majoritatea
etapelor de evaluare çi, astfel, est prezentatǎ o privire de ansamblu asupra
activitǎuilor cheie din fieca re etapǎ, precum çi o descriere detaliatǎ a procesului.

InformaUii generale
Prima politicǎ guvernamentalǎ referitoare la tehnologia informaticǎ çi de comunicar
{TIC) în educauie {Schools IT 2000) a fost aprobatǎ în 1997. Acest document de
politicǎ a avut drept rezultat introducerea iniuiativei ICT in Schools {TIC în çcoli) în
1998, care a pus bazele pentru dezvoltarea TIC în sistemul educauional. Iniuiativa
Schools IT 2000 a avut trei direcuii majore: cea pentru integrarea tehnologiei, pentru
abilitǎui de predare çi pentru sprijinirea çcolilor.

IniUiativa pentru integrarea tehnologiei a fost d tinatǎ sprijinirii çcolilor în

procesul de dezv tare a infrastructurii TIC. Çcolile au p imit granturi pentru
achiziuionarea de computere çi stabilirea unei conexiuni la internet.

IniUiativa pentru abilitǎUi de predare a furnizat cursuri de formare pentru

dobândirea abilitǎuilor TIC, dezvoltarea abilitǎuilor profesionale în TIC çi a celor
pedagogice.

IniUiativa pentru sprijinirea çcolilor a acop rit teme de predare çi învǎuare

privitoare la integrarea TIC, utilizarea internetului în educauie.

Consiliul Nauional Compe tivit uii a fost înfiinuat în 1997 ca rganism

parteneriat social subordonat Taoiseach {primului minis u) pe problemele de
competitivitate cu care se confruntǎ economia. Acesta a notat cǎ, în comparauie cu
con enuii majori, Irlanda rǎmǎsese puuin în urmǎ în ceea ce pri ea aplicarea TIC în
educauie. Raportul recomanda ca abilitǎuile TIC de bazǎ sǎ devinǎ o componentǎ
principalǎ a educauiei de masǎ.

În 2001, Guvern l a lansat al doilea document de politicǎ pe tema utilizǎrii TIC în

educauie - „A Blueprint for the Future of ICT in Irish Education’’ {O schiUǎ pentru
viitorul TIC în învǎUǎmântul irlandez). Acesta era plan strategic pe o duratǎ de
trei ani menit a spr jini contin area principalelor iniuiative începute în cadrul IT
2000. Principalele obiective ale politicii Blueprint erau:
 extinderea ofertei de capital TIC pentru çcoli;
 creçterea accesului la çi a utilizǎrii tehnologiilor internet;
 continuarea integrǎrii TIC în procesele de predare çi învǎuare;
 îmbunǎtǎuirea oportunitǎuilor de dezvoltare profesionalǎ pentru profesori.

De atunci, s-au realizat multe în dezvoltarea infrastructurii TIC în çcoli. Aceasta a

necesitat niveluri semnificative de investiuie, în special din partea Statului, dar çi a
 102

çc lilor çi i stit uiilor individuale. Având în vedere nivelul investiuiilor de bani ç

timp, nevoia unei evaluǎri amǎnunuite a im actului TIC în çcoli s-a fǎcut sim ui în
mod clar. În anul çcolar 2005/06 Divizia pentru Inspectorate a Departam entului
pentru Educ auie çi Çti inue a efect uat o e va luare a inf st ur cturii, pal nifi cǎrii çi
utilizǎrii TIC în procesele de predare çi învǎuare în çcolile primare çi post-primare.

Întrebǎri de evaluare
Aceastǎ evaluare a avut drept scop evaluarea impactului TIC asupra procesului
educauional din çcolile primare çi post-primare. Evaluarea a dorit, de asemenea, sǎ
apreci ze cunoçtinuele, abilitǎuile, atitudinile çi convingerile profesorilor çi elevilor în
ceea ceee priveçte utilizarea TIC în procesul d predare çi învǎu re çi în çcoli în general.
Întrebǎrile de evaluare pot fi astfel, rezumate dupǎ cum urmeazǎ:
1 În c mǎsurǎ TIC este utilizat în çcolil p mar çi post-primar e?
2 este impactu TIC asupra pr eselor de predare çi învǎuare?
3) Care sunt abilitǎuile TIC ale elevilor în punctele selectate din ed ucauie?
4 Car sunt opinii e directorilor çi profe o lor asupra propriilor abilitǎui TIC
çi asupra impactului çi rolului viitor al TIC în educauie?
5) În ce mǎsurǎ TIC este folosit pentru a sprijini elevii cu nevoi educauionale
speciale?

Planul de evaluare
Ev uare a a avut î n veder colectarea d at calitative çi cantitative çi de me de
analizǎ p entru a r ǎspunde la întrebǎrile de evaluare de mai sus. Planul colectǎrii de
date a fost urmǎtorul:

Octombrie – Decem brie 2005

Un sondaj nauiona l desfǎçurat prin poçtǎ asupra directorilor çi profesorilor di çcolile
primare { 260) çi post-primare {155) selectate în mod aleatoriu, luând în calcul
anumite variabile de stratificare.

Octombrie 2005 – Februarie 2006

Studiu de caz asupra a 52 çc i {32 primare çi 20 post-primare) selectate la
întâmplare din principalul eçantion care a participat la sondajul prin poçtǎ. În timpul
evaluǎrii studiului de caz, elevilor le-a fost administrat un chestiona .
Asistenuǎ la orǎ {77 çcoli primare) çi inspecuii pentru anumite ma rii {111 çcoli post-
primare). Aceastǎ activitate de observare a fost efectuatǎ ca parte din activitatea de
rutinǎ a inspectorilor în beneficiul evaluǎrii.

Evaluarea on-line a profesorilor {79) în çcoli post-primare ce formeazǎ eçantionul

pentru studiul de caz.

Echipa de evaluatori
Evaluarea a fost efec tuatǎ de cǎtre Inspectori de la Divizia pentru Inspectorate a
Departam ntului pentru Educauie çi Çtiinuǎ în cooperare cu Centrul Nauional pentru
Tehnologie în Educauie {NCT .

Unitatea de Sprijin pentru Evaluare çi Cercetare a Diviziei pentru Inspectorate a

gajat o companie utorizatǎ Insight Statistical Consulting {Insight) pentru a efectua
anumite pǎrui ale evaluǎrii, çi anume:
 103

 admi stra ea, colauionarea, analiza çi raportarea rezultatelor sondajului

nauional prin poçtǎ {chestionare pentru directori çi profesori din çcolile
primare çi post-primare);
 colauion rea, analiza çi raporta a rezultatelor sondajului {chestionare pentru
elevi la nivelul primar çi gimnazial, recensǎmântul infrastructurii TIC çi
asistenua la ore efectuatǎ de cǎtre inspectori).
Departamentul pentru Ed auie çi Çtiinuǎ a fost responsabil de colectarea datelo r
pentru chestion arele pentru elevi/studenui çi revizuirea acestora de cǎtre inspectori.

Colectarea de date
De la directori, profesori, elevi çi inspectori la nive primar çi gimnazial s-au col ctat
date cantitative çi calitative. În total, aceastǎ gamǎ largǎ de surse a furnizat un set de
d e mult mai bogat decât fi fost posibil de obuinut din orice al ǎ su ǎ unicǎ. A
permis, de asemenea, compararea çi triangularea dovezilor. Datele primare au fost
colectate utilizând metode calitative çi cantitative. Metodele de eçantionare, mǎrimea
çi procesele de colectare a datelor sunt descrise mai jos.

Sondaj naUional asupra directorilor çi profesorilor din çcolile primare çi

gimnaziale

Metode de eçantionare a sondajului

În total, a fost identificat o populauie eligibilǎ din 3.024 çcoli primare çi 711 çcoli post-
primare în vederea participǎrii la sondajul efectuat în rândul directorilor çi
profesorilor. Presupunând un procent minim de rǎspuns de 40% din fiecar sect ,
din cadrul çcolilor primare, u fost s ectate 260 çcoli p ntru obuinerea unui eçantion
valid din punct de vedere statistic, de cel puuin 100 de çcoli. Un eçantion de 155 çcoli
a fost selectat dintre çcolile post-primare în vedere obuin ii u i eçantion valabil din
punct de vedere statistic, de cel puuin 50 de çcoli. Ambele eçantioane de çcoli au fost
selectate ilizând urmǎtoarele variabile de stratificare:
 regiuni
 mǎrimea çcolii {micǎ, medie, mare)
 tipul çcolii {mixtǎ, pentru bǎieui, pentru fete)
 raportul elevi/nr. computere {scǎzut, mediu, crescut, necunoscut)

Populauia çcolilor primare çi post-primare a fost selectatǎ pe baza acestor variabile.

Pentru çcolil pr mare, un eçantion sistematic aleatoriu de 260 çcoli a fost selectat
rin începerea din punctul de plecare çi selectarea fiecǎrei a n-a çcoli. Punctul de
plecare a fost stabilit alegând aleatoriu un numǎr între 1 çi 3.024. N a fost obuinut prin
e numǎrului total de çcoli la d mensiunea totalǎ a eçantionului, i.e. 3.024
împǎruit la 260. {Pentru a creçte probabilitatea obuinerii unei rate minime de rǎspuns
de 40%, a fost luat în considerare un eçantion suplimentar deoarece exista
posibilitatea ca numite çcoli de bǎ eui sǎ nu poatǎ p rti ipa). Lista a fost mai apoi
transmisǎ sub forma unei circulare, i.e. çcoal 1 a urm çcolii 3.024. Acesta a fost un
proces aproximativ, echivalent cu selectarea unui eçantion stratificat proporuionat
conform variabilelor descrise mai sus. Acelaçi principiu de selecuie a fost aplicat çi
populauiei din çcolile post-primare.

Metode de colectare a datelor pentru sondaje

În f ec dintre çcolile car au luat parte la sondaj, directorul primit o scriso e de
notificare din partea Inspectoratului menuionând cǎ çcoala acestuia a fost aleasǎ
 104

p tru particip e la sondajul prin poçtǎ. Notificarea a furnizat çcolilor informauiile

generale asupra sondajului, menuionând cǎ se vor aplica çi chestionare în cadrul
acestuia.

Apoi, fiecar çcoalǎ a imit un chestionar pentru di ctor çi ai multe chesti nare
pentr profesori. Toui profesorii din çcolile primare cu opt sau mai puuini profesori au
fost rugaui sǎ completeze un chestionar; çcolile primare cu peste opt profesori au fost
rugate sǎ se asigure cǎ un pr fesor pe grup de clase completeazǎ un chestion r.

Toui profesorii din çcolile post-primare, cu nouǎ sau mai puuine cadre didactice, au
fost rugaui sǎ compl ze un chestionar; acele ç oli cu peste nouǎ profesori au fost
rugate sǎ se asigure cǎ un profesor de la fiecare catedrǎ {Englezǎ, Matematicǎ,
Irlandezǎ, limbi strǎine, Çtiinuǎ, Afaceri, Çtiinuǎ aplicatǎ, Studii Sociale) completeazǎ
un ch stionar.

Aceste chestionare pentru directori çi profesori au fost elaborate utilizând analiza de

conuinut a chestionarelor a terioare çi revizuirea literaturii. Cu ajutorul unui numǎr
estrâns de direct ri în funcuie çi p fesori, toate chestionarele au fost pilotate în
rândul unui eçantion mai mare de participanui çi profesori. Acest proces de pilotare a
ajutat la rafinarea chestionarelor çi asigurat sp cificitatea çi exactitatea întrebǎrilor.

La douǎ sǎptǎmâni dupǎ trimiterea chestionarelor cǎtre çcoli, a mai fost trimisǎ o
scrisoare çco l r care pânǎ în ac moment nu returnaserǎ chestiona le. Aceasta a
fost urmatǎ de o serie de apeluri telefonice cǎtre çcolile în care rata de rǎspuns dintre
variabilele selectate era mai scǎzutǎ decât media.

Studiu de caz: evaluarea çcolilor

Metode de eçantionare în procesul de evaluare a çcolilor supuse studiului de caz

Metodele de evaluare au fost aplicate unui eçantion de 32 çcoli primare çi 20 çcoli

post-primare. Aceste 52 çcoli au fost selectate în mod ale oriu ca un sub-set a
principalului eçantion selectat pentru participarea la sondajul nauional în rândul
dir torilor çi p ofesorilor d çcoli primare çi post-primare. Datoritǎ selec
aleatorii, studiul de caz asupra çcolilor a reflectat, de asem nea, profilul populauiei
cunoscute conform principalelor variabile de stratificare. Totuçi, dimensiunea
eçantionului a fost prea micǎ pentru a fi considerat reprezentativ.

Metode de colectare a datelor pentru evaluarea çcolilor supuse studiului de caz

Çco le sup se studiului de caz au fost nunuate telef nic çi în scris de participarea la
evaluare, cu douǎ sǎptǎmâni înainte de vizita inspectorilor. Inspectorii au petrecut, de
obicei, o zi în fiecare çcoalǎ çi au efectuat urmǎtoarele activitǎui:
 inspecuia facilitǎuilor TIC ale çcolii, în compania directorului sau a
coordonatorului de TIC;
 interviuri s parate cu directorul, coordonatorul TIC çi un mic grup de
profesori {de obicei patru);
 interviuri cu un mic grup de elevi, de obicei patru;
 exam narea de exemple din activitǎuile elevilor in utilizarea TIC; elevii, de
obicei, au venit la interviul cu inspectorii cu exemple din activitǎuile lor;
 105

 rev zuirea documentelor relevant al çcolii {planul çcolii p t u TIC çi

politica uzului acceptabil; un inventar al tuturor echipamentelor TIC din
çcoalǎ, indicând locauia acestora în diferite sǎli de clasǎ sau zone din çcoalǎ;
 un ex plar din fiça de post a coordonatorului TIC; un exemplar al orarului
pent orice laborator de informaticǎ {sau laboratoare) din çcoalǎ);
oferirea de feedback directorului.

În timpul viz telor în çcoli, inspectorii au administrat, d asem ea, un chestionar

elevilor. Scopul acestui chestionar a fost de a stabili pǎrerile elevilor referitoare la
TIC, nu numai cu privire la interacuiunea lor cu TIC din çcoalǎ, ci çi la utilizarea TIC de
cǎtre aceçtia, în afara timpului petrecut în çcoalǎ.

Pentru çcolile primare, o întreagǎ clasǎ a 5-a a fost selectatǎ pentru participare,
c d ându-se cǎ ac st grup va avea destulǎ experienuǎ în utilizarea TIC în çcoalǎ
pe tru a putea oferi feedback informativ; aceastǎ grupǎ de vârstǎ a fost, de asemenea,
consideratǎ îndeajuns de maturǎ pentru a rǎspunde la abordǎri atât de formale, de
tipul interviurilor çi chestionarelor.

Pentru çcolile post-primare a fost selectatǎ o clasǎ întreagǎ din anul de obuinere a
L ving Certific te {învǎuǎmânt secundar) deoarece, în acel moment, în perioad
petrecutǎ în çcoalǎ, ar fi avut 3 ani de perienuǎ în u liz ea TIC în çcoala lor, fiind
astfel consideraui a se plasa pe o poziuie care le permitea acordarea de rǎspunsuri la
întrebǎri. Un total d 437 elevi de çcoalǎ primarǎ çi 450 elevi de gimnaziu au
completat chestionarele.

AsistenUǎ la orǎ (învǎUǎmânt primar) çi inspecUii la anumite materii

(învǎUǎmânt gimnazial)

Ca parte a activitǎuii zilnice, inspectorii implicaui în activitate evalua vǎ din çcoli au

completat un “program de revizuire TIC” pentru fieca çcoalǎ pe care au vizitat-o.
Programele de revizuire TIC utilizate de cǎtre inspectori au reprezentat un mijloc de
primǎ mânǎ de colectare a informauiilor referitoare l utilizarea TIC în acele unitǎui
çcolare, în special, în ceea ce priveçte predarea çi învǎuarea la clasǎ.

În çcolile primare, revizuirea TIC constat în tr i secuiuni. Primele douǎ au fost

identice ç au fost completat în relauie cu activitatea a doi profesori de la douǎ clase
de masǎ individuale. Cea de-a treia secuiune avea sǎ fie completatǎ cu referire la
activitatea nui membru al echip i speciale de educauie din r-o çcoalǎ {ex. rofesorul
pentru sprijinirea învǎuǎrii sau profesorul resursǎ pentru cei ce cǎlǎtoresc pe termen
lung {Resource Teacher for Travellers)). Pentru toate cele trei secuiuni din program,
inspecto i au avut douǎ sarcini: i) de a adres întrebǎri p fesorului referitoare la
planificarea TIC çi utilizarea TIC de cǎtre acesta; ii) observarea çi evaluarea nivelului
de integrare a TIC în predare çi învǎuare.

În tot , inspectorii au vizitat 77 çcoli primare çi au completat programe de revizuir

a TIC pentru 127 profesori de clase din învǎuǎmântul de masǎ. Majoritatea acestor
lecuii au avut loc în sǎli de clasǎ cu mai mult de o grupǎ în clasǎ {de exemplu, o lecuie
într-o çcoalǎ ruralǎ micǎ ar fi putut sǎ aibǎ elevi de anul întâi, al doilea çi al treilea în
aceeaçi salǎ).
 106

În çcolile post-primare, programul de revizuire a TIC a fost conc ntrat pe materie çi

conui ut douǎ secuiuni. Prima secuiu e a cuprins un chestionar scurt referit la
materie care a necesitat adresarea întrebǎrilor de cǎtre inspectori, directorilor çi
profesorilor de la o anumitǎ mat rie {sau materii) evaluate. Acestea au conuinut
într bǎri legate de utilizarea TIC în cadrul anumitor materii, TIC în planificarea
materiilor çi pregǎtirea çi implementarea TIC în procesul de evaluare a elevilor. A
doua s uiune a p o ramului de revizuir a cuprins douǎ formulare de asistenuǎ la orǎ
çi a necesitat înregistrarea de cǎtre inspectori a nivelului de integrare a TIC în
predarea çi învǎuarea materiei evaluate. În general, inspectorii au completat unul
dintre aceste formulare pentru o lecuie predatǎ elevilor din ciclul de juniori çi unul
pentru o lecuie predatǎ elevilor din ciclul de seniori.

În timpul procesului de revizuire post-primarǎ, inspectorii au vizitat 111 çcoli post-

primare çi au completat programe de revizuire privitoare la 311 lecuii.

Evaluarea on-line

În 20 de çcoli pos -primare, ins ctorii au intervievat un total d 79 profes i care au

participat la evaluarea çcolii supuse studiului de caz. Fiecare dintre aceçti profesori a
fost mai apoi invitat sǎ ia parte la un sondaj de urmǎrire on-line, menit a construi un
il al p ofe orilor impli aui çi sǎ obuinǎ o perspectivǎ m completǎ asupra
pǎrerilor acestor d spre câteva probleme sp cifice dicate în timpul interviurilor.
Profesorilor li s-a cerut sǎ completeze un chestionar on-line bazat în principal pe
rǎspunsuri obuinute la interviuri. Un tot l de 37 profesori au completat chestiona u
—o ratǎ de rǎspuns de 47%. Profilul acestor profesori a fost comparat cu cel al
eçantionului aleator de 800 profesor care au completat chestionarul trimis prin
çtǎ. Profilurile celor douǎ grupuri s-au potrivit destul de îndeaproape în ceea ce
priveçte u n n umǎr de variabile semnifi cat ive, resp ectiv, sex, vârstǎ çi deuinerea unui
computer.

Metode de analizǎ a datelor

Toate datele colectate ca rezultat au fost introduse în comput r çi importate în Data
Desk çi SPSS pentru efectuarea unei analize statistice. Fiecare tabel çi organigramǎ
din acest raport p ezint re ultat e privitoare la utilizarea pro entaj lor çi cifrelor.
Toate procentajele se bazeazǎ pe cifre valide { dicǎ, în cazul în care respondenuii au
rǎspuns la întrebǎri, dacǎ nu se specificǎ altceva). O anumitǎ rotunjire a procentajelor
a avut loc. Ordinea rezultatelor din fiecare secuiune urmǎreçte în general ordinea
întrebǎrilor din chestionarele relevante.

Diseminarea constatǎrilor evaluǎrilor

Rezultatele evaluǎrilor au fost împǎrtǎçit factorilor int saui în momente diferite pe
parcursul evaluǎrii. La finalizarea vizitelor în çcoli efectuate în timpul evaluǎrii
çcolilor supuse studiului de caz, a fost întocmit un scurt r port, care a fost apoi trimi
cǎtre fiecar çcoalǎ. Aceste rapoarte se refe la facilitǎuile TIC existente în çcoli, çi
de asemenea, la planificarea TIC çi utilizarea TIC la clasǎ. Fiecare raport a inclus
r comandǎri de rezolvat de cǎtre çcol ca arte din planurile acestora de dezvoltare în
ceea ce priveçte utilizarea TIC în çcoalǎ pe baza principalelor co tatǎri descrise de
Inspectorat, cât çi a principalelor activitǎui propuse pentru îmbunǎtǎuirea în viitor a
implementǎrii politicii TIC.
 107

Cazul 2. Abordarea Bǎncii Mondiale a evaluǎrii impactului al çoselelor

(Adaptat dupǎ “Evaluarea impactului socio-economic al 3oselelor rurale”, Metodologie 3i chestionare,
Banca Mondialǎ, 2002)

De ce acest exemplu?

Acest exemplu de evaluare sumativǎ a fost selectat pentru:

 a arǎta o gamǎ largǎ de indicatori, care pot fi utilizaui pentru a mǎsura
impacturile directe çi indirecte, nu numai pentru programe în sectorul
tran portu ilor, ci în aluarea dezvoltǎrii regionale, reueaua de planificare a
çcolilor, spital lor çi alte elemente de inf structurǎ;
 a descrie procesul de creauie a grupurilor de control {comparauie) în situauia în
car acesta nu a av t loc înainte de începerea programului;
 anterior;
demonstra structura chestionarului conform indicatorilor identificaui

 a furn a o imagine de ansamblu asupra utilizǎrii regresiei çi a modelului sǎu

statistic.

InformaUii generale
Sectorul transporturilor are o ngǎ tradiuie în ceea ce priveçte justificarea
proiectelor pe baza eficienuei, evaluarea investiuiilor alternative în virtutea analizei
cost-beneficiu. Pentru invest u i în transportul pe çosel principalele beneficii
economice constau în eco omisir ea costurilor de funcuion re ale veh culelor {cum ar
accident
fi costul c.ombustibililor, întreuine rii vehiculului), economia de timp çi riscul redus de

Deoarece, începând cu 2001, Banca Mondialǎ se concentreazǎ în principal pe

reducerea sǎ ǎciei, -a constatat apariuia interesului pentru impactul distribuuional al
proiectelor de transp rt çi în special, pentru impactul asupra grupurilor sǎrace. Pe
lângǎ evaluarea economicǎ, s-au fǎcut încercǎri de a mǎsura impacturile sociale çi
e nomi ale drumurilor rurale utilizând diferite abordǎri.

Scopul acestei meta-evaluǎri a fost acela de a analiza practica evaluǎrii proiectelor de

transport çi de a ajuta managerii de sarcini çi clienuii sǎ-çi de olte o colecui
r guroasǎ de date çi metode analitice, c re p atǎ forma baza unei evaluǎri
sistematice a proiectelor de construire a çoselelor. Principiile çi instrumentele
propuse aici trebuie sǎ fie percepute ca modele flexibile, un ghid pentru opuiunile de
dezvoltare pentru contexte de uarǎ specifice.

Întrebǎri de evaluare

Care este magnitudinea çi distribuuia efectelor direct çi indirecte ale proiectelor

construirii de çosele?

Efectele directe ale proiectelor de construire de çosele pot fi:

 reducerea timpului de cǎlǎtorie spre locul de muncǎ, çcoli, spitale, pieue etc.;
 economi în costurile de funcuionare ale vehiculelor {cum ar fi costul
combustibilului, întreuinerea vehiculului);
 reducerea riscului de accidente.
 108

Compoz uia çi distribuuia efect or directe depinde de compoziuia utilizatorilor çi

structura pieuei de transpo t. Acestea pot fi locale, regionale, nauional , nternauion le.
Beneficiile unei çosele rurale se pot extinde la fermierii locali, rezidenuii urbani,
producǎtorii interni sau turiçtii strǎini.

Indicatorii de rezultate directe utilizaUi pentru a mǎsura efectele directe:

 Densitatea traficului {vehicule pe zi, frecvenua serviciului de autobuz);
  Capacitatea çoselei {numǎrul de zile de închidere a çoselei);
 Taxe çi costuri {taxe de transport pasageri çi mǎrfuri);
 Modele d transport {numǎr de cǎlǎtorii, durata, mod de transport cǎtre
destinauiile selectate, pe categorii de vârstǎ çi de sex);
 Deuinerea de vehicule {vehicule motorizate çi non-motorizate deuinute);
 Accidente {rǎni çi decese, pe grupe de vârstǎ çi sex).

Indicatorii de rezultate ale politicii utilizaUi pentru a mǎsura efectele directe:

 Accesul la educauie {cifra de çcolarizare çi rata abandonului pe sexe);
 Calitatea educauiei {absenteismul profesorilor, disponibilitatea resurselor
çcolare);
 Statutul educauiei {alfabetizare, media anilor de educauie, pe grupe de vârstǎ,
pe sexe);
 Acces la facilitǎuile de sǎnǎtate {numǎrul de vizite, pe grupe de vârstǎ çi pe
 seCaxliet)a;t a facilitǎuilor de sǎnǎtate {calificǎrile personalului, disponibilitatea
resurselor medicale);

 Statutul sǎnǎtǎuii {inci nua bolilor, numǎrul de zile de lucru pierdute din
cauza bolilor, pe grupe de vârstǎ çi pe sexe);
 Accesul la pieue {frecvenua vizitelor pe grupe de vârstǎ çi sex, produse vândute
çi achiziuionate);
 Preuuri {preuurile mǎrfurilor cheie, resurse agricole, teren).

Indicatori de rezultate pe termen lung utilizaUi pentru a mǎsura efectele

indirecte:
 Impactul asupra activitǎuilor agricole {combinauia de recolte, utilizarea
resurselor, vizite ale agenuilor de extindere);
 Impactul asupra activitǎuilor non-agricole {combinauia de activitǎui, angajarea
în afara fermei);
 Structura venitului {tipul surselor de venit);
 Compoziuia cheltuielilor {procentajul de alimente, transport);
 Interacuiunea socialǎ {numǎrul de vizite în alte sate çi oraçe, participare la
evenimente sociale, pe grupe de vârstǎ çi sex);
 Participarea politicǎ {numǎr de vizite ale oficialilor guvernului, participarea la
evenimente în cadrul comunitǎuii sau politice, pe grupe de vârstǎ çi sexe).

La evalu rea proi ct lor de const uire de drumuri, este necesar de at

sem ea, fectele negative deoarece poate exista o creçtere a numǎrului de
accidente, despǎdurire çi rǎspândirea HIV/SIDA.
 109

Modelul evaluǎrii
Alegerea odelului evaluǎrii de inde de caracteri ticile çoselelor çi ale popu lauiei din
împrejurimi {e. g. densitatea populauiei, dispersia spauialǎ a po pulauiei, tipul de
activitate ec nomicǎ etc.). Utilizarea de modele experimentale va fi fezabilǎ când, cel
puuin douǎ condiuii vor fi îndeplinite:
 Programul se desfǎçoarǎ la scarǎ largǎ çi are un numǎr suficient de zone de
tratament çi control pentru a put a fi select e aleatoriu;
Programul poate fi implementat în douǎ tape: la început, evaluarea efectelor
 directe çi apoi, indirecte ale proiectelor de construcuie de çosele. Aceastǎ pre-
condiuie of ǎ o oportunitat p ntru a evita dific tǎuile politice çi etice care ar
putea apǎrea în ceea ce priveçte controlul çi misiunea grupului de tratament.

Din pǎcate, în majo rit tea proiect lor de ço ele rurale, ac te condiuii nu vor fi
îndeplinite. Astfel, ce a mai po ivitǎ al gere metodologicǎ va fi din rândul metod or
cvasi-experimentale. Dacǎ datele de referinuǎ sunt disponibile sau pot fi colectate ca
parte din proc ul de evaluare, modelul preferat î mod clar este Modelul 2: Pre-
testarea, Post-testarea grupurilor de tratament çi control.

Acesta constǎ în compararea va iabil lor de impact î inte {date pre testare) çi dupǎ
{date post-testare) construirea çoselei în zonele de tratament çi compararea acestor
schimbǎri cu schimbǎrile observate în ariile de control unde nu s-a construit sau
modernizat nicio çosea. În cazul evaluǎrii çoselelor unitatea de observare va fi î mod
tipic comunitatea sau entitat geograficǎ {district, judeu), care este utilizatǎ p e ntru a
defini zona de influenuǎ a çoselei.

Grupul de c ontrol trebui sǎ fie creat utilizând eç ntionarea simplǎ aleatorie a

zonelor de intervenuie, sau utilizând metode cvasi-experimentale. Grupurile d
tratament çi control ar trebui sǎ fie îndeajuns de mari pentru a avea semnificauie
statisticǎ valabilǎ.

Modelul de evaluare propus constǎ în douǎ etape bazându-se în special, pe culegerea

datelor bazatǎ de sondaje çi pe analiza cantitativǎ a acestora.

Prima etapǎ cu ind impactul direct supr variabilel r de transport {costur de

transport çi timp, acc sibilitate etc.) çi variabilelor sociale {acces la pieue, facilitǎui
de sǎnǎtate çi educauie etc.). Datele din acest modul fac posibilǎ distribuirea efectelor
directe asupra diferitelor grupuri socio-economice.

A doua etapǎ cuprinde efecte indi e te de creçtere a n velului de bunǎstare

con ntrate pe îmbunǎtǎuirea venitului gospodǎriilor, stǎrii de sǎnǎtate çi a statutului
educauiei çi a unui grad crescut de interacuiune socialǎ çi particip e politicǎ.

Prima etapǎ poate fi aplicatǎ fǎrǎ cea de-a doua, dar a doua are sens numai împreunǎ
cu prima.
 110

Colectarea de date
Modele experime ale trebuie sǎ fie stabilite înaint de interve uie. Aceasta est o
diferenuǎ importantǎ fauǎ de m odelele cvasi-experimentale care încearcǎ sǎ genereze
gru uri de control în urma intervenuiei, cu ajutorul metodelor statistice çi
econom trice, ca de exemplu metoda de potrivire prin utilizarea scorurilor d
înclinare, calcularea diferenuelor duble sau utilizarea comparauiilor reflexive, generice
sau comparauii umbrǎ.

În cazul comparaUiilor reflexive, participanuii înçiçi furnizeazǎ informauiile de control

ându-se înainte çi dupǎ ce beneficiazǎ d aceastǎ intervenuie. În cee c
priveçte comparaUiile generice, impactul intervenuiei asupra beneficiarilor este
comparat cu norma stabilitǎ pentru schimbǎrile obiçnuite ce apar în rândul populauiei
uintǎ. ComparaUiile umbrǎ constau în pǎrerea experuilor, administratorilor de program
çi/sau a partic panuilor select i asupra a ceea ce este de açteptat în mod obiçnuit
pentru populauia uintǎ în comparauie cu rezultatele reale.

Modelul de ev uar propus s bazeazǎ în primul rând pe cu egerea de d e prin

sondaj çi pe analizele cantitativ çi calit ive ale cestora. Acest lucru nu înseamnǎ cǎ
nu existǎ loc pentru metodele de evaluare participative sau calitative. Astfel de
m pot fi combi ate cu un sis em pe bazǎ de sondaje, în fun uie de necesitǎui.
Metodele calitative, în mod obiçnuit n se bazeazǎ pe chestionare, ci mai degrabǎ pe
discuuii deschise cu respondenuii, focus grupuri formate din gospodǎrii selectate çi
interv ri cu respondenui cheie, cum ar fi conducǎtorii satului, profesorii de çcoalǎ,
oficiali din sectorul sǎnǎtǎuii çi cei asemenea.

Zona de control t ebui sǎ fie identicǎ cu cea de tratament, cu excepuia intervenuiei.

Abordarea practicǎ va fi definirea zonei de influenuǎ pentru a coincide cu entitǎuile
administrative parcurse de çosea.

Grupul de tratament con tǎ din comune selecta în mod aleatoriu dintr-o listǎ a
tutur r comunelor cu propuneri de proiect în fiecare provincie. Comunele supus
controlului {comparauiei) sunt selectate dintr-o listǎ a celor rǎmase, fǎrǎ propuneri de
proiect, dar care se aflǎ în acelaçi district c çi cele supuse tratamentului.

Sondajul de referinuǎ ar trebui sǎ fie finalizat înainte de începerea construirii sau

modernizǎrii çose ei. Anumite lucrǎri de modernizare, ca densitatea crescutǎ a
traficului sau îmbunǎtǎuirea accesului la çcoli, pot avea loc destul de rapid, dar
efectele asupra ciclului recoltelor çi veniturilor din mediul rural se pot materializa în
câuiva ani. Astfel, decizia trebuie luatǎ în baza numǎrului de sondaje de urmǎrire ce
trebuie sǎ fie efectuate çi în ce interval de timp.

Dacǎ nu existǎ resurse disponibile decât pentru un sondaj de urmǎrire, practica

comunǎ este de a-l programa pe acesta la 2 sau 4 ani dupǎ c de r erinuǎ. Dacǎ sunt
posibile, se recomandǎ runde multip e, intervale mai scurte, ca de exemplu, doi ani.
Deoa ce mul dintre activitǎuil ce trebuie observat sunt de naturǎ sezonierǎ, va fi
important de efectuat s ndajul de referinuǎ çi pe cele de ur rire în acelaçi moment
al anului {evitând perioadele de vârf ale activitǎuii economice, cum ar fi perioada
însǎmânuǎrilor sau a recoltei).
 111

Urmǎto rea listǎ de variabile r rezintǎ un punct de pl are p baza cǎruia poate f
planificatǎ culegerea de date pentru o anumitǎ evaluar a çoselelor. Datele de mai
jos, pe lângǎ variabilele date, pot fi colectate utilizând diferite chestionare.

Variabile de trafic

Densitatea traficului
Vehicule pe zi {pe tip de vehicul), frecvenua serviciului de autobuze, frecvenua
serviciului de taxi.

Capacitatea çoselei
Numǎrul de zile de drum închis.

Taxe çi costuri
Costurile operauiunilor cu vehicule, taxe pentru pasageri, procentajul încǎrcǎturii cu
marfǎ a camioanelor pe o anumitǎ distanuǎ, costul transportului de resurse agricole
{seminue, fertilizatori), costul transportului produselor agricole.

Modele de tran port

N ǎrul cǎlǎtorii efectuate în afara satului {pe scopuri), timpul necesar pentru a
ajunge la destinauiile selectate {cel mai apropiat oraç, piauǎ, çcoalǎ, centru de sǎnǎtate,
loc de muncǎ), principal mod de transport cǎtre destinauiile selectate, numǎrul de
pasageri în transportul public.

DeUinerea de vehicule
Deui erea de vehicule motorizate {pe tip) çi biciclete, tip de utilizare a vehiculelor
deuinute.

Accidente
Numǎrul accidentelor în trafic {rǎniri çi decese).

Variabile ale veniturilor çi cheltuielilor

Impactul asupra activitǎUilor agricole

Teren dedicat diferi lor culturi, cantitǎui de culturi produse, rezultatul culturilor
cheie pe unitate de teren cultivat, cantitatea de recoltǎ vândutǎ la piauǎ, utilizarea
fertilizatorilor, utilizarea echipamen lui gricol {tractoa e, maçini), preuuri pe piaua
localǎ a culturilor cheie, preuul pe unitate al contribuuiilor agricole, numǎrul de
persoane {membrii ai gospodǎriei, altele) ce lucreazǎ la fermǎ, deuinerea de animale.

Impactul asupra activitǎUilor non – agricole

Numǎrul de magazine din sat, deuinerea de întreprinderi familiale non-agricole {pe
tip), numǎrul de zile lucrate în afara fermei, modelul de angajare {la fermǎ, în afara
fermei).

Modelul de venit
Compoziuia veniturilor.

Modelul de cheltuieli
Modelul cheltuielilor gospodǎriei.
 112

PieUe
Distanua pânǎ la piauǎ, numǎrul de vânzǎtori/magazine în cea mai apropiatǎ piauǎ,
numǎrul de produse disponibile la piauǎ, numǎrul de vizite la piauǎ în calitate de
cons ator çi produsele cumpǎrate, numǎrul de vizite la piauǎ în calitate de
producǎtor çi produsele vândute.

PreUuri
Preuul produselor cheie comercializate, preuul terenului, preuul locuinuelor.

Altele
Deuinerea de teren, accesul la credite, numǎrul de emigranui, numǎrul de emigranui
care se întorc, numǎrul de persoane/zile de angajare generate de
construcuia/întreuinerea de çosele.

Variabile sociale

EducaUie
Numǎrul de çcoli primare din sat, rata de înscriere în învǎuǎmântul primar {pe sexe),
rata de înscriere în învǎuǎmântul secundar {pe sexe), rata de abandon a
învǎuǎmântului prim r {pe sexe), distanua pânǎ la cea mai apropiatǎ çcoalǎ
primarǎ/secund rǎ, calitatea çcolilor:
 calificarea profesorilor;
 rata absenteismului profesorilor;
 disponibilitatea resurselor çcolare.

Sǎnǎtate
Distanua pânǎ la cel mai ap at cent de sǎnǎtate/spital, numǎru de vizite la
facilitǎuile de sǎnǎtate {pe grupe de vârstǎ/sexe), numǎrul de vizite la centrul de
sǎnǎtate im osibil de efectuat din ca a stǎrii drumurilor, zile de muncǎ pierdute din
cauza bolii, rata morbiditǎuii, rata munizǎrii copiilor, femei însǎrcinate ce beneficiazǎ
de îngrijire prenatalǎ, calitatea facilitǎuilor de sǎnǎtate
 calificǎrile personalului medical;
 numǎrul de zile de prezenuǎ;
 disponibilitatea medicamentelor çi resurselor medicale;
 disponibilitatea paturilor de spital.

InteracUiunea socialǎ
Numǎrul de vizite în cel m apropiat oraç/sat, numǎrul de vizite primite din partea
prietenilor sau rudelor din alte sate sau oraçe, gospodǎrii care beneficiazǎ de sume de
bani, p ticiparea la evenimente sociale {nunui, festivaluri, înmormântǎri) care nu au
loc în sat.

Participarea politicǎ
Prezenua l întâlniri publice care nu au loc în sat, numǎrul de vizite în sat efectuate de
cǎtre oficialii guvernamentali, utilizarea tribunalului/poliuiei, calitatea de membru al
comunitǎuii sau organizauiilor politice, numǎrul de programe guvernamentale
accesate, implicarea comunitǎuii în întreuinerea çoselei.

Lista variabilelor potenuia pentru o evaluare ex-post completǎ a politi i de investiuii

în construcuia de çosele este lungǎ, iar proiectarea çi administrarea chestionarelor
reprezintǎ o sarcinǎ complexǎ.
 113

Metode de analizǎ a datelor

Pentru a evalu relauia cauzalǎ î re vari bile, modelele de regresiune trebui
estimate în ceea ce priveçte comunitǎuile sau districtele/judeuele. De aceasta este
nevoie de un numǎr suficient de observauii la acest nivel a t în cadr , cât çi în af a
proiectului, acele date, comunitǎui sau districte/judeue existând sau putând fi derivate
din datele la nivel de gospodǎrie. Tehnicile calitative sunt incorporate pentru a
suplimenta constatǎrile cantitative.

Metoda diferenUelor duble (Double-Differences Method) (utilizare Model 2)

Compara ea comunitǎuilor, care au ços le, çi a comunitǎuilor, care nu au çosel ,
genereazǎ prima dintre cele douǎ diferenue necesare pentru aplicare metodei
diferenuelor dubl . A doua dife enuǎ va fi c a dintre situ iile pre- çi post-proiect.

Aplicarea metodei diferenuelor duble este descrisǎ mai jos, pe scurt. Mai întâi se
calculeazǎ valorile medii pentru toui indicatorii de zultat ale politicii relevanui, T
p ntru comunitǎuile din grupul de tratament çi din grupul de control, atât pentru nul
de referinuǎ çi anul de urmǎrire. Aceste valori sunt menuionate în urmǎtoarea

matrice: Cu çosele Fǎrǎ çosele

Referinuǎ
Yroad1 Ynoroad1

Urmǎrire Yroad 2 Ynoroad1

Diferenua de valori din colo ana “Cu çosele” matricei aratǎ media schimbǎrilor din
gru ul de r t nt D ere u in o a ço l ” p zi t m a chim ǎri or
in g up l d cont l. D f r e ua d n e medi sc b l î r ld a tç
p t a ame . if n ad c loan “F ǎrǎ se e n ǎ edi s b l
d r u e ro ie n i tr a him ǎ ri or n g upu e trat men i
cea din grupul de control reprezintǎ o estimare a impactului programului.

Imp ct program = (Yroad 2  Yroad1)  (Ynoroad 2  Ynoroad1)

Deoarece comunitǎuile cu au condiuii sociale complet egale, impactul programului în

diferite comunitǎui p ate depinde de diferite vari ile. Pentru a lua în considerare
aceste diferenue, o abordare regresivǎ poate fi indicatǎ.

Sǎ c siderǎm t =1,2 und 1 se referǎ la perioada pre-çosea çi 2 se referǎ la per oada

ost-çosea. Atunci, valoarea medie a oricǎrei variabile de rezultat T a comunitǎuii c în
perioada 2 (post-çosea) poate fi descrisǎ dupǎ cum urmeazǎ:

Yc 2  a  bRc  cX c 2  uc 2 {1),
unde:
R - variabila temporalǎ indicând prezenua unei çosele. R=0 înainte e construirea
çoselei çi R=1 dupǎ construirea acesteia
X - diferite serii de variabile încorporând caracteristicile gospodǎriilor çi ale
comunitǎuii,
u - eroare. Pot fi elemente variabile de timp {e) çi invariabile de timp {f), pentru t
= 1,2
 114

În perioada de bazǎ, ecuauia este Yc1  a  cX c1  u1 {2),

unde R=0 în perioada de bazǎ pre-proiect

Luând diferenua dintre {1) çi {2)

Yc 2  Yc1  bRc  c( Xc 2  Xc1)  ec 2  ec1 (3)

Aceastǎ ecuauie greseazǎ schimbarea unei anumite variabile de rezultat

de erminatǎ de prezenua un i çosele çi schimbarea altor variabile explica orii.
Estimarea ecuauiei {3) prin metoda celor mai mici pǎtrate, va avea drept rezultat o
estimare nedevi tǎ b imp ctului proiectului construirii de çosele asupra variabilei
de rezultat care a fost analizatǎ.

În cazul în care a exista o deviauie de selecuie din cauza unor variabile neob ervate,
aceasta va dispǎrea datoritǎ procesului de diferenuiere, cel puuin dacǎ astfel de
deviauii nu depind de timp.

Repetarea regresiei pentru fiecare set de variabile menuionat îna te {trafic, venit çi
cheltuieli çi social), evaluatorii vor obuine dife ite valori ale b {coeficienuii de regresie)
çi pot estima impactul socio-economic al fiecǎrei variabile asupra comunitǎuii.
 115

Cazul 3. Mobilitatea geograficǎ a muncii – Ministerul ProtecUiei Sociale

De ce acest exemplu?
Acest exemplu oferǎ o descriere detaliatǎ a întrebǎrilor din evaluarea sumativǎ çi le
pune în legǎturǎ cu ipotezele dezvoltate. Testarea ipotezelor este caracteristica
joritǎuii evaluǎrilor sumative cauzale. Acest exemplu ar putea oferi o înuelegere
modului în car variabilele dependente çi independente au fost alese pentru a
sprijini/respinge ipotezele.

C lǎlalt scop al selectǎrii prezentului exemplu este com plexitatea procesului d

eçant onare. Este un exemplu de utilizare unor metode multiple de eçantionare
descrise în Etapa a 4-a, în timpul aceleiaçi evaluǎri.

InformaUii generale
Dupǎ aderarea Letoniei la UE, unul dintre dr turile de bazǎ ale UE - mobilitate
muncii - a furnizat multe oportunitǎui pentru cetǎuenii Letoniei de a locui çi a-çi cǎuta
un loc de muncǎ în alte st e membre UE. În ciuda unor restricuii din partea statelor
membre mai vechi, odatǎ cu aderarea la UE, tendinua mobilitǎuii geografice s-a
schimbat radical. Se emigra din Letonia pentru mai multe motive: un salariu mai bun,
experienua de învǎ re a limbii sau pur ç simplu, pe tru a gǎsi un loc d muncǎ. Un
grad atât mare d mobilitate a determinat consecinu negative asociate dezvoltǎrii
uǎrii: pierderea foruei de muncǎ calificate, imigrauia muncitorilor necalificaui din alte
uǎri, destrǎmarea multor familii, scǎderea surselor de venit la bugetul st tului.

În acest scop, Ministerul Protecuiei Sociale a iniuiat o cercetare pe tema problemelor

de mobilitate în scopul de a obuin informauii suplimentare care ar putea juta la
îmbunǎtǎuirea politic i existente de ocupare a fo ei de muncǎ. Cercetarea a fost
finanuatǎ din Fondurile Structurale ale UE în cadrul proiectului “Cercetarea pieuei
muncii”. A fost efectuatǎ în perioada iulie 2005 - iunie 2007.

Întrebǎri de evaluare
are sunt motivel mobilitǎui externe çi interne a muncii în Letonia? Cum se pot
ajusta cererea çi oferta de pe piaua muncii?

Întrebǎri de evaluare ai specifice a fost urmǎtoarele:

 Evaluarea volumului çi fluxurilor migrauiei ex rne, motivauia çi caracteristicile
migranuilor, dorinua lor de a lucra în strǎinǎtate;
 Analiza motivelor sau motivauiei pentru care muncitorii migranui se întorc;
 Întocmirea unei prognoze a migrauiei populauiei letone;
 Efectuarea unei analize eficienuǎ-cost a mobilitǎuii geografice a lucrǎtorilor;
 Siste area inform uii pe tema mobilitǎuii, stabilirea principalelor
motive de colectare a datelor çi de asemenea evaluarea existenuei unui flux de
informauii optim între instituuii;
 Su rarea de alternative pentru îmbunǎtǎuirea în viitor a politicii privind
migrauia.

Î timpul efectuǎrii c tǎrii de birou, echipa de evaluar a examinat litera u a

adecvatǎ çi constatǎrile cercetǎrilor ante oare çi a identificat principalii factori care
influenueazǎ procesele de mobilitate în uǎri, în general, çi în Letonia, în special. Câteva
 116

ipoteze caracteristice pentru mobilitatea geograficǎ au fost dezvoltate çi testate mai

târziu, în timpul cercetǎrii:

ldupǎ
a liberderarea
tatea deLetoniei
miçcare la
a forueiinstituuiile
UE, de muncǎ.publ
Acesce
t fenu
nom en com idate
colecteazǎ cǎ prreferitoar
ocesul
evaluare çi prognozare a tendinuelor migrauionale çi posibilitǎuile de
influenu re a comportamentului pentru a preveni cons cinue negative
 mobilitatea diferǎ în funcuie de sex çi etnie, dar mai semnificativi sunt fa ori
ca vârsta, oportunitǎuile de angajare conform profesiunilor cerute în districtele

învecin
 ajoritatea p rsoanelor care îçi cautǎ un loc de muncǎ çi lu rǎtorii cu
mici din zone îndepǎrtate vor fi mai dispuçi sǎ munceascǎ pentru salarii
decente în zona lor d ât sǎ m eargǎ în altǎ parte;
 obstacole înaintea creǎrii de no i locuri de muncǎ sunt: cererea scǎzutǎ pentru
anumite profesii din regiuni, li psa informauiilor referitoare la cererea pe piaua
muncii din regiune.

Planul de evaluare
Pentru a rǎspund eî ntrebǎ rilor de evaluare çi a sprij ni/respinge ipotezele, s-a decis
utiliza rea de metode de cerc tare calitative çi canti tative:
 analiza constatǎrilor evaluǎrilor anterioare çi analiza datelor secundare;
 sondaj în cadrul populauiei letone;
 interviuri aprofundate de expertizǎ {inclusiv sondaje în rândul angajatorilor);
 sondaj în cadrul cetǎuenilor letoni ce lucreazǎ în strǎinǎtate;

analize statistice çi econometrice.
Pentru a produce date de încredere pentru evaluare s-a decis efectuarea unui sondaj

reprezentativ pentru populauie çi interviuri cu difer ui factori interesaui. De rece se

açtepta ca mǎsura eçantionului sǎ fie mare, la fel ca çi volumul de muncǎ de colectat çi
date de analizat, s-a decis externalizarea unei pǎrui din evaluare unor profesioniçti.

Echipa de evaluare
Evaluarea a fost efectuatǎ çi gestionatǎ de Mi isterul Protecuiei Sociale. Anumite pǎrui
ale culegerii çi analizei de date au fost externalizate Universitǎuii de Stat din Letonia
datoritǎ temei çi nevoilor de expertizǎ specialǎ pentru analiza de date.

Metode de colectare a datelor

Echipa de evaluare a les o c ombinaui de metode cantitative çi calitat ive de colectar
a datelor. Metodele cantitative de colecta e a dat lor au furnizat informauii statistice
prezentativ ç de încredere asupra caracteristicil r foru de muncǎ çi motivelor
pentru mi grauia ex ter nǎ ç i i nt ernǎ. Me tod ele de col ectarea d atle orcalitative a
relevat perspective cuprinzǎtoare în situauia çomajului din regiuni, motivele pentru
schimbǎri în migrauie, aspecte ale interacuiunii dintre diferiui actori în domeniul
ocupǎrii foruei de muncǎ çi migrauiei.
Evaluatorii au colectat informauii primare printr-o gamǎ largǎ de interviuri
aprofundate cu experui, sondaje în rândul angajatorilor çi al populauiei.

Interviuri cu experUi
Cercetǎtorii au organizat interviuri cu 6 grupuri de experui diferite. Primul grup de
experui a fost format din instituUii ale administraUiei publice: Ministe l Afacerilor
Externe, Ministerul Economiei, Ministerul pentru Misiuni Speciale pentru Integrarea
 117

în Societate çi Serviciul de Pazǎ a Frontierei. Instituui similare au fost intervievate în

Lituania, Estonia, Polonia çi Irlanda, Suedia çi Germania.

Experuii din instituui e publice au furnizat informauii referitoare l opu ni e

rocedurile de înregistrare în caz de emigrare çi imigrare, imigrauia ilegalǎ çi
principalele dificultǎui întâlnite în procesul de migrare. În final, cercetǎtorii au fost
interes i de împǎrtǎçirea d informauii çi d vizarea funcuiilor între diferite instituuii
guvernamentale responsabile de controlul migrauiei.

Al doilea grup de experui a fost format din reprezentanui ai çase AgenUii de Ocupare
a ForUei de Muncǎ Regionale. În ti pul interviuri or, cercetǎtorii au colectat
informauii despre situauia çomajului în regiuni çi metodel de obuinere a informauiilor
de la persoanele în cǎutarea unui loc de muncǎ, cooperarea cu alte autoritǎui locale çi
firme private de recrutar {inclusiv strǎine).

Cel de-al treilea grup de experui a fost format din sindicatele comerciale sectoriale
çi asociaUiile profesionale în ar iile afectate în mod semnific tiv de fen m nul
migrauiei {ex. sǎnǎtate, construcui . În timpul interviur lor, aspecte ca magnitudine
fenomenului emigrauiei, schimbǎri în procesul migrauiei datorate aderǎrii Letoniei la
UE çi rolul si dicatelor comerciale au fost explorate în detaliu. În plus, au ost
analizate aspecte de genul çomajului în rândul strǎinilor çi concurenua acestora fauǎ
de forua de muncǎ localǎ, ca çi cooperarea cu organizauii similare din strǎinǎtate.

Grupul al patrulea a avut în componenuǎ experui din agenUiile de dezvoltare

regionalǎ. Acestora li s-au adresat întrebǎri referitoare la migrau a î tre r iuni din
Letonia çi strǎinǎtate. Cercetǎtorii au fost interesaui în primirea de informauii
referitoare la transport çi infrastructura IT din regiune, întreprinderile strǎine,
implicarea lucrǎtorilor strǎini în regiuni, recalificarea, oportunitǎui alternative d
angajare. Informauii mai detaliate au fost colectate asupra planurilor de dezvoltare
regionalǎ çi posibilitǎuile pe care le furnizeazǎ acestea. Mai mult, experuii çi-au
exprimat opiniile ref ritoare la neajunsurile înregistrǎrilor de migrauie a foruei de
muncǎ çi au fǎcut sugestii posibile pentru îmbunǎtǎuirea situauiei.

Liderii de district municipal din zonele de graniUǎ au format cel de-al cincilea
gru . Experuii au oferit informauii despre posibilitǎuile de angajare p teritoriul
municipalitǎuii çi schimbul de foruǎ de muncǎ între Letonia çi uǎrile vecine {Lituania,
Estonia), çi de asemenea d pre viitoarele posibilitǎui de cooperare.

Din al çaselea grup de experui au fǎcut parte rectorii universitǎUii regionale. Aceçtia
au descris locul ocupat de univ s tatea de l care proveneau în contextul gener al
regiunilor, ariile în care absolvenuii îçi pot gǎsi uçor un loc de muncǎ çi cooperarea cu
angajatorii în ceea ce priveçte perioada de practicǎ a studenuilor.

Sondaj în rândul angajatorilor

Sondajele î rândul angajatorilor au constat în 21 de interviu aprofundate. Aceçtia
au reprezentat regiunile majore. În acelaçi timp, a fost importantǎ asigurar ea unei
pǎrui considerabile dintre a at ri care sǎ reprezinte regiun e de gran ǎ çi ferit
sectoare ce puneau accentul pe construcuii, industria textilǎ çi alimentarǎ {10 dintre
experuii chestionaui proveneau din cadrul acelor industrii). Angajatorii au descris
structura, funcuia, proprietarii, angajauii propriilor firme çi procesul de interacuiune
 118

cu uǎrile strǎine. Întrebǎri mai detaliate au fost adresate cu referire la fluxul de

personal.

Sondaj în rândul populaUiei

Sondajul în rândul populauiei a fos efectuat utilizând interviuri f ǎ în fauǎ cu
reprezentanuii gospodǎriilor. Cercetǎtorii au utilizat un chestionar, care a conuinut
întrebǎri structurate în 10 categorii:
 ocuparea foruei de muncǎ în Letonia;
 întrebǎri pentru angajaui;
 disponibilitatea de a lucra în altǎ parte;

 migrauia
întrebǎri în
referitoare
ultimii 10laani;
cursurile de formare;
 intenuiile de migrauie în urmǎtorii trei ani în Letonia;
 intenuiile de emigrare în altǎ uarǎ;


întrebǎri pentru cei ce în ultimii 15 ani s-au mutat în Letonia pentru a locui çi a
 lucra;
informauii Socio-demografice;
 informauii despre rudele çi cunoçtinuele care au migrat.

Selectarea unui e3antion pentru sondajul în rândul populaUiei

Populauia supusǎ studiului a fost cea letonǎ cu vârste cuprinse între 15 çi 65 de ani,
adicǎ 1. 629. 197 persoane.

Mǎrimea eçantio lui fost de 8.000 respondenui {800 puncte eçantion cu 10

respondenui pentru fiecare). Mǎrimea eçantionului a fost mult mai mare decât s-a
solicitat pentru un sondaj reprezentativ. Totuçi, acest numǎr a permis producerea de
date reprezentative nu numa pentru Letonia ca întreg, ci çi pe bazǎ regionalǎ.
Eçantionul a fost divizat dupǎ cum urmeazǎ:

 71.000
.000 rrespondenui
espondenui ddin
in reRiga;
giuni.

Intervievatorii au vizitat 14.111 gospodǎrii, din care 11.567 au avut respondenui

pot nuiali. În timpul procesului de interpretare a datel este impor nt de reuinut cǎ

în gospodǎriile unde nu a existat iciun respondent, nu locuiau ne ǎrat persoane
care îndeplineau condiuiile eçantionului. Din 11.567 gospodǎrii vizitate, 2.067 nu au
co spuns condiuiilor de eçantionare çi 1.500 de potenuiali respondenui au refuzat sǎ
participe la sondaj.

7.000 respondenui {700 puncte eçant n) au fost distribuiui pro ruional pe teritoriul
a 26 districte din Letonia çi 6 cele mai mar oraçe {cu excepuia Rigǎi). Punctele din
oraçele mari au fost împǎruite în diferite pǎrui, conform mǎrimii populauiei.

Pe baza opini lor experuilo , ariile au fost împǎruite î patru categorii: urbanǎ, centre
rurale semnificative, moderat semnificative çi nesemnificative. Apoi, în cadrul fiecǎrui
district, cercetǎtorii au calculat procentele de populauie din toate categoriile, çi au
distribuit numǎrul de u tǎui de eçantionare în conformitate. Computerul Biroului de
Evidenuǎ a Populauiei din Letonia a selectat adresa de start.
 119

Sondaj în rândul cetǎUenilor Letoniei ce lucreazǎ în strǎinǎtate

Scopul acestui sonda j a fost ac la de a clarifica pre-co iuiile care are putea promova
çi stimula cetǎuenii cu serviciul în strǎinǎtate pentru a se întoarce în Le onia. O parte
din grupul uintǎ a f ost intervievat în uǎrile de rezidenuǎ, alui i prin poçtǎ sau e -mail,
aluii - în tim pul vizitel or s curte efect uat eîn Le tonia. Întotal, 328 int er
viu ria u fos
olectate. Pentr a obuine e çantionul acestui grup uintǎ de populauie, s-a folosit
metoda bulgǎrelui de zǎpadǎ.

Metode de analizǎ a datelor

Pentru a analiza datel colectate çi a formula opinii, s-a folosit o combinauie de
metode de analizǎ a datelor cantitative çi calitative.
Analize econometrice indivi ale ale datelor au fost efectu te pentru a stabili
impactul vârstei, sexului, educauiei, experienuei de lucru, salariului, loculu de
rezidenuǎ, nauionalitǎuii çi ocupauiei curente asupra mobilitǎuii geografice a muncii.

T hnicile de analizǎ a datelor cantitative utilizând variabile i ependen { ot e

pentru mo ) çi depende te {de xemplu, numǎ l persoanelor care au emigrat
sau probabilitatea ca persoana respectivǎ sǎ emigreze) au fost utilizate: analiza
factorilor çi regres au fost utilizate pentru a stabili principalele cauze çi trenduri ale
mobilitǎuii geografi . Analiza datelor a fost efectuatǎ prin folosirea software -
ului SPSS çi a Ms Excel.

Statistici descriptive au fost ilizate pentru a descrie principalele caracteristici ale

populauiei uintǎ. Urmǎtoarele sunt exemple de diferite seturi de date:
 defalcarea populauiei active pe grupe de sex çi vârstǎ;

defalcar rudelor ce lucreazǎ în strǎinǎtate ale respondenuilor pe grupe de
 cvâ a rasctǎte, rsex
isticçi uarleǎ dlocului
e rezidede
nuǎmuncǎ
; ale rudelor din strǎinǎtate {numǎrul çi
durata çederii);

 defalcarea populauiei pe uǎri ale rudelor care au lucrat în strǎinǎtate pânǎ la 2

 ani;
viitoarele planuri ale rudelor respondenuilor în funcuie de durata muncii sau a
studiilor în strǎinǎtate;
 durata muncii sau a studiilor în strǎinǎtate în funcuie de durata angajǎrii în
Letonia înaintea plecǎrii;
 defalcarea rudelor ce trimit bani în Letonia pe uǎri de rezidenuǎ etc.

Urmǎtoarele sunt exemple de statistici inferenUiale utilizate pentru a gǎsi cauze çi

dependenue ale fenomenului migrauiei çi de a formula opinii:
 cauzele pentru care persoanele îçi schimbǎ localitatea çi ocupauia;
 corelarea între vârstǎ, ocupauie, nivel educauional çi statut civil;

corelarea între durata çederii în strǎinǎtate çi disponibilitatea de a se întoarce
în Letonpentru
 motive ia; care persoanele rǎmân çi lucreazǎ în strǎinǎtate;


probabilitatea ca p rsoanele sǎ migreze din cauza anumitor motive çi
 sebm
o nificauiadeinfl
iceiurile uenuei aacebanilor
cheltuire lor motive;
ale populauiei uintǎ în funcuie de vârstǎ {în %)
etc.
 120

Implementarea constatǎrilor evaluǎrii

Una dintre sarcin le echipei de evaluare a fost propunerea de diferite alternative
pentru îmbunǎtǎuirea ocupǎrii foruei de muncǎ çi a politicilor de muncǎ. Pe baza
constatǎrilor evaluǎri , cercetǎtorii propus câteva alternative M inisterului
Protecuiei Sociale. Ministerul a selectat urmǎtoarele alternative pentru care s-au
efectuat analize cost-eficienuǎ detaliate: a privit, în pr n ipal, promovarea
1. Scǎderea migrauiei. Aceastǎ alternativǎ salarial, recalificarea lucrǎtorilor
pieuei muncii, descreçterea pachetului
conform cerinuelor pieuei muncii;
2 Dezvoltar a regiunilor. Ace stǎ alternativǎ a suger scǎderea migrauiei
interne, dezvoltarea infrastructurii în regiuni;
3 Promovarea imigrauiei în anumite zone. Aceastǎ alternativǎ a sugerat
po v imigrauiei în arii în care exis a un deficit de lucrǎtori;
4. Promovarea imigrauiei. Aceastǎ alternativǎ a sugerat o abordare liberalǎ
ocupǎrii foruei de muncǎ - fǎrǎ limitǎri pentru piaua muncii, optimizarea
regimului vizelor, lucrǎtorii nu trebuie neapǎrat sǎ aibǎ permise de muncǎ, iar
membrii familiilor lor au acces la asigurǎri sociale.

Fiecare alternativǎ de po ticǎ a fost analizatǎ conform unei metodologii care a

furnizat criterii pentru analizǎ çi formularea unei opinii. Conform analizei cost-
eficienuǎ, procesul imigrauiei are un impact negativ asupra economiei uǎrii. Luând în
considerare re ltatele analizei ca re a suge at scǎderea emi rauie factorii de decizie
aleg alternative. Câteva modificǎri au fos prop use pentru legislau a în vigoa . Totuçi,
din cauza crizei economice çi schimbǎrii guvernului în anii urmǎtori, ritmul
reformelor în aceastǎ arie a încetinit din cauza lipsei resurselor financiare.
 121

Cazul 4. Reforma mineritului în România

(Adaptat dupǎ Sǎrǎcia 3i Analiza Impactului Social al Reformelor, Banca Mondialǎ, 2006)

De ce acest exemplu?
Exemplul evaluǎrii sumative a reformei mineritului din România este un mod de a
demonstra importanua procesului de monitorizare în timpul implementǎrii
reformelor politice impo ante. S dajele de monit iz are a impactului social
admi istrate de cǎtre Agenuia Nauionalǎ pentru Dezvolta rea çi Implem ntarea d
Programe pentru Reconstrucuia Zonelor Miniere {AZM) a u furniz t date generale
cuprin zǎtoar e p tr u desf ǎ u ra rea de mai mul te s tud ii d imapct soc ia
l iç de
recomandǎri în ceea ce priveçte Strategia pentru Sectorul Minier din România.

InformaUii generale
În fostele uǎri comuniste, minerii erau consideraui elita proletariatului, lucrând în
condiuii periculoase, având sarcini de importanuǎ nauionalǎ. La începutul anilor 1990,
România av a în jur de 464 mine de cǎrbuni çi alte minereuri çi aproximativ 350.000
angajaui direcui, ce generau indirect alte 700.000 locuri de muncǎ. Era relativ bine
plǎtiui, bine or anizaui, având un sindicat influent pe plan politic. Dupǎ 1990 au
devenit disponibile alternative mai ieftine, extracuia de minereu nemaifiind
profitabilǎ.

Începând cu 1997, România a început sǎ închidǎ rapid minel neprof abile. Foru
muncǎ a scǎzut de la 171.000 în 1997 la 50.000 în 2004. Scǎderi semnif cative au avut
loc în 1997, printr-un proces de concediere voluntarǎ indus de un pachet generos de
salarii compensatorii pe 12-20 luni. Concedierile au continuat de atunci, 5.000-
10.000 lucrǎtori pǎrǎsind industria în fiecare an.

Deçi obligauiile de protecuie socialǎ u fost respectate, oraçele min ere afectate de
restructurǎr le din sector s-au nfruntat cu rate mari ale çomajului çi o deteriorare a
calitǎuii vieuii, infrastructurii locale çi a serviciilor sociale. Alt factori care au influenuat
creçtere nivelului de sǎrǎcie a fost creçterea negativǎ a PIB pânǎ în 2000, Nivelul
inflauiei s-a menuinut deasupr a 30% pânǎ în 2001, scǎzând pânǎ la 15 % în 2003.
Analiza asupra Sǎrǎciei efectuatǎ de banca Mondialǎ în 1997, a estimat cǎ 21,5% din
populauia României trǎia sub limita sǎrǎciei. Pânǎ în 2002, nivelul sǎrǎciei a crescut la
29%.

Deo ece sindicatele miniere încǎ aveau legǎturi puternice cu politicienii, guvernul a
alocat subv nuii bugetare pentru acest sector. În 1999, valoarea ac stora s-a ridicat la
99 milioane USD, iar în 2004 - la 188 milioane USD pentru cele 120 mine încǎ
funcuionale. Drept rezultat, în 2004, sectorul minier a consumat 300 milioane de la
bugetul de stat sau 0,5% din PIB.

În Octombrie 2004, Guvernul a aprobat Strategia pentru S ctorul Mini r cu scopul d

a preveni deficitul fiscal çi a îmbunǎtǎui condiuiile sociale pentru fostele zone miniere.
Strategia a fost proiectatǎ pentru a defini obiectivele de bazǎ în ceea ce priveçte
restructurarea obiectivelor sectorului minier, inclusiv eliminarea tuturo subvenuiilor
pentru sectorul minier pânǎ în 2010 pentru a îndeplini criteriile de aderare ale UE çi
ale schimbǎrilor necesare pentru realizarea acestora.
 122

Strategia a fost înt cm tǎ sub supervizarea min strului economiei çi comeruul f ind
sprijinitǎ de asistenua tehnicǎ din partea Bǎncii Mondiale în cadrul Proiectului de
închidere a Minelor çi Atenuǎrii Efectelor Sociale {MCSMP). Aceastǎ cooperare a
furnizat baza pentru continuarea sprijinului din partea Bǎncii Mondiale în ceea ce
priveçte sectorul minier din România.

Guve ul României plǎnuieçte sǎ cheltuiascǎ 411 milioane Euro sub forma unui
ajutor de stat în perioada 2007-2010, reducând, în acelaçi timp, în mod gradual,
subvenuiile pentru sectorul cǎrbunelui. {Sursa: www.worldbank.org)

Întrebǎri de evaluare
Obiectivul analizei nivelului de sǎrǎcie çi a impactului social {PSIA) a fost acela de a
examina trei seturi de impacturi distribuuionale în scopul propunerii a trei variante
de politicǎ a guv nului:
1. Care sunt diferenuele de impact între comunitǎuile çi gospodǎriile miniere çi
non-minier ?
2 impact l reformel r în ceea ce priveçte ambel sexe?
3. Care este distribuuia salariilor çi subvenuiilor în cadrul sectorului minier?

PSIA a conc ut, de asemenea, çi un inp an litic pentru a ajuta Guvernul sǎ

impl ent ze mai bine Strategia Sectorului Minier, sǎ gestioneze subvenuiile çi
rocesul de reducere a sectorului printre companiile de minerit, çi de asemenea, p
ntru a pregǎt i c ond iuiile pentru a l d oilea m
î p rumu t de la B anca Monid aǎl —
roiectul de închidere a minelor çi regenerare socio-economicǎ çi a mediului
{MCESER).

Planul de evaluare
Evaluarea care a fost planificatǎ a avea loc în timpul anului fiscal 2005 a acoperit
câteva sub-seturi:
1 Stud u comparativ al comuni ǎuilor miniere çi non-mini re;
2. Analiza imp ctului social asupra d eriuilor factori interesaui:
a. Analiza impactului protecuiei sociale din procesul de restructurare a
sectorului minier as pra membrilor gospodǎriei;
b. examinarea impacturilor pe grupe de sex al reformelor din sectorul
minier;
c. studiu de impact al pro gra melo r AZM menit e a reduce efectele
negative ale reformei sectorului minier asupra societǎuii.
3. Analiza distribuuiei resurselor financiare în sectorul minier.

Colectarea datelor

Studiu comparativ al comunitǎUilor miniere çi non-miniere

Comp rauia între comun ǎuile miniere çi cele non-miniere a avut drept scop
realizarea unei comparauii a fostelor oraçe miniere cu alte oraçe similare pentru a
evalua impactul refo melor din sector la nivelul comunitǎuii.
Studiul a implicat activitǎui calita ve de teren în trei perechi de oraçe. Oraçele
miniere - Baia de Arieç, Comǎneçti çi Borça au fost comparate cu Moineçti {Est),
Sebiç {Vest) çi cu Negreçti-Oaç {Nord).
 123

Ipotezǎ: Efectul închid rii minel r ar fi çi m greu în cazul în car com nitǎuile n ar
reuçi sǎ gǎseascǎ strategii de cooperare, iar municipalitǎuile locale nu au resursele de
a menuine infrastructura çi servicii e locale. Acesta ar fi un obstacol pentru o
recuperare d succes.

Pentru a dovedi sau respinge ipoteza informauiilor cheie socio-economice, culturale çi

referitoare la infrastructurǎ çi instituuionale au fost colectate discuuii în cadrul focus
grupurilor, in rviuri cheie de informa çi statistici regionale oficiale. Setur de date
oficiale au fost puse la dispoziuie de cǎtre AZM çi Institutul Nauional de Statisticǎ.

Analiza impactului social asupra diferiUilor factori interesaUi

Impactul protecuiei sociale asupra diferiuilor gospodǎrii or a fost mǎsurat prin
intermediul a 4 indicatori de rezultat {stabili în principal, pe baza disponibilitǎuii
datelor):
 Schimbǎri în standardul de viauǎ {puterea de cumpǎrare);
 Venitul gospodǎriei pe cap de locuitor;
 Consumul de alimente pe cap de locuitor, çi

Schimb ea acc sului la serviciile medicale de bazǎ din 1997.
Datele pentru analiza econometricǎ avutǎ în vedere au fost obuinute în urma a patru

runde a uale de sondaje de Monitorizare a Impactului Social {SIM) fectuate de cǎtr

AZM pentru rapoartele anuale din 2001 pânǎ în 2004. Sondajele SIM au fost efectuate
pe mai mult de 1.200 gospodǎrii anual. Acestea au avut loc în 34 de açezǎri miniere,
reprez t tive pentru populauia din regiunile miniere. Cele 34 localitǎu miniere au
fost selectate în mod aleator dintr-o bazǎ de eçantionare de 139 localitǎui. Aceste Sondajele
sondaje au fost administrate utilizând un chestionar standardizat pentru
monitorizarea çi evaluarea impactului asupra programelor administrate de AZM.

efectuate în gospodǎrii au fost însouite de focus grupuri çi analize

secundare ale datelor colectate din departamentele sectoriale din cadrul regiunilor
miniere.

Informauiile colectate î t mpul SIM au servit drept informauii de bazǎ pentru toat
cele trei direcuii ale analizei impactului social: protecuie socialǎ, sex çi studiul de
impact al programelor AZM.

Examinare impacturilor pe sexe a reformelor sectorului minier

Datele referitoare la impactul protecuiei soci e asupra femeilor au fost colectate
utilizând surse de date multiple, studii comparative în 6 oraçe, studii de caz în cadrul
a douǎ comunitǎui, interviuri ip focu grup çi sondaje SIM desfǎçur te în gospodǎrii,
din care evaluatorii impactului asupra sexelor folosiserǎ deja doi indicatori
menuionaui anterior {schimbǎri ale puterii de cumpǎrare, schimbǎri privitoare la
accesul la îngrijire medicalǎ), precum çi schimbǎri în posibilitǎuile de re-angajare.

Studiu de impact al programelor de recuperare a sectorului minier

Programul de atenuare a efectelor sociale implementat de cǎtre AZM conuine 5
subcomponente:
 Schema Stimulentelor pentru Angajare çi Formare {ETIS);
 Micro-credite;

centrul pentru spauiul de lucru;
 124

 sprijin pentru întreprinderi çi managementul spauiului de lucru {ESWM);


informauii publ ce çi dialog social.
Întreprinderile sunt invitate sǎ aplice pentru ETIS çi ESWM, iar persoanele fizice

entru micro-credite. Aplicauiile sunt examinate çi aprobate prin intermediul unor

proceduri bine definite ce implicǎ atât birourile centrale ale AZM, cât çi pe cele
regionale.

P vocarea în evaluarea impac ului programelor constǎ în separarea impactului

programului auǎ de acela al altor factori. Programele AZM au fost distribuite pe
teritoriul a diferite localitǎui miniere prin invitarea întreprinderilor çi a persoanelor
fizice sǎ plice pentru co ponente individuale ale programului. Acest fapt sugereaz
cǎ în localitǎui cu o capacitate mai puternicǎ a guvernului local çi cu infr structurǎ
socialǎ, plasarea programului este posibil sǎ fie favorabilǎ localitǎuii “mai bogate”
datori ǎ numǎru i mai mar de întreprinderi çi p soane fizice care aplicǎ pentru a
ben ficia de asist uǎ. În acest scop, la evaluarea imp ctului programului de atenuar
a efectelor sociale, este necesar de luat în considerare deviauia posibilǎ cauzatǎ de
plasare endogenǎ de programe. Din aceastǎ cauzǎ metoda dife enuelor duble {model
nr. 2) a fost utilizatǎ pentru a evalua impactul programelor pentru co ar
diferenuelor între indic torii de rezultate cheie înainte çi dupǎ implementarea
ogramului, între localitǎuile care au participat la program çi cele care nu au
participat.

Pe lângǎ da ele canti ative din rapoa tele SIM, au fost colectate çi date calitative prin
interviu semi-structu ate çi focus grup-uri din patru regiuni mi ere în care au avut
loc restructurǎri. Interviurile au fost desfǎçurate cu reprezentanui ai diferitelor
catego ii de întreprinzǎtori, in usiv formali çi informali, cu sau fǎrǎ angajaui. Focus
grupuri au fost organizate cu muncitorii concediaui, cei care încǎ mai lucreazǎ în
industria minierǎ çi femei din acele oraçe miniere.

Analiza distribuUiei resurselor financiare în sectorul minier.

O analizǎ a bugetelor compan ilor de minerit a fost efectuatǎ pentru a înuelege
dinamica sectorului minier. Din cauza presiunii sindicatelor asupra guvernului,
lu rǎtorii din sectorul minier au pr mit compensauii peste die çi prim de
pensionare anticipatǎ, precum çi beneficii non—salariale semnific ive. PSIA a
încercat sǎ cuantifice aceste prime çi sǎ examineze cine a beneficiat de acestea
analizând datele secunda re ref itoar la ocuparea foruei de muncǎ, sal rii çi bugete e
feritelor companii de m inerit. Dat le referitoare la ocupar e çi sala ii au fost puse la
dispoziuie rapid. Totuçi, datele referitoare la subvenuii çi transferuri ascunse sau
scutiri a trebuit sǎ fie compilate pentru fiecare companie çi apoi, adunate.

Analiza datelor
Studiu comparativ al comunitǎUilor miniere çi non-miniere
Echipa de evalu re a analizat rapoartele de teren çi a comparat calitatea locuinuelor,
mortalitatea infantilǎ, posibilitǎuile de r eangajare çi performanua economicǎ între
oraçele miniere çi comunitǎuile non-m iere. Datele obuinut în urma interviurilor au
fost folosite pentru a examina relauia dintre companiile miniere çi comunitǎuile locale.

Çase oraçe au fo mparate între ele prin utilizarea urmǎtorilor indicatori:

 caracteristici demografice/economice;
 125


dinamica ocupǎrii foruei de muncǎ dupǎ 1989;
 atractivitatea pentru investiuiile strǎine;
 plata taxelor la bugetul local de cǎtre companii;

firmele locale în calitate de sponsori pentru activitǎuile comunitǎuii.

Analiza impactului social asupra diferiUilor factori interesaUi

Studiile de impact în ceea ce priveçte protecuia socialǎ au utilizat modele
econometrice {modele probit) pentru a estima impactul asupra diferitelor gospodǎrii.

Impactul protecuiei sociale asupra a diferi e gospodǎrii a fost mǎsurat prin

intermediul a 4 indicatori: schimbǎril înregistrate în stan ardele de viauǎ {puterea
de cumpǎrare), venitul gospodǎriei per capita, consumul de alimente per capita çi
schimbǎri în ceea ce priveçte accesul la servicii medicale de bazǎ începâ cu 1997.

În acest exemplu, indicatorul puterii de cumpǎrare sau al schimbǎrilor în condiuiile de

locuit este folosit pentru a d monstra util zarea modelului econometric pentru a
estima impactul social. O schimbare a puterii de cumpǎrare este mǎsuratǎ între 2001
çi înainte de 1997. Analiza exprimǎ schimbarea standardelor de viauǎ ca pe o
probabilitate ca go podǎriile sǎ se afle într-o stare mai proastǎ decât înainte de
începerea reformei sectorului minier.

Puterea de cumpǎrare a fost definitǎ în chestionar prin utilizarea a trei niveluri:

 A {îmi permit doar utilitǎui),
 B {îmi permit utilitǎui çi mâncare),
 C {îmi permit utilitǎui, mâncare çi alte bunuri),

Respondenuii din g ospodǎrii au oferit rǎspunsuri pentru douǎ perioade: 2001 {2002,
2003 ç respectiv 2004) çi înainte de 1997.

Posibilitǎuile de schimbare în ceea ce priveçte puterea de cumpǎrare pot fi rezumate

a matrice: B {utilitǎui+mâncare) C {utilitǎui+mâncare+altele)

în urmǎtoare A {numai utilitǎui)

Pneri otad1
ǎ 997

Î a n {e au 11 12 13

c i
s2001
t os is l d eZ ui t r Z ce e
b ina a ii Z
re a tu t da ǎ s s re ez ua n re m i iil {Z1 , Z22 ,
2,2003,
{Z11 Z23) sau {Z12, Z23)
2002)
4) rezultatul rǎmâne constant, dacǎ rǎspunsul este una dintre combinauiile {Z11,
e trei r
Z21), {Z12, Z 22) sau {Z 13, Z 23),
un
el 3)p rezbuiezu 21 22 23
1) zult ltatul scade, dacǎ rǎspunsul este una dintre combinauiile {Z12, Z21), {Z13,
Z21) sau {Z 13, Z 22).
ltate privitoare la himbar a puterii de umpǎrare a une gospodǎri
ob nu p in m re lul lor m tr ce :
l creç e, c rǎ pun ul pr intǎ n di t co b nau e 1 )
 126

Utilizând aceeaçi or r ch ti narele au mǎsurat, de s menea, sch bǎrile

serviciile medicale {“ma rǎu d ât în 1997”, “nicio s himb e”, çi “mai bine decât în
1997”), precum çi atitudinea “deseori sunt de pǎrere cǎ viaua nu meritǎ trǎitǎ”. Ultima
variabilǎ a fost mǎsura de urmǎtoarele posibilitǎui: “deseori sunt de acord”, “uneori
sunt de acord”, “nu sunt de acord”.

Pe lângǎ cei 4 indicatori d rezultat menuionaui mai dev rem , studiile de impact al
protecuiei sociale au utilizat indicator de capital uman { susuinǎtorul gospodǎriei cu
un nivel scǎzut de educauie {%)), incidenua bolilor {%), starea de sǎnǎtate proastǎ
auto-evaluatǎ {%) çi deui rea de tere uri cad ul celor nouǎ grupuri diferite sau al
factor lor interesaui: mineri, non-mineri în întreprinderi de stat, s torul pr vat,
mineri pensionaui, alte persoane pensionate, mineri concediaui, alte categorii de
çomeri, casnice, aluii.

Examinarea impacturilor pe sexe a reformei sectorului minier

Analiza de gen a fost menitǎ sǎ evalueze dacǎ femeile au fost afectate în mod
disproporuionat de reforma sectorului minier çi a avut drept uintǎ identificarea
mǎsurilor necesare p tru afla acest lucru. Procesul s-a desfǎçurat p in a naliza
datelor secundare a patru runde de sondaje S IM, suplimentate d cercetare pe teren
asupra impactului pe sexe a închiderii minelor în douǎ oraçe miniere {Uricani çi Brad)
de cǎtre o echipǎ de cercetare cu experienuǎ anterioarǎ în regiunile miniere.

Echipa de evaluare a comparat trendurile în ocuparea foruei de muncǎ din sectorul

minier cu datele uio nale referito e la çomaj, schimbǎrile în povara
responsabilitǎuilor casnice, tensiunile intra-gospodǎreçti, impactul migrǎrii induse de
închiderea minelor.

R zultat le separate pe sexe au fost obuinute pentru trei indicatori e rezultat bazaui
pe sondaje SIM: probabilitatea de reangajare {%), o scǎdere a standardului de viauǎ
{% în prezent vs. în trecut 1997), acces la îngrijire medicalǎ {mai rǎu decât înainte de
1997) %. S-au comparat date pentru perioada 2001 - 2004 separat pentru bǎrbaui çi
femei.

Studiu de impact al programelor de recuperare a sectoarelor de minerit

Patru indicatori de rezultat din cadrul SIM au fost utilizaui pentru a comp a
localitǎuile incluse çi neincluse în program, precum çi tendinuele pentru toate
regiunile: probabilit ea de reangajare, scǎderea standardelor de viauǎ {în co parauie
cu 1997), lipsa speranuei de viauǎ {deseori sunt de acord), acces la îngrijire medicalǎ
{mai rǎu decât în 1997). Impactul programului este evaluat prin compararea
schimbǎrilo din cadrul celor patru in icat ri de rezultat înainte çi dupǎ
implementarea programului, utilizând date din sondajul SIM 2001 ca referinuǎ çi din
sondajul SIM 2004 ca date post-program.

!inta programului a fost analiz ǎ atât din perspectiva tuturor i divizilor cât çi din
rspectiva femeilor. Probabilitatea {%), pentru localitǎuile cuprinse çi necuprinse în
program, a fost estimatǎ ca locuitorii acestora sǎ nu fi auzit niciodatǎ de diferitele
subcomponente ale programului sau sǎ nu fie interesaui de programului AZM.

Analiza distribuUiei resurselor financiare în sectorul minier.

Subvenuiile de la buget pentru industria minierǎ au fost analizate pentru perioada
 127

1999 - 2004 p n inter ediul urmǎtoarelor categorii: subvenu i di cte {subvenuii de

funcuionare çi plǎui compensatorii), alo auii sociale çi invest uii. Rata salariul i a fost
calculatǎ pentru 9 companii miniere ce acopereau aproape întreg sectorul. Dacǎ
valoarea acesteia era 1, însemna cǎ valoarea ieçirii generate per muncitor era
aproximativ egalǎ cu salariul unui lucrǎtor.

Calcularea ratei transferurilor de stat în r lauie cu totalul veniturilor a demonstr

dependenua întreprinderilor de subvenuiil de la stat. Analiza acestor date a ajutat
echipa de evaluare în a oferi mai multe recomandǎri în ceea ce priveçte viitoarele
decizii ale guvernului asupra politicii de subvenuionare pentru sectorul minier.
 128

Cazul 5. Descentralizarea çi privatizarea sectorului apelor în Albania

(Adaptat dupǎ Sǎrǎcia 3i Analiza Impactului Social al Reformelor, Banca Mondialǎ, 2006)

De ce acest exemplu?
Reforma de descentralizare a sectorulu administrǎrii apelor din Albania aratǎ rolul
factorilor in teresaui în timpul elaborǎrii constatǎrilor evaluǎrii. Acestea au inclus çi
gestii pentru îmbunǎtǎuirea politicii în urma analizǎr i de cǎt factorii interesaui în
scopul de a gǎsi motive pentru o implementare înceatǎ a reformei, çi cauze d
împotrivire a beneficiarilor. Aceastǎ evaluare reprezintǎ un exemplu de evaluare
mixtǎ {sum tivǎ çi formativǎ).

O altǎ valoare adǎugatǎ a acestui exemplu este de a arǎta posibilitatea de a utiliza

modelul longitudinal cu câ teva valuǎri planificate {p -, interim re ç ex-po st)
p ntru grupurile de control çi tratament {Model 1). Deçi planificarea unui astfel de
design este costisitoare, auto ritǎuile de implementare împreunǎ cu Banca Mo ndialǎ au
decis sǎ util izeze aceastǎ abordare pentru impactul social semnificativ asupra
anumitor factori interesaui.

InformaUii generale
Deçi Albania are resurse de apǎ abundente, apa potabilǎ çi infrastructura d
canalizare este îmbǎtrânitǎ, afectatǎ çi ineficientǎ în mod considerabil, atât în zonele
urbane, cât çi în c le rurale. Guvernul Albanez d reçte sǎ furnizeze acces egal la apǎ în
condiuii de siguranuǎ çi t rife accesibile printr-o reformǎ a sectorulu apelor care sǎ
experimenteze descentralizarea a douǎ modele paralele de utilitǎui, unul privat çi
tul p bli c. Ban a Mondialǎ asistǎ refo rma de de sce nt ralizar ea se ct rului alba ne z al
apelor prin intermediu l un ui P roie ct Municipa l pent u Ape çi Ape Uzat e, care a
introdus primul contract de management din sectorul privat în patru oraçe albaneze.

Întrebǎri de evaluare
Evaluarea a avut drept scop recierea impacturilor reformei procesului de
managemen al apelor, comparând cele douǎ modele în opt oraçe, într-o anumitǎ
perioadǎ de timp.

Studiul a examinat urmǎtoarele douǎ aspecte majore:

 C schimbǎri în regulamentele instituuionale a determinat reforma
descentralizǎrii;
 Ce impact ri au a vut himbǎrile de au oritate asupra preuurilor {tarif lo ,
accesului la servic iile d apǎ çi ape uzate, ocupǎrii unui loc de muncǎ pentru
diferite grupuri çi, de asemenea, care sunt alte impacturi ale reformei.

Î acest scop, evalua ea s-a concentrat asupr a analizei factorilor i eresaui,

nsti uuiilo r çi a impacturilor sociale. Consultǎrile c u Guvernul çi Banc Mondialǎ au
ident ficat nevoia de perspective asupra structurii, funcuionǎrii çi impacturilor celor
douǎ modele de reformǎ. Studiul fost menit a ilustra constrângerile, oportunit ile
curente çi riscurile implicate de managementul privat çi public al utilitǎuilor de apǎ.

Ech pa de evaluare a ridicat, de asemenea, ipo z conform cǎreia cele douǎ model
de reformǎ au impacturi distribuuionale diferite asupra grupurilor socio-economice
similare. Ipoteza a ghidat alegerea metodologiei analitice.
 129

Planificarea evaluǎrii
Deoarece scopul evaluǎrii a fost acela de a precia im pacturile reformei sectorului
apelor, metodologia de cercetare a fost aleasǎ astfel încât sǎ permitǎ u n grad de
comparabilitate rezultatelor çi izolarea impacturilor reformelor, esenuiale pentru
fiecare model. todologia de cercetare fost testatǎ anterior în timpul exerciuiului
pilot din lunile Mai-Iulie 2003, în patru oraçe.

Mai ap , echi de evaluare a extins evaluarea impactului social la opt o çe.

Evalu torii çi factorii interesaui, analiza instituuionalǎ çi de impact c e a permis
comparauia impacturilor asupra grupurilor sociale çi perspective detaliate asupra a
percepuiei consuma rilor. Evaluarea a comparat grup ile de cont o çi trat en pe
mai multe perioade de timp - înainte çi în timpul participǎrii sectorului privat. Astfel
fost mai întâi efectuat la momentul în care, operatorul privat çi-a început misiunea,
la sfârçitul lui 2003. Un studiu de rmǎrire a mǎsurat impact rile reformei peste doi
ani. Dupǎ implementarea programului, au fost planificate evaluǎri suplimentare.

Patru oraçe cu management priv t al utilitǎuilor {Durrës, Fier, Lezha çi Saranda), c

sprijinul proiectului Bǎncii, au fost comparate cu un grup de control format din patru
oraçe cu management public al utilitǎuilor de apǎ {Vlora, Korça, Lushnja çi
Gjirokastra). Toat ora le uintǎ, cu cepuia Korça, au preze tat caracteristici
s milare în ceea ce priveçte aria de acoperire, sistemul de factu re, rata de colectar
çi nivelul de pierderi de apǎ. Oraçele implicate în proiect diferǎ în ceea ce priveçte
tipul de management al utilitǎuilor de apǎ, prezenua racordurilor ilegale, numǎrul
opulauiei rezultat din tendinuele de urbanizare în ultimii 13 ani çi oportunitǎuile de
pe piaua muncii.

Membrii echipei d evaluare au fost sel taui pentru a oferi o expertizǎ mixtǎ çi
experienuǎ în descentralizare, analize de impact çi reforma sectorului apelor în
Albania.

Instrumente çi metode de colectare a datelor

Echipa a ales o abordare ce includea metode combinate. Metode de colectare a datelor
calitative çi cantitative au furnizat perspective cuprinzǎtoare asupra reformei
structurilor çi proceselor celor douǎ modele.

Ca un prim pas, studiul a compilat date secundare prin intermediul unei revizuiri de
birou a materialel r existente. C ectarea de date secundare a sprijinit colectare
date primare. Revizuirea datelor secundare a ajutat la creionarea abordǎrii de
evaluare çi metodologiei. A acoperit documente cheie çi legi referitoare la organizarea
funcuionarea descent lizǎrii guvernului local, çi asp te spec fice sec rului apelor
çi a elor uzate. Construind pe baza cunoçtinuelor existente, echipa a putut economisi
timp çi resurse financiare.

Urmǎtorii paçi pentru echipa de evaluare, au fost planificarea colectǎrii de date

primare prin:
 110 interviuri cheie de informare;
 32 discuuii cu focus grupuri;

664 sondaje pe gospodǎrii cu clienui ai utilitǎuilor casnice.
 130

Echipa de evaluare a efectuat mun de teren utilizând înregistrǎri pe bandǎ pentru

interviurile cheie de informare çi focus grupuri.

Interviurile cheie de informare au oferit o p spe ivǎ în structur e organizauionale,

instituuiile form e çi informale, perc uiile factorilor intere aui çi dinamicii
sectorului. Echipa a elaborat un ghid de tematici care a permis discuuiile libere
acoperind, însǎ temele de int es, ca: rogresul procesului de descentralizare poli cǎ
çi financiarǎ, acces l apǎ, tarife, subvenui çi transferuri. Eçantionul a acoperit tou
factorii organizauionali interesaui implicaui direct în procesul de descentralizare çi
aspecte legate de sectorul apelor din partea sectoarelor public çi privat çi a societǎuii
civile.

La nivelul guvernǎrii centrale, au f st colectate date prin intermediul a 8 interviuri cu

experui, reprezentaui ai ministe lor de resort — Ministerul Amenajǎ ii Teritoriale
Turismului, Ministerul Guvernǎrii Locale çi Descentr lizǎrii çi Ministerul Economiei çi
oficiali ai organismului de reglementare a apelor çi consiliul nauional al apelor.

Cel puuin 10 interviuri cu experui la nivel de guvernare

flocailǎeau
carfost
e defectuate
intre celepentru
opt oraçe implicate în proiect. În funcuie de trǎsǎturile
caracteristice ale oraçului, s-au efectuat interviuri suplimentare pentru a obuine o
imagine completǎ.

Au avut loc patru discuUii în cadrul focus grupurilor în fiecare oraç. S-a urmǎrit
r prezentarea echilibratǎ în cadrul grupurilor, a participanuilor/consumatorilor
selectaui pe baza urmǎtoarelor criterii: caracteristici demografice çi socio-economice
{sex, m diu socio- conomic, nivel d educauie etc.) çi calitatea serviciilor de apǎ çi
bunurile çi serviciile pentru ape uzate {dife te zone de presiune a apei, arii care sunt
sau nu acoperite de cǎtre reuea, gospodǎrii cu çi fǎrǎ aparat de mǎsurare etc.).
Discuuiile di n c adr ul foc us grupu rilo a u ofe rit feedbakc pe tem a gr aud lui de
satisfacuie al consumatorilor çi a strategiilor de adaptare. Echipa a explorat
percepUiile comunitǎUilor asupra guvernǎrii municipale çi a instituUiilor din
sectorul apelor, acc ul la apǎ, tarife, disponibilitatea çi puterea de platǎ, subvenuii çi
transferuri çi ocuparea foruei de muncǎ.

Sondajele pe gospodǎrii au relevat date de bazǎ referitoare la consumatorii

interni, principalele probleme legate de apǎ çi apele reziduale çi disponibilitatea de a
plǎti la nivelul gospodǎriei. Sondajul la nivelul gospodǎriilor a acoperit aspecte
ca: nivelul de satisfacUie al consumatorilor în ceea ce priveçte guvernarea
municipalǎ, t if e çi disponibilit ea de platǎ, presiune çi încredere çi siguranua
apei. Respondenuii au fost consumatori casnici din diferite medii socio-economice,
etnice çi geografice.

Echipa selectat un eçantion reprezentativ çi a interviev un numǎr mini de 80

gospodǎrii în m iul urban çi 100 gospodǎrii din regiunea urban-ruralǎ Durrës
pentru a cuprinde zona mai largǎ de servicii a oraçului. Eçantionarea a fost mai întâi
stratificatǎ p ntru a acoperi cat orii specifice de gospodǎ ii, cu ar fi acope irea sau
ne coperirea acestora de cǎtre reu e, diferite zone de presiune, prezenua sau absenua
aparatelor de mǎsurat, grupa de venit çi participarea la programul de mǎsurare WB.
În cadrul fiecǎrei categorii, eçanti narea a fost aleatorie pentru a obuine o
reprezentare echilibratǎ a gospodǎriilor.
 131

Analiza datelor
Datel cantitative au fost procesate çi analizate utilizând Pachetul S istic pentru
Çtiinue Sociale {SPSS). Datele calitative înregistrate pe bandǎ au fost transcrise çi
analizate.

Utilizând datele primare colectate în activitatea de teren, ca çi datele referitoare la

populauie obuinute din surse municipale, evaluatorii au întocmit un studiu compar ativ
- 8 profiluri de oraç “Asupra Condiuiilor çi Accesului la Infrastructura de Apǎ çi
Canalizare în Opt Oraçe !intǎ”. Aceste profiluri au furnizat informaUii asupra
populaUiei çi ratei creçterii numǎrului acesteia, ca cteristicile sociale {venitul pe
ospodǎrie, familii c e trǎiesc din jautor lu socia l, rat aço amujl ui), ca çi prof luli
ctivitǎuilor economice ale oraçu lui. Profilurile oraçe or au o f it posibilit tea
comparǎrii sistemelor de tar fare, tarifelor, ratei de colectare, p ierderilor de apǎ,
accesul ui la s ervi ciile de apǎ çi sistemele de canalizare printre oraçele cu furnizori de
servicii publici çi privaui.

Înainte de a face recomandǎri pentru îmbunǎtǎuirile viitoare e politicii, echipa de

evaluare a efectuat o analizǎ a factorilor interesaUi. Aceasta s-a bazat pe datele
obUinute în activitatea de teren, ca çi în cercetarea de birou.

Factorii interesaui au fost împǎruiui în trei grupe:

 factori interesaui ce afecteazǎ/implementeazǎ reforma;
 factori interesaui ce sunt afectaui de cǎtre reformǎ fie pozitiv, fie negativ;

factori interesaui care influenueazǎ politica de formǎ.
Schiua politicii a fost utilizatǎ ca un punct de plecare pentru înuelegerea economiei

politice din spa ele reformei sectorului. În jur d douǎspr ece g upuri de factori
interesaui au fost identificate ca fiind importante pentru procesul de reformǎ.
Factorii interesaUi care afecteazǎ/implementeazǎ reforma

Consiliul de Miniçtrii joacǎ un rol cheie în finalizarea co onentelor juridice ale

reformei. Totuçi, sprijinul acestuia pentru faza de implementare nu a fost unul
substanuial.

Ministerul Amenajǎrii Teritoriului çi Turismului joacǎ un rol importan în

proces l de reformǎ, fiind responsabil de întocmirea politicii sectorului de apǎ,
distribuirea fondurilor de investiuii. S-a confruntat cu posibile pierderi ale autoritǎuii
ca impact direct al reformei. Çi-a exprimat opoziUia neavansând transferul
descentralizat de bunuri conform programǎrii.

Ministerul Guvernǎrii Locale çi Descentralizǎrii joacǎ rolul principal în

impl mentarea çi coordonarea reformei descentralizǎrii în toate sectoarele, inclusiv
descentralizarea sectorului apelor. A avut o implicare puternicǎ în ceea ce pr veçte
reforma în cadrul guvernǎr i centrale çi a asigurat aprobarea consiliului de miniçtri
pentru Documentul de Politicǎ al Descentralizǎrii Apelor.

Principalele responsabilitǎui ale Ministerului Economiei în procesul de reformǎ a

sectorului apelor sunt de a evalua activele acestora çi a asista la fuziunea dintre
 132

întreprindere de ape çi cea de canalizare çi transformarea acestora în societǎui pe

acuiuni. Acesta a demonstrat sprijin ideologic pentru reformǎ, de3i nu acordase o
atenUie adecvatǎ recomandǎrilor din Documentul de Politicǎ în vederea
Descentralizǎrii Sectorului Apelor aprobat de guvern.

Ministerul FinanUelor este responsabil pentru furnizarea subvenuiilor.

AgenUia de Reglementare a Domeniului Apelor, în calitate de organism

independent a stabilit tarifele p ntru apǎ çi are drept l legal de a monitoriza çi emite
penalitǎui în caz de încǎlcǎri ale legii. Deçi nu s-a opus descentralizǎrii, a ezitat în
preda autoritatea în ceea ce priveçte stabilirea de tarife guve elor locale sau a
accepta responsabilitǎui reduse în ceea ce priveçte stabilirea de politici çi
implementarea de standarde.

Guvernele locale n sunt n umai beneficia i r formei, ci çi participanui act vi la

aceasta. Totuçi, din cauza unei întârzieri în procesul de descentralizare, au posibilitǎui
limitate de exercitare a dreptu rilor stabilite prin lege. Autoritǎuile locale se confruntǎ
cu do proble majore. Mai întâi, lips expertizei necesare în problem
administrative çi management al utilitǎuilor, în al doilea rând, sunt vulnerabile fauǎ de
procesul politic.

Factori interesaUi afectaUi pozitiv de cǎtre reformǎ

Guvernele locale au sprijinit reforma deoarece a avut un imp ct pozitiv asupra

auto itǎuii acestor în ceea ce priveçte luarea deciziilo {în priv ua stabil rii tarifelor
pentru alimentarea cu apǎ) çi au beneficiat de construirea capacitǎuii prin intermediul
programelor respectiv Au stab it co diuii, inclusiv referitoare la reabilitarea
reuelelor alimentare cu apǎ, anularea datoriilo guvernului central anterior
furnizǎrii descentralizate de servicii çi transferul bunurilor.

UtilitǎUile de apǎ au fost transformate în societǎu pe acuiuni çi au beneficiat de un

personal mai bine format în ceea ce priveçte utilitǎuile ca re zu ltat al reform ei. Au
sprijinit puternic reforma deoarece aceasta a avut un impact direct çi pozitiv asupra
viabilitǎuii financiare crescute çi recuperǎrii costurilor.

ClienUii {public, fi me private, gospodǎrii) au sprijinit reforma deoarece aceasta a

avu un impact d irect çi pozitiv asupra acces lui îmbunǎtǎuit çi disponibilitǎuii apei de
calitate înaltǎ. Se presupune cǎ beneficiile grupului de tratament vor fi mai mari.

Gospodǎriile foarte sǎrace nu au putut sǎ-çi permitǎ facturi de apǎ subvenuionate çi

s-au opus reformei {ce implic o creçtere a tarifelor) în oraçele fǎrǎ tarife de sprijin
prin acces neautorizat. Acestea au sprijinit reforma în oraçe cu tarife de sprijin. Nu au
fost puternici çi au avut la dispoziuie canale limitate pentru opoziuie.

Grupurile etnice minoritare {Roma çi Egi tenii) deseori nu erau conectate deoarec
locuiau în afara reuelei d alimentare cu apǎ çi canalizaresprijinit
, sau nureforma
-çi puteaîn
u oraçele
permitecu
tarife
plata fde
actsprijin,
urilor îndar
cens-au
trele urbane deservite. Aceçtia au
opus în aç fǎrǎ astf l de tarife prin acces neautorizat. Nu
au fost puternici çi au avut la dispoziuie canale de opoziuie limitate.
 133

Factori interesaUi afectaUi în mod negativ de cǎtre reformǎ

Interzicerea accesului neautorizat la conductele de apǎ a afectat în mod negativ

standardul de viauǎ al utilizatorilor din gospodǎriile neautorizate deoar ce i-a
foruat sǎ caute altern ative de furnizori, ca de exemplu: vânzǎtori çi cheltuieli
gospodǎreçti crescute.

Firmele utilizatoare neautorizate ca de exemplu spǎlǎ orii de m ini sau societǎui

de construcui c re utilizeazǎ apa potabilǎ pentru activitatea lor s-au confruntat cu
excluderea de la accesul la aprovizionarea cu apǎ prin debrançarea conexiunilor
ilegale la alimentare cu apǎ, manifestând astfel, o puternicǎ opoziUie reformei
sectorului de alimentare cu apǎ. Nu au fost puternici çi au avut la dispoziuie canale
limitate pentru opoziuie

Factori interesaUi cu influenUǎ asupra reformei

Guvernul çi utilitǎUile de apǎ sunt factori interesaui semnificativi cu influenuǎ asupra

reformei.

FinanUatorii intern aUionali au demonstrat susUinere puternicǎ pentru pachetul de

reformǎ a politicilor .

Constatǎrile au nfirmat faptul cǎ reforma a progr at încet, din cauza, în part a

informauiilor incomplete referitoare a noile roluri çi r ponsabilitǎui, interese
divergente çi opoziuia guvernǎrii centrale. Constatǎrile analizei factorilor interesaui au
determinat planul activitǎuilor viitoare ce au fost incluse sub formǎ de sugestii în
raportul final.
 134

Cazul 6. Programul pentru Internet de bandǎ largǎ în çcolile din Irlanda

(Adaptat dupǎ Raportul de evaluare al Programului pentru Internet de Bandǎ Largǎ în (coli,
Departamentul pentru EducaUie 3i (tiinUǎ, Irlanda 2009)

De ce acest exemplu?
Evaluarea programului pentru Internet d bandǎ largǎ în çcoli aratǎ oportunitat d
a ajusta colectarea de date çi eçantionarea conform timpului çi resurselor bugetare
dispo ibile. Deoarec scopul acestei evaluǎri a fost de evalua exactitatea {mǎsurând
eficienua çi icacitatea) procesului de livrare, çi d a stabili “legǎtura slabǎ” din cadrul
acestuia, acesta constituie un exemplu de evaluare formativǎ.

InformaUii generale
În 2005, Ministerul Comunicauiilor, Resurselor Marine çi Natural çi Ministerul
pentru Educauie çi Çtiinuǎ din Irlanda au pornit un proiect, ce prevedea ca fiecare
çcoalǎ primarǎ çi secunda ǎ din uarǎ sǎ fie conect ǎ la reueaua de internet de bandǎ
largǎ pâ ǎ la finele anului 2006. Mi sterele au alocat împreunǎ 18 m lioane Euro
pentru instalarea de internet de bandǎ largǎ în toate cele 4.100 çcoli primare çi
secundare. Se açtepta c aceastǎ conectivi ate de bandǎ largǎ sǎ f rnizeze vitez de
descǎrc re mult mai rapide pentru conuinutul educauional, sǎ ofere un mai mare acces
la aplicauiile multimedia çi sǎ ofere posibilitatea dezvoltǎrii unei reuele centrale de
internet pentru çcoli împreunǎ cu helpdesk-urile asociate pentru siguranuǎ çi
securitate.

Programul pentru Internet de Bandǎ Largǎ în Çcoli cuprinde tr elemente - o

legǎturǎ localǎ la çcoli, o reuea nauio alǎ d bandǎ largǎ çi un Birou Nauional d
Service. Conectivitatea çcolilor la internet este asiguratǎ prin intermediul unei Reuele
Nauionale de Bandǎ Largǎ, dezvoltatǎ de HEAnet. Canalele HEAnet controleazǎ
accesul la bandǎ largǎ al çcolilor çi furnizeazǎ serv cii gestionate cent al pentru ç li,
cum ar fi: securitate, filtrare anti-spam, anti-virus çi de conuinut. Un birou de Service a
fost î fiinua t p en tru a acui ona în calitate de in terf auǎ nî tre reuea, uf rnzior iid e servicii
çi çcoli în faza de conectare çi pentru a furniza çcolilor sfaturi çi asistenuǎ în mod
continuu.

Întrebǎri de evaluare
Obiectivul cheie al evaluǎrii a fost acela de a furniza o analizǎ independentǎ a
progresului çi dezvoltǎrilor din cadrul programului pânǎ la data evaluǎrii, çi de
asemenea pe baza acesteia sǎ se facǎ recomandǎrile adecvate pentru ajustarea
programului.

Eval torul a trebuit sǎ evalueze eficienua çi eficacitat a, cu ac nt special asupra

o r ui, susuine ii conform uintelor, gradul de co letare, eficienua costurilor çi
gradul de adecvare fauǎ de scop, ale urmǎtoarelor elemente:
 disponibilitatea serviciilor de conectivitate çi router;
 tipul tehnologiei/lǎrgimii benzii furnizate;
 înfiinuare çi funcuionarea Biroului Nauional de Service;
 performanua furnizorilor de conectivitate contr aui.

O altǎ sarcinǎ a evaluatorului a fost de a aprecia impactul schimbǎrilor ca rezultat a

furnizǎrii conectivitǎuii în bandǎ largǎ çi a face recomandǎrile relevante.
 135

Planificarea evaluǎ rii

Deoarece Minis erul Educauiei çi Çtiinuei a dorit sǎ aibǎ o evaluare independentǎ într-
o perioadǎ de timp relativ sc urtǎ, s-a decis externalizarea evaluǎrii în cadrul unei
l i cita u ii .

În li n i i mari, evaluarea trebuia sǎ acopere implementarea çi funcuionarea

ogramului çi a eficacitǎuii percepute a acestuia. Revizuirea s-a concentrat asupra a
patru arii cheie:
 experienua serviciilor de bandǎ largǎ în çcolile primare çi secundare çi
 infras ructur existentǎ în çcoli;
conectivitatea de bandǎ largǎ, achiziuionarea çi furnizarea, procese çi
proceduri;
 evaluarea tehnologiei çi serviciilor;
 evaluarea funcuionǎrii çi întreuinerii.

Metodologia de evaluare a fost aleasǎ pentru a permite evaluarea nivelului de

satisfacuie a çcolilor fauǎ de serviciile de bandǎ la gǎ {livrarea serviciului, lǎrgime
benzii, tehnologia utilizatǎ), calitatea serviciilor Biroului de Service, impactul
serviciilor de bandǎ largǎ asupra activitǎuilor çi infrastructurii çcolii. Pentru a evalua
ariile de mai s us, a fos t sele ctatǎ o c ombi nau ie de m od e can tiat tive çi cal itative:
sondaje çi viz ite la faua locului {combinând interviuri çi examinǎri la faua locului).

Colectarea datelor
Pentru a colec a informauiile necesare pentru a rǎspunde la întrebǎrile de evaluare de
mai sus, a fost planificat un sondaj çi vizite la faua locului pentru çcolile primare çi
post-prim are.

Pentru a selecta eçantionul de çcoli pentru evaluare, s-a utilizat o abordare de

eçantionare cu mai multe etape. A implicat câteva etape de aplicare a urmǎtoarelor
variabile relevante ntru racteristicile programului:
 Imeetdap
iiǎçi-m
gricui;parea çcolilor în primare çi secundare;

 aa II-a
III-aetapǎ
etapǎ--încontinuarea
cadrul acestor grupuri,
grupǎrii gruparea
çcolilor çcolilor dupǎ mǎrime:
în categoriile çi mari,

urbane rurale;
 a IV-a etapǎ - gruparea çcolilor conform tehnologiilor majore de livrare.

Ca rezultat al eçantionǎrii, 59 de çcoli cu urmǎtoarele tehnologii de livrare au fost

17
Numǎr çcoli
selSecLtate: 19
a t elit
Tehnologie
Wire
D less 23
S
Nu s -a orit
d ca eçantionul sǎ producǎ re zultate semnificative din punct de vedere

statistic la niv l înalt d încred re din cauza costurilor procesului de eçantionar

{având în dere bugetul çi presiunea timpului în ceea c priveçte evaluarea) çi
multiplele variabile care definesc profilul unei çcoli çi care fac dificil procesul de
definire a unui eçantion util din punct de vedere statistic.
 136

Abordarea adoptatǎ a fost aceea de a selecta çcoli e ce ac e diferit l pr filuri

çcolare {pentru a reduce deviauia) çi de a utiliz un chestionar çi in ervievatori cu
experienuǎ pentru a extrage datele în urma sondajului. Dovezile rezultate din sondaj
au fost îndeaj ns de consistente pentru a furniza i dicatori pu r ici în ceea ce
priveçte principalele probleme, i r creçterea dimensiunii eçantionului ar putea
îngusta amplitudinea fǎrǎ a schimba rezultatele cheie.

S- realiz t un sondaj pr trimiterea de chestionare çcolilor din cadrul çantionulu

înainte ca interviul sǎ aibǎ loc. Respondenuii au trebuit sǎ rǎspundǎ la întrebǎr
referitoare la furnizarea de servicii çi sǎ puncteze arii specifice ale experienuei proprii
în ceea ce priveçte serviciul în bandǎ largǎ livrat çcolii.

Au fost organizate vizite pe teren în toate çcolile participante la sondaj, implicând

interviuri çi inspecUii la faUa locului. R pondentul, în cazul interviului, era, de obicei,
dir ctorul çcoli çi, uneori, profesorul cel mai imp icat în mediul TIC al çcoli În timpul
interviurilor au fost clarificate experienuele çcolilor cu furnizare de servicii în bandǎ
largǎ, problemele întâmpinate çi acuiunile de urmǎrire ale aspectelor rǎmase în urma
analizei chestionarelor.

În timpul i specuiilor la faua lo ului a fost evaluat radul de adecvare al fiecǎrei reuele
çcolare pentru a suplimenta accesul în bandǎ l gǎ furnizat çi sprijinul disponibil în
ceea ce priveçte întregul mediu TIC din çcoalǎ. Acest proces de revizuire nu a
r pr zentat n audit la scarǎ întreagǎ a reuelei. Opinia formatǎ s-a bazat pe s mpl
inspecuii vizuale e componentelor euelei, dulapurilor, cablare IT çi p abi itatea
reuelei de a profita la maximum de serviciul în bandǎ largǎ çi de livrarea de încredere
a aplicauiilor pent ru acest a. In nui a n u a fost de ai de ntfii cao na ume çcoalǎ s au
reueaua sa internǎ. Pentru a ilustra existenua anumitor aspecte, s-au pus la dispoziuie
fotografii.

Analiza datelor
I formauiile colectate în timpul sondajului ç vizitelor la faua locului {interviuri çi
inspecuii pe teren) au fost analizate utilizând analiza de conuinut. Pe baza
constatǎri or, au fost identificate concluziile generale çi impacturile asupra
programului.
 137

Concluzii
Etapa de monitorizare çi mai ales de evaluare in rmediarǎ ex-post a polit cilor
ubli este adesea etapa cel mai puuin d zvoltatǎ din cadrul practicilor privind
politicile publice, nu în ultimul rând deoarece este ultima etapǎ din ciclul unei politici
publice. În uǎrile und existǎ procese de reformǎ a politicilor publi ades
focalizarea este asupra etapei de dezvoltare a politicii çi evaluǎrii ex-ante. Scopurile çi
rezultatele pozitive ale evaluǎrilor intermediar çi ex-post sunt foarte des
subestimate.

Acest Manual serveçte drept cadru în care se desfǎçoarǎ procesul de evaluare a

p li icilor publice. Proc sul, metodele çi instrumentele descrise în cest M ual sunt
folosite p larg în multe organizaui çi uǎri din întreaga lume, dar apl carea acestora
poate necesita cunoçtinue, abilitǎui çi uneori asistenuǎ externǎ mai specializate. Nivelul
de cunoçtinue çi abilit ui necesar pentru a desfǎçura evaluǎri depinde de scopurile çi
locul evaluǎrii {internǎ sau externalizatǎ).

În cadrul procesu i de evalua e va exista întotdeauna un rol important atribuit

fu uionarilor publici çi structurilor de conducere. Factorii decizionali çi managerii
seniori pot sol cita çi pot conduce evaluarea. Managerii de program çi personalul
implicat p desfǎçura procesul de evaluare ei înçiçi sau pot lucra în echipe de
evaluare pentru a obuine cele mai bune rezultate p n combinarea cunoçtinuelor çi
informauiilor lor privind politica cu abilitǎuile çi expertiza specializatǎ a evaluatorilor
extern .

Autorii prezentului Manual considerǎ cǎ acesta serveçte unui dublu scop. Va

reprezenta baza çi punctul de pornire pentru evaluǎrile interne la o scarǎ mai redusǎ
çi, în acelaçi timp, va furniza cadrul în baza cǎruia managerii çi personalul
programului îçi vor identifica rolurile çi sarcinile de lucru în condiuiile evaluǎrilor
exter lizate. Aceçtia vor çti cum sǎ interacuioneze cu evaluatorii externi care îi
sprijinǎ în procesul de selectare a abordǎrii de evaluare çi vor putea judeca calitatea
rezultatelor furnizate de evaluatorii externi.

Autorii consi rǎ cǎ cest Manual va creçte nivelul de inte s acel cititori c e

su pe cale de a se angaja în procese de evaluare çi va furniza o abordare unitarǎ
pentru persoanele care au deja experienuǎ în acest domeniu.
138
 139

ANEXE
 140

Anexa 1 –Descrierea procesului de colectare a datelor

Politica - integrarea socialǎ a {foçtilor) {infractori)

Obi t vul rtunitǎuile, practicile çi nevoile infractorilor în ceea ce priveçte formarea profesionalǎ, ocuparea
ec i evalu i est de a aliza opo
unui loc de muncǎ çi integrarea socialǎ
Întrebǎri de InformaUia necesarǎ Cine o poate furniza? Surse de informaUii Cine / când Riscuri Pregǎtiri
1. Analizaui I d e nti fi cau i /metode de
oportunevaluare
itǎuile çi nevoile o p o rtu n i t ǎuilede Justiuie ; Membrii Autorprealabile
izare de la
Ministerul Educauiei; echipei de Accesul la infractori este Ministerul de Justiuie
colectare a datelor limitat;
Cercetare de b rou;
infractorilor cu privire formare furnizate Min sterul Muncii; iAnrcahceto
tarialosu;pra evaluare; Lipsa dorinuei pentru a obuine acces
la formarea infractorilor; Instituuiile de formare Interviuri cu oficiali intervievator infra ori or de a la infractori;
profesionalǎ çi furnizaui Determi ui care este profesionalǎ; din ministere, extern participa la evaluare; Pregǎtirea
recomandǎri pe ntru a n A n l a înc i i ntre de s l ua a ch r
ge uii e de o upare e c i inadecvatǎ
îmbunǎtǎui situauia p f dneafo l rmarestora; f e f i S lestio
ana elor;
oru i de muncǎ; hisor ç ce ntervievauilor e ct re çi formarea
ro esio ǎ a ace n r ctori
Închisori; o mare; intervievatorului
nevoile pieuei muncii {în I f a Interviuri cu
relauie u ç i uinuui) Ministerul Muncii; inf o
c fo ti de M
2. Analizaui practicile, Viz î î c ori Membrii Accesul la infractori;tegraui Autorizare pentru a
oportunitǎuile A n e u ea ract ri; echipei de Descoperir foçtilor buine acces la
ri r le n â nite l Informauii priv nd inisterul de Finanue; it n n his a uare; eu in act ri; r
ngajare a fo r situauia in fra ctorilor cu ge ui l d Cercetare de birou; i n t ra hesti a el r
priv r l locuril de ei de ncǎ; Ancheta asupra
uncǎ p si i itǎui ç in r cto lo ,
a e e î t l a i e a e i e o par f ri r nt r a fr o P egǎtirea
ngajat r or,
a le çt lo m ; o bl i foru mu a o il inuui c on r o ;
infractori çi furnizaui barier întâlnite de patronate; angajatori; centrelo de locuri de v Sel ctare çi formarea
e viev tor i / ein eg ui pe
recomandǎri pentr u a aceçtia la angaj re; infractori {inclusiv muncǎ; piau munci ; intervievatorului
extern
îmbunǎtǎui situauia stimulente pentru r cidiviçtii ca grup Interviuri cu infractori Infr rii çi foçtii
ori pentru a separat); foçti deuinuui; {inc usiv recidiviçtii),
acto
ang aja foçti deuinuui angajatorii, oficiali deuinuui nu doresc sǎ
implicaui în politica partic pe l studiu;
ocupǎrii foruei de sel c inadecvatǎ a
muncǎ
 uia
intervievauilor
 141

Oportunitǎui pentru Pr ǎtir a

3. Ana izaui Justiuiei; Cercetare de birou; Membrii Accesul la infract ri;
reabilitarea socialǎ în chestionarelor;
osibilitǎuile çi închisori; Muncii, Ancheta asupra chipei de Descoperirea foçtilor
Selectarea çi formarea
provocǎrile pentru Ministe ul Sǎnǎtǎuii; infractorilor, centrelor evaluare; deuinuui car nu folosesc
intervievatorului
e a ea socialǎ a Beneficii social pentru adm istrau oca ; d b t e, in r rvic i e lit e
t e v ievator
i f c foç ii deuinuui; Închisori; ad t le; ex t er n s a
t gr ii l le e rea ili ar i de r abi ar
Atitudinea societǎuii fauǎ
ra torilor î d fo d uui minis rauiile l c oci lǎ; lipsa dorinue
închisori çi centre de o p ovo Cen re de reabilitare; Interviuri cu infractori {foçtilor) infractori çi
de en ie çi dupǎ e çtii euin ; adǎposturi; il çi f m i acestora, familii r a
fam iile lo acestora de
el t u portunitǎui çi r cǎri {foçtilor) d euinuui o a il u participa;
iberarea acestora legate de reabilitarea ficiali implica i în
s cia , p n d reabilitare socialǎ,
po elǎ s riji ist inu administrauie localǎ
art a admin ra iilor
locale pentru foçtii
deuinuui
 142

Anexa 2 – Determinarea volumului eçantionului aleator

(Nivel de încredere 95%; Marjǎ de eroare + sau - 5%)

N- populaUie
S - eçantion S S N S
0 0 2 1
N
15 14 N 144 1,300 297
230 8 4 2
5 2 5 08
25 19 260 155 1,600 310
3
30 4 9 7 3
0 26
3 8 8 2 8 17
45 40 290 165 1,900 320

0 9 0 2
55 48 2 75 2 27
60 52 340 181 2,400 331
6 6 5
0 59 38 1 28
3 386
75 63 4400 19
056 3,000 341
85 66 460 210 4,500 354
9
950 70 48 4 5 7
0 70
3 0 17 6 1
110 86 550 226 7,000 364
0 34 8, 7
3 97 65 42 9,0 68
140 103 700 248 1 ,000 370
0 7 4 15 5
6 3 0 0 20 7
170 118 850 265 30,000 379
3 9 4 0
19 27 950 4 50 1
200 132 1,000 278 75,000 382

0, 0
210 136 1,100 285 ,0 ,0 384
10,000,000 384
384

Sursǎ: Adaptat dupǎ Educational and Psychological Measurement

David A Payne; Robert F McMorris 1967, Waltham,Mass., Blaisdell Pub. Co.
 143

Anex a 3 – Implem entarea recom

a ndǎrilor de evaluare
Politica evaluatǎ - migrauia foruei de m uncǎ
Recomandarea de Jalon/Activitate Responsabil Termen Instituţionalizat
evaluare limitǎ în:
Analizaţi trei Întocmirea Minister lider: octombrie Planul anual de
alternative: propunerii de Ministerul 2009 afaceri, planul
- scǎderea politicǎ publicǎ Muncii: individual,
fenomenulu inclusiv a Ministerul planul strategic
i emigraţiei analizei Economiei,
- dezvoltarea opţiunilor de Finanţelor,
regiunilor politicǎ propuse Educaţiei,
- promovarea Dezvoltǎrii
imigrǎrii în Regionale,
anumite arii Internelor
Întocmirea HG Minister În termen Documente de
(dacǎ e nevoie) lider:Ministerul de 2 luni politicǎ, planul
pe baza Muncii: dupǎ anual de
rezultatelor Ministerul luarea activitǎţi, planul
discuţiilor legate Economiei, deciziei individual,
de politicǎ Finanţelor, referitoare planul strategic
Educaţiei, la politicǎ
Dezvoltǎrii
Regionale,
Internelor
Revizuirea Conform HG Începând Procesul de
planului strategic cu 2010 planificare
de costuri strategicǎ
Publicarea unui Înfiinţarea unui Ministerul Iulie 2009 Planul strategic
buletin de GL pentru a Muncii de activitǎţi,
informare pentru decide asupra planul de afaceri
emigranţi conţinutului, instituţional çi
publicǎrii çi individual
distribuirii
buletinului
Întocmirea unei Grupul de lucru Final 2009 Planul de
propuneri pentru activitǎţi
buletin çi strategice, planul
efectuarea individual
aranjamentelor
de publicare
Revizuirea Ministerul Procesul de
planului strategic Muncii planificare
de costuri strategicǎ
Distribuirea Ministerele: Martie Planul anual de
buletinului Muncii, 2010 afaceri sau
Afacerilor planul individual
Externe
144
 145

ReferinUe
Cǎrui çi articole çtiinuifice
1
Bamberger, M., Rug J., Mabry, L. {2006). Real World aluation, Working
2
under budget time, data and political co nstraints. CA: SAGE.
McDavid, J.C., Hawthorn, R.L. {2006). Program Evaluation & Performance guide.
3.
Measure ent. CA: SAGE.
Langbein, L., Felbinger, C.L. {2006). Public Program Evaluation. A statistical
Armonk, NT: M.E.Sharpe, Inc.
4. Rossi Peter H., Lipsey, thMark W., Freeman Howard E. {2004). Evaluation: A
Systematic Approach, 7 edition. Sage Publications, Inc.

Resurse electronice

http://www.worldbank.org/ieg/ecd/docs/inst_ie_framework_me.pdf
Documentul “Institutionalizing impact evaluation within the framework of a
monitoring and evaluation system” descrie modele, stimulente çi exemple d
implementare a sistemelor de mo torizare çi evalua e în dif rite uǎri. Acest
document este publicat pe pagina de internet a Bǎncii Mondiale, unde se gǎsesc multe
informauii utile referitoare l diferite metodologii de evaluare, precum çi studii de caz
de evaluare în diferite sectoare.

http://www. d.gov/ bout/offices/list/opepd/ppss/reports.htmlî vǎuǎmântului

Pagina de internet a Departamentului Educauiei din SUA cond uieneimopabcatzaǎsudpe d
cuprinzǎtoare cu rapoarte de evaluare privitoare la dîn ifetrrite
egi caasrpeecdtee ale

primar çi secundar, superio çi profesional, çi, de asemenea, evaluǎri

reaxpaesirsim
teennu talfeinîn
andceiatareliudpeoctafiredb
esecnǎerfcicaia
tezde
ǎ aici.
evii/studenuii. Rapoarte
scriu procese de eçantionare çi aspecte experimentale sau cvasi-
http://www.tbs-sct.gc.ca/eval/eval_e.asp

Pagina de start a s viciului electron de Evaluare a Comitetului Trezoreriei al

Sdeactreeco
tanr uian
tuultue deCabnaazdi nde
ele . date
Acestdespre
servicAudit
iu ofçi
erEvaluare.
ǎ o colecuie vastǎ d informaui
electronice privitoare la evaluarea de sisteme, abordǎri, instrumente de evaluare çi
http://pareonline.net/

Practical Assessment, Research & Evaluation {PARE) este o publicauie on-line sprijinitǎ
în întregim de eforturi v luntare. Scopul acesteia este de a furniza acces la articole
care pot avea un impact pozitiv asupra aprecierii, cercetǎrii, evaluǎrii çi practicilor de
predare. Este menuionat printr publicauiile on-line în domeniul educauiei de cǎtre
Scholarly Publishing and Academic R sources Coa ition {SPARC) din SUA. Se pot
consulta articolele cǎutând dupǎ cuvinte cheie sau volum.

http://www.wm ch.edu/evalctr/checklists/checklistmenu.htm
Aceastǎ paginǎ de internet a centrului de Evaluare din cadrul Uni sitǎuii Western
Michigan oferǎ iiinformauii bogate cu privire la diverse liste de verificare privind
 146

evaluarea. Puteui gǎs çi adapta list le de verificare pentru managementul evaluǎri

{ex. planificarea eva uǎrii, elaborarea bugetului, contracte, contracte de negociere),
m
inosti
detuleuio
denaelivzaalurearpere
, licsutm
e dçei m
veertifai-e
cavre
aluparrivei.nd construirea capacitǎuilor de evaluare çi

http://www.worldbank.org/ieg/nonie/papers.html
NONIE este o R ea de a Reuelel pentru Evalu de Impact formatǎ din
Organizauia pent u Cooperare Economicǎ çi Dezvoltare - Comitetul de Asistenuǎ
pentru Dezvoltare {OECD/DAC), Reueaua de Evaluare, Grupul de Evaluare a
Nauiunilor Unite {UNEG), Grupul de Cooperare pe tema Evaluǎrii {ECG) ç Organizauia
Inter uionalǎ pent u Cooperare în Evaluare {IOCE) - o reuea derivatǎ din asociauiile
regionale de evaluare.
http: /ec.europa. u/r gional_policy/sources/docg er/evaluation/evalsed/sourceb
ooks/
Aceastǎ paginǎ de e inte
ernet este furnizatǎ de Evalsed dd . Puteui cǎuta informauii privind
impactul posibil, re ultatel acuiunii {outputs) çi i dicator pe domeniu de politicǎ.
Sunt prezentate çi diverse metode çi tehnici legate d planificarea evaluǎrii, metodel
de colectare çi analizǎ a datelor. Descrierile sunt generale, dar vǎ pot oferi un nivel de
uelegere fundamental privind direcuia pe car treb i s-o al eui înainte de a
începe monitorizarea sau evaluarea anumitor intervenuii guvernamentale.

http://captus.samhsa. ov/w tttern/r ooources/bp/step7

Aceastǎ paginǎ de internet prezintǎ un manual cu privire la toate apele evaluǎrii
programului. Deçi pagina de internet se referǎ la aspectele legate de Centrul de
Prevenire al Abuzului de Substanue Chimice, infor uiile prezentate pot fi aplicate
pentru evaluarea oricǎrui tip de intervenuie guvernamentalǎ.

http://socr.ucl . du/htmls
Obiectivele Staaatistics Onli e Computational Resource {SOCR) sunt elaborarea,
validarea çi diseminarea cunoçtinuelor. Aceastǎ paginǎ de internet oferǎ instrumente
interactive de graficǎ, materiale instructive çi de formare în domeniul colectǎrii çi
analizei datelor.

http://books.google.com/books?id=jqdTyhDQO9kC&pg
Google Books oferǎ o imagine completǎ a publicauiei OECD “Evaluating local economic
and employment development”. A ast c te analizeazǎ bunele practici în evaluarea
programelo pentru dezvoltarea localǎ çi regionalǎ. Adecvatǎ pentru un public uintǎ
care nu are cunoçtinue tehnice bogate, este un document esenuial pentru
a ministrauiile c trale çi locale care doresc sǎ-çi îmbunǎtǎueascǎ practicile de
v a e, sǎ mǎreascǎ volumul dovezilor pentru politici çi sǎ dezvolte o culturǎ a
evaluǎrii.

http://www.finance.gov.ie/viewdoc.asp?DocID=4596&CatID=16&StartDate=01+Janu
ary+2007&m=
AocelitsticM
P iloarnueal
steprivind
un instRentabilitatea
rument care oçifeîndrumǎrile
rǎ asistenuǎ legate defIniuiativa
practicǎ uncuion ride
lorRevizuire
publici çia
managerilor din acest domeniu în cadrul administrauiei publice din Irlanda.
 147

http://www.cdc.gov/Tobacco/tobacco_control_programs/surveillance_evaluation/ev
aluation_manual/
“Introduction to Program Evaluation for Comprehensive Tabacco Co ntrol Programs”
este n ghid practic despre cum sǎ planificǎm, elab rǎ çi implement m evaluarea
de program în domeniul controlului tutunului. Cu toate acestea, descrie abordǎri çi
instrumente de lucru care ar putea fi folosite çi în alte domenii de politicǎ.

http://www.innonet.org/client_docs/File/logic_model_workbook.pdf
Caietul de lucru privind Modelul Logic este o abordare simplǎ, pas cu pas, în ved rea
construirii modelului logic pentru un program. Explicǎ modul în care se elaboreazǎ
fiecare componentǎ a modelului logic prin folosirea exemplelor çi furnizarea unor
îndrumǎri practice.

ww.coventry.ac.uk/ec/~nhunt/meth /introd.html
http://faculty.chass.ncsu.edu/garson/PA765/sampling.htm
Cele douǎ pagini de internet includ o scurtǎ descriere a procesului de eçantionare -
principalele concepte, metodele de eçantionare, exemple, constrângeri çi avantaje.
manual de
monitorizare şi evaluare
a politicilor publice

ISBN
978-973-1846-22-4