Documente Academic
Documente Profesional
Documente Cultură
manual de
monitorizare şi evaluare
a politicilor publice
Noiembrie 2009
Acest material este publicat în cadrul proiectului„Dezvoltarea procesului de
formulare a politicilor publice la nivelul administraţiei publice centrale”, cu
sprijinul financiar al Uniunii Europene prin Programul Phare.
Cuprins
PREFAEǍ .................................................................................................................................................... 5
INTRODUCERE.......................................................................................................................................... 7
PARTEA ÎNTÂI. PAS CU PAS ÎNSPRE REZULTATE ........................................................................... 17
PASUL 1. IDENTIFICAREA CLIENEILOR, PUBLICULUI ÇI FACTORILOR INTERESAEI AI
EVALUǍRII .............................................................................................................................................. 19
CLIEN!II ÇI FACTORII INTERESA!I .............. 19
NEVOILE PǍR!ILOR IMPLICATE ÎN EVALUARE...........................................................................................................................
................................................................................................. 20
SCOPURILE EVALUǍRII ................................................................................................................................. 21
PASUL 2. DEFINIREA ÎNTREBǍRILOR DE EVALUARE ................................................................... 23
ROLUL ÎNTREBǍRILOR DE EVALUARE ......... 23
FOCALIZAREA ÎNTREBǍRILOR DE EVALUARE ..........................................................................................................................
.................................................................................................. 23
TIPURI DE ÎNTREBǍRI DE EVALUARE ............................................................................................................. 26
PASUL 3. PLANIFICAREA EVALUǍRII...........................................................................................................................28
CREAREA STRUCTURILOR DE MANAGEMENT ALE EVALUǍRII ............................................................................ 28
Decizia de externalizare a evaluǎrii 3i factorii care afecteazǎ aceastǎ decizie ........................................ 29
Elaborarea Termenilor de ReferinUǎ pentru experUi ......................... 29
EVALUAREA RESURSELOR DE TIMP ,UMANE ,FINANCIARE ÇI DATELE DISPONIBILE.............................................................
.............................................. 30
ALEGEREA TIPULUI DE EVALUARE ................................................................................................................. 31
PASUL 4. SELECEIA METODELOR DE COLECTARE ÇI ANALIZǍ A DATELOR .......................... 45
COLECTAREA DATELOR ................................................................................................................................ 45
Planificarea procesului de colectare a datelor...................................................................................................... 46
Metode de colectare a datelor ..................................................................................................................................... 48
E3antionarea.......................................................................................................................................................................................61
METODE DE ANALIZǍ A DATELOR CALITATIVE ................................................................................................
M 76
7C2OMUNICAREA ANALIZEI, JUDECAREA DATELOR.............................................................................................................................................................
............................................................................................. 81
ETODEDE ANALIZǍ A DATELOR CANTITATIVE
PASUL 5. CREAREA UNUI FORMAT POTRIVIT PENTRU CONSTATǍRILE EVALUǍRII .......... 84
PRINCIPII CHEIE .......................................................................................................................................... 84
SPTRUCTURA
ROCESUL DEÇICONSULTARE
STILUL RAPORTULUI ............................................................................................................... 84
.......................................................................................................................... 88
PREZENTAREA RAPORTULUI ......................................................................................................................... 88
PASUL 6. IMPLEMENTAREA CONSTATǍRILOR DE EVALUARE ...................................................91
ABORDǍRI ALE PROCESULUI DE IMPLEMENTARE ............. 91
FACTORII CARE AFECTEAZǍ PROCESUL DE IMPLEMENTAR..E..................................................................................................
. .. ......................................................................... 91
ARANJAMENTE INSTITU!IONALE ÎN VEDEREA IMPLEMENTǍ R I I ........................................................................ 93
3
PrefaUǎ
Evaluarea politicilor publice în România a demarat odatǎ cu încercǎrile Guvernului de
a stabili un cadru procedural pentru aceastǎ activitate. În anul 2005 a fost aprobatǎ
reglementarea cu privire la procedu ile pentru elaborarea, implementarea çi
evaluarea politicilor publice la nivel central {HG 775).
Acest Manual este alcǎtuit dintr-o introducere çi douǎ pǎrui principale. Partea
introductivǎ des rie necesit ea ev uǎrii çi rolul pe care îl joa ǎ indic torii în cadrul
acestui proces. Prima parte a Manu lului prezintǎ o abordare pas cu pas a procesului
de evaluare. Fiecare pas are dedicat câte un capitol separat, care conuine elemente
teor ice çi care explicǎ prin exemple adecvate modul de aplicare. Cea de-a doua
parte M ualului prezintǎ evalu i din viaua realǎ. Studiile de caz folosite în ce-a de-
a doua parte sunt adaptate dupǎ diverse rapoarte de evaluare çi ilustreazǎ prin
p cticǎ princip lii paçii ai procesului de valu e.
1Termenii „politicǎ publicǎ”, „program” çi „intervenuie publicǎ” sunt utilizaui în mod interçanjabil în
cuprinsul acestui manual.
6
7
Introducere
C prom iuni s-a angajat Guvernul sǎ î deplineascǎ în schimbul impozitelor plǎtite
de contribuabili? A îndeplinit c ea ce a promis? A fǎcut asta într-un mod eficient?
Acestea sunt întrebǎrile pe care cetǎuenii din multe uǎri ale lumii le-au adresat în
ultimii 40 de ani sau chiar mai mult.
esupune evaluarea mai multor rograme, neori ch ar eval area difer telor
proiecte. O evaluare de succes a u ei politici nu trebuie sǎ fie consideratǎ o activitate
separatǎ, ci ar trebui integratǎ în întregime în ciclul obiçnuit de formulare a politicii.
Planificarea
complexe. Import ntǎ este alegerea indicatorilor celor mai adecvaui pentru o anumitǎ
politicǎ sau program çi scop.
Dimensiunea Sub-dimensiuni
Grad de adecvare la nevoile Exemple de rezultate ale acUiunii
de mǎsurare societǎuii {formǎ numericǎ sau %)
(eol uttproun tsic)ǎc.u indicatorii folosiUi
DÎnin d20 cu1r0supl ânpǎeriîo nad2e0i1320 , 1100-2
00 0d 1e3
çccroeçlitevroera avaecca eascicbeili
s tlǎauiio bciublio1te5cǎ
%
Volum
resurselor
12
În timp ce instituuiile colecteazǎ dat pentru a elabora sute de ind atori, doar câuiva
dintre ei sunt vizibili pentru societate. Indicatorii pot fi folosiui pentru diferite
scopuri:
mǎsura çi monitoriza execuuia çi eficienua funcuiilor instituuiei [ad sea
estea sunt mǎsurate folosindu-se indicatorii referitori la resurse çi
activitǎui{input)];
a lua decizii zilnice în ce ce priveçte implementarea politicilor çi
programelor [aceastǎ activitate poate include toate tipurile de indicatori - de
resurse { input), de rezultat al activitǎuii {output) çi mai rar de rezultat al
politicii {outcome)];
a lua decizii str egice cu privire la elabor ea sau îmbunǎtǎuirea output) çi politicilor
de rezultat
[vo r fi folos{outcome)];
al politicii iui mai des indicatori de rezultat al activitǎuii {
Mod în care indic torii de performanuǎ sunt elaboraui çi selectaui s-a schimbat de-a
lungul timpului. În prezent, indicatorii de monitorizare sunt elaboraui în jurul
politicilor çi programelor care clarificǎ diverse niveluri de scopuri. Prin urmare,
monitorizarea politicilor va necesita mǎsurarea div rselor dim nsiuni ale furnizǎrii
de servicii - calitat çi cantit tea - çi a diferitelor niv luri de performanuǎ -
contribuuii {inputs), rezultate ale acuiunii {outputs) çi rezultate ale politicii {outcomes).
Mǎsurarea performanu or s-a dezvoltat pentru a acoperi nu do funcuia
{
contribuuie
Principainlput),
ii pcaiçiçipe
în cea
labde
orarezultate
rea çi sele-crezultate
ui i dicatale
orilacuiunii/rezultate
or sunt urmǎ orii: ale politicii.
1 Determin ea rezultatelor care au semnificauie pentru cetǎueni;
2. Analizarea datelor pentru a identifica factorii importanui care influenueazǎ
înd linirea rezultatelor;
3. Determinarea activitǎuilor çi proceselor majore care influenueazǎ îndeplinirea
rezultatelor;
4 D ter in ea resurselor necesare pe tru îndeplinirea rezultatelor;
5. Revizuirea acestor liste provizor i în cadrul discuuiilor permanente cu cei a
cǎror muncǎ este monitorizatǎ, cei care cunosc cel mai bine sistemul.
Î timp ce sis mele de monitoriz re tr buie sǎ genereze date pentru a acope i toate
scopurile çi toate tipurile de indicatori, evaluǎrile folosesc ind atorii de performanuǎ
în mod selectiv. În primul rând, alegerea indicatorilor depinde de întrebǎrile de
evaluare çi de structura pol icii çi programulu . Ma simplu spus, evaluarea
impactului programului se va concentra pe indicatorii de rezultat al politicii
{outcome); evaluarea eficacitǎuii va lua în considerare relauia dintre indicatorii de
rezultat al acuiunii {output) çi rezultat al politicii {outcome); evaluarea eficienuei, în
afarǎ de rezultatele acuiunii { output), va avea în vedere çi contribuuiile {inputs).
13
Altfel, este posibil sǎ se foloseascǎ date din sondajele de opinie desfǎ3urate, în alte
scopuri, de cǎtre organizaUiile naUionale sau internaUionale 3i ONG-uri. Aceasta este o
metodǎ de mǎsurare a gradului de violenUǎ în familie care implicǎ resurse mai puUin
intense, dar produce 3i mǎsurǎtori mai puUin de încredere, deoarece metodologia de
mǎsurare a violenUei în familie poate fi diferitǎ.
Cea mai bunǎ metodǎ de a mǎsura impacturile unei politici privind descre3terea
violenUei domestice este folosirea datelor din surse diferite. În acest sens, rezultatele
sondajelor de opinie pot fi sprijinite de date mai solide, cum ar fi numǎrul crimelor
provocate de violenUa domesticǎ, numǎrul femeilor din adǎposturi sau a celor care
beneficiazǎ de programe de consiliere.
Nu existǎ nic un pas al evaluǎrii c re sǎ fie mai important decât altul. Totuçi, calitatea
u ei evaluǎri va depinde d c ea ce s-a fǎcut pânǎ la mom ntul respectiv în paçii
anteriori. Din acest motiv, este foarte important ca cerinuele pentru fiecare pas în
rte sǎ fie uçor de înueles çi, de semenea, sǎ existe o perioadǎ suficientǎ de timp
pentru ca acestea sǎ fie implementate.
Parte I a acestui Manu l va fi dedicatǎ explicǎrii celor ças paçi ai evaluǎrii. Acest
explicauii vor combina atât aspecte teoretice cât çi metode çi instrumente practice
ilustrate prin exemple.
16
17
Factorii interesaUi sunt entitǎui sau indivizi care sunt afectaui în mod direct de
intervenuie {politicǎ, program, proiecte) çi prin urmare de evaluare.
Deçi politica te de obicei orientatǎ cǎtre soluuionarea unor probleme ale unui grup
uintǎ, adesea implementarea acestei politici are impacturi indirecte neintenuionate
{aça numitele externalitǎUi) asupra altor membri ai societǎuii Pǎruile care sunt
afectat indirect çi pot avea un interes indirect în ceea ce priveçte intervenuia çi
rezultatele evaluǎri sunt d numite publicul mai larg. Publicul larg poate fi compus
din diferite grupuri de interes ale societǎuii, instituuii publice afectate indirect de
intervenuie çi care doresc sǎ înveue din experienua de implementare a intervenuiei.
Graniuele dintre actorii implicaui nu pot fi definite în mod clar. Câteodatǎ publicul larg
poate deveni factor interesat, dacǎ este sprijinit de societǎui bine organizate {ex. ONG-
uri).
20
E l area are valoare doar dacǎ este utilizatǎ çi va fi utilizatǎ doar dacǎ clientul
evaluǎrii o va considera utilǎ. Prin urm ar const ǎrile evaluǎrii trebuie sǎ furnizeze
informauii noi çi de încredere pentru client. Toate pǎruile implicate au açteptǎri çi
motivauii diferite pentru c sunt implicate în proc sul de evalua sau interesate de
constatǎrile evaluǎrii. Acestea sunt aça numitele nevoi ale pǎruilor {Tabel 2). Uneori
nevoile sunt explicite çi transmise evaluatorilor. Alteori acestea sunt dificil de definit,
deoar ce chiar dacǎ actor i realiz azǎ importanua evaluǎrii, s-ar putea ca aceçtia sǎ
nu aibǎ informauiile sau nivelul de experienuǎ adecvate pentru a defini în mod clar ce
anume doresc sǎ obuinǎ în urma evaluǎrii.
Id t icarea cât mai clar pos bilǎ a nevoilor cl entului s u clienuilor este un aspect
esenuial. Pare un lucru evident, dar în practicǎ , adesea evaluatorii îi pot considera p
mului dintre factorii interesaui drept „clienui”, çi prin urmare, pot pierde din vedere
n voile clientului din cauza mult tud ii dorinuelor factorilor int resaui, abundenue
inf auii despre intervenuie çi din cauza propriilor o i i, experienuelor çi stilului
de abordare. Nevoile diferitelor pǎrui reprezintǎ baza pentru diferitele scopuri ale
e , d çi relauia nu este m eu una directǎ - i.e. o anumitǎ nevoie {ex.
demonstrarea succesului intervenuiei) nu se transpune în mod necesar într-un scop al
evaluǎrii.
rmauii mdesupre
on eficaci trtea m
t odtului e
- Ba inf ltu e f
Societatea civilǎ lobby .
zǎ or a i alǎ pen u ac ivi ǎui d
Benef ciar i indire ui ai intervenuiei,
organizauii interesate în rezultatele
intervenuiei, publicul larg
Scopurile evaluǎrii
Evaluarea are drept scop îmbunǎtǎu rea rezultatului çi procesului interv nuiei ublice
Acest lucru poat fi efectuat prin furnizarea de informauii privind diferite aspecte ale
intervenuiei, care ajutǎ factorii decizionali sǎ îmbunǎtǎueascǎ activitatea respectivǎ.
Astfel, ev luarea poate fi privitǎ drept un instrument de management.
Sugestii practice
p
sursotbab
enail
bi, lit
toaatteeetc
dim
. ensiunile evaluǎrii vor fi acoperite într-un
îmbu tǎuirea mgoǎdturechiilibt rat:nevrelevçainUaǎb, ordeafirceaacitanttee, eefniuiei
cienU{relevanuǎ)
ǎ, impact,
mecanismului calitatea formulǎrii obiectivelor çi indicatorilor.
le g aduld ndere adecovare a structuril i or rvç proceselor de,
î unǎtǎuirea implementare prevǎzute;
implementǎrii - problemele interne sau externe întâlnite pe parcursul
altcineva le împǎrtǎçeçte opiniile. Deçi este inter sant de vǎzut dacǎ evaluatori
împǎrtǎç sc opiniile clienuilor çi ale factorilor interesaui, trebuie formulate totuçi
avertismente în acest sens.
EXEMPLUL 3.
Ce se poate evalua?
Eficacitatea rezultatelor programului (am redus congestiile în trafic, în ceea ce
prive3te timpul 3i volumul dorit?);
Eficacitatea diferitelor strategii de management (dacǎ managementul
descentralizat al programului este mai eficace decât managementul
centralizat);
Eficacitatea diferitelor strategii de implementare (compararea aplicǎrii
flexibile a politicii de reglementare cu aplicarea rigidǎ, compararea
contractǎrii externe a furnizǎrii de servicii de pazǎ pentru închisori 3i servicii
de siguranUǎ împotriva incendiilor cu furnizarea de servicii internǎ).
26
doar paruial?
Schimbarea necesitǎ
La ce nevoi rǎspunde? justare corespunzǎtoare
a intervenuiei?
S e evoi
f unt ac ste n
Rezultatel obuinute Care au fost motivele
ormulate clar çi susuinute pentru succesul
pânǎ în prezent asigurǎ
în mod adecvat de date? r gist at
de i i ea
Sunt obi ecti ve le alese la un
niv
Esteeldaede
aşcte
vapt?
tat ca în pl n r e r în
Eficacitate
activitǎuile prevǎzute sǎ obiectivelor? înd plinirea
conducǎ la îndeplinirea C e sunt lementele obiectivului x?
ob v particulare care au
iecti elor? afectat eficacitatea pǎruii
x a intervenuiei?
Care sunt costuril fauǎ de
b n i ontate? Existǎ
vre o l te de
efic ile sc
o m da it
derula programul într-o Cum po te fi crescutǎ A fost activitatea x
mand ǎ aleasǎ este cea eficienua procesului x? îndeplinitǎ folosindu-
ier mtaǎideficientǎ din
pauinecfticdien
e eire
n paul nct de se cea mai bun ǎ
Eesdteerme a cavonesdstu
mruill dr?e Este programul
vcosturilol rc? o implementat conform abordare din punct de
impl entare- structuri çi
planul i? v
coed
steure
rilaolr?
eficienuei
EficienUǎ Abroorcear b n ju i c t?
m Cât de bu ǎ a fost
pe rfo rmanua
i n t i sa a
p stroc
i uu esu
ei x,lui u
z?
p se - i e st fi a u Ce lecuii pot fi
Este cal darul de învǎuate?
Implementare De ce performanua
implementare realist?
proces
ului x este sub
uintǎ? Ce proceduri
instituuionale tr bui
simplif
icate astfel încât
implementarea sǎ fie mai
eficientǎ?
27
Intervenuia re efecte
Impact Care este mpactul
Care ste impactul açteptat neintenuionate pe
l intervenuiei? parcursul implementǎrii? activitǎu i x, în
com arauie cu
C s t r p aç p ǎ ile
a re un g u urile ui ǎ te t r ?
supra cǎrora intervenuia
va avea impact? Care este mpa tul
n po
oii r ceduri în
coemcpam
rapuiaectcuul cea
vecnhtreu? regiunea
fost mai redus decât
D
cel eçti
Sunt asigurate p xa
Impactul va fi unul de pre-condiuiile pentru a ep at?
duratǎ?
Care sunt çansele ca
rez l
d ze e o
Ca e unt elementele care p u tatele x sau y sǎ
vor asigura acest lucru? p
i a ǎ î el at
e ru
durabilitat obiectiv or aerreosudnt cnd ostuung
rile ǎ
x, y, z? Ce se poate face dieito
v timp
are?anticipate
f ctori afecteazǎ
pentru a le asigura? paernetrauupfroosgt rm ot?ive
am
negativ durabilitatea Centru durabilitate
re
C alizǎrilor x, y, z? C dusǎ a rezultatului le
Durabilitate re
xp a
?
C e lecuii pot fi
învǎuate?
Sugestii practice
În pr icǎ, comitetele de pilotaj sunt alcǎtu e pent u l ǎrile la scarǎ largǎ, în timp
ce evaluǎrile la scarǎ mai redusǎ pot folosi structurile sau practicile de management
existente {ex. consiliu de management, întâlnirile regulate la nivel de management)
pentru desfǎçura evaluarea. Pentru autoevaluǎri chiar un departament poate fi
responsabil pentru program.
Echipa de evaluare trebuie sǎ includǎ diferite contexte çi abilitǎui, atât în ceea priveçte
colectarea, cât çi în eea ce priveçt anali d telor. Este enuial ca întreaga hipǎ
analiticǎ sǎ ia parte la laborarea çi finalizarea ch tionarelor de anchetǎ. În c ea ce
priveçte partea de colectare a datelor, urmǎtoarele abilitǎui sunt esenuiale: expert
eçantionare, proiectant anchetǎ/chestionar, manager pentru activitǎ le pe te n,
persoane implicate în procesul de colectare a datelor, specialiçti/experui procesare a
intrǎrilor de date.
29
Evaluarea efectuatǎ de ministere este adecvatǎ atunci când obiectivul evaluǎrii este
eval area performanuelo ministerulu î conformitate cu planul sǎu strategic, pentru
îmbunǎtǎui ea prioritǎuilor bugetare çi atunci când este important ca evaluatorul sǎ
aibǎ legǎturi strânse cu procesul decizional.
Decizia e ext nalizare a eval ǎrii sau a unor pǎrui din evaluare trebuie luatǎ în
primul rând de client, în consultare cu principa lii factori nt resaui. De asemenea,
aceastǎ decizie depinde de resursele financiare, de timp çi cele umane. Nivelul de
i plica e al centrelor de evaluare, universitǎu or çi companiilor private depinde d
în rebǎrile de evaluare, timpul çi resursele financiare dispo ile, precum çi d
interesul politic privind constatǎrile evaluǎrii. De obicei, ministerele çi agenuiile
externalizeazǎ pǎrui din activitatea de cercet e çi studii pe teren, care trebuie
analizate folosindu-se metode calitative çi cantitative complexe.
Elaborar a unor TdR este un pas iniuial fundamental în cadrul oricǎrei analize,
anchetǎ, cercetare sau aluare. TdR clarificǎ açteptǎrile, rolurile çi r ponsabilitǎuile
între diverçi factori interesaui, furnizeazǎ planul pentru activitatea generalǎ, inclusiv
activitǎuile de urmǎrire. D asemenea, reprezintǎ çi baza pentru aranjamentele
contractuale cu consultanuii externi.
30
TdR pot fi elaboraui în mai multe etape. În decursul etapelor iniuiale ale evaluǎrii,
factorii int resaui se vor co centra mai mult pe detaliile legat de întrebǎrile
evaluare. Atunci când va fi nevoie de recrutarea u ei echipe de as stenuǎ externǎ,
Termenii de Referinuǎ trebuie sǎ conuinǎ mai multe informauii cu privire la sursele de
informauii exist nte, alcǎtuirea echipei, proceduri çi produse, dar pot descrie
metodologia çi calendarul activitǎuilor în termeni generali. TdR pot fi poi revizuiui
dupǎ alcǎtuirea echipei de evaluare. Scopul acestei revizuiri este analiza întrebǎrilor
cheie çi elaborarea ulterioarǎ a m todologiei.
Eval ǎril se desfǎçoarǎ de obicei în mai multe etape, cum ar fi studiul documentar,
activitǎui pe teren çi analiza datelor. În astfel de cazuri, Termenii de Referinuǎ oferǎ un
cadru pentru evaluare çi unul dintre obiectivele studiului documentar este
formularea unui plan detaliat de lucru pe teren pentru evaluare.
Aça cum a f st menuionat te ior, abordarea privind eval rea dep nde în
mǎsurǎ de într bǎrile de evaluare. Acestea determinǎ structura echipei de evaluare,
precum çi modelul posibil al evaluǎrii. Evaluǎrile care presupun un efort foarte mare
sunt evaluǎrile de impact, deoarece estea ne sitǎ de oper rea unei relauii cauzale
între rezultatele intervenuiei ç lumea realǎ. Dacǎ nu existǎ suficiente resurse de timp,
financiare sau umane, atunci se desfǎçoarǎ analize ex-post, rapide, fǎrǎ a folosi
grupurile d comparauie, sau studi tra svers le {explicate mai jos). Alegerea evaluǎrii
rezultatelor doar în urma finalizǎ ii intervenuiei n oferǎ rezultate precise çi nu poate
fi privitǎ drept o sursǎ de încredere pentru luarea unei viitoare decizii.
Chiar çi eval ǎrile bine planifica e se pot confrunta cu situauii ne çteptate care pot
neces a resurse financiare suplimentare. Atunci echipa de evaluare poat face
anumite modificǎri asupra activitǎuilor de evaluare çi poate lua în considerare doar
colectarea çi analiza datelor senuiale pentru întrebǎrile de evaluare cele mai
imp rtante. În plus, existǎ multe surse secunda e de date care pot fi folosite în locul
metodelor mai costisitoare de colectare a datelor primare.
Un ori evalu torii sunt solicitaui chiar în mijlocul proc ul de implementar al unei
intervenuii, sau chiar când aceasta s-a finalizat. Atunci evaluǎrii îi lipsesc resursele d
timp. Asta înseamnǎ cǎ evaluatorii nu au posibilitatea de a folosi modele de evaluare
care necesitǎ mult timp çi colectarea dat lor la început de program { . studii de gr p
pre-testare, explicate ulterior). În aceste condiuii, modelul care n esitǎ foarte mult
timp este posibil doar dacǎ evaluarea beneficiazǎ de un buget adecvat pentru
angajarea resurselor umane pentru a desfǎçura mai rapid procesul de col ctare a
atelor. Datele culese rapid pot fi distorsionate, iar clientul poate sǎ fie nesatisfǎcut
de nivelul lor de acurateue. În astfel de cazuri, este recomandabil ca marja de eroare
sǎ fie clarificatǎ în prealabil.
Alt domen i au alte valori fundamentale prin urmare motivele evaluǎrii vor fi
diferite. Soc iologii adesea se concentreazǎ pe aspecte legate de egalitate 3i dreptate
socialǎ. Specialiçtii din administrauie publ cǎ ar putea evalua dacǎ programul est
imp leme nta t în conf or mitat e cu pref er in uele l eg ui itoril or , precum çi nivelul de
satisfacuie al comunitǎuii cu privire la serviciile furnizate.
Cei care form leazǎ politici au diferite v lori fundamentale. Ei dor sc sǎ se asigure cǎ
politic implementatǎ genereazǎ rezultatele po itic i çi rezultatele acuiunii {outputs)
açteptate çi nu înrǎutǎueçte condiuiile de viauǎ ale nimǎnui. De obicei, diferite politici programe
au fost implementate folosindu-se re urse financiare din bugetul d sta din cadrul
unui numit program al unui minist r sau al unei agenuii. Unele dintre est
au o duratǎ nedefinitǎ {ex. beneficiile sociale) prin urmare, pot fi evaluate
ar prin efectuarea unor evaluǎri int mediare. In aceste cazuri, un set de indicatori
de monitorizare definiui în prealabil ajutǎ la emiterea de judecǎui, dacǎ
implementarea conduce cǎtre obiectivele de politicǎ sau program.
Existǎ mai multe tipuri de studii d evaluare çi ecare dint e e adreseazǎ întrebǎr
difer te. Astf l, tipurile de evaluare pot fi clasificate în termeni metodologiei çi ai
focalizǎrii acestora. În ceea ce priveçte metodele folosite, evaluǎrile pot fi descriptive
sau po t a nali za c auzalitate a. Î n priv n
i u conui nut ul u,i e val uǎ irle se pot co
n centra p
contribuuii {inputs), procese, rezultate ale acuiunii {outputs) sau rezultatele
programului { outcomes).
Metodele are ajutǎ la defi irea naturi çi dimen iunii problemei exi ente, necesitǎ
lucru în echipǎ çi anumite pregǎtiri în p alabil {de exemplu, brainstorming, focus
grupuri, metodele Delphi, analiza factorilor interesaui, scheme conceptuale).
Validitate internǎ 2 este în centrul tuturor concluzi lor bazate pe impac uri cauzale sau
de tipul cauzǎ-efect. Val itatea internǎ ste cr i lǎ pentru capacitatea evaluǎrii de
impact de a fi justificabilǎ. Când cel care formuleazǎ politica doreçte sǎ afle dacǎ o
i venuie guvernamentalǎ {tratament) este într-adevǎr cauza care determinǎ
apariuia unui anumit rezultat, atunci acesta doreçte ca intervenuia sǎ aibǎ o validitate
internǎ puternicǎ: adicǎ dacǎ X, atunci Y {dacǎ rogramul es e aplicat, atunci
rezultatele apar). Din pǎcate, nu este suficient doar sǎ dovedim faptul cǎ atunci când
are loc intervenuia apare çi rezultatul açteptat. Ar putea exista multe alte motive
datoritǎ cǎrora rezultatul a fost observat. Pentru a dovedi existenua unei relauii
cauzale, trebuie sǎ fie rezolvate simultan douǎ afirmauii:
încearcǎ pe cât posibil sǎ creeze sau sǎ gǎseascǎ douǎ grupuri similare, sǎ creeze
situauii comparabile çi sǎ gestioneze programul în grup de tratament {çi sǎ vadǎ dacǎ
apar rezultatele) nu în grup de control {çi sǎ v ǎ d cǎ rezultatele nu apar).
În cazurile în care echipa de evaluare are sarcina de a gǎsi o relauie cauzalǎ între
rezultatele int venuiei çi rezultatele intenuionate ale politicii sau programului, ar
put a fi folosite trei abordǎri pentru a rǎspunde la întrebǎrile de evaluare: modelul
experimental, cvasi-experimental çi non-experimental. Aceste modele includ diferi e
combinauii çi diferite perioade de timp pentru douǎ tipuri de comparauii: pre-test -
post-test (comparaUii în serie temporalǎ) çi grupuri de control vs. tratament
(comparaUii transversale). Modele diferǎ în ceea ce priveçte abordarea folositǎ pentru
alegerea grupurilor respective.
În cadrul celui mai simplu tip de experiment, cercetǎtorii creeazǎ douǎ grupuri care
sunt „echivalente” unul altuia. Grupul de tratament (program) beneficiazǎ de
intervenuie iar grupul de control (comparaUie) nu beneficiazǎ. Pentru toate celelalt
aspecte, grupurile sunt tratate la fel. Au persoane si ilare, condiuii de ai çi medii d
provenienuǎ asemǎnǎtoare. Acum, dacǎ observǎm diferenuele dintre rezultatele
acestor douǎ grupuri, aceste diferenue trebuie sǎ fie cauzate de singurul lucru care le
diferenuiazǎ - çi anume cǎ unul a beneficiat de program çi altul nu.
Mode l expe imental este dificil de desfǎçurat în majoritat contextelor din viau
realǎ. Este intruziv çi creeazǎ într-o anumitǎ m surǎ o situauie artificialǎ cu scopul de
a evalua relauia cauzalǎ cu o validitate internǎ ridicatǎ. Prin urmare, generalizarea
rezultatelor în viaua realǎ este limitatǎ. Cu alte cuvinte, cercetǎtorul a redus
validitatea externǎ cu scopul de a obuine o validitate internǎ mai ridicatǎ.
Nu existǎ n rǎspuns la într are dacǎ modelul experim ntal este o abordare bunǎ
sau mai puuin bunǎ. Dacǎ situauia este adecvatǎ, un experiment poate fi un model
foarte solid de folosit. Modelul experimental este foarte des întâlnit în cercetǎrile
efectuate în diverse domenii sociale: sǎnǎtate, educauie, politici de asistenuǎ socialǎ.
3 Validit tea externǎ implicǎ generalizarea constatǎrilor cǎ e pop auie. De exemplu, dacǎ eçantionu
select t este format doar din bǎrbaui în vârstǎ de muncǎ cu vârste cuprinse între 25 çi 35 de ani, iar
populauia studiului este formatǎ din bǎrbaui çi femei în vârstǎ de muncǎ, atunci rezultatele vor fi dificil
În 1977, programul a fost implementat având drept grup Uintǎ femeile însǎrcinate care
erau la primul copil 3i care îndeplineau una sau mai multe dintre trǎsǎturile
urmǎtoare: vârsta sub 19 ani, familie monoparentalǎ sau nivel crescut de sǎrǎcie.
Existau multe 3anse ca aceste condiUii sǎ genereze o posibilitate mai crescutǎ ca mama
sǎ fie fumǎtoare, dependentǎ de droguri sau alcool, sau sǎ aibǎ un istoric familial
nefericit 3i prin urmare, sǎ nu aibǎ nivelul adecvat de cuno3tinUe 3i abilitǎUi pentru a-3i
îngriji copilul.
În total, un numǎr de 400 de femei au fost atribuite unuia dintre cele patru grupuri.
În grupul 1, 94 de femei au beneficiat de servicii de screening pentru copii lor
cu vârste cuprinse între 1 - 2 ani pentru a vedea dacǎ respectivii copii se
confruntǎ cu probleme de dezvoltare.
În grupul 2, 90 de femei au beneficiat de servicii de screening plus transport
gratuit la programǎrile pe care le aveau la doctor pentru copiii cu vârste pânǎ
în 2 ani.
În grupul 3, 100 de femei au beneficiat de servicii de screening, transport 3i
vizite regulate la domiciliu efectuate de asistente medicale, pe durata sarcinii.
În grupul 4, 116 de femei au beneficiat de servicii de screening, transport 3i
vizite la domiciliu atât înainte de na3tere cât 3i dupǎ, pe durata primilor 2 ani
de viaUǎ ai copiilor.
Primele douǎ grupuri au fost „grupuri de control”, iar grupurile 3 3i 4 au fost „grupuri
de tratament”.
Modelul est similar celui anterior, dar este implementat mai des, deoarec acoperǎ o
perioadǎ mai scurtǎ de timp çi este mai puuin costisitor decât m delul 1 {deçi este ma
costisitor decât modelele mai puuin solide). Acest model este o alegere bunǎ atunci
când evaluarea neces ǎ o imagine explicativǎ cuprinzǎtoare a procesului de
implementare a politi ii çi a analizei contextuale pentru a analiza influ nua diferiuilor
factori socio-economici asupra populauiei, atunci când evaluarea începe înainte de
implementarea programului çi are un buget adecvat.
Modelul este folosit atunci când este disponibil un buge adecvat dar evaluarea nu
începe pânǎ când programul nu a fost deja implementat de o perioadǎ de timp, dar
totuçi mai rǎmân cel puuin 18 luni pânǎ la încheierea acestuia. Grupul de tratament çi
de control sunt comparate în perioada intermediarǎ çi la sfârçitul programului.
tratament çi de control
Model 5: ComparaUie - sunt comparate.
post-testare a grupurilor de tratament 3i control
Acest model este utilizat când evaluarea nu începe înainte ca pro amul sǎ fie deja
derulat de o anumitǎ p ioadǎ de timp sau sǎ fie finalizat. În ciud începceorii ntrcoul
întârziere, eantio
gestiona valuǎreilvaste
e careale
utgrupurilor
ilizeazǎ acede
st tratament
model adesçiecontrol.
a au un În
bualte
get ad ecvatMçoi dpeoltu
cazuri,
este sin
evaluarea este b ǎ pe date sec dare obuin e din alte anchete. Acest model se
bazeazǎ pe comparauia de la sfârçitul programului între grupurile de tratament çi cele
fǎrǎ sǎ fie colect e date de bazǎ cu privire la nici unul dintre aceste grupuri.
l funcuioneazǎ mai bine în cadrul comunitǎuilor izolate, acolo unde proiectul
gura intervenuie.
Acest model este utilizat în condiuii similare ca modelul 4. Evaluarea începe în etapa
iniuialǎ a proiectului, dar din nou, din diverse motive, datele de bazǎ, prec çi
evaluarea de la sfârçitul programului sunt desfǎçurate doar pentru grupul de
tratament. Diferenua între ac model çi modelul 4 este cǎ în cazul acesta, grupul d
control nu apar deloc. Acest model este destul de b n pentru proiectele care
utilizeazǎ intervenuii tip „bune practici” care s-au dovedit eficiente în condiuii
similare. De asemenea, poate fi eficient dacǎ scopul evaluǎr este înuelegerea
procesului de implementare a programului, iar evaluarea cantitativǎ a impactului nu
este atât de importantǎ {evaluǎri formative).
Tabelul 5. Punctele forte çi punctele slabe ale celor çapte modele principale de
evaluare
uu caorme pairǎ
li ptreaiectul
de
altestcioonmauenfe
itcǎtuui.l variab
Nce survin prtian folosirea
7. Grupul de tratament post-
testare gana i m lti ri te. ilelor
Util din punctul de vedere al N e
lize u -va a
u obuine estimǎri precis
studiilor de docu entare asup im
pentru a avea o imagine de pro
ansamblu asupra nivelului
ra pacturilor
iectului.
Este dificil de obuinut
du e efi eienuǎazǎ alesmodelelor
timare de s r at s t rez l
sentimentul de convingere
pnro iuiaelcǎt,. aproximativǎ a proiectului i nu al altor
cum cǎ schimbǎrile
rezultatelor, în special factori ai intervenuiei.
F
p n rntrzu o sau ob e v e un u tatul
e proiectele mici
ii Nu are capaçcitat de a
zolate. g
estiona evenimentele
externe.
N tive
u ob ine date compara
entru a estima capacitat a
potenuialǎ de reproducere.
Sursǎ: Bamberger, M., Rugh, J., Mabry, L. (2006). Real World Evaluation, Working under budget, time,
data and political constraints. CA: SAGE
Modelul non-exper mental {NE) este foarte des întâlnit în cadrul evaluǎrilor d
politici/programe. Dacǎ prog amul/politica se aplicǎ tut or, nu va fi posibil sǎ se
efectueze comparauii între persoanele sau unitǎuile care sunt afectate de program cu
cele care nu sunt afectate. In acest caz, „tratamentel sunt legi, regulament etc. ca
existǎ de foarte mult timp. Ar fi f arte dificil de analizat impactul acestor legi
folosindu-se un fel de model pre-post. În plus, pentru programele cu „acoperire
deplinǎ”, formarea grupulu de control este foarte dificilǎ sau chiar imposibilǎ.
Dacǎ e aluarea este una complexǎ çi trebuie sǎ fie externalizatǎ, Comitetul Pilot j
este invitat sǎ aprobe planul de management al evaluǎrii cu scopul de a coordona mai
bine procesul de evaluare.
Existǎ douǎ documente oficiale la care poate veui dori sǎ faceui referire atunci când
colectaui çi analizaui datele - Ghidul privind Monitorizarea 3i Evaluarea (2008) çi
Manualul metodelor folosite în planificarea politicilor 3i studiilor de impact (2006).
Ghidul privind Monitorizarea çi Evaluarea prezintǎ conceptele de b zǎ ale col tǎrii çi
analizei de date çi descrie pe scurt gama de metode folosite. Manualul metodelor
folosit în planificarea politici çi studiilor de impact xplicǎ în tali metodele d
analizǎ a d telor çi aplicarea lor. Deçi al doil a document explicǎ evaluarea ex-ante,
metodele cantitative de analizǎ a datelor sugerate în respectivul document pot fi, de
asem ea, folosite çi pentru evaluarea ex-post.
Colectarea datelor
Colectarea datelor este de obicei procesul care consumǎ cel mai mult timp çi cele mai
mult resurse. Scopul acestui proces în cadrul evaluǎri este d a obuine informauiil
de care veui nevoie pentru a putea rǎspunde la întrebǎrile de evaluare. Evaluarea se
poate baza pe informauiile existente sau, dacǎ aceste informauii nu sunt suficiente,
poate apǎrea nevoia de a colecta noi date.
Existǎ mai multe modalitǎui de clasificare a datelor. În primul rând, se face adesea
distincuia între datele cantitative çi cele calitative. Datele cantitative se referǎ la cifre -
câui/câte - iar cele calitative la motive, opinii çi motivauie - de ce.
Datele pot fi, de asemenea, clasificate în funcuie de sursele acestora, adicǎ primare çi
secundare. Datele rimare sunt col ct e de obicei d cǎtre evaluator de la diverç
actori din cadrul politicii sau programului. Datele secundare reprezintǎ informauii
colectate anterior de cǎtre aluii çi adesea cu scopuri diferite.
46
Pentru a schiua activitǎuile majore în cadrul colectǎrii de date, puteui folosi tabelul de
mai jos.
Este foarte probabil ca deciziile pe care le luaui în aceastǎ etapǎ sǎ se schimbe odatǎ
cu demararea procesul de col ctare a datelor. S-ar putea sǎ fie nevoie sǎ vǎ
întoarceui la plan çi sǎ modificaui perioadele de timp çi metodele de colectare. Cu toate
acestea, aceste aspecte sunt importante çi trebuie discutate de la început, de preferat
pe parcursul perioadei d planificare a evaluǎrii, deoarece vor reflecta ce tip de çi câte
resurse, în termeni de persoane, timp, bani, va fi nevoie sǎ alocaui p ntru colectarea
datelor. Veui putea, de asemenea, sǎ identificaui ce pregǎtiri trebuie sǎ efectuaui în
avans {ex. formarea intervievatorilor) çi dacǎ pot apǎrea anumite riscuri {ex.
sensibilitatea sau lipsa anumitor date, date dificil de obuinut etc.).
Cercetarea documentarǎ
Cercetarea docum ntarǎ este o revizuire a datel sec ndare. De obicei, xistǎ un
v lum foarte are de date c e deja au fost col ctate de cǎ e aluii. Cercetarea
documentarǎ implicǎ strângerea datelor de la diversele surse existente:
Datele pot fi disponibile în rapoartele de activitate sau de performanuǎ pe care
managerii de program sau personalul relevant le colecteazǎ.
Datele secundare pot fi pǎstrate în cadrul instituuiilor de implementar pe care
dvs. va trebui sǎ le vizitaui pentru obuine exemplare ale acestor documente.
Biroul nauiona de statisticǎ çi institutele de cercetare subordonate
minis relor colecte ǎ de obicei date care sunt disponibile çi care pot fi
folosite pentru evaluarea dvs.
Personalul din program poate avea rezultatele în urma anchetelor desfǎçurate
în trecut.
Organizauiile urope s u internau nale sunt o sursǎ relevantǎ
consult cercetǎrile, studiile, revizuirile desfǎçurate anterior sau pentru a
folosi baza de date a indicatorilor.
Existǎ diferite modalitǎui de localizare a surselor pe care trebui sǎ le con ltaui. Aveui
mai jos câteva suge tii:
Discutaui posibilitǎuile în cadrul echipei de evaluare - eficace în special dacǎ
membr provin din instituuii diferite;
Întâlniui-vǎ cu factorii interesaui importanui pentru a identif ca dacǎ diversel
baze de date, arhive, rapoarte ale managementului sau alte informauii interne
operauionale care pot fi relevante pentru evaluare.
48
Pe de altǎ parte, informauiile deja colectate pot fi învechit sau dacǎ vǎ referiui la surse
informale de informauii acestea poate nu mai sunt de încredere.
Dupǎ ce aui final zat cercetarea documentarǎ veui putea identifica ce alte informauii
suplimentare mai sunt necesare de la sursele primare.
Politicile sau programele dvs. pot implica o gamǎ largǎ de actori diferiui de la care dvs.
este posibil sǎ aveui nevoie de informauii. În principiu ac çtia sunt:
Utilizatorii de servicii sau beneficiarii programului: aceçtia sunt persoanele
uintǎ în program;
Cei care livreazǎ programul: d exemplu personalul din agenuie sau centru care
furnizeazǎ servicii pentru beneficiarii programului, furnizori de formare;
Cei responsabili de direcUia strategicǎ 3i management: de xemplu factorii
d cizionali, managerii de program de la diferite niveluri sau personal în cadrul
programului;
programmai
Grupuri ul dvlargi
s.: dedeexpersoane
emplu, societatea, media sau
afectate (pozitiv sau negativ)
alte instituuii care
indirect de sunt
interesate de program.
Colectarea datelor can titative este folositǎ pentru a rǎspunde la întrebǎrile legate de
„cifre” - c âui oam eni au participat la program, câui dintre aceçtia considerǎ cǎ
programul a fost u nul util etc. Cea mai des întâlnitǎ metodǎ cantitativǎ de colectare a
da lor este a heta.
Ancheta
Ancheta este una dint e cele mai frecvent folosite tehnici de col ctare a informauiilor
rimare. Se desfǎç arǎ cu ajutorul unui chestionar aplicat persoanelor anchetate
pentru a obuine informauii despre politicǎ sau program. Existǎ mai multe metode de
colectare a acestor informauii:
interviu fauǎ în fauǎ
la telefon, sau
prin completarea unui chestionar tipǎrit sau în variantǎ electronicǎ prin email
{auto-completare).
Interviurile faUǎ în faUǎ çi sondajele prin telefon pot genera informauii de o mai bunǎ
calitate. Acestea cresc probabilitatea a întrebǎrile sǎ fie m ai bine înuelese deoarec
respondenuii au oportunitatea de a clarifica nelǎmuririle. Interviurile çi sondajele
telefonice genereazǎ, de aseme a, o ratǎ mai mare de rǎspuns çi respond ui
potriviui. Cu toate acest a, ele pot necesita mai multe resurs çi pot fi mai costisitoare
în cazul în care aveui nevoie sǎ anchetaui un numǎr mare de persoane. În acest sens,
interviurile çi sondajele prin t lefon sunt cele mai adecvate metod atunci când aveui
nevoie de informauii de încredere çi când nu sunteui constrânçi de resurse limitate.
Sondajul auto-completare ste relativ ieftin çi rapid, dar prezintǎ un risc mai mare ca
întrebǎrile sǎ fie greçit înueles çi respondenuii sǎ nu fie cei potriviui. Rat de rǎspuns
poate fi, de asemenea, mai redusǎ decât în cazul sondajelor fauǎ în fauǎ sau prin
telefon. Sondajul auto-c mpletare este de obicei condus pentru a ancheta un numǎr
mare de populauie çi de obicei dintr-o zonǎ geograficǎ vastǎ.
În cazul sondajelor mari çi atunci când sondajele vor fi folosite drept principala sursǎ
de dovezi care sprijinǎ ev luarea, veui dori sǎ cǎu ui sprijin specializat extern pentru
a vǎ ajuta cu organizarea, desfǎçurarea sau analiza sondajului. Uneori veui decide
externalizarea anchetei cǎtre o agenuie de specialitate.
50
pentru a solicita
Întrebǎri
demografice
Alte comentarii
Vǎ mulUumim
53
Testarea chestionarului
Puteui desfǎçura oricâte runde de testare doriui, pânǎ când obuineui un rezultat
satisfǎcǎtor.
Rata de rǎspuns
urmǎrire pentru a creçte acest n vel sau, d ǎ nu este cazul, folosire rezultatelor
anchetei uinând seama de posibilele limitǎr ulterioare. Înaint de a tr ite
chestionarul cǎtre respondenui, ar fi util sǎ stabiliui rata de rǎspuns pe care doriui sǎ o
real izaui ç i sǎ p lan if icau i st giile de mǎ rire ,în ca zulî n caer nu vǎ atingeui uinta.
În cadrul acestui Manual sunt introduse cele mai frecvent utilizate metode:
Interviurile aprofundate {pot fi semi-structurate)
Focus grupuri
Vizite la faua locului {pe teren).
Interviurile aprofundate
Interviul aprofundat este un dial g între ntervievator çi o persoa ǎ din grupul uintǎ,
u sc ul de a obuine formauii cu ivi e la opiniile, atit inile çi modurile d
c mportament ale participanuilor la program. În cadrul unui interviu persoanele
i ervievate sunt rug sǎ-çi xprime mai deg bǎ opiniile detaliate asupra
evenimentelor din viaua realǎ decât sǎ facǎ g neralizǎ . Acestea ra ori includ
întrebǎri pre-determinate çi de obicei permit intervievatorului sǎ acopere în detaliu
subiecte care nu pot fi acoperite printr-o anchetǎ. Cu toate acestea, se recomandǎ
fol sirea unui ghid de subiecte/teme pentru a conduce discuuia çi pentru a obuine
informauiile necesare.
Interviurile aprofundate de obicei sunt aplicate pentru a discuta cu acei oameni care
au o agendǎ de lucru foarte încǎrcatǎ, funcuii înal e sau când subiectul ste unul
delicat çi persoanele ezitǎ sǎ îçi exprime opiniile într-un grup mai mare de oameni.
Sunt utile, de asemenea, în situauiile în care existǎ un numǎr rela v redus de persoan
care pot furniza informauii folositoare în legǎturǎ cu rezultatele çi impacturile
programului.
Cel m bi e este ca inter iul sǎ fie d sfǎçurat de cǎtre o perso nǎ care a fost
implicatǎ în procesul de evaluare çi care înuelege bine obiectivele çi r zultatel
programului. Este foarte probabil ca aceastǎ persoanǎ sǎ fie cineva din echipa de
eval are. Adesea, se açteaptǎ de la r spondenui sǎ fie persoane bin ocumen ate, iar
faptul cǎ intervievator este o persoanǎ care, la rândul sǎu, are cu oçti ue în
domeniu, va reduce riscul de a apǎrea diferenue mari între nivelurile de cunoçtinue ale
çi intervievatului. Alt motiv ar fi cǎ intervi rile aprofundate per it
ntervievatorului sǎ interacuioneze cu utilizatorii programu i çi el/ea poate testa
ideile care se formeazǎ pe parcursul procesului de evaluare. În acelaçi timp,
intervievatorul trebuie sǎ aibǎ bune abilitǎui de intervievare çi trebuie sǎ p atǎ stabili
un mediu propice î care respondenuii sǎ se simtǎ confortabil. Uneori, factori precum
vârsta, genul, nauionalitatea pot fi, de asemenea, importanui pentru respondent.
Un alt aspect care trebuie rezolvat este cel al înregistrǎrii datelor obuinute în urma
interviului. Acest a pot fi înregistra fie pe casetǎ fie rezumate sub forma notiuelor
scrise. Pentru înregistrarea audio este necesarǎ obuinerea permisiunii respondentului
çi sigurar confidenuialitǎui informaui or. Oricum, uneori înr gistrarea pe casetǎ
poate influenua interviul çi chiar calitatea informauiilor, deoarece respondenuii pot fi
mai puuin deschiçi çi sinceri în rǎspunsurile lor.
56
Focus grupurile
scopul de a:
identifica çi defini problemele din procesul de implementare a programului
identifica punctele forte, slabe çi recomandǎri
obuine
genera informauii
idei noi cu privire la rezultatele çi impacturile programului
Valoarea adǎugatǎ de focus grup este cǎ permite observarea aceluiaçi aspect din
diferite perspective çi permite cǎutarea unor motive pentru care lucrurile merg într-
un anume fel în program, toate acestea într-un mod dinamic ce nu ar fi posibil în
cadrul unui interviu individual.
Pe de altǎ parte, focus grupu ile pro uctive n ecesitǎ moderatori comp enui. Rol
unui moderator este de a menuine discuuia pe fǎgaçul corect fǎr a întrerupe fluxul
ideilor çi com ntariilor. Moderatorul va trebui sǎ furnizeze o listǎ cu subiectele care
trebuie acoperite de focus grup, d r nu existǎ n ciun model prestabilit de rmat
Moderatorul ar trebui sǎ rǎspundǎ la probleme e ridic te de participanui asigurându-
se în acelaçi timp cǎ subiectele stabilite iniuial sunt acoperite în cadrul discuuiilor.
Ace t lucru ermite participanuilor sǎ sesizeze problem care nu fost luate în
considerare în prealabil. Moderatorul trebuie, de asemenea, sǎ se asigure cǎ toui
membrii grupului au çansa de a contribui çi cǎ discuuia nu este dominatǎ de un singur
participant. Numǎrul adecv de participanui este între 5 çi 8 çi timpul de discuuii de
obicei este de la o orǎ jumǎtate pânǎ la douǎ ore.
Vizitele la faua locului sunt folosite în programe sociale {educauie sau sǎnǎtate) sau
proiecte de infrastructurǎ {transport sau mediu), dar çi în alte domenii.
Vizitele la faua locului necesitǎ anumite pregǎtiri prea abile pentru a vǎ asigura cǎ veui
avea acces la siturile vizitate sau sǎ stabiliui eventualele întâlniri cu factorii interesaui.
Este mporta t sǎ vǎ sigurau cǎ metodele selectate gen eazǎ date care rǎspund cel
mai bine la întrebǎrile de evaluare. În practicǎ, nicio metodǎ de colectare a datelor
folositǎ exclusiv nu va fi potrivitǎ pentru a rǎspunde la întrebǎrile de evaluare, prin
urmar este nevoie de o combin ie de mai multe met e. Adesea, întrebarea va fi
care metode - cantitative sau calitative - vor fi preponderente çi pe care dintre
metodele calitative sau cantitative sǎ le alegeui.
program dacǎ acesta din ur ǎ va mai continua sau nu. Ast de decizii tr bui
fundamentate folosindu-se inform uii/dovezi corecte çi de încredere. Observauiil
personalului çi beneficiarilor programului, care au fost colectate folosindu-se metode
calitative, pot furniza informauii valoroase asupra impactului programului çi a
necesitǎuii acestuia.
Indif rent de tipul evaluǎrii, alegerea metod lor depinde de urmǎtorii factori çi
adesea de o combinauie între ac ç a:
Scopul evaluǎrii. Pentru evaluǎrile la scarǎ redusǎ îndreptate spre
formularea sa implementarea de politici, evaluatorii poat vo dori sǎ
selecteze metode calitative çi poate metode c ntitative care sunt mai
eficiente din punct de vedere al resurselor, cum ar fi anchetele prin email
s internet. Cu toate acestea, pentru evaluǎrile cauzale la sc ǎ largǎ, în
cazul cǎrora scopul este de a dovedi/respinge ipoteze, sau nd se
intenuioneazǎ folosirea analizei statistice pentru evaluǎrile descriptive,
este foarte probabil sǎ se facǎ alegerea unor metode cantitative care vor
genera informauii semnificative din punct de vedere statistic.
Resursele disponibil Constrângerile legate de r urse pot afecta în mod
sem ificat deciziile çi chiar alegerea todelor. Chiar dacǎ scopul
evaluǎrii çi nevoia de a obuine informauii semnificative din punct de vedere
statistic vor necesita metode c re sǎ genereze informau cor te çi precise,
constrângerile financiare çi umane vor produce un schimb între a
desfǎçura activitatea cu acurateue çi a desfǎçura activitatea cu resurse
limitat . Adesea va trebui sǎ alegeui între metodele de anchetǎ mai mult sau
ai puuin costisitoare {ex. anchet prin email vs. cea fauǎ în fauǎ) çi
metodele calitative care necesitǎ mai mult sau mai puuin efort {efortul în
ter eni de resurse va depinde de fi are caz în parte, în funcuie de
numǎrul populauiei uintǎ çi de persoanele care au abilitǎui).
Perioada de timp. U eo , mai ales când s t olicitate de la nivelul
managementului ministerial, evaluǎrile trebuie sǎ fie desfǎçurate sub
presiunea timpului. În aceste cazuri, evaluatorii vor trebui sǎ îçi aleagǎ
metodele car pot genera informauii într-un timp scurt. Alegerea met elor
va depinde de cât de mare este eçan ionul çi dacǎ aveui nevoie de i ormaui
semnificative din punct de vedere statistic. Dacǎ dimensiunea eçantionului
nu este mare, atunci ancheta fauǎ în fauǎ va g era i ormauii de încredere
într-email
un tim
sau spoçtǎ
curt. ar
Oricum, îfinmult
putea cazulmai
unu i eçantiodin
eficientǎ n m are, odean
punct chetǎ al
vedere prin
timpului.
ǎs unsur
oate gener mn s a
i în
r p ç n l op ni
ju ul ui D sp itive
detaliate çi idei pot fi trecute
set de audio
trebǎri n s
îndrumate oi.
P Su s Salǎ de
de un rticipanu i pot întâlnire
moderator ex
b ându-se pe O persoanǎ
ub tǎcere. care sǎ
e i ul de çi tinde ideile analizeze
cce ul
c az rǎspunsurile
epinde de
mentariile namica
C n d sǎ
Focus ce dis de
lorl
m al
t ui. za g
eorblei m
e ealor din
nali cuuiilor
prferite rup.
p
dierspective çi se
obuin o Ne ulte
si re ste
c
ce itǎ m
e anumitǎ urse çi e
nergie. ostisitoare.
â d oriui Pot fi au e Ne
estaui /clarificaui m moc sitǎ un
aspecte ce apar în id . zit mai derator
ti ulte opinii çi experiment t çi
ei os l alǎ.
F ǎ speci
rva Permite
ercepuiile Poate fi
grupuri introducerea çi
im
reputl ev
înaluǎrii. nere tativ
testarea noilor
din p ezen ui
com lopsitǎ p
amentul,
ntru a
aotbse ort cauza un
numǎr redus de
p itudinile çi
respondenui.
ldimbcajeul
respo ndenuilor.
60
idei.
Este nevoie s
Poate fi mai veui un numǎr
r ǎ decât acceptabil de
apid p
ancheta. articipanui într-
o
timp u ǎ sa l çi
singdefinitǎ.
Poate fi mai puuin pe o perioadǎ de
costisito e
{comparatǎ cu
mul interviuri
te
aprofundate).
Poa ajunge la P n cesita
Vizite la Folosite pentru a ma l mult resurse çi Intervi vatori
spauiile obuine inform ii te t fi çi moderator
are ecte ç vizua e i mu te or au în
persoane decât
inte iurile
apr
rv
ofundate.
Put
c veu u
fu eazǎ foeui fi
ausigu ec cǎ
servicii. i ob ine
dir i l in r i dir te poa e f m i{
m i
asupra furn zǎrii çi puteui obs rva stisitoare în cazul în care
d
scehsiemrbviǎcriiiloçir a fsuerviciairpeea te
deren. cazul în care sunt
prevǎzute mai
raportat în
Poat combina sunt planificate multe
mediul respectiv.
vizitele la faua mul activitǎui. activitǎui)
Vizitele la loculu cu
interviurile Poate necesita o D
hipǎ de isp zitive
profundate sau audio
evaluatori
anchetele.
{formaui) care sǎ S
desfǎçoare ma alǎ de
multe activitǎui întâlnire
iferite în O p oanǎ
decursul unei ers
faUa locului
singure vizite. care
analizeazǎ
rǎspunsurile
61
Eçantionarea
Dacǎ numǎrul utilizatorilor programului sau politicii su uçi sondajului este redus çi î
puteui acoperi pe toui, atunci realizaui un recensǎmânt 4. Oricum, în cazul în care
programul acoperǎ un numǎr mare de beneficiari, este posibil sǎ fie nevoie sǎ alegeui
un eçantion pentru a evita costurile ridica te ale colectǎrii de date. E3antionarea este
pr c ul de selectare unitǎuilor {perso ane, orga izauii, obiecte sau evenimente)
acoperite de politicǎ sau program astfel încât prin analiza eçan tionului sǎ puteui
aplica rezultatele asup util atorilor programulu din rândul cǎrora aui selectat
eçantionul. Un e3antion reprezintǎ numǎrul de unitǎui incluse în sondajul dvs.
În od ideal, ar trebui sǎ fie p sibil sǎ identificaui fiecare unitate din cadrul populauiei
çi sǎ o includeui în eçantion. Totuçi, adesea nu este posibil sǎ iden ificaui çi sǎ çtiui cât
de mare este volumul populauiei uintǎ {de exemplu numǎrul exact al fumǎtorilor de pe
pǎmânt). Prin urmare, eçantionarea încearcǎ sǎ rezolve aceastǎ problemǎ prin
folosirea unui cadru de e3antionare.
Cadrul de eçantionare este o listǎ oficialǎ sau un registru privind populauia uintǎ.
Astfel d liste sau registre s nt de obicei gestionate de diverse org nizauii
guvernamen ale sau de servicii publice çi pot fi urmǎtoarele:
Registrul cetǎuenesc poate fi folosit pentru a sonda toatǎ populauia din uarǎ.
Registrul agricultorilor poate fi folosit pentru a sonda activitǎuile agricole.
Listele beneficiarilor asigurǎr lor sociale pot fi folosite pentru a evalua diverse
aspecte ale politicii privind asigurǎrile sociale.
Registrul conducǎtorilor auto poate fi folosit pentru a sonda impactul pe care îl
au iniuiativele privind siguranua drumurilor.
Lista pacienuilor dintr-o instituuie de asistenuǎ medicalǎ pr marǎ poate fi
folositǎ pentru a sonda activitǎuile instituuiilor de asistenuǎ medicalǎ primarǎ.
Cu toate acestea, în anumite cazuri nu este del uçor sǎ obuineui o listǎ oficialǎ a
populauiei uintǎ. Aceasta fie nu existǎ, fie este incompletǎ. De exemplu, nu existǎ nicio
listǎ cu oate persoanele fumǎtoare, persoanele fǎrǎ adǎpost sau persoanele
ependente de droguri di ntr-o uarǎ. Sa u, alt exemplu, li sta emig ranuilo r ar pu tea if
incompletǎ deoarec nu toui cei care p ǎrǎs esc o uarǎ o ferǎ informauii instituui ilor
responsabile. În astfel de cazuri, procedura prin care se obuine acces la populauia uintǎ
va fi consideratǎ cadrul de antionare.
Cadrul de eçantionar determinat prin fol irea procedurii de acces are anum
puncte slabe, mai ales în cadrul evaluǎrilor în care existǎ nevoia de a produc
rezulta te semnificative din punct de vedere statistic. Unul dintre cele mai des întâlnite
puncte slabe este riscul de a genera ju cǎui distorsionate ca rezul t al col ctǎrii çi
analizei datelor. Cadrul de eçantion e este folosit pentru a de ermina volumul
eçantionului, ceea ce înseamnǎ cǎ un cadru de eçantionare incomplet poate genera un
eçantion non-rep ezentativ. Aces lucru nu înseamnǎ cǎ evalu rea nu ar tr bui
desfǎçu tǎ în astfel de cazuri, ci cǎ pe parcursul evaluǎrii ar trebui luate în
considerare constrângerile existente.
În acest Man ual sunt prezentate c l mai des întâlnit metode de eçantionar
probabilisticǎ {s mplǎ ale toare, sistem aticǎ aleatoare, stratificatǎ, prin grupuri çi
multistadialǎ) çi neprobabilisticǎ {ra uionalǎ, prin cote, în lanu). Metodele de
eçantionare probabi sticǎ sunt ades folosite în metodele de colectare a datelor
antitative, în timp ce metodele neprobabilistice sunt mai frecvent folosite în
colectarea datelor calitative.
Metoda de eçantionare simplǎ aleatoare pe ite fiecǎrei unitǎui din populauia uintǎ sǎ
fie inclusǎ în mod egal î eçantion. Este mai cunoscutǎ sub numele de “tr g re la
sorui”. Implicǎ selectarea numǎrului necesar de unitǎui din cadrul de eçantionare într-
un mod aleatoriu. Un numǎr mai mic de unitǎui ate fi selectat din listǎ f losindu-se
metoda lo riei. De ex mplu, fiecǎrui nume de pe listǎ îi poate fi atr uit un numǎr.
Dacǎ eçantionul are nevoie de 100 persoane, atunci vor fi extrase din bolul loteriei
100 de numere çi potrivite numelor de p lis .
E3antionarea sistematicǎ
Aceastǎ metodǎ de eçantionare este eç tionare aleatoare în cadrul nui stem. Asta
înseamnǎ selectarea fiecǎrui “al n-lea” utilizator de program sau existenua unui
64
interval înt f ecare unitate selectatǎ. Este important ca punctul de pornire sǎ fie ales
la întâmplare, iar apoi la intervale regulate.
Eçantion ea sistematicǎ are un atu major çi anume cǎ disperseazǎ eça tionul în mod
uniform asupra populaui i fauǎ de cei aleçi în cadrul eçantionǎrii aleatorii. Cu toate
acestea, eçantionarea aleatoare poate prezenta puncte slabe da cǎ în cadrul listei
existǎ o anumitǎ periodicitate. De exempl în cazul colectǎrii deçeurilor toate case
din p rtea nordicǎ a strǎzii pot aparui e unor familii bogat , î timp c casele din
partea sudicǎ, celor mai puuin bogate. În funcuie de interval {ex. numerele impare ale
caselor pot fi pe partea rdicǎ çi cele pare pe cea sudicǎ a strǎzii), puteui avea acces
doar la casele care fie sunt bogate, fie sǎrace, ceea ce va distorsiona rezultatele.
At nci când ti ul este prea dispersat {de exemplu p tot teritoriul unei uǎ ),
puteui alege eçantionarea prin grup i pentru a reduce c u l . Eçantionarea prin
grupuri divizeazǎ toatǎ populaui în grupuri. Un numǎr de grupuri este selectat la
întâmplare çi toate unitǎuile din cadrul grupurilor sunt incluse în eçantion.
E3antionarea stratificatǎ
Riscul eçantio ǎrilor simple aleatorii çi sistematice este cǎ s-ar putea sǎ omiteui din
eçantion un anumit gru care sǎ fie specific populauiei uintǎ. Pen u a evita aceastǎ
situauie, puteui aranja populauia analizatǎ în grupuri numite straturi çi selectaui
eçan ionul d n cadrul fiecǎrui grup folosind tehnica de çantionare aleatorie sau
sistematicǎ. A oi puteui fi siguri cǎ eçantionul va fi mai repr zentativ. Gruparea se
face de obicei prin aplicarea criteriilor/variabilelor relevante pentru program, cum ar
fi vârstǎ, gen, religie, dim nsiune, grupuri sociale, abilitǎui academice, teritoriu
geografic, tipul de activitate etc.
Deçi eçantionarea prin grupuri çi cea stratificat par la prima vedere sǎ aibǎ anumit
semǎnǎri, ele sunt dife t . În cazul eçantionǎrii stratificate, este ales un eçantion
aleator din toate straturile, iar în cazul eçantionǎrii prin grupuri doar grupurile
selectate sunt analizate cu toate unitǎuile incluse.
66
E3antionarea multistadialǎ
Eçantionarea raUionalǎ
Prin folosir eçantionǎrii rauionale este dificil de menuionat dacǎ populauia uintǎ est
bine reprezentatǎ în cadrul eçantionul selectat. Astfel, este important sǎ se ajungǎ la
un consens cu clientul evaluǎrii asupra criteriilor de selecuie pentru a reduce
distorsiunile.
E3antionarea în lanU (tip bulgǎre de zǎpadǎ)
Eçantionarea în lanu este folositǎ atunci când este extrem de dificil sau costisitor sǎ se
d termine respo enuii. Aceastǎ metodǎ alege respondenuii dintre cei iniuiali p
genera respondenui suplimentari. Acest tip de eçantionare este adesea folosit pentru a
scoperi aça numita „populauie ascunsǎ” - persoanele fǎrǎ adǎpost sau persoanele
dependente de droguri.
68
În cazul eçantionǎrii prin cote sel cuia eçantionului este aleatoare çi asta face ca
eçantionul sǎ fie mai distorsionat. Este n fel de eçantionare de c ven nuǎ în care
unitǎuile sunt incluse în eçantion pe mǎsurǎ ce apar pe baza anumitor variabile.
69
Eç ti r a prin cote este adesea folositǎ când t pul alocat este limitat, cadrul
eçantionare nu este disponibil, bugetul este limitat çi acurateuea nu este atât de
importantǎ.
Eçantionarea calitativǎ
Cine ar trebu sǎ fie prezent la int rviuri çi cine ar trebui sǎ facǎ parte d focus
grupuri ste o întrebare la care nu se rǎspund cu uçurinuǎ. Pentru colectarea datelor
calitative participanuii pot fi selectaui în funcuie de diferite variabile, cum ar fi nivelul
de experienuǎ, funcuia, clasa socialǎ. Variabilele vor depinde de:
Întrebǎrile de evaluare;
71
În cazul proceselor de colectare a datelor calitative cele mai frecvent folosite metode
de eçantiona e s t m todel non-probabilistice. Scopul interviurilor aprofundate
sau al focus grupurilor este de a obuine informauii despre implementarea sau impact
politicii/programului de la persoanele cu cele mai bogate cunoçtinue în domeniul
respect v. In acest sens, met a de eçantionare rauionalǎ va fi cea mai potrivitǎ
deoarece evaluatorii, adesea în urma consultǎrilor cu cli nuii sau factorii interesaui,
vor decide care grupuri uintǎ pot furniza informauii intrinsece evaluǎrii.
Decizia priv ind câte intervi i sau grupuri sunt neces implicǎ o echilibrare a
costurilor çi a nevoilor de info are ale evaluǎrii. În mod obiçnui puteui avea nevoie
de cel puuin douǎ focus grupuri pentru o variabilǎ. Cu toate acestea, chiar dacǎ aveui
mai multe grupuri concluziile sunt d obicei limitate la indivizii car au luat parte la
focus grupuri. Pentr nterviurile aprofundate s-ar putea sǎ aveui nevoie sǎ vǎ
întâlniui cu mai mului oameni pentru a observa tendinuele çi modelele de
comportament. Î general, u va fi neces sǎ desfǎçuraui prea multe interv uri sau
focus grupuri pentru a observa cǎ nu mai primiui informauii noi de la res ondenui. În
majoritatea cazurilor, rauionamentul se va baza pe o combinauie de factori inclusiv
resursele disponibile, nevoile de informare çi situauiile specifice.
72
Dat e calit tiv sun informauiile colectate într-o formǎ non-numericǎ. Exemple de
astfel de date sunt: transcrieril interviurilor, note privind domeniul {note luate în
domeniul care este studiat), înregistrǎri video, audio, imagini, documente {rapoarte,
p ocese verbal ale întâlnirilo , e-mail-uri). Cele mai des întâlnite forme ale datelor
calitative sunt c anume au afirmat s u au fǎcut oamenii, ca un f de explic uie,
precum çi o înuelegere sau interpretare a persoanelor çi situauiilor care sunt evaluate.
Idee este de a analiza conuinutul care este semn icativ ç simbolic al datelor
calitative. De exem lu, pe dur a analizei notelor din interviuri este important sǎ se
afle rǎspunsuri asupra urmǎtoarelor întrebǎri:
Interpretarea respondentului asupra situauiei;
De ce are un anumit punct de vedere;
Care este atitudinea sa asupra situauiei;
Cum se identificǎ sau clasificǎ pe sine însuçi sa p alui prin c ce spune.
Gǎsirea temelor este una dint e principalele pǎrui ale metodelor de analizǎ a datelor
calitative. Primul pas în cadrul procesului de gǎsire a temei este categorizarea
datelor. Asta înseamnǎ identificarea pǎruilor din text {sau din imagini) çi etichetarea
73
acestora pentru a indica faptul cǎ ele sunt exemple ale anumitor idei tematice. Acest
proces permite cercetǎtorilor cǎ colecteze rapid toate textele çi celelalte date asociate
cu anumite idei tematice, astfel încât sǎ poatǎ fi analizate împreunǎ çi sǎ poatǎ fi
realizate comparauii ale diferitelor cazuri.
Analiza î cepe cu categorizarea de hisǎ: ana stul citeçte textul çi încercuieçte ceea
ce par a fi termenii, eveniment le sau acui nile cheie. O notǎ scurtǎ explicativǎ este
scrisǎ lângǎ cerc {nu çi în acest exemplu din motive tehnice). Aceste note sunt
d scut ate m ai tâ rziu între analiçt i cu sco pul d e ac rea o listǎ odare cucuvin et ch
e i
po r ivit e. L ista d e codare de o bic ei rezum ǎ acuiu nile çi evenime tnele desfǎç urat
e
anterior în categorizǎ ile deschise. În acest exemplu lista de categorizare/codare ar
putea fi:
Creçtere a activitǎuilor,;
Pesimism;
Intenuii bune;
Speranua pentru îmbunǎtǎuire;
Sentimentul de implicare.
Pentru o codare mai facilǎ textul poate fi tipǎrit folosindu-se spauierea dublǎ, astfel
încât sǎ se poatǎ scrie ideile codat çi etichetele între rânduri.
Crearea listei de categorizare pare mai uçoarǎ çi mai eficientǎ din punct de vedere al
timpulu i d cât st în realit ate. Ch iar dacǎ s u ile de dat ep ntru analiza de conuinut
sunt m ai re du se dec ât c ele p entru ab ordǎrile cantitative, e el a u tendinua de a fi foart
lungi çi necesitǎ examinǎri intensive, o înuelegere çi un mod de lecturare/interpretare
care doar fiinuele umane le posedǎ. Este importan pentru analiçti sǎ îçi planifice o
perioadǎ de timp adecvatǎ pentru aceastǎ activitate a primelor analize a datelor
74
Analiza de conuinut este o tehnicǎ facilǎ çi nu necesitǎ foarte mult timp. Dar ca çi alte
tehni , aceasta are çi ea dez vantajele sale. Rezult le pot fi destul de “grosiere” çi
subiective. Chiar çi pentru datele narative, folosirea exclusivǎ a a alizei de conuinut
nu este o abordare satisfǎcǎtoare. Analiza de conuinut este un bun început, dar nu este
suficient.
An liz datelor ali ative nu este mereu bazatǎ pe codarea çi numǎrar a datelor.
Poate fi un proces de reflectare. În acest caz, analiza datelor tinde sǎ d vinǎ o
activitate permanentǎ pe tot parcursul procesului de colectare a datelor. Cercetǎtorul
în caz d nevoie include în analizǎ teme noi, adaptând çi schimbând metodele dacǎ
este necesar.
75
Analiza tematicǎ este metoda de an li ǎ a datelor calita ive în cadrul cǎreia oamenii
vorbesc despre experienuele lor. Analiza tematicǎ se concentreazǎ pe teme uçor de
identificat çi tipare de trai çi/sau comportament. Analiza tematicǎ adesea este folositǎ
pentru a aliza dat e colectate de la focus grupuri..
Primul pas este colectarea datelor. Cel mai bun mod este de a înregistra sesiunile
{interviuri etnografice, focus grupuri) çi apoi id ntificarea tiparelor de experienuǎ
folosind citate directe sau parafrazând ide i com une.
Al doilea pas este identificarea tuturor datelor care au legǎturǎ cu tiparele deja
clasificate.
Al patrulea pas dupǎ ce temele sunt combinate într-un cadru cuprinzǎtor este de a
obuine fe dba k din partea informatorilor.
C l de-al cincilea pas este stabilirea unu argument valid pentru alegerea temelor.
Lecturarea literaturii de specialitate este implicatǎ aici, deoarece cercetǎtorul obuine
aprobǎril privi are la informau ile obuinute î cadrul interviurilor sau al sesiunilor
d terapie. Odatǎ temele colectate çi literatura studiatǎ, cercetǎtorul e pregǎtit
pentru a formula declarauiile privind temele pentru a genera un fir al poveçtii.
Aça cum a fost menuionat mai devreme, studiul de caz st o metodǎ nest ct ratǎ
de analizǎ a datelor calitative. Cr ticii estei metode considerǎ cǎ studiul unui numǎr
mai redus de cazuri nu poate fi o bazǎ pentru stabilirea nivelului de încredere al
76
Datel au o semnificauie pentru client doar dupǎ ce sunt int pretate çi comunicate în
mod efici t în conformitate cu interesele cl ntului. Un volum prea mare de date
dezorienteazǎ cititorul çi poate crea confuzie în perceperea rezultatelor. Adesea
datele statistice extensive sunt incluse ca anexe ale evaluǎrii. Existǎ trei tipuri
principale de date:
Date fracUionare/numerice sunt cifre “reale”. Aceste date permit efectuarea
diverselor operauii matematice, de exemplu, volumul de beneficii sociale
acordate fiecǎrei gospodǎrii pe lunǎ;
Datele nominale prezi tǎ date calitati e codate în cifre çi s vesc drept
abrevieri ale informauiilor. Acele c fre nu au nici un înueles de sine stǎtǎtor, de
exemplu, 1=cǎsǎtorit, 2=necǎsǎtorit, 3=divoruat;
Datele ordinale prezintǎ date calitative codate în cifre, dar diferenua fauǎ de
datele nominale este aceste cifre au un înueles. Cu toate acestea, ele nu pot fi
folosite pentru calcule, de exemplu, 1=foarte satisfǎcut de servicii,
2=s isfǎ ut, 3= arecum satisfǎcut, 4=nesatisfǎcut.
urmǎtorilor
inferenuialǎ. paçi în ceea ce priveçte analiza datelor: statisticǎ descriptivǎ çi
Existǎ trei trǎsǎturi majore care sunt folosite în statistica descriptivǎ pentru a descrie
trǎsǎturile variabilelor:
distribuuia,
tendinua centralǎ,
dispersia.
Aceleaçi trǎsǎturi sunt folosite çi pentru orice tip de descriere în cazurile în care
anticipaui anumite tipare în viitor, inclusiv în cazul studiului de impact ex-ante
privind politicile.
Existǎ aproximat v 20 de tipuri diferite de distribuuie, dar cel mai des întâlnit este a
numita distribuuie normalǎ. Înseamnǎ cǎ re majoritate a datelor sunt localizate
aproape de medie çi cu cât ne îndepǎrtǎm mai mult de medie, cu atât existǎ mai
puuine mǎsurǎtori. Multe dintre mǎsurǎtorile din viaua realǎ sunt dist ibuite normal -
înǎluime, greutate, scor de test, venit etc., çi graficul datelor are o curbǎ în formǎ de
clopot.
Într-o Uarǎ care are o clasǎ de mijloc slab dezvoltatǎ 3i cu foarte puUini oameni bogaUi
calcularea venitului mediei pe lunǎ nu prezintǎ o imagine realǎ. Valoarea medie a
venitului pe lunǎ va fi mai mare decât venitul median pentru cǎ venitul foarte mare este
o valoare aberantǎ, care distorsioneazǎ imaginea generalǎ. A3a cǎ în schimb, folosirea
venitului median prezintǎ punctul de mijloc al tuturor veniturilor 3i nu este distorsionat
de valori foarte mari.
-modul este def nit rept valoarea care ap e cu cea mai mare frecvenuǎ çi mai
des decât o singurǎ dat De exemplu, d acǎ doriui sǎ aflaui care est ca rtea
preferatǎ a copiilor de grǎdiniuǎ, în cadrul evaluǎrii p uteui folosi valoarea m od.
Dacǎ dat au o calitat bunǎ rezonabi ǎ çi sunt raportat în o clar, este posibil ca
mǎsurile d statisticǎ descriptivǎ d scrise mai jos sǎ nu fie necesare. Cu toate acestea,
programele mari {de exemplu dezvoltare regionalǎ) sau modificǎrile majore de
politicǎ {de exemplu reforma privind impozitul) pot necesita folosirea acestor mǎsuri.
Deçi abaterea st nd ard este o ǎsurǎ tilǎ pentru clarifica cât de diferite sunt
rǎspunsurile la o anu mitǎ întrebare, este dificil de determinat dacǎ abaterea standard
este micǎ sau mare, fǎrǎ a o compara cu volumul eçantionului. Pentru a interpreta
m itudinea relativǎ a abaterii standard t buie împǎruitǎ la m di . Asta reprezintǎ
aça numitul coeficient de variaUie. De exemplu, dacǎ media este 0,5 çi ab terea
standard este 0,2 atunci coeficientul de variauie este 0,2/0,5 = 0,4. Aratǎ cǎ valorile
sunt larg împrǎçtiate {40%) în jurul valorii med .
Existǎ mai multe teste statistice {testul-t, testul-z), care pot fi folosite pentru a
rǎspunde la întrebarea dacǎ douǎ sau mai multe variabile sunt asociate sau
independente. Alegerea testelor depinde de tipul datelor, precum çi de numǎrul çi
tipul eçantioanelor.
De obi i, valuatorul testeazǎ într bǎrile de cercetare specifice u ipot zele prin
diferite metode {regresie, corelauie, analiza variauiei {ANCOVA), analiza factorilor
etc.). Acestea indicǎ cât de probabil este ca relauia sau asocierile descoperite în datele
de eça tion sǎ descrie trǎsǎturi ale p pulauie din cadrul cǎreia s-a selectat
eçantionul, sau dacǎ, în termeni statistici, constatǎrile sunt semnificative.
Una dintre cel mai des folosite metode pentru a descoperi cauzalitatea diferiuilor
factori care pot influenua rezultatul unei politici/program este analiza prin regresie
multiplǎ. Scop l a steia este de a descop ri uauia liniei care se potriveçte ce mai
bine pentru a descrie dispersia setului de date çi prin urmare sǎ descrie situauia
constatǎrilor cu cea mai redusǎ eroare. Regresia multiplǎ poate fi folositǎ în toate
tipurile de modele de evaluare: experimente, cvasi-experimente, non-experimente.
80
În statisticǎ „foarte semnificativ” înseamnǎ cǎ este foarte probabil sǎ fie adevǎrat, dar
asta nu înseamnǎ cǎ este mere foart impo tant. Cel mai obiçnuit nivel, folosit
pentru a preciza cǎ c este destul d bun pentru a fi credibil este .95. Ast înseamnǎ
respectiva constatare are 95% çanse de a fi adevǎratǎ. Cu toate acestea, software
statistic pe durata calculelor vǎ vor arǎta „0,05” asta însemnând cǎ respectiva
constatare are 5% çanse de a nu fi adevǎratǎ.
Existǎ în principiu cinci tipuri de co arauii care pot fi utile pentru a prezenta
constatǎrile evaluǎrii:
1) componentele sau proporuiile temei evaluate,
2 numǎrul de itemi sau diferenue
4)
3 frcorelauiile
ecvenua ddintre
istribuvariabile
uiilor trǎsǎturilor
Diagramele circulare sunt cele mai potrivite pentru a ilustra proporuiile, diagramele
verticale pentru itemi, histogramel çi di ramele punct pentru distribuuiile de
frecvenuǎ, di grama de dispersie pentru corelauie, curbele seriilor temporale
tendinuele datelor. Tabelul 9 furnizeazǎ cea mai adecvatǎ descriere graficǎ pentru
cele mai obiçnuite comparauii folosite în rapoartele de evaluare.
82
Sursa: Altman S., «Teaching Data Analysis to Individuals Entering the Public Service», Journal of Urban
Analysis 3, octombrie 1976.
83
Ipotezǎ: Femeile care participǎ la program vor avea un venit dobândit mai mare decât
cele care nu participǎ.
Analiza 2: Analiza de regresie multiplǎ pentru a testa dacǎ existǎ o diferenUǎ în venitul
dobândit pentru participanUi 3i non-participanUi dupǎ analiza vârstei, educaUiei 3i
experienUei anterioare de conducere a unei afaceri.
Ipotezǎ: Femeile care au participat în program vor avea un sentiment mai puternic de
auto-afirmare decât femeile care nu au participat.
Analiza 2: Tabel cu douǎ secUiuni care comparǎ douǎ variabile ordinale: scorul pe
scara de afirmare de 5 puncte 3i numǎrul serviciilor primite prin program (1 la 5). Teste
de contingenUǎ pentru compararea a douǎ variabile ordinale.
Sursa: Fink, A. 2003c How to manage, Analyse, and Interpret Survey Data. Vol.9. The survey kit,
Thousand Oaks, CA:Sage
84
Cl entul va utiliza rezultatele proc sului de evaluare - cons atǎri, lecuii învǎuate,
recomandǎri - numai dacǎ va înu lege raportul, va fi de acord cu acesta çi va gǎsi
mijloacele pentru a implementa recomandǎrile conuinute. Pentru a îndeplini aceste
obiective, raportul trebuie sǎ fie scris într-o manierǎ clarǎ çi sǎ includǎ cantitatea de
informauii adecvatǎ.
Mai pr sus de ate acestea, evalu tor trebui sǎ consult diferiui factori interesaui în
ceea ce priveçte conuinutul raportului de evalu re. Procesul de consultare va uçura
înuelegerea raportului de cǎtre factorii interesaui, va creçte gradul de implicare al
acestora çi va influenua nuinutul rapor ului determinând astf o acc ptare mai
rapidǎ a rezultatelor de cǎtre factorii teresaui. Ac st fapt este foarte important
deoarece deseori, pentru ca recoman ǎrile sǎ fie implementate cu succes este nevoie
de acordul factor lor interesaui.
Din pǎcate, obiceiul de a emite judecǎui asupra calitǎuii unui document în funcuie de
mǎrimea sa este des întǎlnit în practicǎ. Deseori, se crede cǎ un aport de evaluare
scurt este de o calitate mai scǎzutǎ. În realitate, situauia stǎ invers.
Un raport de evaluare scurt ç r levant neces tǎ multǎ muncǎ. Deseori, benefici rul
e înd ajuns timp la dispoziuie pentru a citi rapoarte de evaluare foarte lungi, fiind
aproape imposibil sǎ implementeze o listǎ foarte mare de recomandǎri. Evaluarea ar
trebui sǎ ibǎ drept rezultat o schimbare, dar schimbarea oricǎrui sistem este osibilǎ
numai într-o anu itǎ surǎ. Astfel, evaluatorii ar trebui sǎ aibǎ drept scop
furnizarea unui numǎr limitat de recomandǎri cheie - adicǎ, recomandǎrile care sunt
importante çi vor avea un impact mare.
Implementare
Performanua mecanismului de implementare a intervenuiei:
structuri çi procese
Impact
Analiza impactului intervenuiei
urabilitate
Çansele ca rezu at obuinute sǎ fie de duratǎ
Aprecieri globale referitoare la intervenuie
Concluzii
O listǎ de recomandǎri
Recomandǎri Pot include:
- diferite analize aprofundate ale diferitelor pǎrui ale
Anexe ogr ul i
pr am u
- studii de caz
Ar trebui sǎ i clu :
n dǎ
celor interviev i
Lista documentelor consultate
- Comentarii asupra raportului efectuate de diferiui
factori interesaui şi care nu au fost incluse în raport
5 Nu întotde una evaluǎrile analizeazǎ toate dimensiunile. În cazul evaluǎrilor cauzale, dimensiunea
referitoare la imple entare va conuine câteva subcapitole de analizǎ din diferite aspecte ale
impacturilor asupra mai multor grupuri uintǎ. În cazul evaluǎrilor formative, dimensiunea impactului
nu va fi deloc analizatǎ. Tabelul aratǎ posibile dimensiuni în cazul abordǎrii mixte a evaluǎrii.
86
O c canǎ tip cǎ pentru evaluatori este concentr ea pre mare asupra aspectelor
n gat e ale implementǎrii programului çi impactului. Dacǎ pǎruile pozitive nu
beneficiazǎ de acelaçi nivel de atenuie, existǎ un risc mare ca raportul sǎ nu fie
î tâmpinat cu satisfacu de cǎtre diferiuii factori int esaui çi chiar de cǎtre client.
Acest aspect nu trebuie n lijat. Un raport ca lasǎ clientului un sentiment de
insatisfacuie are puuine çanse de a fi utilizat de cǎtre acesta din urmǎ.
Regula de aur este urmǎtoarea: acele const ǎri çi recomandǎri pe care clientul l
uelege, ac ep ǎ çi le considerǎ utile sunt cele mai importante çi ar trebui evidenuiate
în mod adecvat în cadrul raportului. Acelea care nu întrunesc aceste criterii ar trebui
revizuite de cǎtre evaluator în consultare cu clientul çi pe cât posibil, reformulate
astfel încât sǎ aducǎ clientului o valoare adǎugatǎ realǎ.
La scrierea de recomandǎri:
m nuionarea c larǎ a destinata rului recomandǎrilor. de . “Instit ia x sau
departamentul y ar trebui …”. Recoma dǎrile generice de tipul “Guvernul ar
trebui…” sau “R omânia trebuie… ” ar fi bine sǎ fie evitate
trebuie itatǎ adresarea de recom andǎri p ǎruilor car nu au avut nicio legǎturǎ
cu procesul de evaluare. Ca o re gulǎ, rec omandǎrile trebuie adresate numai
acelor factori interesaui {inclusiv, evident, clientului) care au fost implicaui în
procesul de evaluare.
recomandǎrile trebuie adresate acelor niveluri de decizie care au fost implicate
în procesul de evaluare çi limitate numai la cele adecvate puterii de dec zie
p ntru respectiva funcuie. !int nu trebuie sǎ o constituie nivelurile superioar ,
deoarece nu funcuioneazǎ aproape niciodatǎ. De exemplu, dacǎ cel mai înalt nivel
im licat în procesul de valuare ar fi un director d departament din c drul un
ministe recomandǎrile trebuie sǎ se refere la acel nivel, nu la managementul
superior al ministerului
utilizarea unui n vel adecvat de detalii. D ., formulǎrile prea g erice de tipul
“creçterea eficacitǎuii procesului x” treb u ie evitate, putând fi înlocuite cu sugestii
specifice referitoare la ce poate fi fǎcu t în mod exact çi de cǎtre cine pentru a
creçte efic citatea procesului x
În final, dar nu în cele din urmǎ - lista de recomandǎri ar trebui sǎ le conuinǎ
numai pe cele foarte importante!
88
Procesul de consultare
Prezentarea raportului
diferiui alui factori interesaui {ex. departamente sau instituuii externe care au
legǎturǎ cu programul).
În afarǎ de pǎ ile prez nte l çedinua de prezentare, alte p rui pot, de aseme a, sǎ
fie informate cu privire la raport, pǎrui care nu au o legǎturǎ atât de strânsǎ c
programul, dar care sunt totuçi interesate de lectura raportului de evaluare. Pentru
acestea, de obicei rimiterea raportului va fi suficientǎ.
Sugestii practice
Structura raportului trebuie întotdeauna stabilitǎ cât mai devreme posibil împreunǎ
cu clientul.
La scrierea raportului, succesiunea paçilor este urmǎtoarea:
înainte de toate, se stabileçte împreunǎ cu clientul, structura raportului de
ev uare - capitole, cuiuni çi anexe;
în al doilea rând, se scriu ideile principale sub fiecare capitol çi secuiune. Scrierea
xtului detaliat nu va începe pânǎ ce ideile principale nu au fost menuionate în
totalitat Altfel, existǎ un grad foarte mare de risc de confuzie - prea multe
bucǎui de text împrǎçtiate, texte mutate de colo-colo, pânǎ ce întregul raport îçi
v pierd logica, schimbarea formulǎrii, repetiuii inutile ale ideilor în diferite
paragrafe;
odatǎ ce ideile principale au fost menuionate, se poate trece la scrierea textului
detaliat;
de obicei, pe mǎsurǎ ce textul detaliat este scris, va fi necesarǎ actualizarea
ideilor principale;
existǎ întotdeauna tentauia de a îmbunǎtǎui aportul. Dacǎ se doreçte realizarea
unui produs final, activitatea de îmbunǎtǎuire trebuie sǎ aibǎ anumi limite. O
dimensiune foarte importantǎ a calitǎuii este finalizarea produsului la timp.
Opiniile sunt m eu mai uçor de combǎtut decât faptele. Pentru a evita dispute
nesfârçite, în special în c eea ce priveçte opiniile negative, evaluatorii ar trebui sǎ
90
furnizeze opinii bazate numai pe fapte dovedite cu date adecvate çi din surse de
încredere.
Pot exi d ferite metode de implemen are reco andǎrilor procesului de a are.
Utilizarea evaluǎrilor nu se limiteazǎ numai la îmbunǎtǎuirea politicii,
responsabilitatea sau, în cazuri extreme, sancuiuni. Acestea pot fi utilizate pentru
schimbarea proceselor, culturii adm istrativ din cadr organizauiei sau învǎuare.
Astfel, utilizarea rezultatelor aluǎrii p fi u mǎtoarele:
Instrumentalǎ - afecteazǎ în mod direct procesul decizional çi pune capǎt
procesul i de îmbunǎtǎuir /schimbare a politicii. Drept rezultat, Guvernul,
ministerul sau genuiil ex cu ive va lua mǎsuri pentru a el bora i politici
sau a le ajusta pe cele existente, sau mǎsuri administrative în vederea
implementǎrii recom dǎril .
orgproces
De anizaui-eiafecteazǎ
. P ticipaprocesul
rea la evade
luarelaborare
e permite ao politicii
ma bunǎdinînuelegere a politici
interiorul
çi drept rezultat, îmbunǎtǎueçte planificarea de oli ici. Uneori, val area realǎ
a evaluǎrii poate schimba gândirea çi comportamentul personalului çi
determina çi mai multe schimbǎri în cultura administrativǎ çi comportamentul
rganizauional. Astfel de valori dureazǎ pe termen lung çi nu sunt uçor de
observat.
Politicǎ - jus ific deciziile {retrospectivǎ ç prospectivǎ) Uneori evalu
poate fi ef ctuatǎ pentru a justifica o decizie deja luatǎ. Astfel, uti zarea
acesteia are valoare simbolicǎ. Totuçi, atunci când o evaluare este solicitatǎ
n ru a sprijini o anumitǎ decizie, implementarea constatǎrilor evaluǎrii se
poate îmbunǎtǎui semnificativ.
Conceptualǎ - afecteazǎ gândirea generalǎ în eea ce priveçt probleme
existente. De exemplu, evaluarea livrǎrii de servicii de sǎnǎtate sau soc ale
poate furniza dovezi în sprijinul ideii cǎ modul curent de livrare a serviciilor
e te costisitor çi ineficient. Totuçi, este posibil ǎ nu aibǎ drept rezultat
aprobarea de n i politici sau revizuire a celor existente. În schimb, dovezile
pot fi luate în considerauie la luarea de decizii care nu au legǎturǎ directǎ cu
politica evaluatǎ, dar care pot avea un efect pe termen lung.
F ctorii referitori la organiz re {Tabel 13) privesc mediul organizauional în care are
loc procesul de evaluare. Astfel, aceçtia nd de un numǎr de factori çi activitǎui din
cadrul organizauiei çi sunt mai dificil de depistat de cǎtre evaluatori.
ÎnfiinUarea unei comisii de implem entare este utilǎ î cazurile în car ev uǎrile a c
la scarǎ largǎ ç i implementarea recomandǎrilor n esitǎ p articiparea mai mult
instituuii. Atunci calitatea de mem bru al unei astfel de comisii revine reprezentanuilor
nstituuiilor afectate. Principalul mandat al acestor comisii este de a superviza
implementarea jaloanelor principale conform unu plan stabilit. În cazurile în care
existǎ, structurile deja înfiinuate, cum ar fi comisii de cabinet, pot fi de asemenea,
utilizate.
Pentru evaluǎri care acoperǎ competenua unei instituuii sau arii, pot fi utilizate
structuri ministeriale interne {ex. comisii de management) sau ar putea fi înfiinuat un
grup de proiect pentru superviza implementarea constatǎrilor. Cal tatea de membru
al gr pului de pr ect ar putea aduce împreunǎ manageri de program, personal din
cadrul programelor, managementul sau personalul agenuiilor executive.
Managementul calitǎuii efo ului de evaluare este un proces contin ce strǎba toui
paçii procesul i de evaluare. Nu reprezintǎ un eveniment unic sau focalizat asupra
unui singur punct, ci o serie de aranjamente, acuiuni çi cerinue care îmbu ǎtǎuesc
calitatea eva luǎrii . Major itat ac est or specte au fos t dis cut at e încad rul manual ului
în diferitele et ape çi sunt parte i tegrantǎ din ordin ea lo gicǎ a evenimentelor
exerciuiului de evaluare, çi de asemenea, ca elemente încorporate ce asigurǎ calitatea
e ǎ ii. Din acest motiv, manage ntul calitǎuii este un fel de „act vitate de dublǎ
verificare“ pentru a asigura cǎ în urma evenimentelor de evaluare cheie se va obuine o
evaluare de calitate.
Scop acestui capitol este astfel, de a vǎ ajuta sǎ identificaui factorii relevanui pentru
managementul c itǎuii çi furnizarea unui cadru pentru managementul calitǎuii
efortului de evaluare.
Pe lângǎ cerinuele de mai sus, calitatea constatǎrilor evaluǎrii poate fi conso datǎ
prin utilizarea unei verificǎri externe a calitǎuii. Un evaluator extern poate fi selectat
din cadrul unei baze de evaluatori independenui pentru a verifica dacǎ metodologia
de ev luare e te una robustǎ, dacǎ abordarea analiticǎ este adecvatǎ çi dacǎ
recomandǎrile sunt sprijinite de analizǎ.
Stimulentele sunt legate de cultura politicǎ çi min trativǎ. Evaluarea de cea mai
bunǎ calitate poate fi obuinutǎ dacǎ existǎ nevoia luǎrii de decizii çi învǎuǎrii bazate pe
dovezi. Acest lucru necesitǎ implicarea conducerii politic çi a funcuionarilor publici.
Deciziile bazate pe dovezi încurajeazǎ funcuionarii publ ci sǎ înveue. Dacǎ aceasta
lipseçte, funcuionarii pot iniuia çi efectua evaluǎrile {chiar la scarǎ m ǎ) pentru a
sprijini alegerile politice, determinând astfel, creçterea interesului decidenuilor fauǎ
de acest proces .
Etapele evaluǎrii
Cliennttu
fil uçi factorii interesaui în evaluare au fost
ide i ca i
eÎntr
valu
ebǎre
a rile de evaluare sunt clare pentru echipa de
Modelul de evaluare a fost discutat çi stabilit în cadrul
echipei de evaluare
Modelul de evaluare a fost discutat cu:
clientul
- factorii interesaui {poate fi specificat)
clientul
- factorii interesaui {poate fi specificat)
De ce acest exemplu?
Acest ex plu a fost selectat pe ru a descrie procesul d evaluare sumat ǎ çi
principalele activitǎui efectuate în cadrul acestuia. Aici se regǎsesc majoritatea
etapelor de evaluare çi, astfel, est prezentatǎ o privire de ansamblu asupra
activitǎuilor cheie din fieca re etapǎ, precum çi o descriere detaliatǎ a procesului.
InformaUii generale
Prima politicǎ guvernamentalǎ referitoare la tehnologia informaticǎ çi de comunicar
{TIC) în educauie {Schools IT 2000) a fost aprobatǎ în 1997. Acest document de
politicǎ a avut drept rezultat introducerea iniuiativei ICT in Schools {TIC în çcoli) în
1998, care a pus bazele pentru dezvoltarea TIC în sistemul educauional. Iniuiativa
Schools IT 2000 a avut trei direcuii majore: cea pentru integrarea tehnologiei, pentru
abilitǎui de predare çi pentru sprijinirea çcolilor.
Întrebǎri de evaluare
Aceastǎ evaluare a avut drept scop evaluarea impactului TIC asupra procesului
educauional din çcolile primare çi post-primare. Evaluarea a dorit, de asemenea, sǎ
apreci ze cunoçtinuele, abilitǎuile, atitudinile çi convingerile profesorilor çi elevilor în
ceea ceee priveçte utilizarea TIC în procesul d predare çi învǎu re çi în çcoli în general.
Întrebǎrile de evaluare pot fi astfel, rezumate dupǎ cum urmeazǎ:
1 În c mǎsurǎ TIC este utilizat în çcolil p mar çi post-primar e?
2 este impactu TIC asupra pr eselor de predare çi învǎuare?
3) Care sunt abilitǎuile TIC ale elevilor în punctele selectate din ed ucauie?
4 Car sunt opinii e directorilor çi profe o lor asupra propriilor abilitǎui TIC
çi asupra impactului çi rolului viitor al TIC în educauie?
5) În ce mǎsurǎ TIC este folosit pentru a sprijini elevii cu nevoi educauionale
speciale?
Planul de evaluare
Ev uare a a avut î n veder colectarea d at calitative çi cantitative çi de me de
analizǎ p entru a r ǎspunde la întrebǎrile de evaluare de mai sus. Planul colectǎrii de
date a fost urmǎtorul:
Echipa de evaluatori
Evaluarea a fost efec tuatǎ de cǎtre Inspectori de la Divizia pentru Inspectorate a
Departam ntului pentru Educauie çi Çtiinuǎ în cooperare cu Centrul Nauional pentru
Tehnologie în Educauie {NCT .
Colectarea de date
De la directori, profesori, elevi çi inspectori la nive primar çi gimnazial s-au col ctat
date cantitative çi calitative. În total, aceastǎ gamǎ largǎ de surse a furnizat un set de
d e mult mai bogat decât fi fost posibil de obuinut din orice al ǎ su ǎ unicǎ. A
permis, de asemenea, compararea çi triangularea dovezilor. Datele primare au fost
colectate utilizând metode calitative çi cantitative. Metodele de eçantionare, mǎrimea
çi procesele de colectare a datelor sunt descrise mai jos.
Apoi, fiecar çcoalǎ a imit un chestionar pentru di ctor çi ai multe chesti nare
pentr profesori. Toui profesorii din çcolile primare cu opt sau mai puuini profesori au
fost rugaui sǎ completeze un chestionar; çcolile primare cu peste opt profesori au fost
rugate sǎ se asigure cǎ un pr fesor pe grup de clase completeazǎ un chestion r.
Toui profesorii din çcolile post-primare, cu nouǎ sau mai puuine cadre didactice, au
fost rugaui sǎ compl ze un chestionar; acele ç oli cu peste nouǎ profesori au fost
rugate sǎ se asigure cǎ un profesor de la fiecare catedrǎ {Englezǎ, Matematicǎ,
Irlandezǎ, limbi strǎine, Çtiinuǎ, Afaceri, Çtiinuǎ aplicatǎ, Studii Sociale) completeazǎ
un ch stionar.
La douǎ sǎptǎmâni dupǎ trimiterea chestionarelor cǎtre çcoli, a mai fost trimisǎ o
scrisoare çco l r care pânǎ în ac moment nu returnaserǎ chestiona le. Aceasta a
fost urmatǎ de o serie de apeluri telefonice cǎtre çcolile în care rata de rǎspuns dintre
variabilele selectate era mai scǎzutǎ decât media.
Çco le sup se studiului de caz au fost nunuate telef nic çi în scris de participarea la
evaluare, cu douǎ sǎptǎmâni înainte de vizita inspectorilor. Inspectorii au petrecut, de
obicei, o zi în fiecare çcoalǎ çi au efectuat urmǎtoarele activitǎui:
inspecuia facilitǎuilor TIC ale çcolii, în compania directorului sau a
coordonatorului de TIC;
interviuri s parate cu directorul, coordonatorul TIC çi un mic grup de
profesori {de obicei patru);
interviuri cu un mic grup de elevi, de obicei patru;
exam narea de exemple din activitǎuile elevilor in utilizarea TIC; elevii, de
obicei, au venit la interviul cu inspectorii cu exemple din activitǎuile lor;
105
Pentru çcolile primare, o întreagǎ clasǎ a 5-a a fost selectatǎ pentru participare,
c d ându-se cǎ ac st grup va avea destulǎ experienuǎ în utilizarea TIC în çcoalǎ
pe tru a putea oferi feedback informativ; aceastǎ grupǎ de vârstǎ a fost, de asemenea,
consideratǎ îndeajuns de maturǎ pentru a rǎspunde la abordǎri atât de formale, de
tipul interviurilor çi chestionarelor.
Pentru çcolile post-primare a fost selectatǎ o clasǎ întreagǎ din anul de obuinere a
L ving Certific te {învǎuǎmânt secundar) deoarece, în acel moment, în perioad
petrecutǎ în çcoalǎ, ar fi avut 3 ani de perienuǎ în u liz ea TIC în çcoala lor, fiind
astfel consideraui a se plasa pe o poziuie care le permitea acordarea de rǎspunsuri la
întrebǎri. Un total d 437 elevi de çcoalǎ primarǎ çi 450 elevi de gimnaziu au
completat chestionarele.
Evaluarea on-line
De ce acest exemplu?
InformaUii generale
Sectorul transporturilor are o ngǎ tradiuie în ceea ce priveçte justificarea
proiectelor pe baza eficienuei, evaluarea investiuiilor alternative în virtutea analizei
cost-beneficiu. Pentru invest u i în transportul pe çosel principalele beneficii
economice constau în eco omisir ea costurilor de funcuion re ale veh culelor {cum ar
accident
fi costul c.ombustibililor, întreuine rii vehiculului), economia de timp çi riscul redus de
Întrebǎri de evaluare
Statutul sǎnǎtǎuii {inci nua bolilor, numǎrul de zile de lucru pierdute din
cauza bolilor, pe grupe de vârstǎ çi pe sexe);
Accesul la pieue {frecvenua vizitelor pe grupe de vârstǎ çi sex, produse vândute
çi achiziuionate);
Preuuri {preuurile mǎrfurilor cheie, resurse agricole, teren).
Modelul evaluǎrii
Alegerea odelului evaluǎrii de inde de caracteri ticile çoselelor çi ale popu lauiei din
împrejurimi {e. g. densitatea populauiei, dispersia spauialǎ a po pulauiei, tipul de
activitate ec nomicǎ etc.). Utilizarea de modele experimentale va fi fezabilǎ când, cel
puuin douǎ condiuii vor fi îndeplinite:
Programul se desfǎçoarǎ la scarǎ largǎ çi are un numǎr suficient de zone de
tratament çi control pentru a put a fi select e aleatoriu;
Programul poate fi implementat în douǎ tape: la început, evaluarea efectelor
directe çi apoi, indirecte ale proiectelor de construcuie de çosele. Aceastǎ pre-
condiuie of ǎ o oportunitat p ntru a evita dific tǎuile politice çi etice care ar
putea apǎrea în ceea ce priveçte controlul çi misiunea grupului de tratament.
Din pǎcate, în majo rit tea proiect lor de ço ele rurale, ac te condiuii nu vor fi
îndeplinite. Astfel, ce a mai po ivitǎ al gere metodologicǎ va fi din rândul metod or
cvasi-experimentale. Dacǎ datele de referinuǎ sunt disponibile sau pot fi colectate ca
parte din proc ul de evaluare, modelul preferat î mod clar este Modelul 2: Pre-
testarea, Post-testarea grupurilor de tratament çi control.
Acesta constǎ în compararea va iabil lor de impact î inte {date pre testare) çi dupǎ
{date post-testare) construirea çoselei în zonele de tratament çi compararea acestor
schimbǎri cu schimbǎrile observate în ariile de control unde nu s-a construit sau
modernizat nicio çosea. În cazul evaluǎrii çoselelor unitatea de observare va fi î mod
tipic comunitatea sau entitat geograficǎ {district, judeu), care este utilizatǎ p e ntru a
defini zona de influenuǎ a çoselei.
Prima etapǎ poate fi aplicatǎ fǎrǎ cea de-a doua, dar a doua are sens numai împreunǎ
cu prima.
110
Colectarea de date
Modele experime ale trebuie sǎ fie stabilite înaint de interve uie. Aceasta est o
diferenuǎ importantǎ fauǎ de m odelele cvasi-experimentale care încearcǎ sǎ genereze
gru uri de control în urma intervenuiei, cu ajutorul metodelor statistice çi
econom trice, ca de exemplu metoda de potrivire prin utilizarea scorurilor d
înclinare, calcularea diferenuelor duble sau utilizarea comparauiilor reflexive, generice
sau comparauii umbrǎ.
Grupul de tratament con tǎ din comune selecta în mod aleatoriu dintr-o listǎ a
tutur r comunelor cu propuneri de proiect în fiecare provincie. Comunele supus
controlului {comparauiei) sunt selectate dintr-o listǎ a celor rǎmase, fǎrǎ propuneri de
proiect, dar care se aflǎ în acelaçi district c çi cele supuse tratamentului.
Urmǎto rea listǎ de variabile r rezintǎ un punct de pl are p baza cǎruia poate f
planificatǎ culegerea de date pentru o anumitǎ evaluar a çoselelor. Datele de mai
jos, pe lângǎ variabilele date, pot fi colectate utilizând diferite chestionare.
Variabile de trafic
Densitatea traficului
Vehicule pe zi {pe tip de vehicul), frecvenua serviciului de autobuze, frecvenua
serviciului de taxi.
Capacitatea çoselei
Numǎrul de zile de drum închis.
Taxe çi costuri
Costurile operauiunilor cu vehicule, taxe pentru pasageri, procentajul încǎrcǎturii cu
marfǎ a camioanelor pe o anumitǎ distanuǎ, costul transportului de resurse agricole
{seminue, fertilizatori), costul transportului produselor agricole.
DeUinerea de vehicule
Deui erea de vehicule motorizate {pe tip) çi biciclete, tip de utilizare a vehiculelor
deuinute.
Accidente
Numǎrul accidentelor în trafic {rǎniri çi decese).
Modelul de venit
Compoziuia veniturilor.
Modelul de cheltuieli
Modelul cheltuielilor gospodǎriei.
112
PieUe
Distanua pânǎ la piauǎ, numǎrul de vânzǎtori/magazine în cea mai apropiatǎ piauǎ,
numǎrul de produse disponibile la piauǎ, numǎrul de vizite la piauǎ în calitate de
cons ator çi produsele cumpǎrate, numǎrul de vizite la piauǎ în calitate de
producǎtor çi produsele vândute.
PreUuri
Preuul produselor cheie comercializate, preuul terenului, preuul locuinuelor.
Altele
Deuinerea de teren, accesul la credite, numǎrul de emigranui, numǎrul de emigranui
care se întorc, numǎrul de persoane/zile de angajare generate de
construcuia/întreuinerea de çosele.
Variabile sociale
EducaUie
Numǎrul de çcoli primare din sat, rata de înscriere în învǎuǎmântul primar {pe sexe),
rata de înscriere în învǎuǎmântul secundar {pe sexe), rata de abandon a
învǎuǎmântului prim r {pe sexe), distanua pânǎ la cea mai apropiatǎ çcoalǎ
primarǎ/secund rǎ, calitatea çcolilor:
calificarea profesorilor;
rata absenteismului profesorilor;
disponibilitatea resurselor çcolare.
Sǎnǎtate
Distanua pânǎ la cel mai ap at cent de sǎnǎtate/spital, numǎru de vizite la
facilitǎuile de sǎnǎtate {pe grupe de vârstǎ/sexe), numǎrul de vizite la centrul de
sǎnǎtate im osibil de efectuat din ca a stǎrii drumurilor, zile de muncǎ pierdute din
cauza bolii, rata morbiditǎuii, rata munizǎrii copiilor, femei însǎrcinate ce beneficiazǎ
de îngrijire prenatalǎ, calitatea facilitǎuilor de sǎnǎtate
calificǎrile personalului medical;
numǎrul de zile de prezenuǎ;
disponibilitatea medicamentelor çi resurselor medicale;
disponibilitatea paturilor de spital.
InteracUiunea socialǎ
Numǎrul de vizite în cel m apropiat oraç/sat, numǎrul de vizite primite din partea
prietenilor sau rudelor din alte sate sau oraçe, gospodǎrii care beneficiazǎ de sume de
bani, p ticiparea la evenimente sociale {nunui, festivaluri, înmormântǎri) care nu au
loc în sat.
Participarea politicǎ
Prezenua l întâlniri publice care nu au loc în sat, numǎrul de vizite în sat efectuate de
cǎtre oficialii guvernamentali, utilizarea tribunalului/poliuiei, calitatea de membru al
comunitǎuii sau organizauiilor politice, numǎrul de programe guvernamentale
accesate, implicarea comunitǎuii în întreuinerea çoselei.
Aplicarea metodei diferenuelor duble este descrisǎ mai jos, pe scurt. Mai întâi se
calculeazǎ valorile medii pentru toui indicatorii de zultat ale politicii relevanui, T
p ntru comunitǎuile din grupul de tratament çi din grupul de control, atât pentru nul
de referinuǎ çi anul de urmǎrire. Aceste valori sunt menuionate în urmǎtoarea
Diferenua de valori din colo ana “Cu çosele” matricei aratǎ media schimbǎrilor din
gru ul de r t nt D ere u in o a ço l ” p zi t m a chim ǎri or
in g up l d cont l. D f r e ua d n e medi sc b l î r ld a tç
p t a ame . if n ad c loan “F ǎrǎ se e n ǎ edi s b l
d r u e ro ie n i tr a him ǎ ri or n g upu e trat men i
cea din grupul de control reprezintǎ o estimare a impactului programului.
Yc 2 a bRc cX c 2 uc 2 {1),
unde:
R - variabila temporalǎ indicând prezenua unei çosele. R=0 înainte e construirea
çoselei çi R=1 dupǎ construirea acesteia
X - diferite serii de variabile încorporând caracteristicile gospodǎriilor çi ale
comunitǎuii,
u - eroare. Pot fi elemente variabile de timp {e) çi invariabile de timp {f), pentru t
= 1,2
114
În cazul în care a exista o deviauie de selecuie din cauza unor variabile neob ervate,
aceasta va dispǎrea datoritǎ procesului de diferenuiere, cel puuin dacǎ astfel de
deviauii nu depind de timp.
Repetarea regresiei pentru fiecare set de variabile menuionat îna te {trafic, venit çi
cheltuieli çi social), evaluatorii vor obuine dife ite valori ale b {coeficienuii de regresie)
çi pot estima impactul socio-economic al fiecǎrei variabile asupra comunitǎuii.
115
De ce acest exemplu?
Acest exemplu oferǎ o descriere detaliatǎ a întrebǎrilor din evaluarea sumativǎ çi le
pune în legǎturǎ cu ipotezele dezvoltate. Testarea ipotezelor este caracteristica
joritǎuii evaluǎrilor sumative cauzale. Acest exemplu ar putea oferi o înuelegere
modului în car variabilele dependente çi independente au fost alese pentru a
sprijini/respinge ipotezele.
InformaUii generale
Dupǎ aderarea Letoniei la UE, unul dintre dr turile de bazǎ ale UE - mobilitate
muncii - a furnizat multe oportunitǎui pentru cetǎuenii Letoniei de a locui çi a-çi cǎuta
un loc de muncǎ în alte st e membre UE. În ciuda unor restricuii din partea statelor
membre mai vechi, odatǎ cu aderarea la UE, tendinua mobilitǎuii geografice s-a
schimbat radical. Se emigra din Letonia pentru mai multe motive: un salariu mai bun,
experienua de învǎ re a limbii sau pur ç simplu, pe tru a gǎsi un loc d muncǎ. Un
grad atât mare d mobilitate a determinat consecinu negative asociate dezvoltǎrii
uǎrii: pierderea foruei de muncǎ calificate, imigrauia muncitorilor necalificaui din alte
uǎri, destrǎmarea multor familii, scǎderea surselor de venit la bugetul st tului.
Întrebǎri de evaluare
are sunt motivel mobilitǎui externe çi interne a muncii în Letonia? Cum se pot
ajusta cererea çi oferta de pe piaua muncii?
învecin
ajoritatea p rsoanelor care îçi cautǎ un loc de muncǎ çi lu rǎtorii cu
mici din zone îndepǎrtate vor fi mai dispuçi sǎ munceascǎ pentru salarii
decente în zona lor d ât sǎ m eargǎ în altǎ parte;
obstacole înaintea creǎrii de no i locuri de muncǎ sunt: cererea scǎzutǎ pentru
anumite profesii din regiuni, li psa informauiilor referitoare la cererea pe piaua
muncii din regiune.
Planul de evaluare
Pentru a rǎspund eî ntrebǎ rilor de evaluare çi a sprij ni/respinge ipotezele, s-a decis
utiliza rea de metode de cerc tare calitative çi canti tative:
analiza constatǎrilor evaluǎrilor anterioare çi analiza datelor secundare;
sondaj în cadrul populauiei letone;
interviuri aprofundate de expertizǎ {inclusiv sondaje în rândul angajatorilor);
sondaj în cadrul cetǎuenilor letoni ce lucreazǎ în strǎinǎtate;
analize statistice çi econometrice.
Pentru a produce date de încredere pentru evaluare s-a decis efectuarea unui sondaj
Echipa de evaluare
Evaluarea a fost efectuatǎ çi gestionatǎ de Mi isterul Protecuiei Sociale. Anumite pǎrui
ale culegerii çi analizei de date au fost externalizate Universitǎuii de Stat din Letonia
datoritǎ temei çi nevoilor de expertizǎ specialǎ pentru analiza de date.
Interviuri cu experUi
Cercetǎtorii au organizat interviuri cu 6 grupuri de experui diferite. Primul grup de
experui a fost format din instituUii ale administraUiei publice: Ministe l Afacerilor
Externe, Ministerul Economiei, Ministerul pentru Misiuni Speciale pentru Integrarea
117
Al doilea grup de experui a fost format din reprezentanui ai çase AgenUii de Ocupare
a ForUei de Muncǎ Regionale. În ti pul interviuri or, cercetǎtorii au colectat
informauii despre situauia çomajului în regiuni çi metodel de obuinere a informauiilor
de la persoanele în cǎutarea unui loc de muncǎ, cooperarea cu alte autoritǎui locale çi
firme private de recrutar {inclusiv strǎine).
Cel de-al treilea grup de experui a fost format din sindicatele comerciale sectoriale
çi asociaUiile profesionale în ar iile afectate în mod semnific tiv de fen m nul
migrauiei {ex. sǎnǎtate, construcui . În timpul interviur lor, aspecte ca magnitudine
fenomenului emigrauiei, schimbǎri în procesul migrauiei datorate aderǎrii Letoniei la
UE çi rolul si dicatelor comerciale au fost explorate în detaliu. În plus, au ost
analizate aspecte de genul çomajului în rândul strǎinilor çi concurenua acestora fauǎ
de forua de muncǎ localǎ, ca çi cooperarea cu organizauii similare din strǎinǎtate.
Liderii de district municipal din zonele de graniUǎ au format cel de-al cincilea
gru . Experuii au oferit informauii despre posibilitǎuile de angajare p teritoriul
municipalitǎuii çi schimbul de foruǎ de muncǎ între Letonia çi uǎrile vecine {Lituania,
Estonia), çi de asemenea d pre viitoarele posibilitǎui de cooperare.
Din al çaselea grup de experui au fǎcut parte rectorii universitǎUii regionale. Aceçtia
au descris locul ocupat de univ s tatea de l care proveneau în contextul gener al
regiunilor, ariile în care absolvenuii îçi pot gǎsi uçor un loc de muncǎ çi cooperarea cu
angajatorii în ceea ce priveçte perioada de practicǎ a studenuilor.
întrebǎri pentru cei ce în ultimii 15 ani s-au mutat în Letonia pentru a locui çi a
lucra;
informauii Socio-demografice;
informauii despre rudele çi cunoçtinuele care au migrat.
Populauia supusǎ studiului a fost cea letonǎ cu vârste cuprinse între 15 çi 65 de ani,
adicǎ 1. 629. 197 persoane.
7.000 respondenui {700 puncte eçant n) au fost distribuiui pro ruional pe teritoriul
a 26 districte din Letonia çi 6 cele mai mar oraçe {cu excepuia Rigǎi). Punctele din
oraçele mari au fost împǎruite în diferite pǎrui, conform mǎrimii populauiei.
Pe baza opini lor experuilo , ariile au fost împǎruite î patru categorii: urbanǎ, centre
rurale semnificative, moderat semnificative çi nesemnificative. Apoi, în cadrul fiecǎrui
district, cercetǎtorii au calculat procentele de populauie din toate categoriile, çi au
distribuit numǎrul de u tǎui de eçantionare în conformitate. Computerul Biroului de
Evidenuǎ a Populauiei din Letonia a selectat adresa de start.
119
Scopul acestui sonda j a fost ac la de a clarifica pre-co iuiile care are putea promova
çi stimula cetǎuenii cu serviciul în strǎinǎtate pentru a se întoarce în Le onia. O parte
din grupul uintǎ a f ost intervievat în uǎrile de rezidenuǎ, alui i prin poçtǎ sau e -mail,
aluii - în tim pul vizitel or s curte efect uat eîn Le tonia. Întotal, 328 int er
viu ria u fos
olectate. Pentr a obuine e çantionul acestui grup uintǎ de populauie, s-a folosit
metoda bulgǎrelui de zǎpadǎ.
probabilitatea ca p rsoanele sǎ migreze din cauza anumitor motive çi
sebm
o nificauiadeinfl
iceiurile uenuei aacebanilor
cheltuire lor motive;
ale populauiei uintǎ în funcuie de vârstǎ {în %)
etc.
120
De ce acest exemplu?
Exemplul evaluǎrii sumative a reformei mineritului din România este un mod de a
demonstra importanua procesului de monitorizare în timpul implementǎrii
reformelor politice impo ante. S dajele de monit iz are a impactului social
admi istrate de cǎtre Agenuia Nauionalǎ pentru Dezvolta rea çi Implem ntarea d
Programe pentru Reconstrucuia Zonelor Miniere {AZM) a u furniz t date generale
cuprin zǎtoar e p tr u desf ǎ u ra rea de mai mul te s tud ii d imapct soc ia
l iç de
recomandǎri în ceea ce priveçte Strategia pentru Sectorul Minier din România.
InformaUii generale
În fostele uǎri comuniste, minerii erau consideraui elita proletariatului, lucrând în
condiuii periculoase, având sarcini de importanuǎ nauionalǎ. La începutul anilor 1990,
România av a în jur de 464 mine de cǎrbuni çi alte minereuri çi aproximativ 350.000
angajaui direcui, ce generau indirect alte 700.000 locuri de muncǎ. Era relativ bine
plǎtiui, bine or anizaui, având un sindicat influent pe plan politic. Dupǎ 1990 au
devenit disponibile alternative mai ieftine, extracuia de minereu nemaifiind
profitabilǎ.
Începând cu 1997, România a început sǎ închidǎ rapid minel neprof abile. Foru
muncǎ a scǎzut de la 171.000 în 1997 la 50.000 în 2004. Scǎderi semnif cative au avut
loc în 1997, printr-un proces de concediere voluntarǎ indus de un pachet generos de
salarii compensatorii pe 12-20 luni. Concedierile au continuat de atunci, 5.000-
10.000 lucrǎtori pǎrǎsind industria în fiecare an.
Deçi obligauiile de protecuie socialǎ u fost respectate, oraçele min ere afectate de
restructurǎr le din sector s-au nfruntat cu rate mari ale çomajului çi o deteriorare a
calitǎuii vieuii, infrastructurii locale çi a serviciilor sociale. Alt factori care au influenuat
creçtere nivelului de sǎrǎcie a fost creçterea negativǎ a PIB pânǎ în 2000, Nivelul
inflauiei s-a menuinut deasupr a 30% pânǎ în 2001, scǎzând pânǎ la 15 % în 2003.
Analiza asupra Sǎrǎciei efectuatǎ de banca Mondialǎ în 1997, a estimat cǎ 21,5% din
populauia României trǎia sub limita sǎrǎciei. Pânǎ în 2002, nivelul sǎrǎciei a crescut la
29%.
Deo ece sindicatele miniere încǎ aveau legǎturi puternice cu politicienii, guvernul a
alocat subv nuii bugetare pentru acest sector. În 1999, valoarea ac stora s-a ridicat la
99 milioane USD, iar în 2004 - la 188 milioane USD pentru cele 120 mine încǎ
funcuionale. Drept rezultat, în 2004, sectorul minier a consumat 300 milioane de la
bugetul de stat sau 0,5% din PIB.
Strategia a fost înt cm tǎ sub supervizarea min strului economiei çi comeruul f ind
sprijinitǎ de asistenua tehnicǎ din partea Bǎncii Mondiale în cadrul Proiectului de
închidere a Minelor çi Atenuǎrii Efectelor Sociale {MCSMP). Aceastǎ cooperare a
furnizat baza pentru continuarea sprijinului din partea Bǎncii Mondiale în ceea ce
priveçte sectorul minier din România.
Guve ul României plǎnuieçte sǎ cheltuiascǎ 411 milioane Euro sub forma unui
ajutor de stat în perioada 2007-2010, reducând, în acelaçi timp, în mod gradual,
subvenuiile pentru sectorul cǎrbunelui. {Sursa: www.worldbank.org)
Întrebǎri de evaluare
Obiectivul analizei nivelului de sǎrǎcie çi a impactului social {PSIA) a fost acela de a
examina trei seturi de impacturi distribuuionale în scopul propunerii a trei variante
de politicǎ a guv nului:
1. Care sunt diferenuele de impact între comunitǎuile çi gospodǎriile miniere çi
non-minier ?
2 impact l reformel r în ceea ce priveçte ambel sexe?
3. Care este distribuuia salariilor çi subvenuiilor în cadrul sectorului minier?
Planul de evaluare
Evaluarea care a fost planificatǎ a avea loc în timpul anului fiscal 2005 a acoperit
câteva sub-seturi:
1 Stud u comparativ al comuni ǎuilor miniere çi non-mini re;
2. Analiza imp ctului social asupra d eriuilor factori interesaui:
a. Analiza impactului protecuiei sociale din procesul de restructurare a
sectorului minier as pra membrilor gospodǎriei;
b. examinarea impacturilor pe grupe de sex al reformelor din sectorul
minier;
c. studiu de impact al pro gra melo r AZM menit e a reduce efectele
negative ale reformei sectorului minier asupra societǎuii.
3. Analiza distribuuiei resurselor financiare în sectorul minier.
Colectarea datelor
Ipotezǎ: Efectul închid rii minel r ar fi çi m greu în cazul în car com nitǎuile n ar
reuçi sǎ gǎseascǎ strategii de cooperare, iar municipalitǎuile locale nu au resursele de
a menuine infrastructura çi servicii e locale. Acesta ar fi un obstacol pentru o
recuperare d succes.
Informauiile colectate î t mpul SIM au servit drept informauii de bazǎ pentru toat
cele trei direcuii ale analizei impactului social: protecuie socialǎ, sex çi studiul de
impact al programelor AZM.
Pe lângǎ da ele canti ative din rapoa tele SIM, au fost colectate çi date calitative prin
interviu semi-structu ate çi focus grup-uri din patru regiuni mi ere în care au avut
loc restructurǎri. Interviurile au fost desfǎçurate cu reprezentanui ai diferitelor
catego ii de întreprinzǎtori, in usiv formali çi informali, cu sau fǎrǎ angajaui. Focus
grupuri au fost organizate cu muncitorii concediaui, cei care încǎ mai lucreazǎ în
industria minierǎ çi femei din acele oraçe miniere.
Analiza datelor
Studiu comparativ al comunitǎUilor miniere çi non-miniere
Echipa de evalu re a analizat rapoartele de teren çi a comparat calitatea locuinuelor,
mortalitatea infantilǎ, posibilitǎuile de r eangajare çi performanua economicǎ între
oraçele miniere çi comunitǎuile non-m iere. Datele obuinut în urma interviurilor au
fost folosite pentru a examina relauia dintre companiile miniere çi comunitǎuile locale.
dinamica ocupǎrii foruei de muncǎ dupǎ 1989;
atractivitatea pentru investiuiile strǎine;
plata taxelor la bugetul local de cǎtre companii;
firmele locale în calitate de sponsori pentru activitǎuile comunitǎuii.
Respondenuii din g ospodǎrii au oferit rǎspunsuri pentru douǎ perioade: 2001 {2002,
2003 ç respectiv 2004) çi înainte de 1997.
Pneri otad1
ǎ 997
Î a n {e au 11 12 13
c i
s2001
t os is l d eZ ui t r Z ce e
b ina a ii Z
re a tu t da ǎ s s re ez ua n re m i iil {Z1 , Z22 ,
2,2003,
{Z11 Z23) sau {Z12, Z23)
2002)
4) rezultatul rǎmâne constant, dacǎ rǎspunsul este una dintre combinauiile {Z11,
e trei r
Z21), {Z12, Z 22) sau {Z 13, Z 23),
un
el 3)p rezbuiezu 21 22 23
1) zult ltatul scade, dacǎ rǎspunsul este una dintre combinauiile {Z12, Z21), {Z13,
Z21) sau {Z 13, Z 22).
ltate privitoare la himbar a puterii de umpǎrare a une gospodǎri
ob nu p in m re lul lor m tr ce :
l creç e, c rǎ pun ul pr intǎ n di t co b nau e 1 )
126
Pe lângǎ cei 4 indicatori d rezultat menuionaui mai dev rem , studiile de impact al
protecuiei sociale au utilizat indicator de capital uman { susuinǎtorul gospodǎriei cu
un nivel scǎzut de educauie {%)), incidenua bolilor {%), starea de sǎnǎtate proastǎ
auto-evaluatǎ {%) çi deui rea de tere uri cad ul celor nouǎ grupuri diferite sau al
factor lor interesaui: mineri, non-mineri în întreprinderi de stat, s torul pr vat,
mineri pensionaui, alte persoane pensionate, mineri concediaui, alte categorii de
çomeri, casnice, aluii.
R zultat le separate pe sexe au fost obuinute pentru trei indicatori e rezultat bazaui
pe sondaje SIM: probabilitatea de reangajare {%), o scǎdere a standardului de viauǎ
{% în prezent vs. în trecut 1997), acces la îngrijire medicalǎ {mai rǎu decât înainte de
1997) %. S-au comparat date pentru perioada 2001 - 2004 separat pentru bǎrbaui çi
femei.
!inta programului a fost analiz ǎ atât din perspectiva tuturor i divizilor cât çi din
rspectiva femeilor. Probabilitatea {%), pentru localitǎuile cuprinse çi necuprinse în
program, a fost estimatǎ ca locuitorii acestora sǎ nu fi auzit niciodatǎ de diferitele
subcomponente ale programului sau sǎ nu fie interesaui de programului AZM.
De ce acest exemplu?
Reforma de descentralizare a sectorulu administrǎrii apelor din Albania aratǎ rolul
factorilor in teresaui în timpul elaborǎrii constatǎrilor evaluǎrii. Acestea au inclus çi
gestii pentru îmbunǎtǎuirea politicii în urma analizǎr i de cǎt factorii interesaui în
scopul de a gǎsi motive pentru o implementare înceatǎ a reformei, çi cauze d
împotrivire a beneficiarilor. Aceastǎ evaluare reprezintǎ un exemplu de evaluare
mixtǎ {sum tivǎ çi formativǎ).
InformaUii generale
Deçi Albania are resurse de apǎ abundente, apa potabilǎ çi infrastructura d
canalizare este îmbǎtrânitǎ, afectatǎ çi ineficientǎ în mod considerabil, atât în zonele
urbane, cât çi în c le rurale. Guvernul Albanez d reçte sǎ furnizeze acces egal la apǎ în
condiuii de siguranuǎ çi t rife accesibile printr-o reformǎ a sectorulu apelor care sǎ
experimenteze descentralizarea a douǎ modele paralele de utilitǎui, unul privat çi
tul p bli c. Ban a Mondialǎ asistǎ refo rma de de sce nt ralizar ea se ct rului alba ne z al
apelor prin intermediu l un ui P roie ct Municipa l pent u Ape çi Ape Uzat e, care a
introdus primul contract de management din sectorul privat în patru oraçe albaneze.
Întrebǎri de evaluare
Evaluarea a avut drept scop recierea impacturilor reformei procesului de
managemen al apelor, comparând cele douǎ modele în opt oraçe, într-o anumitǎ
perioadǎ de timp.
Ech pa de evaluare a ridicat, de asemenea, ipo z conform cǎreia cele douǎ model
de reformǎ au impacturi distribuuionale diferite asupra grupurilor socio-economice
similare. Ipoteza a ghidat alegerea metodologiei analitice.
129
Planificarea evaluǎrii
Deoarece scopul evaluǎrii a fost acela de a precia im pacturile reformei sectorului
apelor, metodologia de cercetare a fost aleasǎ astfel încât sǎ permitǎ u n grad de
comparabilitate rezultatelor çi izolarea impacturilor reformelor, esenuiale pentru
fiecare model. todologia de cercetare fost testatǎ anterior în timpul exerciuiului
pilot din lunile Mai-Iulie 2003, în patru oraçe.
Membrii echipei d evaluare au fost sel taui pentru a oferi o expertizǎ mixtǎ çi
experienuǎ în descentralizare, analize de impact çi reforma sectorului apelor în
Albania.
Ca un prim pas, studiul a compilat date secundare prin intermediul unei revizuiri de
birou a materialel r existente. C ectarea de date secundare a sprijinit colectare
date primare. Revizuirea datelor secundare a ajutat la creionarea abordǎrii de
evaluare çi metodologiei. A acoperit documente cheie çi legi referitoare la organizarea
funcuionarea descent lizǎrii guvernului local, çi asp te spec fice sec rului apelor
çi a elor uzate. Construind pe baza cunoçtinuelor existente, echipa a putut economisi
timp çi resurse financiare.
Au avut loc patru discuUii în cadrul focus grupurilor în fiecare oraç. S-a urmǎrit
r prezentarea echilibratǎ în cadrul grupurilor, a participanuilor/consumatorilor
selectaui pe baza urmǎtoarelor criterii: caracteristici demografice çi socio-economice
{sex, m diu socio- conomic, nivel d educauie etc.) çi calitatea serviciilor de apǎ çi
bunurile çi serviciile pentru ape uzate {dife te zone de presiune a apei, arii care sunt
sau nu acoperite de cǎtre reuea, gospodǎrii cu çi fǎrǎ aparat de mǎsurare etc.).
Discuuiile di n c adr ul foc us grupu rilo a u ofe rit feedbakc pe tem a gr aud lui de
satisfacuie al consumatorilor çi a strategiilor de adaptare. Echipa a explorat
percepUiile comunitǎUilor asupra guvernǎrii municipale çi a instituUiilor din
sectorul apelor, acc ul la apǎ, tarife, disponibilitatea çi puterea de platǎ, subvenuii çi
transferuri çi ocuparea foruei de muncǎ.
Analiza datelor
Datel cantitative au fost procesate çi analizate utilizând Pachetul S istic pentru
Çtiinue Sociale {SPSS). Datele calitative înregistrate pe bandǎ au fost transcrise çi
analizate.
politice din spa ele reformei sectorului. În jur d douǎspr ece g upuri de factori
interesaui au fost identificate ca fiind importante pentru procesul de reformǎ.
Factorii interesaUi care afecteazǎ/implementeazǎ reforma
Grupurile etnice minoritare {Roma çi Egi tenii) deseori nu erau conectate deoarec
locuiau în afara reuelei d alimentare cu apǎ çi canalizaresprijinit
, sau nureforma
-çi puteaîn
u oraçele
permitecu
tarife
plata fde
actsprijin,
urilor îndar
cens-au
trele urbane deservite. Aceçtia au
opus în aç fǎrǎ astf l de tarife prin acces neautorizat. Nu
au fost puternici çi au avut la dispoziuie canale de opoziuie limitate.
133
De ce acest exemplu?
Evaluarea programului pentru Internet d bandǎ largǎ în çcoli aratǎ oportunitat d
a ajusta colectarea de date çi eçantionarea conform timpului çi resurselor bugetare
dispo ibile. Deoarec scopul acestei evaluǎri a fost de evalua exactitatea {mǎsurând
eficienua çi icacitatea) procesului de livrare, çi d a stabili “legǎtura slabǎ” din cadrul
acestuia, acesta constituie un exemplu de evaluare formativǎ.
InformaUii generale
În 2005, Ministerul Comunicauiilor, Resurselor Marine çi Natural çi Ministerul
pentru Educauie çi Çtiinuǎ din Irlanda au pornit un proiect, ce prevedea ca fiecare
çcoalǎ primarǎ çi secunda ǎ din uarǎ sǎ fie conect ǎ la reueaua de internet de bandǎ
largǎ pâ ǎ la finele anului 2006. Mi sterele au alocat împreunǎ 18 m lioane Euro
pentru instalarea de internet de bandǎ largǎ în toate cele 4.100 çcoli primare çi
secundare. Se açtepta c aceastǎ conectivi ate de bandǎ largǎ sǎ f rnizeze vitez de
descǎrc re mult mai rapide pentru conuinutul educauional, sǎ ofere un mai mare acces
la aplicauiile multimedia çi sǎ ofere posibilitatea dezvoltǎrii unei reuele centrale de
internet pentru çcoli împreunǎ cu helpdesk-urile asociate pentru siguranuǎ çi
securitate.
Întrebǎri de evaluare
Obiectivul cheie al evaluǎrii a fost acela de a furniza o analizǎ independentǎ a
progresului çi dezvoltǎrilor din cadrul programului pânǎ la data evaluǎrii, çi de
asemenea pe baza acesteia sǎ se facǎ recomandǎrile adecvate pentru ajustarea
programului.
Colectarea datelor
Pentru a colec a informauiile necesare pentru a rǎspunde la întrebǎrile de evaluare de
mai sus, a fost planificat un sondaj çi vizite la faua locului pentru çcolile primare çi
post-prim are.
urbane rurale;
a IV-a etapǎ - gruparea çcolilor conform tehnologiilor majore de livrare.
17
Numǎr çcoli
selSecLtate: 19
a t elit
Tehnologie
Wire
D less 23
S
Nu s -a orit
d ca eçantionul sǎ producǎ re zultate semnificative din punct de vedere
În timpul i specuiilor la faua lo ului a fost evaluat radul de adecvare al fiecǎrei reuele
çcolare pentru a suplimenta accesul în bandǎ l gǎ furnizat çi sprijinul disponibil în
ceea ce priveçte întregul mediu TIC din çcoalǎ. Acest proces de revizuire nu a
r pr zentat n audit la scarǎ întreagǎ a reuelei. Opinia formatǎ s-a bazat pe s mpl
inspecuii vizuale e componentelor euelei, dulapurilor, cablare IT çi p abi itatea
reuelei de a profita la maximum de serviciul în bandǎ largǎ çi de livrarea de încredere
a aplicauiilor pent ru acest a. In nui a n u a fost de ai de ntfii cao na ume çcoalǎ s au
reueaua sa internǎ. Pentru a ilustra existenua anumitor aspecte, s-au pus la dispoziuie
fotografii.
Analiza datelor
I formauiile colectate în timpul sondajului ç vizitelor la faua locului {interviuri çi
inspecuii pe teren) au fost analizate utilizând analiza de conuinut. Pe baza
constatǎri or, au fost identificate concluziile generale çi impacturile asupra
programului.
137
Concluzii
Etapa de monitorizare çi mai ales de evaluare in rmediarǎ ex-post a polit cilor
ubli este adesea etapa cel mai puuin d zvoltatǎ din cadrul practicilor privind
politicile publice, nu în ultimul rând deoarece este ultima etapǎ din ciclul unei politici
publice. În uǎrile und existǎ procese de reformǎ a politicilor publi ades
focalizarea este asupra etapei de dezvoltare a politicii çi evaluǎrii ex-ante. Scopurile çi
rezultatele pozitive ale evaluǎrilor intermediar çi ex-post sunt foarte des
subestimate.
ANEXE
140
0 9 0 2
55 48 2 75 2 27
60 52 340 181 2,400 331
6 6 5
0 59 38 1 28
3 386
75 63 4400 19
056 3,000 341
85 66 460 210 4,500 354
9
950 70 48 4 5 7
0 70
3 0 17 6 1
110 86 550 226 7,000 364
0 34 8, 7
3 97 65 42 9,0 68
140 103 700 248 1 ,000 370
0 7 4 15 5
6 3 0 0 20 7
170 118 850 265 30,000 379
3 9 4 0
19 27 950 4 50 1
200 132 1,000 278 75,000 382
0, 0
210 136 1,100 285 ,0 ,0 384
10,000,000 384
384
ReferinUe
Cǎrui çi articole çtiinuifice
1
Bamberger, M., Rug J., Mabry, L. {2006). Real World aluation, Working
2
under budget time, data and political co nstraints. CA: SAGE.
McDavid, J.C., Hawthorn, R.L. {2006). Program Evaluation & Performance guide.
3.
Measure ent. CA: SAGE.
Langbein, L., Felbinger, C.L. {2006). Public Program Evaluation. A statistical
Armonk, NT: M.E.Sharpe, Inc.
4. Rossi Peter H., Lipsey, thMark W., Freeman Howard E. {2004). Evaluation: A
Systematic Approach, 7 edition. Sage Publications, Inc.
Resurse electronice
http://www.worldbank.org/ieg/ecd/docs/inst_ie_framework_me.pdf
Documentul “Institutionalizing impact evaluation within the framework of a
monitoring and evaluation system” descrie modele, stimulente çi exemple d
implementare a sistemelor de mo torizare çi evalua e în dif rite uǎri. Acest
document este publicat pe pagina de internet a Bǎncii Mondiale, unde se gǎsesc multe
informauii utile referitoare l diferite metodologii de evaluare, precum çi studii de caz
de evaluare în diferite sectoare.
Practical Assessment, Research & Evaluation {PARE) este o publicauie on-line sprijinitǎ
în întregim de eforturi v luntare. Scopul acesteia este de a furniza acces la articole
care pot avea un impact pozitiv asupra aprecierii, cercetǎrii, evaluǎrii çi practicilor de
predare. Este menuionat printr publicauiile on-line în domeniul educauiei de cǎtre
Scholarly Publishing and Academic R sources Coa ition {SPARC) din SUA. Se pot
consulta articolele cǎutând dupǎ cuvinte cheie sau volum.
http://www.wm ch.edu/evalctr/checklists/checklistmenu.htm
Aceastǎ paginǎ de internet a centrului de Evaluare din cadrul Uni sitǎuii Western
Michigan oferǎ iiinformauii bogate cu privire la diverse liste de verificare privind
146
http://www.worldbank.org/ieg/nonie/papers.html
NONIE este o R ea de a Reuelel pentru Evalu de Impact formatǎ din
Organizauia pent u Cooperare Economicǎ çi Dezvoltare - Comitetul de Asistenuǎ
pentru Dezvoltare {OECD/DAC), Reueaua de Evaluare, Grupul de Evaluare a
Nauiunilor Unite {UNEG), Grupul de Cooperare pe tema Evaluǎrii {ECG) ç Organizauia
Inter uionalǎ pent u Cooperare în Evaluare {IOCE) - o reuea derivatǎ din asociauiile
regionale de evaluare.
http: /ec.europa. u/r gional_policy/sources/docg er/evaluation/evalsed/sourceb
ooks/
Aceastǎ paginǎ de e inte
ernet este furnizatǎ de Evalsed dd . Puteui cǎuta informauii privind
impactul posibil, re ultatel acuiunii {outputs) çi i dicator pe domeniu de politicǎ.
Sunt prezentate çi diverse metode çi tehnici legate d planificarea evaluǎrii, metodel
de colectare çi analizǎ a datelor. Descrierile sunt generale, dar vǎ pot oferi un nivel de
uelegere fundamental privind direcuia pe car treb i s-o al eui înainte de a
începe monitorizarea sau evaluarea anumitor intervenuii guvernamentale.
http://socr.ucl . du/htmls
Obiectivele Staaatistics Onli e Computational Resource {SOCR) sunt elaborarea,
validarea çi diseminarea cunoçtinuelor. Aceastǎ paginǎ de internet oferǎ instrumente
interactive de graficǎ, materiale instructive çi de formare în domeniul colectǎrii çi
analizei datelor.
http://books.google.com/books?id=jqdTyhDQO9kC&pg
Google Books oferǎ o imagine completǎ a publicauiei OECD “Evaluating local economic
and employment development”. A ast c te analizeazǎ bunele practici în evaluarea
programelo pentru dezvoltarea localǎ çi regionalǎ. Adecvatǎ pentru un public uintǎ
care nu are cunoçtinue tehnice bogate, este un document esenuial pentru
a ministrauiile c trale çi locale care doresc sǎ-çi îmbunǎtǎueascǎ practicile de
v a e, sǎ mǎreascǎ volumul dovezilor pentru politici çi sǎ dezvolte o culturǎ a
evaluǎrii.
http://www.finance.gov.ie/viewdoc.asp?DocID=4596&CatID=16&StartDate=01+Janu
ary+2007&m=
AocelitsticM
P iloarnueal
steprivind
un instRentabilitatea
rument care oçifeîndrumǎrile
rǎ asistenuǎ legate defIniuiativa
practicǎ uncuion ride
lorRevizuire
publici çia
managerilor din acest domeniu în cadrul administrauiei publice din Irlanda.
147
http://www.cdc.gov/Tobacco/tobacco_control_programs/surveillance_evaluation/ev
aluation_manual/
“Introduction to Program Evaluation for Comprehensive Tabacco Co ntrol Programs”
este n ghid practic despre cum sǎ planificǎm, elab rǎ çi implement m evaluarea
de program în domeniul controlului tutunului. Cu toate acestea, descrie abordǎri çi
instrumente de lucru care ar putea fi folosite çi în alte domenii de politicǎ.
http://www.innonet.org/client_docs/File/logic_model_workbook.pdf
Caietul de lucru privind Modelul Logic este o abordare simplǎ, pas cu pas, în ved rea
construirii modelului logic pentru un program. Explicǎ modul în care se elaboreazǎ
fiecare componentǎ a modelului logic prin folosirea exemplelor çi furnizarea unor
îndrumǎri practice.
ww.coventry.ac.uk/ec/~nhunt/meth /introd.html
http://faculty.chass.ncsu.edu/garson/PA765/sampling.htm
Cele douǎ pagini de internet includ o scurtǎ descriere a procesului de eçantionare -
principalele concepte, metodele de eçantionare, exemple, constrângeri çi avantaje.
manual de
monitorizare şi evaluare
a politicilor publice
ISBN
978-973-1846-22-4