ȘCOALA NAȚIONALĂ DE ȘTIINȚE POLITICE ȘI ADMINISTRATIVE

ȘCOALA DOCTORALĂ ÎN ȘTIINȚE POLITICE

Modele de evaluare a politicilor și programelor publice

Strategii de selectare

Coordonator:
Prof. Univ. Dr. Adrian Miroiu
Doctorandă:
Mirela State (căs. Cerkez)

București
2010
CUPRINS

INTRODUCERE ............................................................................................................... 5

CAPITOLUL I
CLARIFICĂRI CONCEPTUALE .................................................................................. 14
I.1. Teoria evaluării, modele de evaluare ........................................................... 16
I.1.1. Teoria evaluării
I.1.2. Modele de evaluare
I.2. Formularea ipotezei lucrării .......................................................................... 24
I.3. Evoluția teoriei și practicii evaluării ............................................................. 29
I.3.1. Primele forme de evaluare
I.3.2. Prima generație de evaluare
I.3.3. A doua generație de evaluare
I.3.4. A treia generație de evaluare
I.3.5. A patra generație de evaluare
I.4. Probleme ale procesului de evaluare ............................................................. 58
I.4.1. Multidisciplinaritate
I.4.2. Combinarea metodelor și tehnicilor
I.4.3. Resurse și timp limitate
I.4.4. Riscul de a evalua altceva decât ceea ce este implementat
I.4.5. Manipularea
I.4.6. Standardele practicii evaluării

CAPITOLUL II
DIMENSIUNEA CUNOAȘTERII PROGRAMELOR ȘI POLITICILOR PUBLICE
PRIN EVALUARE: INFLUENȚA TEORIEI ȘI A SITUAȚIEI DE EVALUARE
ASUPRA MODELULUI DE EVALUARE .................................................................... 71
II.1. Ontologia și epistemologia ........................................................................................ 72
II.1.1. Pozitivismul/raționalismul
II.1.2. Realismul (critic)
II.1.2.a. Campbell

2
 II.1.2.b. Scriven
II.1.2.c. Pawson și Tilley
II.1.3. Constructivismul
II.1.3.a. Guba și Lincoln
II.1.3.b. Stake
II.2. Conceptul de obiectivitate ........................................................................... 95
II.2.1. Obiectivitatea fără valori
II.2.2. Obiectivitatea sensibilă la valori
II.2.3. Negarea conceptului de obiectivitate
II.3. Stabilirea criteriilor de evaluare a programului ........................................ 101
II.3.1. Ce valori trebuie să reflecte criteriile?
II.3.2. Cine stabilește criteriile?
II.4. Metodologia ................................................................................................... 117
II.4.1. Linii generale ale evoluției metodologiei de evaluare
II.4.2. Principalele strategii (metodologice) de evaluare
II.4.2.a. Experimentul
II.4.2.b. Studiul de caz
II.4.2.c. Testarea pilot
II.4.3. Metodologii specifice diverselor componente ale programului

CAPITOLUL III
DIMENSIUNEA PRACTICĂ A EVALUĂRII PROGRAMELOR ȘI POLITICILOR
PUBLICE: INFLUENȚA TEORIEI ȘI A SITUAȚIEI DE EVALUARE ASUPRA
MODELULUI DE EVALUARE ...................................................................................... 142
III.1. Scopul. De ce evaluăm? ............................................................................... 143
III.2. Obiectul. Ce evaluăm? ............................................................................... 149
III.2.1. Relațiile de cauzalitate
III.2.2. Contextul
III.2.3. Intrările
III.2.4. Procesele
III.2.5. Produsele, rezultatele, scopurile, obiectivele, impactul

3
 III.3. Identitatea și rolul evaluatorilor ............................................................... 161
III.3.1. Considerente generale
III.3.2. Activități concrete pe care le întreprind evaluatorii în procesul de
evaluare

CAPITOLUL IV
DIMENSIUNEA UTILIZĂRII REZULTATELOR EVALUĂRII PROGRAMELOR ȘI
POLITICILOR PUBLICE: INFLUENȚA TEORIEI ȘI A SITUAȚIEI DE EVALUARE
ASUPRA MODELULUI DE EVALUARE ..................................................................... 172
IV.1. Considerente generale ................................................................................. 172
IV.2. Evaluarea în folosul societății ...................................................................... 180
IV.3. Evaluarea în folosul formulării și implementării politicilor publice ................ 181

CAPITOLUL V
O SINTEZĂ A INFLUENȚEI TEORIEI EVALUĂRII ȘI SITUAȚIEI DE EVALUARE
ASUPRA MODELULUI DE EVALUARE: CONCLUZII ........................................... 192
V.1. Cunoașterea ................................................................................................... 198
V.2. Practica ........................................................................................................... 202
V.3. Utilizarea ........................................................................................................ 206
V.4. Meta-evaluarea .............................................................................................. 209
V.5. Explicații finale – evaluare pentru viața reală ............................................ 210

BIBLIOGRAFIE ............................................................................................................... 216

4
INTRODUCERE

Lucrarea de față reprezintă un demers teoretic de identificare a unui răspuns la o

problemă cât se poate de practică – cum selectăm modelul de evaluare a politicilor și
programelor publice atunci când suntem puși în situația de a desfășura o evaluare? Din
punctul meu de vedere, indiciile pentru identificarea unui astfel de răspuns se regăsesc în
teoria evaluării și în situația de evaluare. Lucrarea contribuie astfel la contracararea
convingerii larg răspândite conform căreia procesul de evaluare este un demers exclusiv
practic, teoria fiind considerată prea abstractă pentru a face lumină în chestiunile concrete.
Ceea ce încerc să construiesc în lucrarea de față este util cu precădere intervențiilor
publice din sfera socialului care implică rezultate mai greu de cântărit pentru că nu sunt
concrete/materiale și pentru că implică conflicte de valori. Demersul meu analitic vizează pe
alocuri și acele politici cu obiective mai concrete precum construirea de autostrăzi sau
sporirea disciplinei în construcții, dar în general acestea nu prezintă probleme prea complicate
din punctul de vedere al selectării modelului de evaluare. Este drept însă că și în cazul unor
astfel de intervenții publice se pot formula întrebări problematice de tipul: pentru bunăstarea
societății, este mai bine ca în următorii cinci ani guvernul să finanțeze cu precădere
infrastructura sau sistemul de sănătate și pe cel de educație?
Dată fiind noutatea domeniului în România, dar și rolul în construcția argumentului,
capitolul I este dedicat explicării principalelor concepte teoretice și a principalelor abordări
ale conceptului de evaluare. De asemenea, tot în cadrul acestui capitol am inclus formularea
ipotezei lucrării.
Capitolul II este dedicat analizei diverselor interpretări despre cunoaștere ale teoriilor
evaluării.
Teoretizarea aspectelor practice ale evaluării, care vizează obiectul și scopul evaluării,
dar și rolul și identitatea evaluatorilor, este abordată în capitolul III.
Ideea despre utilitatea pe care o are evaluarea influențează modul în care se desfășoară
procesul de evaluare, motiv pentru care am dedicat capitolul IV acestor implicații.
În ultimul capitol, cumulez concluziile celorlalte capitole și detaliez anumite aspecte
care nu au putut fi abordate pe parcursul capitolelor. Nu în ultimul rând, acest capitol conține
precizări ale limitelor lucrării, dar și ale liniilor de analiză pe care le deschide.

5
IPOTEZA

Demersul de față pleacă de la o serie de constatări. Prima constă în faptul că teoriile

evaluării, indiferent de enunțurile concrete pe care le capătă în formulările diverșilor autori, au
o structură comună, în sensul că fac referire la aceleași elemente: cunoașterea, utilizarea,
practica, valorizarea și palnificarea socială (Shadish et al., 1991). A doua constatare constă în
faptul că modelul de evaluare, pașii concreți ai procesului de evaluare, constă de fapt într-o
operaționalizare, într-o concretizare a teoriei evaluării și este construit în jurul acelorași cinci
elemente menționate mai sus.
Plecând de la aceste două observații, argumentez că modelul de evaluare are
capacitatea de a produce informații despre un evaluand în limitele unei teorii, prin lentilele
acelei teorii. Prin urmare, un model de evaluare are o arie limitată de aplicabilitate.
Elementul central al lucrării constă în determinarea acestei arii de aplicabilitate a unui
model. Cum ne dăm seama ce model de evaluare să alegem într-o anumită situație? Conform
ipotezei lucrării de față, în situația de evaluare se crează o interacțiune între caracteristicile
acesteia și teoria evaluării, astfel încât anumite teorii, și implicit modele, ale evaluării devin
adecvate respectivei situații, spre deosebire de altele. Nu fac prin aceasta o afirmație radicală
de tipul „caracteristicile situației de evaluare indică teoria evaluării pe care trebuie să o
aplicăm”. Aplicarea altei teorii decât a celei favorizate de o anumită situație de evaluare nu
este o chestiune de incompatibilitate metodologică, ci mai degrabă etică. Evaluandul respectiv
poate fi abordat și prin altă teorie a evaluării, doar că astfel nu vom mai afla despre evaluand
ceea ce reclamă situația de evaluare (și în special clientul) să aflăm. Aceasta înseamnă că,
într-o anumită măsură, selectarea unui model de evaluare independent de situația de evaluare
reprezintă de a fapt construirea unei noi situații de evaluare, una în care se răspunde la o
solicitare care nu a fost niciodată formulată.
Un element important al argumentației de față constă în aceea că interacțiunea dintre
cele trei elemente (situația de evaluare, teoria evaluării și modelul de evaluare) nu este una
stabilă. Ceea ce vreau să afirm este că nu poate fi descrisă o ordine valabilă în toate cazurile a
modului în care acestea se influențează între ele. O altă precizare importantă este aceea că
relațiile dintre cele trei elemente de analiză sunt multidirecționale.1 Această instabilitate a
modului în care interacționează cele trei elemente este și sursa relevanței și utilității

1
Asemeni etapelor politicilor publice: de exemplu, implementarea poate influența formularea, deși formularea la
rândul ei influențează implementarea.

6
demersului de față întrucât acesta explicitează anumite conexiuni care de obicei sunt lăsate în
seama „flerului” dat de experiența profesională a evaluatorilor.
Pe scurt, opțiunea pentru o teorie a evaluării și, implicit, pentru un model trebuie
contextualizată.
Dacă ar trebui să-mi plasez abordarea undeva în peisajul teoretic construit în jurul
evaluării, aș afirma că am o abordare contingentă, spre deosebire de una universalistă care
consideră că un anumit model este mai bun decât celelalte și îl consideră adecvat pentru toate
situațiile (Chen, 2005). Lipsa unei opțiuni teoretice stricte în abordarea evaluării nu
echivalează însă cu o abordare eclectică, așa cum greșit ar putea fi înțeles acest demers. Un
demers eclectic este acela în care unul și același obiect este investigat prin punerea laolaltă a
elementelor convenabile care aparțin unor teorii diferite. Or, în acest caz, avem de a face cu o
redefinire a obiectului de studiu și, în interiorul acelei redefiniri, există o opțiune teoretică
fermă. Ceea ce vreau să spun este că, într-o anumită situație de evaluare, un evaluand devine
un obiect de studiu cu alte caracteristici, care necesită alte abordări. Prin urmare, nu
investigăm unul și același lucru folosind ce au mai bun mai multe teorii, ci investigăm lucruri
diferite în sensul că nu toate evaluandurile și toate situațiile de evaluare sunt la fel. De
asemenea, se poate întâmpla ca tot situația de evaluare să necesite aplicarea mai multor teorii,
chiar asupra aceluiași evaluand, dar nici în acest caz nu avem de a face cu o abordare eclectică
pentru că este ca și cum am investiga lucruri diferite, sau am avea procese de evaluare
diferite. Acest lucru se poate întâmpla, de exemplu, atunci când beneficiarul dorește să afle
lucruri diferite despre evaluand. În acest caz, avem de fapt două obiecte de studiu diferite,
chiar dacă decurg din același evaluand. În plan metodologic, această poziție implică, în primul
caz, pluralism, iar, în al doilea caz, abordare multi-metodologică.2
Odată făcute aceste precizări, trebuie să revin asupra ideii de abordare contingentă a
selectării/construirii modelului de evaluare pentru a mai adăuga un element explicativ.
Abordările contingente nu presupun, așa cum le-ar putea sugera numele, că evaluatorii sunt un
soi de tabula rasa în fiecare situație de evaluare. Din contră, de la o situație de evaluare la
alta, se păstrează un anumit element constant. Abordarea lui Chen (1990, 2005), de exemplu,
presupune ca la fiecare evaluare, odată identificat interesul în raport cu evaluandul și
grupurile implicate, evaluatorii să identifice mai întâi teoria programului, înainte de a stabili

2
Pluralismul metodologic consideră că toate metodele sunt egale, dar depinde ce vrem să cercetăm. Astfel,
pentru fiecare proiect de cercetare se va folosi altă metodă, dar nu mai multe metode la același proiect. Într-un alt
sens, pluralismul metodologic poate caracteriza comunitatea științifică, aceasta fiind cea care dă credit mai
multor metode în același timp, și nu un cercetător sau altul. Abordarea multi-metodologică presupunea folosirea
mai multor metode în aceeași cercetare (Payne și Payne, 2004, p. 149).

7
următorii pași ai evaluării. Dincolo de această constantă – teoria programului3 – totul este
diferit de la o evaluare la alta. Teoria programului ne va indica dacă urmează să investigăm
aspecte concrete (precum numărul de case construite în urma implementării unei anumite
politici), și atunci apelăm la anumite proceduri, sau chestiuni mai abstracte (precum gradul de
satisfacție al unui anumit grup țintă sau elemente care au modificat anumite comportamente)
și atunci apelăm la cu totul alte procedee și, după cum voi argumenta în lucrare, la o cu totul
altă logică de evaluare. Ce rămâne constant în abordarea mea? Pe scurt, grija de a corela
presupozițiile implicite fiecărei teorii, model și metode ale evaluării cu cele implicite situației
de evaluare. Pe parcursul lucrării voi prezenta presupozițiile implicite ale celor mai
importante teorii, modele și metode ale evaluării, precum și la ce mă refer când menționez
presupozițiile implicite din situația de evaluare. Ceea ce rezultă nu este un nou model de
evaluare, ci mai degrabă o metodă de a lucra cu abordările deja dezvoltate în domeniu.
O altă precizare importantă pentru modul în care este construit demersul de față ține de
termenul pe care îl folosesc atunci când mă refer la „legăturile” dintre cele trei elemente de
analiză și, mai ales, dintre situația de evaluare și teoria evaluării. Anume, am ales să le
numesc „valori” din mai multe motive. În primul rând, aveam nevoie să folosesc un singur
termen pentru că referirile la aceste „legături” sunt foarte dese pe parcursul lucrării și o
enumerare de mai mulți termeni în propozițiile de argumentare ar fi fost greoaie. În al doilea
rând, dintre toți termenii pe care încerc să-i sugerez în argumentație și pe care îi voi menționa
mai jos, am ales să numesc aceste „legături” valori pentru că este un termen cu mai multe
semnificații (valori despre adevăr, materiale, cantitative, etice, etc.) și pentru că sunt foarte
multe situații în care putem argumenta că avem de a face cu o valoare de un tip sau altul. De
fapt, ceea ce vreau eu să spun prin „valori” sunt opinii, credințe, preferințe, interese, dorințe,
nevoi, norme, prescripții, seturi de idealuri care aparțin unei societăți, grup sau individ. Pe
scurt, tot ceea ce în procesul de evaluare te determină să faci un anumit lucru și nu altul. Deși
sunt autori care pun semnul egal între ceea ce am enumerat eu mai sus și valoare (precum
House și Howe, 1999), nu fac o astfel de afirmație aici, mai ales că modul în care s-ar tranșa,
dacă ar fi posibil, o astfel de dezbatere nu ar influența cu nimic demersul de față. Indiferent că
le numim valori sau altfel, că spunem că sunt altceva care au sau nu valori la bază, sunt tot
elemente care ne determină să facem anumite lucruri și nu altele în procesul de evaluare.
Teoria evaluării și modelele de evaluare sunt abordate pe larg în literatură, ceea ce face
ca aceste două elemente ale analizei de față să fie foarte bine conturate, dar nu același lucru se

3
Și teoria programului este abordată din mai multe unghiuri, în funcție de situația de evaluare.

8
poate spune și despre situația de evaluare. În primul rând, situația de evaluare este extrem de
complexă și este un construct4, prin urmare nu voi putea acoperi în lucrare toate situațiile
posibile. Unele elemente ale situației de evaluare sunt însă menționate în lucrare, mai ales prin
încercarea de a construi exemple care să ilustreze argumentele formulate. Atunci când
folosesc expresia „situație de evaluare”, mă refer în general la un cumul de elemente precum:
caracteristicile evaluandului, ceea ce se vrea a fi cunoscut despre evaluand, contextul, cine
sunt cei care solicită evaluarea (finanțatori, implementatori, grupuri afectate de evaluand,
etc.), resursele disponibile pentru evaluare (timp, bani, resurse umane), evaluatorii, etc. În
termeni concreți, tocmai pentru că este un construct social, situația de evaluare este foarte
„elastică” în sensul că nu se pot stabili anumite dimensiuni teoretice ale acesteia care să se
regăsească în toate situațiile de evaluare concrete. De exemplu, există situații în care cei care
implementează și cei care finanțează un program nu sunt actori diferiți. De asemenea,
variabila „context” este mai complexă sau mai simplă, în funcție de caracteristicile
evaluandului și de modul în care formulăm interesul față de acesta. Tocmai pentru că
diversitatea situațiilor posibile duce la imposibilitatea de a construi reguli de tipul „în cazul în
care situația de evaluare se caracterizează prin...., evaluatorii trebuie să...”, analiza de față
încearcă să expliciteze relația dintre situația de evaluare și selectarea modelului de evaluare
astfel încât evaluatorii să poată adapta modelul la situația concretă în care se află.
Într-o formulare extinsă, ipoteza lucrării este că aceste „valori” sunt de fapt parte a
fiecăruia dintre cele trei elemente de analiză, iar modul în care ele sunt definite în relație cu
unul dintre elementele de analiză interacționează cu modul în care sunt definite în cazul
celorlalte două elemente făcând astfel ca alăturarea dintre o anumită situație de evaluare, un
anumit model de evaluare și o anumită teorie a evaluării să nu fie întâmplătoare. Acest lucru
face ca opțiunea de tip universalist pentru o anumită abordare în evaluare să fie inadecvată.

DIMENSIUNEA CUNOAșTERII PROGRAMELOR șI POLITICILOR PUBLICE

PRIN EVALUARE: INFLUENțA TEORIEI șI A SITUAțIEI DE EVALUARE
ASUPRA MODELULUI DE EVALUARE

Poziționarea ontologică (care este natura realității) și cea epistemologică (ce putem
cunoaște, care sunt justificările cunoașterii) duc la „selectarea” unei anumite metodologii

4
Măsura în care un anumit grup sau un anumit interes de cercetare fac parte din situația de evaluare nu este un
fapt dat, ci ceva construit.

9
(cum producem cunoaștere) sau, în orice caz, la o anumită raportare față de acestea.5 Această
relație nu o înțeleg într-un sens strict, adică nu consider că devine obligatoriu să folosești o
metodă anume, ci una dintr-o plajă de metode care la rândul lor s-au dezvoltat din poziționări
ontologice și epistemologice compatibile cu cele pe care le avem despre evaluand.
De asemenea, nu argumentez că poziționările ontologice și epistemologice sunt
sigurele de care trebuie să ținem cont pentru a stabili metodologia adecvată. Fiecare dintre
capitolele lucrării adaugă noi repere în selectarea metodologiei și metodelor și tehnicilor
specifice, ca parte a modelului de evaluare. Pe măsură ce prezint opțiunile teoretice, arăt cum
diversele categorii de valori joacă un rol cheie în „dialogul” dintre elementele pe care analiza
de față le pune în corelație. Discuțiile mai abstracte cu privire la ceea ce este sau nu este real
precum și cele cu privire la ceea ce putem sau nu să cunoaștem cu certitudine au efecte directe
asupra formulării unei definiții a obiectivității, fapt care influențează mai departe selectarea
criteriilor de evaluare a programului. În funcție de ideea de obiectivitate, selectarea criteriilor
de judecare a programului este influențată atât în ceea ce privește conținutul, cât și procedura.
Trebuie subliniat faptul că influența valorilor asupra modelului de evaluare se
manifestă în cel puțin două sensuri. Primul ar fi acela de determinare a pașilor procesului de
evaluare. Astfel, dacă valorile sunt considerate un element important în judecarea
programului, atunci modelul are anumite etape specifice de identificare a acestora, de stabilire
a categoriilor de nevoi ce vor fi luate în considerare, etc. Aceste etape nu se vor regăsi într-o
evaluare care pretinde că rezultatele programului pot și trebuie să fie analizate independent de
valori. Mai mult, chiar în categoria evaluărilor care iau în considerare valorile, pot apărea
diferențe între pașii modelului de evaluare pentru că depinde foarte mult de valorile cărui grup
sunt reflectate în cercetare, sau de cine face judecata efectivă cu privire la valoarea
programului în cauză – evaluatorul sau vreunul dintre grupurile implicate, sau se încearcă
stabilirea unui consens între valorizările diverselor grupuri.
Toate aceste lucruri trebuie cunoscute de către evaluatori atunci când selectează un
model de evaluare. De exemplu, dacă evaluatorul respectiv este adeptul unui anumit concept
cu privire la evaluare, unul în care valorile beneficiarilor direcți ai programului joacă un rol
central, dar este solicitat să facă o evaluare a unui program mic, cu obiective clare, iar
interesul clientului este acela de a-și măsura gradul de atingere a obiectivelor, evaluatorul
respectiv nu poate aplica acel model pe care îl favorizează din punct de vedere teoretic, ci

5
Autori cu opțiuni ontologice și epistemologice diferite pot folosi aceeași metodologie, dar măsura în care se
bazează pe rezultatele respective este diferită, modul în care le folosește la formularea concluziilor, variază
foarte mult.

10
trebuie să se adapteze la situația concretă de evaluare și să aleagă o metodologie specifică
acelui scop. În teorie întâlnim tot timpul conceptualizări cu privire la evaluare în care,
indiferent de cerințele clientului, evaluatorul se comportă ca un soi de apărător al idealurilor
societale și, din proprie inițiativă, include în evaluare toate interesele manifestate la nivelul
societății în raport cu programul respectiv, chiar și pe cele ale celor afectați în mod indirect,
care nici măcar nu sunt conștienți de acest lucru. În realitate însă, dincolo de etapele pe care
evaluatorul le include în model pe baza expertizei, nu poți să impui clientului să suporte
costurile unor procese evaluative care nu-i servesc în mod direct. În cel mai bun caz, în
calitate de evaluator, poți să nu atribui o valoare pozitivă programului respectiv dacă
contravine ideilor proprii cu privire la valorile predominante în societate, dar nu poți obliga
clientul să suporte costurile desfășurării unui studiu de identificare a respectivelor valori. Mai
mult, nu toate programele au o miză valorică la nivelul societății astfel încât evaluatorii să se
simtă obligați să apere interesul cuiva.
În fine, un al doilea sens în care valorile influențează modelul de evaluare ține de tipul
de date colectate în raport cu pașii procesului de evaluare despre care discutam anterior și,
implicit, de instrumentele specifice de colectare a acestora. În mare, o evaluare care pune
accent pe valori preferă metodele calitative, deși nu este exclus să aplice punctual și metode
cantitative. Diferența ar fi, de exemplu, că chiar dacă colectează date cantitative, nu emite
judecăți de valoare cu privire la program doar pe baza acestora.

DIMENSIUNEA PRACTICĂ A EVALUĂRII PROGRAMELOR șI POLITICILOR

PUBLICE: INFLUENțA TEORIEI șI A SITUAțIEI DE EVALUARE ASUPRA
MODELULUI DE EVALUARE

Una dintre concluziile analizei referitoare la componenta de practică este că, în funcție
de o anumită interpretare pe care o avem cu privire la evaluare, corelată cu o anumită viziune
asupra societății, rezultă anumite scopuri de desfășurare a unui proces de evaluare. O a doua
concluzie care reiese din analiza respectivă este că modul în care definim scopul evaluării
influențează în mare măsură obiectul evaluării, dar și acțiunile specifice pe care le desfășoară
evaluatorii. Datorită tuturor acestor opțiuni, modelul de evaluare ajunge în final să aibă
anumite componente, și nu altele. De exemplu, dacă suntem în paradigma constructivistă, nu
atribuim evaluării scopul de a determina care este cel mai bun program și nu avem rezultatele
și nici legăturile de cauzalitate ca obiect de studiu, iar evaluatorii au rolul de a iniția și
gestiona un proces de negociere.

11
 Ce înseamnă că „suntem în paradigma constructivistă”? Putem fi un evaluator care are
această opțiune teoretică și considerăm că acesta este singurul mod de a face evaluare, sau
unul care nu are o astfel de opțiune teoretică rigidă și ținem cont de situația concretă de
evaluare în care ne aflăm. Cum ar arăta o situație de evaluare pentru care ar fi mai adecvată o
evaluare constructivistă? Ar fi caracterizată de un climat puternic de neîncredere, fiecare
dintre actorii implicați are alte așteptări de la evaluandul respectiv și se apelează la o evaluare
fără să se aștepte ceva anume de la aceasta, ci, eventual, pentru a detensiona acea situație.
Evaluarea constructivistă, prin metodele specifice, ar încerca să genereze consens în aceste
privințe.

DIMENSIUNEA UTILIZĂRII REZULTATELOR EVALUĂRII PROGRAMELOR șI

POLITICILOR PUBLICE: INFLUENțA TEORIEI șI A SITUAțIEI DE EVALUARE
ASUPRA MODELULUI DE EVALUARE

Ideea cu privire la utilizarea evaluării (fie a rezultatelor acesteia, fie a procesului de

evaluare în sine) este influențată de diferite seturi de idei și valori cu privire la societate și
schimbare. Astfel, dacă considerăm că schimbarea trebuie să reflecte valorile cât mai multor
grupuri afectate, atunci nu ne așteptăm ca evaluarea să ne dea un ultimatium cu privire la o
politică (bună/rea), ci să ne descrie măsura în care reflectă valorile grupurilor afectate și abia
apoi, pe baza acestei descrieri, beneficiarii vor pune verdictul bună/rea. Dacă avem o anumită
viziune cu privire la locul deciziei în societate care atribuie acest rol exclusiv clasei politice,
atunci evaluarea nu va mai fi utilizată pentru a induce schimbare, ci pentru a măsura gradul de
conformare al politicii la obiectivele stabilite, iar răspunsurile cu privire la cum trebuie indusă
schimbarea vor fi căutate în continuare în decizia politică și nu în evaluare. Dacă plecăm de la
ideea că schimbarea benefică este identificată de evaluator prin mijloace științifice, atunci
utilitatea evaluării este de a indica cu precizie disfuncționalitățile unei politici, dar și părțile ei
pozitive. Ceea ce am descris până acum poate fi sintetizat ca raportare fie la cunoașterea
științifică, fie la cea politică. Conform lui Holzner și Fisher (apud Chen, 1990, pp. 68-69),
atunci când ne raportăm la cunoașterea științifică ne ghidăm de fapt după valori precum
obiectivitatea sau încrederea, iar atunci când dăm curs cunoașterii politice respectăm valori
precum adaptare, generalizare, relevanță și utilitate6.

6
Voi reveni la acestea în capitolul V.

12
 Odată ce anumite seturi de valori modelează ideea despre utilizarea evaluării, acest
fapt implică și o modelare a tipului de informații pe care încearcă să le producă evaluarea, fapt
ce are consecințe directe asupra modelului de evaluare. Pentru a prezenta cu mai mare
claritate argumentul de față, am să încerc să construiesc un exemplu (simplist): O atitudine
pozitivistă față de obiectivitate te determină să consideri că doar un specialist care aplică
metode științifice poate determina adevărul și că rolul „adevărului” dezvăluit prin evaluare
este acela de a înlocui imediat „falsul” reprezentat de politica deja existentă. Acest fapt
determină eliminarea din modelul de evaluare a acelor etape care implică atenta considerare a
opiniilor și valorilor celor afectați de politica respectivă și, prin pretenția de considerare a
faptelor brute/golite de valori, și o tendință de a favoriza colectarea de date cantitative.
Rămânând la acest exemplu, acest model nu va avea prevăzute etape de conciliere a
intereselor celor implicați, așa cum au modelele constructiviste de exemplu, pentru că
evaluarea este utilizată în sensul aflării variantei adevărate/bune de la o autoritate epistemică,
nu în sensul identificării căii de mijloc între interesele celor implicați chiar de către aceștia,
dar stimulați și ghidați de evaluatori.
Acest exemplu sintetizează argumentația de pe parcursul lucrării arătând cum, pornind
de la o anumită idee despre utilitatea evaluării, ajungem să urmărim lucruri diferite în
procesul de evaluare.
Fac însă precizarea că, la fel ca în cazul celorlalte influențe care vin dinspre situația de
evaluare înspre modelul de evaluare, nu se poate stabili un moment anume, raportat la design-
ul modelului, când se manifestă aceste influențe, la fel cum nu se poate face o ordonare a
acestor influențe de tipul „prima, a doua...ultima”. Aceste influențe sunt prezentate distinct în
scop analitic, dar ele se pot manifesta simultan sau într-o ordine oarecare, în funcție de cum
decurge situația în care suntem implicați.

Ce aduce diferit această abordare față de abordările de după 1970, când modelul se
definitiva după contactul cu evaluandul?
Acelea erau modele în sine, adecvate oricărei situații, nu elemente ale situației de evaluare,
supuse contextului la fel ca evaluandul. Constrângeau evaluandul, îl vedeau prin lentile
(teoretice) stabilite a priori. Constructivismul, de exemplu, care este unul dintre modelele cele
mai ancorate în situația de evaluare, consideră a priori că evaluandul un construct social, fără
să ia contact cu acesta.

13
Aduce această abordare ceva nou față de alte strategii contingente (Stufflebeam - CIPP,
Chen – evaluarea bazată pe teoria programului) de selectare a modelului de evaluare?
Asemănări: 1. posibilitatea acomodării unor situații diverse de evaluare; 2. nu există o
opțiune pentru un anumit model de evaluare; 3. stabilirea unui element care se menține de la o
evaluare la alta și care ne ajută să ne dăm seama care este plaja de modele recomandate în
situația de evaluare în care ne aflăm.
Deosebiri: CIPP este un model în sine, suficient de complex astfel încât să alegem doar unele
etape în situația de evaluare, dar care are totuși anumite orientări preponderente, cum ar fi
obiectivismul.
Evaluarea bazată pe teoria programului este contingentă mai mult în privința metodelor și
tehnicilor și mai puțin în logica generală a modelului de evaluare.
Teza de față: cadru de analiză care ajută la o selectare fundamentată a modelului.

PRECIZĂRI FINALE

Conform abordării pe care o am în lucrarea de față, s-ar putea afirma că procesul de

evaluare are anumite etape, așa cum, de exemplu, procesul de formulare și implementare a
politicilor publice a fost decupat în etape pentru a ușura explicația. Ceea ce nu vreau însă să se
înțeleagă este că pentru a selecta un model de evaluare evaluatorii trebuie mai întâi să-și
definească setul de valori cu privire la cunoaștere, apoi pe cel cu privire la practică, după care
pe cel cu privire la utilizare și apoi pe cel cu privire la metaevaluare. Deși prin explicațiile pe
care le-am dat pe parcurs am încercat să nu las să se înțeleagă acest lucru, am decis să insist
totuși la final asupra acestei idei întrucât mă va ajuta să clarific cum se poate lucra în practică
cu sistemul de repere pe care l-am construit în vederea selectării modelului de evaluare.
Asemeni etapelor procesului de formulare și implementare a politicilor publice, și
etapele procesului de evaluare sunt de fapt distincții analitice care ne ajută să privim realitatea
într-un mod structurat. Acestea nu trebuie în nici un caz percepute ca având loc într-o ordine
cronologică sau influențându-se unidirecțional. De asemenea, pot exista situații de evaluare în
care unele dintre elementele componentelor teoriei evaluării sunt omise7 fie pentru că sunt
irelevante în situația dată, fie pentru că sunt luate ca date. De exemplu, atunci când situația de
evaluare este construită de așa manieră încât viziunea evaluatorilor cu privire la respectivul

7
În sensul că nu este nevoie să le luăm în considerare pentru a selecta modelul de evaluare.

14
proces de evaluare are întâietate, în model nu mai apare o etapă de analizare și stabilire a
premiselor ontologice și epistemologice ale cercetării, evaluatorii aplicându-le pe cele în care
cred. Rezultă de aici că într-o situație de evaluare nu trecem neapărat8 prin toate etapele de
analiză prin care am trecut în lucrarea de față, ci doar prin unele dintre acestea.
Explicația de mai sus constituie un prim răspuns la o eventuală întrebare de tipul: cum
poate un model de evaluare să concilieze atâtea seturi de valori, idei, preferințe, idealuri, etc.
câte au fost discutate în lucrarea de față? Repet, primul răspuns este acela că în majoritatea
situațiilor de evaluare nu trebuie examinate toate acele seturi, ele fiind deja definite undeva în
afara situației de evaluare în cauză9, însă acceptarea unei astfel de variante depinde tot de
situația de evaluare.
Un alt răspuns constă în faptul că există situații de evaluare în care este pre-formulat
interesul pentru anumite aspecte și, după cum arătat în paragrafele anterioare, acestora li se
imprimă o anumită definire. Astfel, evaluatorii nu mai trebuie să formuleze opțiuni în privința
tuturor chestiunilor analizate în lucrarea de față întrucât acestea trebuie preluate din situația de
evaluare. După cum am arătat pe parcursul lucrării, componentele teoriei evaluării tind să se
influențeze între ele, ceea ce înseamnă că cele care sunt definite deja de situația de evaluare ne
influențează opțiunile în privința celorlalte. De exemplu, eu pot să fiu o evaluatoare care
consider că modelul ideal de evaluare are în vedere urmărirea binelui societății și a grupurilor
defavorizate și că, prin urmare, fiecare evaluand, dincolo de obiectivele propriu-zise, trebuie
cântărit prin comparație cu aceste valori, iar gradul de îndeplinire al acestor valori poate fi
stabilit doar prin analizarea percepției oamenilor cu privire la efectele programului respectiv
pentru că un program este bun dacă oamenii simt că le-a îmbunătățit viața, nu dacă a atins
țintele stabilite de cei care le-au creat. Numai că cei care au formulat și implementat
programul ar avea nevoie să știe dacă o economisire de resurse, combinată cu o modificare a
setului de acțiuni, ar afecta îndeplinirea obiectivelor programului. Prin urmare, deși modelul
meu ideal de evaluare era altul, nu voi mai chestiona dezirabilitatea obiectivului programului,
iar tipul de date cu care voi lucra va fi de cu totul altă natură decât percepțiile pe care le
menționam anterior. Voi măsura, voi încerca să determin relații de cauzalitate, nu voi mai fi
atentă la valori, la semnificația anumitor rezultate pentru un grup sau altul, etc. Premisele
modelului meu ideal sunt inadecvate pentru situația de evaluare în care mă aflu.

8
Voi explica în cele ce urmează cum se face că uneori putem găsi într-o evaluare toate componentele și sub-
componentele teoriei evaluării și alteori nu.
9
Acest tip de strategie a mai fost aplicat și de alți autori, deși nu neapărat în această formă.

15
 Cum știm ce seturi de valori sunt relevante într-o situație de evaluare? În unele cazuri
răspunsurile sunt simple, în altele sunt mai dificile. Dacă evaluatorii provin din mediul
academic și desfășoară o evaluare din pur interes științific, atunci nu sunt constrânși în
selectarea modelului de evaluare, își pot urma propriile opțiuni teoretice definindu-și situația
de evaluare după cum doresc. În evaluările din lumea reală însă, procesele de evaluare sunt
constrânse de diverși factori și multe dintre elementele situației de evaluare sunt date, motiv
pentru care am și precizat anterior că nu toate procesele de evaluare trec prin toate etapele
discutate. Astfel, foarte multe evaluări depind de ceea ce este dispus clientul să plătească, de
exemplu, dar pot fi mulți alți factori. De cele mai multe ori clienții nu plătesc metaevaluarea.
Nu este însă nevoie să aibă loc un proces de metaevaluare pentru ca valorile specifice acestuia
să influențeze modelul pentru că, de obicei, acestea sunt internalizare de către evaluatori și
aplicate automat modelului de evaluare. În plus, există situații în care evaluatorii pot convinge
clientul să solicite și metaevaluarea; de exemplu, atunci când clientul vrea neapărat ca
evaluarea să fie desfășurată de un evaluator anume din dorința de a legitima rezultatele
evaluandului. Acest lucru ține tot de soluția indicată permanent de mine pe parcursul lucrării –
atenta analiză a situației de evaluare.
Rămânând la exemple care ilustrează modul în care putem ști care dintre
componentele teoriei evaluării este definită deja de situația de evaluare, este foarte probabil ca
într-o situație de evaluare clientul să definească foarte bine scopul evaluării, să aibă un interes
specific în raport cu evaluarea și atunci evaluatorii nu-i pot impune clientului o altă viziune cu
privire la scopul operațional al evaluării. De exemplu, putem avea un program în desfășurare
într-o agenție guvernamentală de protecție a copilului care apelează la evaluare pentru a vedea
dacă primele efecte ale programului duc la îndeplinirea obiectivelor și dacă este posibil ca, cu
unele modificări aduse programului, efectele să fie intensificate. În această situație, nu mai
avem în model o etapă în care evaluatorii încearcă să identifice care sunt nevoile de evaluare
și se pun de acord cu clientul în ceea ce privește scopurile evaluării încercând, eventual, să și
acomodeze viziunea clientului cu cea proprie cu privire la scopurile ideale ale evaluării. De
asemenea, în această situație nu se chestionează oportunitatea implementării programului, se
consideră că acest aspect a fost trecut prin mecanisme decizionale democratice, nu este treaba
evaluatorilor să decidă pachetul de măsuri.10

10
Nu discut situația în care dezacordul cu privire la existența unei politici este foarte ridicat, iar evaluarea nu este
solicitată pentru a negocia aceste dezacorduri, ci pentru a aduna dovezi de o parte sau alta pentru că în aceste
cazuri nu ar trebui să facem evaluare (Weiss, 1999, p. 483). Pe parcursul lucrării, am menționat și alte cazuri în
care literatura în domeniu consemnează că nu ar trebui să dăm curs unui proces de evaluare.

16
 Problema de care m-am ocupat pe larg în această lucrare este că nu poți să faci
legătura dintre situația de evaluare și modelul adecvat fără să identifici și corelezi premisele
teoretico-filosofice de la baza evaluandului (aflat într-o situație de evaluare) cu cele ale
modelelor de evaluare (care decurg dintr-o teorie a evaluării). Aceasta nu înseamnă deloc că
identifici modelul perfect pentru un evaluand pe care l-ai conturat perfect, ci doar că ai făcut
acest lucru de o manieră mai analitică decât dacă ai fi selectat modelul pentru că e cel mai
lăudat, cel mai utilizat sau aparține unui autor cu autoritate epistemică.11 Presupozițiile
teoretico-filosofice ale unui model de evaluare pot fi studiate, citite, învățate, dar identificarea
prezumțiilor situației de evaluare este într-adevăr, cel puțin până la o teoretizare viitoare, o
sursă de eroare pentru evaluatori în sensul că se pot înșela atunci când decid care dintre
influențe (din seturile analizate în lucrarea de față) predomină într-o anumită situație de
evaluare.
Definirea situației de evaluare este un proces profund impregnat cu judecăți de
valoare. Este o judecată de valoare, de exemplu, să spui că un program de protecție a
persoanelor dezavantajate afectează societatea sau doar persoanele dezavantajate, extinzând
sau reducând cu o simplă opinie aria de investigare pe care trebuie să o acopere procesul de
evaluare cu ajutorul modelului. Prin urmare, nu există o definiție unică a unei situații de
evaluare. Situația de evaluare în sine nu este un Adevăr, un Fapt absolut, ci un construct.
Pentru ca lucrurile să fie și mai interesante, agentul care construiește situația de evaluare
variază. Evaluatorii trebuie să aibă capacitatea de a distinge aceste aspecte și de a ști când este
cazul ca expertiza acestuia să primeze și când ar trebui să joace rolul unui susținător al
activităților beneficiarului, un consultant.
Înainte de a încheia doresc să insist asupra unor precizări pe care le-am mai făcut pe
parcursul lucrării, dar care sunt deosebit de importante. În ciuda atenției pentru asumpțiile
înscrise în situația de evaluare, evaluatorii nu sunt o tabula rasa de la o situație de evaluare la
alta, ci păstrează acest sistem de raportare la situația de evaluare și la teoriile evaluării. A
doua precizare importantă este că evaluatorii nu sunt precum o trestie în bătaia vântului care
gândesc despre evaluand ce vrea clientul să gândească. Acest ultim lucru ar fi imposibil mai
ales în situația în care clientul nu are niciun interes specific, vrea pur și simplu să cunoască și
înțeleagă mai bine evaluandul. Pentru acest ultim caz, după cum am arătat în lucrare, există
metodologii speciale. Pentru cazurile în care clientul are un interes predefinit, menționez că

11
Motivul pentru care nu cred că este bine să ne bazăm pe autoritatea epistemică a unui autor este acela că tot de
cunoaștere are nevoie și cel care încearcă să identifice un model de evalaure ca să-și dea seama dacă modelul
respectiv este adecvat situației pe care o avem în față sau nu. În opinia mea, acest tip de pricepere ți-l poate da
sistemul prezentat de mine în această lucrare.

17
există o diferență între a-l lăsa pe acesta să decidă că vrea să investigăm relațiile de cauzalitate
și a-i confirma cu orice preț intuițiile. În plus, modelul de evaluare se stabilește interactiv și
nu este definitiv, el suferă ajustări pe parcursul procesului de evaluare. Ca atare, evaluatorii au
foarte multe ocazii să facă sugestii.
La final, doresc să atrag atenția asupra unui aspect neexplorat în lucrare, dar care ar
putea aduce argumente solide în favoarea selectării modelului de evaluare de maniera
dezvoltată în această lucrare. Adoptarea necritică, fără să ținem cont de situația de evaluare, a
unui model de evaluare înseamnă remodelarea situației de evaluare în raport cu un set de
valori (implicite modelului) care nici măcar nu au fost conștientizate, cu atât mai puțin
dezbătute. Dacă un model de evaluare are prevăzute anumite etape este pentru că niște
fundamentări valorice, anumite idei despre ceea ce este de dorit, anumite interese, o anumită
viziune asupra lucrurilor, etc. îi „dictează” să investigheze anumite lucruri, îi dictează ale cui
opinii sunt relevante, care este atitudinea corectă a evaluatorilor, etc. Atunci când pornești
evaluarea de la model și nu de la situația de evaluare, lași un set de valori complet necunoscut
ție să-ți definească situația de evaluare. Poți să ajungi astfel să aplici un model de evaluare
menit să urmărească eficiența într-o situație de evaluare care îți dictează să urmărești
echitatea.
Atenta analizare a situației de evaluare este cea care ar trebui să definească modelul
pentru că și una și alta reprezintă un construct bazat pe valori. Cum situația de evaluare este
„realitatea” în care trăim, modelarea ei de către un model de evaluare preluat necritic
echivalează cu impunerea pe nesimțite a unui sistem de valori, a unui anumit mod de a
percepe lucrurile.12

12
Având în vedere aceste enunțuri, îmi permit să semnalez oportunitatea analizării sistemului de valori pe care se
fundamentează modelele de evaluare promovate cu precădere de ONU, FMI sau Banca Mondială.

18
BIBLIOGRAFIE:

1. Adelman, Clem (1996), Anything Goes. Evaluation and Relativism, în Evaluation,

Vol. 2(3), 291-305

2. Blamey, Avril și Mackenzie, Mhairi (2007), Theories of Change and Realistic

Evaluation: Peas in a Pod or Apples and Oranges, în Evaluation, Vol. 13(4), 439-455

3. Bovens, Mark et al. (2006), The Politics of Policy Evaluation, în Moran, Michael;
Rein, Martin și Goodin, Robert E. (eds.), The Oxford Handbook of Public Policy,
Oxford University Press, New York, pp. 319 – 335

4. Boyne, George A.; Farrell, Catherine; Law, Jennifer; Powell, Martin; Walker, Richard
M. (2003), Evaluating Public Management Reforms. Principles and Practice, Open
University Press, Buckingham, Philadelphia

5. Campbell, Donald T. și Stanley, Julian C. (1963), Experimental and Quasi-

experimental Designs for Research, Houghton Mifflin Company, Boston

6. Caulley, Darrel N. și D’Cruz, J.V. (2001), Tolstoy, Buber and the Continuum: The
link between Evaluation and decision making
www.aes.asn.au/conferences/2001/non-refereed papers/Caulley.pdf – accesat la
12.08.2010

7. Cerkez, Mirela (2009), Introducere în teoria şi practica evaluării programelor şi

politicilor publice, în Evaluarea programelor și politicilor publice. Teorii, metode și
practici, Cerkez, Mirela (coord.), Polirom, Iași, pp. 17-54

8. Cerkez, Șerban Adrian (2009), Construirea capacității de evaluare la nivelul sectorului

public din România, în Evaluarea programelor și politicilor publice. Teorii, metode și
practici, Cerkez, Mirela (coord.), Polirom, Iași, pp. 117-143

9. Chelimsky, Eleanor (1998), The role of experience in formulating theories of

evaluation practice, în American Journal of Evaluation, Vol. 19(1), format html

10. Chen, Huey-Tsyh (1990), Theory-Driven Evaluations, Sage, Newbury Park

11. Chen, Huey-Tsyh (1996), Epilogue: Synthesizing formative/summative evaluation

issues and beyond, în Evaluation Practice, Vol. 17(2), format html

12. Chen, Huey-Tsyh (2005), Practical Program Evaluation: Assessing and Improving
Planning, Implementation and Effectiveness, SAGE, Thousand Oaks

13. Clarke, Susan E. (2007), Context-Sensitive Policy Methods, în Fischer, Frank; Miller,
Gerald J. și Sidney, Mara S. (eds.), Handbook of public policy analysis: theory,
politics, and methods, Taylor & Francis Group, Boca Raton, pp. 443 – 461

14. Cronbach, Lee J. (2002), Course improvement through evaluation, în Stufflebeam,

Daniel L.; Madaus, George și Kellaghan, Thomas (eds.), Evaluation models.

19
 Viewpoints on educational and human services evaluation. Second Edition, Kluwer
Academic Publishers, New York, pp. 235-247

15. Colton, David și Covert, Robert W. (2007), Designing and Constructing Instruments
for Social Research and Evaluation, Jossey-Bass, San Francisco

16. Corbetta, Piergiorgio (2003), Social Research. Theory, Methods and Techniques, Sage
Publications, London

17. Dahler-Larsen, Peter (2001), From Programme Theory to Constructivism: On Tragic,

Magic and Competing Programmes, în Evaluation, Vol. 7(3), 331-349

18. Danielson, Caroline (2007), Social Experiments and Public Policy, în Fischer, Frank;
Miller, Gerald J. și Sidney, Mara S. (eds.), Handbook of public policy analysis: theory,
politics, and methods, Taylor & Francis Group, Boca Raton, pp. 381 – 392

19. Davis, Otto A.; Dempster, Michael A.H. și Wildavsky, Aaron (1966), A theory of the
budgetary process, în The Political Science Review, Vol. 60(3), pp. 529-547

20. DeLeon, Peter și Vogenbeck, Danielle M. (2007), The Policy Sciences at the
Crossroads, în Fischer, Frank; Miller, Gerald J. și Sidney, Mara S. (eds.), Handbook of
public policy analysis: theory, politics, and methods, Taylor & Francis Group, Boca
Raton, pp. 3 – 14

21. Downs, Anthony (1965), Non Market Decision Making, A Theory of Bureaucracy, în
American Economic Review, Vol. 55(2), pp. 439-446

22. Fetterman, David (1997), Empowerment evaluation: A response to Patton and Scriven,
în Evaluation Practice, Vol. 18(3), format html

23. Fischer, Frank (1980): Politics, Values, and Public Policy. The Problem of
Methodology, Westview Press, Boulder

24. Fishman, Daniel B. (1992), Postmodernism comes to Program Evaluation: A critical

review of Guba and Lincoln’s Fourth Generation Evaluation, în Evaluation and
Program Planning, Vol. 15(3), pp. 263-270

25. Fitz-Gibbon, Carol Taylor și Morris, Lynn Lyons (1996), Theory-based evaluation, în
Evaluation Practice, Vol. 17(2), format html

26. Floc’Hlay, Beatrice și Plottu, Eric (1998), Democratic Evaluation. From

Empowerment Evaluation to Public Decision-Making, în Evaluation, Vol. 4(3), 261-
277

27. Florian, Bogdan și Hâncean, Marian-Gabriel (2009), Metode și instrumente de

evaluare a calității în învățământul superior, în Evaluarea programelor și politicilor
publice. Teorii, metode și practici, Cerkez, Mirela (coord.), Polirom, Iași, pp. 83-114

20
28. Geva-May, Iris şi Pal, Leslie A. (1999), Good Fences Make Good Neighbours: Policy
Evaluation and Policy Analysis – Exploring the Differences, în Evaluation, Vol. 5(3),
259-277

29. Geva-May, Iris și Thorngate, Warren (2003), Reducing Anxiety and Resistance in
Policy and Programme Evaluations, în Evaluation, Vol. 9(2), 205-207

30. Glass, Gene V. și Ellett, Frederick, S. (1980), Evaluation Research, în Annual Review
of Psychology, Vol. 31, pp. 211-228

31. Greene, Jennifer C. (1996), Qualitative Evaluation and Scientific Citizenship.

Reflections and Refractions, în Evaluation, Vol. 2(3), 277-289

32. Guba, Egon G. şi Lincoln, Yvonna S. (1989), Fourth Generation Evaluation, Sage,
Newbury Park

33. Hanberger, Anders (2001), What is the Policy Problem? Methodological Challenges in
Policy Evaluation, în Evaluation, Vol. 7(1), 45-62

34. Hanberger, Anders (2006), Evaluation of and for Democracy, în Evaluation, Vol.
12(1), 17-37

35. Hansen, Hanne Foss (2005), Choosing Evaluation Models: A Discussion on

Evaluation Design, în Evaluation, Vol. 11(4), 447-462

36. Henry, Gary T. (2002), Choosing Criteria to Judge Program Success. A values
Inquiry, în Evaluation, Vol. 8(2), 182-204

37. Hirschon Weiss, Carol (1999), The Interface between Evaluation and Public Policy, în
Evaluation, Vol. 5(4), 468-486

38. Hirschon Weiss, Carol și Birckmayer, Johanna (2006), Social Experimentation for
Public Policy, în Moran, Michael; Rein, Martin și Goodin, Robert E. (eds.), The
Oxford Handbook of Public Policy, Oxford University Press, New York, pp. 806 –
830

39. Hogwood, Brian W. și Gunn, Lewis A. (2000), Introducere în politicile publice, Trei,
București

40. House, Ernest R. şi Howe, Kenneth R. (1999), Values in evaluation and social
research, Sage Publications, Thousand Oaks

41. House, Ernest R. (1992), ’Relativist Evaluation’ [a review of Guba and Lincoln’s
Fourth Generation Evaluation], în Contemporary Psychology, Vol. 37(2), pp. 153-154

42. House, Ernest R. (2006), Democracy and Evaluation, în Evaluation, Vol. 12(1), 119-
127

21
43. Julnes, George; Mark, Melvin și Henry, Gary (1998), Promoting Realism in
Evaluation: Realistic Evaluation and the Broader Context, în Evaluation, Vol. 4(4),
483-504

44. Kaplan, Abraham (1973), On the Strategy of Social Planning, în Policy Sciences, Vol.
4(1), pp. 41-61

45. Karlsson, Ove (1996), A Critical Dialogue in Evaluation. How Can the Interaction
between Evaluation and Politics be Tackled?, în Evaluation, Vol. 2(4), 405-416

46. Karlsson, Ove (2001), Critical Dialogue: Its Value and Meaning, în Evaluation, Vol.
7(2), 211-227

47. Kautto, Petrus și Similä, Jurkka (2005), Recently Introduced Instruments and
Intervention Theories, în Evaluation, Vol. 11(1), 55-68

48. King, Gary; Keohane, Robert și Verba, Sidney (2000), Fundamentele cercetării
sociale, Polirom, Iași

49. King, Jean A. (2005), Participatory Evaluation, în Mathison, Sandra (ed.),

Encyclopedia of Evaluation, Sage Publications, Thousand Oaks, pp. 291-294

50. Krogstrup, Hanne Kathrine (1997), User participation in Quality Assessment. A

Dialogue and Learning Oriented Evaluation Method, în Evaluation, Vol. 3(2), 205-
224

51. Kuhn, Thomas S. (1976), Structura revoluțiilor științifice, Editura Științifică și

Enciclopedică, București

52. Kusek, Jody Z.; Rist, Ray C. și White, Elizabeth M. (2005), How will we know the
Millennium Development Goals results when we see them?: Building a results-based
monitoring and evaluation system to give us the answers, în Evaluation, Vol. 11(1),
pp. 7-26

53. Kusek, Jody Z. și Rist, Ray C. (2004), Ten steps to a results-based monitoring and
evaluation system: A handbook for development practitioners, The World Bank,
Washington, D.C. http://www.oecd.org/dataoecd/23/27/35281194.pdf - accesat la
11.08.2010

54. Kushner, Saville (1996), The Limits of Constructivism in Evaluation, în Evaluation,

Vol. 2(2), 189-200

55. Kushner, Saville (1997), Consumers and Heroes: A Critical Review of Some Recent
Writings of Michael Scriven, în Evaluation, Vol. 3(3), 363-374

56. Lay, Margaret și Papadopoulos (2007), An Exploration of Fourth Generation

Evaluation in Practice, în Evaluation, Vol. 13(4), 495-504

57. Lincoln, Yvonna S. (2005), Fourth-generation evaluation, în Mathison, S. (ed.),

Encyclopedia of evaluation, Sage, Thousand Oaks, pp. 161-164

22
58. Lincoln, Yvonna S. și Guba, Egon G. (1985), Naturalistic Inquiry, Sage, Beverly Hills

59. Lindblom, Charles E. (1958), Policy Analysis, în The American Economic Review,
Vol. 48(3), pp. 298-312

60. Lindblom, Charles E. (1959), The Science of Muddling Through, în Public

Administration Review, Vol. 19(2), pp. 79-88

61. Lindblom, Charles E. (1979), Still Muddling, Not Yet Through, în Public
Administration Review, Vol. 39(6), pp. 517-526

62. Madaus, George F. și Kellaghan, Thomas (2002), Models, Methaphors, and definitions
in evaluation, în Stufflebeam, Daniel L.; Madaus, George și Kellaghan, Thomas (eds.),
Evaluation models. Viewpoints on educational and human services evaluation. Second
Edition, Kluwer Academic Publishers, New York, pp. 19-31

63. Madaus, George F. și Stufflebeam, Daniel L. (2002), Program evaluation: a historical

overview, în Stufflebeam, Daniel L.; Madaus, George și Kellaghan, Thomas (eds.),
Evaluation models. Viewpoints on educational and human services evaluation. Second
Edition, Kluwer Academic Publishers, New York, pp. 3-18

64. March, James G. și Olsen, Johan P. (2006), The Logic of Appropriateness, în Moran,
Michael; Rein, Martin și Goodin, Robert E. (eds.), The Oxford Handbook of Public
Policy, Oxford University Press, New York, pp. 689 – 708

65. Marra, Mita (2004), The Contribution of Evaluation to Socialization and

Externalization of Tacit Knowledge. The Case of the World Bank, în Evaluation, Vol.
10(3), 263-283

66. Maynard, Rebecca (2000), Whether a Sociologist, Economist, Psychologist or Simply

a Skilled Evaluator. Lessons from Evaluation Practice in the United States, în
Evaluation, Vol. 6(4), 471-480

67. Miroiu, Adrian (2001), Introducere în analiza politicilor publice, Editura Punct,
Bucureşti

68. Moro, Giuseppe; Cassibba, Rosalinda și Constantini, Alessandro (2007), Focus

Groups as an Instrument to Define Evaluation Criteria: The Case of Foster Care, în
Evaluation, Vol. 13(3), 340-357

69. Neale, Jenny; Owen, John M. şi Small, Debbie (2003), Encouraging the use of codes
of behaviour in evaluation practice, în Evaluation and Program Planning, Vol. 26, 29-
36

70. Patton, Michael Quinn (1996), A world larger than formative and summative, în
Evaluation Practice, Vol. 17(2), format html

71. Patton, Michael Quinn (1997), Utilization-Focused Evaluation: The New Century
Text, ediția a treia, Sage Publications, Thousand Oaks

23
72. Patton, Michael Quinn (1998), Discovering Process Use, în Evaluation, Vol. 4(2),
225-233

73. Patton, Michael Quinn (2002), Feminist, Yes, but Is It Evaluation?, în New Directions
for Evaluation, Nr. 96, pp. 97-108

74. Patton, Michael Quinn (2002), Utilization-Focused Evaluation, în Stufflebeam, Daniel

L.; Madaus, George și Kellaghan, Thomas (eds.), Evaluation models. Viewpoints on
educational and human services evaluation. Second Edition, Kluwer Academic
Publishers, New York, pp. 422-438

75. Pawson, Ray (1996), Three Steps to Constructivist Heaven, în Evaluation, Vol. 2(2),
213-219

76. Pawson, Ray (2003), Nothing as Practical as a Good Theory, în Evaluation, Vol. 9(4),
471-490

77. Pawson, Ray și Tilley, Nick (2000), Realistic Evaluation, Sage Publications, London

78. Payne, Geoff și Payne, Judy (2004), Key Concepts in Social Research, Sage
Publications, London

79. Popper, Karl R. (1981), Logica cercetării, Editura Științifică și Enciclopedică,

București

80. Pülzl, Helga și Treib, Oliver (2007), Implementing Public Policy, în Fischer, Frank;
Miller, Gerald J. și Sidney, Mara S. (eds.), Handbook of Public Policy Analysis:
Theory, Politics and Methods, CRC Press, Boca Raton, pp. 89-107

81. Radaelli, Claudio M. şi Dente, Bruno (1996), Evaluation Strategies and Analysis of
the Policy Process, în Evaluation, Vol. 2 (1), 51-66

82. Radin, Beryl A. (2000), Beyond Machiavelli: Policy analysis comes of age,
Georgetown University Press, Washington DC

83. Rieper, Olaf (2004), Exploring Popper’s Relevance for the Evaluation Community, în
Evaluation, Vol. 10(1), 92-100

84. Rossi, Peter H. (1990), Foreword, în Chen, Huey-Tsyh, Theory-Driven Evaluation,

Sage Publications, Newbury Park, pp. 7-10

85. Rossi, Peter H. și Freeman, Howard E. (1989), Evaluation: A systematic approach,

ediția a patra, Sage Publications, Newbury Park

86. Sabatier, Paul A. și Jenkins-Smith, Hank C. (eds.) (1993), Policy change and learning:
An advocacy coalition approach, Westview Press, Boulder

24
87. Sadovnik, Alan R. (2007), Qualitative Research and Public Policy, în Fischer, Frank;
Miller, Gerald J. și Sidney, Mara S. (eds.), Handbook of public policy analysis: theory,
politics, and methods, Taylor & Francis Group, Boca Raton, pp. 417 – 427

88. Sanderson, Ian (2002), Evaluation, Policy Learning and Evidence-Based Policy
Making, în Public Administration, Vol. 80(1), pp. 1 – 22

89. Schneider Larason, Anne și Ingram, Helen (2007), Public Policy and Democratic
Citizenship: What Kinds of Citizenship Does Policy Promote, în Fischer, Frank;
Miller, Gerald J. și Sidney, Mara S. (eds.), Handbook of public policy analysis: theory,
politics, and methods, Taylor & Francis Group, Boca Raton, pp. 329-346

90. Schwandt, Thomas (2007), Expanding the conversation on evaluation ethics, în

Evaluation and Program Planning, Vol. 30, 400-403

91. Schwartz, Robert (1998), The Politics of Evaluation Reconsidered: A Comparative

Study of Israeli Programs, în Evaluation, Vol. 4(3), 294-309

92. Schweigert, Francis J. (2007), The priority of justice: A framework approach to ethics
in program evaluation, în Evaluation and Program Planning, Vol. 30, 394-399

93. Scriven, Michael (1994a), Product Evaluation – The State of the Art, în Evaluation
Practice, Vol. 15(1), pp. 45-62

94. Scriven, Michael (1994b), The Final Synthesis, în Evaluation Practice, Vol. 15, pp.
367-382

95. Scriven, Michael (1996), Types of evaluation and types of evaluator, în Evaluation
Practice, Vol. 17(2), format html

96. Scriven, Michael (1996), The Theory behind Practical Evaluation, în Evaluation, Vol.
2(4), 393-404

97. Scriven, Michael (1998), Minimalist theory: The least theory that practice requires, în
American Journal of Evaluation, Vol. 19(1), format html

98. Scriven, Michael (2002), Evaluation Ideologies, în Stufflebeam, Daniel L.; Madaus,
George și Kellaghan, Thomas (eds.), Evaluation models. Viewpoints on educational
and human services evaluation. Second Edition, Kluwer Academic Publishers, New
York, pp. 249-278

99. Seigart, Denise (2005), Feminist evaluation, în Mathison, Sandra (ed.), Encyclopedia
of Evaluation, Sage Publications, Thousand Oaks, pp. 154-157

100. Sen, Amartya (2004), Dezvoltarea ca libertate, Editura Economică, București

101. Shadish, William R. jr.; Cook, Thomas D. şi Leviton, Laura C. (1991),

Foundations of Program Evaluation. Theories of Practice, Sage, Newbury Park

25
102. Shadish, William R. (1998), Evaluation theory is who we are, în American
Journal of Evaluation, Vol. 19(1), format html

103. Shaw, Ian și Crompton, Amanda (2003), Theory, Like Mist on Spectacles,
Obscures Vision, în Evaluation, Vol. 9(2), 192-204

104. Shotland, Lance R. și Mark, Melvin, M. (1987), Improving Inferences from

Multiple Methods, în Mark, Melvin M. și Shotland, Lance R. (eds.), Multiple Methods
in Program Evaluation. New Directions for Program Evaluation, Jossey-Bass, San
Francisco, No. 35, pp. 77-94

105. Shue, Henry (2006), Ethical Dimensions of Public Policy, în Moran, Michael;
Rein, Martin și Goodin, Robert E. (eds.), The Oxford Handbook of Public Policy,
Oxford University Press, New York, pp. 709 - 728

106. Shulha, Lyn M. și Cousins, J. Bradley (1997), Evaluation use: Theory,

research, and practice since 1986, în Evaluation Practice, Vol. 18(3)

107. Simon, Herbert A. (1955), A Behavioral Model of Rational Choice, în The

Quarterly Journal of Economics, Vol. 69(1), pp. 99-118

108. Simons, Helen (2004), Utilizing Evaluation Evidence to Enhance Professional

Practice, în Evaluation, Vol. 10(4), 410-429

109. Smith, Adam (2008), Wealth of Nations, Oxford University Press, Oxford

110. Smith, Kevin B. (2006), Economic Techniques, în Moran, Michael; Rein,

Martin și Goodin, Robert E. (eds.), The Oxford Handbook of Public Policy, Oxford
University Press, New York, pp. 729 – 745

111. Somek, Bridgett H. și Lewin, Cathy (eds.) (2005), Research Methods in the
Social Sciences, Sage Publications, London

112. Stake, Robert E. (1970), Objectives, Priorities and other Judgment Data, în
Review of Educational Research, Vol. 40(2), pp. 181-212

113. Stake, Robert E. (2002), Program evaluation, particularly responsive

evaluation, în Stufflebeam, Daniel L.; Madaus, George și Kellaghan, Thomas (eds.),
Evaluation models. Viewpoints on educational and human services evaluation. Second
Edition, Kluwer Academic Publishers, New York, pp. 338-362

114. Stake, Robert E. (2006), Multiple Case Study Analysis, The Guilford Press,
New York

115. Stake, Robert E. (2010), Qualitative Research: Studying How Things Work,
The Guilford Press, New York

116. Stake, Robert E. și Migotsky, Christopher (1997), The evolving syntheses of

program value, în Evaluation Practice, Vol. 18(2), format html

26
117. Stame, Nicoletta (2006), Governance, Democracy and Evaluation, în
Evaluation, Vol. 12(1), 7-16

118. Stronach, Ian și MacLure, Maggie (1997), Educational research undone: The
postmodern embrace, Open University Press, Philadelphia

119. Stufflebeam, Daniel L. (2002), Foundational models for 21st century program
evaluation, în Stufflebeam, Daniel L.; Madaus, George și Kellaghan, Thomas (eds.),
Evaluation models. Viewpoints on educational and human services evaluation. Second
Edition, Kluwer Academic Publishers, New York, pp. 33-86

120. Stufflebeam, Daniel L. şi Shinkfield, Anthony J. (2007), Evaluation Theory,

Models, and Applications, Jossey-Bass, San Francisco

121. Suchman, Edward A. (1967), Evaluative research: Principles and practice in

public service and social action programme, Russell Sage Foundation, New York

122. Sullivan, Eileen și Segers, Mary (2007), Ethical Issues and Public Policy, în
Fischer, Frank; Miller, Gerald J. și Sidney, Mara S. (eds.), Handbook of public policy
analysis: theory, politics, and methods, Taylor & Francis Group, Boca Raton, pp. 309
– 327

123. Taut, Sandy și Brauns, Dieter (2003), Resistance to Evaluation. A

Psychological Perspective, în Evaluation, Vol. 9(3), 247-264

124. Torgerson, Douglas (2007), Promoting the Policy Orientation: Lasswell in

Context, în Fischer, Frank; Miller, Gerald J. și Sidney, Mara S. (eds.), Handbook of
public policy analysis: theory, politics, and methods, Taylor & Francis Group, Boca
Raton, pp. 15 – 28

125. Van Der Knaap, Peter (2004), Theory-based Evaluation and Learning:
Possibilities and Challenges, în Evaluation, Vol. 10(1), 16-34

126. Van Der Knaap, Peter (2006), Responsive Evaluation and Performance
Management: Overcoming the Downsides of Policy Objectives and Performance
Indicators, în Evaluation, Vol. 12(3), 278-293

127. Van Der Meer, Frans-Bauke (1999), Evaluation and the Social Construction of
Impacts, în Evaluation, Vol. 5(4), 387-406

128. VanderPlaat, Madine (1995), Beyond Technique: Issues in Evaluation for

Empowerment, în Evaluation, Vol. 1(1), pp. 81-96

129. Vedung, Evert (2005), Public Policy and Program Evaluation, Transaction
Publishers, New Brunswick

130. Virtanen, Petri și Uusikylä, Petri (2004), Exploring the Missing Links between
Cause and Effect: A Conceptual Framework for Understanding Micro-Macro
Conversions in Programme Evaluation, în Evaluation, Vol. 10(1), 77-91

27
131. Vlăsceanu, Lazăr (1982), Metodologia cercetării sociologice. Orientări și
probleme, Editura Științifică și Enciclopedică, București

132. Wagenaar, Hendrik (2007), Interpretation and Intention in Policy Analysis, în

Fischer, Frank; Miller, Gerald J. și Sidney, Mara S. (eds.), Handbook of public policy
analysis: theory, politics, and methods, Taylor & Francis Group, Boca Raton, pp. 429
– 441

133. Wagner, Peter (2007), Public Policy, Social Science, and the State: An
Historical Perspective, în Fischer, Frank; Miller, Gerald J. și Sidney, Mara S. (eds.),
Handbook of public policy analysis: theory, politics, and methods, Taylor & Francis
Group, Boca Raton, pp. 29 – 40

134. Weber, Max (1949) „Objectivity” in Social Science and Social Policy, în The
Methodology of the Social Sciences, Shils, Edward A. și Finch, Henry A. (eds.), The
Free Press, Glencoe

135. Weick, Karl E. (1979), Cognitive Processes in Organizations, în Research in

Organizational Behavior, Vol. 1(1), pp. 41-74

136. Weiss, Carol H. (1998), Have we learned anything new about tha use of
evaluation?, în American Journal of Evaluation, Vol. 19(1), pp. 21-33, format html

137. Wholey, Joseph S. (1996), Formative and summative evaluation: Related

issues in performance measurement, în Evaluation Practice, Vol. 17(2), format html

138. Wholey, Joseph S. (2001), Managing for results: Roles for evaluators in a new
management era, în American Journal of Evaluation, Vol. 22(3), pp. 343-347

139. Wholey, Joseph S. (2004), Evaluability assessment, în Wholey, Joseph S.;

Hatry, Harry P. și Newcomer, Katryn E. (eds.), Handbook of Practical Program
Evaluation, Jossey-Bass, San Francisco, pp. 33-62

140. Wholey, Joseph S. (2008), Improving performance and accountability:

Responding to emerging management challenges, în Donaldson, Stewart I. și Scriven,
Michael (eds.), Evaluating Social Programs and Problems. Visions for The New
Millennium, Taylor & Francis e-Library

141. Wholey, Joseph S.; Hatry, Harry P. și Newcomer, Katryn E. (eds.) (2004),
Handbook of Practical Program Evaluation, Jossey-Bass, San Francisco

142. Williams, David D. (1986), When is naturalistic evaluation appropriate?, în

Williams, David D. (ed.), Naturalistic Evaluation. New Directions for Program
Evaluation, Jossey-Bass, San Francisco, No. 30, pp. 85-101

143. Williams, Malcom și May, Tim (1996), Introduction to the Philosophy of

Social Research, UCL Press, Londra

28
 144. Wildavsky, Aaron (1969), Rescuing Policy Analysis form PPBS, în Public
Administration Review, Vol. 29(2), pp. 189-202

145. Wolff, Jonathan și Haubrich, Dirk (2006), Economism and its limits, în Moran,
Michael; Rein, Martin și Goodin, Robert E. (eds.), The Oxford Handbook of Public
Policy, Oxford University Press, New York, pp. 746 – 770

146. Wollmann, Hellmut (2007), Policy Evaluation and Evaluation Research, în

Fischer, Frank; Miller, Gerald J. și Sidney, Mara S. (eds.), Handbook of public policy
analysis: theory, politics, and methods, Taylor & Francis Group, Boca Raton, pp. 393
- 402

147. Yang, Kaifeng (2007), Quantitative Methods for Policy Analysis, în Fischer,
Frank; Miller, Gerald J. și Sidney, Mara S. (eds.), Handbook of public policy analysis:
theory, politics, and methods, Taylor & Francis Group, Boca Raton, pp. 349 – 367

148. Yanow, Dvora (1996), How Does a Policy Mean? Interpreting Policy and
Organizational Action, Georgetown University Press, Washington

149. Yanow, Dvora (2007), Qualitative – Interpretive Methods in Policy Research,

în Fischer, Frank; Miller, Gerald J. și Sidney, Mara S. (eds.), Handbook of public
policy analysis: theory, politics, and methods, Taylor & Francis Group, Boca Raton,
pp. 405 – 415

Resurse on-line:

www.jcsee.org/program-evaluation-standards - accesat la 15.09.2010

www.un.org/millenniumgoals - accesat la 10.08.2010

29