Sunteți pe pagina 1din 97

UNIVERSITATEA BABE-BOLYAI, CLUJ-NAPOCA

Centrul de formare continu, nvmnt la distan i cu frecven redus


Facultatea de tiine Politice, Administrative i ale Comunicrii
Specializarea: Administratie Publica- Master

CURS INTRODUCTIV DE EVALUAREA PROGRAMELOR

N ADMINISTRAIA PUBLIC

- nvmnt cu frecven redus -

Conf. Univ. Dr. Raluca ANTONIE

2015-2016

1
Cuprins

Curs introductiv de Evaluarea Programelor n Administraia Public

CUPRINS

Capitolul Titlul Pagina


Introducere 4
Obiectivele acestui curs 4
Modul n care este conceput cursul 5
Modul de abordare al cursului 5

I Noiuni teoretice ale Evalurii de programe 5


Obiectivele Capitolului I 8

I.1 Proiect, program, politic, performan 9


I.2 Evaluarea i Monitorizarea 12
I.3 Evaluare sumativ versus evaluare formativ 19
I.4 Evaluare reactiv versus evaluare prestabilit 21
I.5 Sisteme de evaluare: evaluare centralizat, evaluare descentralizat 24
I.6 Metode calitative de cercetare utilizate n evaluare 26
I.7 Metode cantitative de cercetare utilizate n evaluare 38
Rspunsuri i comentarii la ntrebrile din testele de autoevaluare 47
Bibliografia Capitolului 1 49

II Noiuni practice ale Evalurii de programe 52


Obiectivele Capitolului 2 52
II.1 Metode de evaluare a programelor (I): evaluarea proceselor,
evaluarea rezultatelor 52

Curs introductiv de Evaluarea Programelor n Administraia Public

2
Cuprins

II.2 Metode de evaluare a programelor (II): evaluarea nevoilor,


analiza SWOT, analiza cost-beneficiu 54
II.3 Modele de evaluare a programelor 56
II.4 Evaluarea impactului social, principii ale impactului social 66
II.5 Designul indicatorilor, indicatori de context, indicatori ai
programului, indicatori sociali, etc. 74
II.6 Etapele unei evaluri i principalele elemente legate de designul
unei evaluri 79
Rspunsuri i comentarii la ntrebrile din testele de autoevaluare 85
Bibliografia Capitolului II 87

Bibliografie general 88

Curs introductiv de Evaluarea Programelor n Administraia Public

3
Introducere

Curs introductiv de Evaluarea Programelor n Administraia Public

INTRODUCERE

Stimate Cursant,
nc de la nceput doresc s i urez bine ai venit la studiul cursului introductiv
despre Evaluare de programe n adminsitraia public! Acest curs este unul interactiv, iar
tipul de activiti ce vor fi abordate n cadrul cursului sunt diverse: de la aplicaii ale
noiunilor studiate n exerciii practice, la simulri legate de situaii concrete din sfera
administrativ. Vei avea libertatea de a-i gestiona singur, fr constrngeri, modalitatea
i timpul de parcurgere a cursului.

OBIECTIVELE CURSULUI
Principalele obiective ale Cursului introductiv de Evaluarea Programelor n

Administraia Public sunt:

Dup parcurgerea acestui curs, vei fi suficient de

pregtit pentru:
o s explici utilitatea evalurii de programe n administraia public
o s utilizezi o gndirea riguroas, tiinific
o s prezini principalele metode de evaluare
o s prezini etapele evalurii programelor
o punerea n practic a cunotinelor deprinse, necesare unui evaluator prin
intermediul unei aplicaii practice.

Curs introductiv de Evaluarea Programelor n Administraia Public

4
Introducere

MODUL N CARE ESTE CONCEPUT CURSUL

Cursul de Evaluarea programelor n administraia public este


organizat n dou teme majore. Prima tem este organizat n apte uniti specifice, iar
cea de-a doua, n ase astfel de uniti.
Trebuie menionat faptul c pe parcursul semestrului vor exista dou teste din
materia parcurs anterior testrii. Testele vor fi incluse n activitile de seminar i vor
cuprinde ntrebri gril (care vor viza explicarea unor concepte, exprimarea opiniei
despre unele concepte din perspectiva unor situaii concrete privind evaluarea, explicarea
unor legturi ntre conceptele / temele parcurse)
Resursele suplimentare de studiu constau n urmtoarele dou cri: Grboan,
Raluca - Metode i tehnici de evaluare: impactul social al programelor, Editura Accent,
Cluj Napoca, 2006 i andor, Sorin Dan, Analiz i cercetare n administraia public,
Accent, 2004.

MODUL DE ABORDARE AL CURSULUI

Dac din curiozitate ai rsfoit cursul, sunt sigur c ai


remarcat faptul c acesta are o structur i un mod de aezare n pagin diferit de modul

Curs introductiv de Evaluarea Programelor n Administraia Public

5
Noiuni teoretice ale Evalurii de programe

de organizare a unor cursuri universitare tradiionale. Conceptul care st la baza acestei


abordri a cursurilor este studiul individual activ, completat cu un dialog la distan cu
tutorele, dialog mediat de mijloace de comunicare bidirecionale.
Este util s rspunzi cu consecven la ntrebrile formulate n sarcinile de lucru,
imediat dup ce ai parcurs coninuturile tematice. n acest fel, i este mult mai uor s
sintetizezi materia parcurs i s te pregtiti pentru a rspunde la alte sarcini de lucru, la
lucrrile de verificare notate de tutore, precum i la evaluarea final. Rspunsurile la
aceste sarcini de lucru se gsesc la sfritul unitii de nvare respective, n seciunea
Rspunsuri i comentarii la teste de autoevaluare i sunt asociate unui simbol grafic.

Teste i teme de control


Pe parcursul semestrului vor exista dou teste din materia parcurs anterior testrii.
Testele vor fi incluse n activitile de seminar n sistem tutorial i vor cuprinde ntrebri
gril (care vor viza explicarea unor concepte, exprimarea opiniei despre unele concepte
din perspectiva unor situaii concrete privind evaluarea, explicarea unor legturi ntre
conceptele / temele parcurse).
Temele de control vor fi elaborate i predate de studeni pe parcursul semestrului (a se
consulta calendarul disciplinei). Vei putea alege din mai multe teme propuse de titularul
cursului, enunate mai jos, detaliate la ntlnirile fa n fa.
Tema de control 1 vei opta pentru una dintre cele patru propuneri de mai jos:
-Evaluarea programelor n contextul integrrii europene.
-Realizai designul unei evaluri, specificnd: elementele proiectului/programului, tipul,
metoda i modelul de evaluare.

Curs introductiv de Evaluarea Programelor n Administraia Public

6
Noiuni teoretice ale Evalurii de programe

-Benchmarking-ul.
-Evaluarea reactiv i cea prestabilit
Tema de control 2 vei opta pentru una dintre cele patru propuneri de mai jos:
-Evaluarea unui proiect.
-Evaluarea unui program.
-Metaevaluarea
-Evaluarea impactului unui proiect.

Curs introductiv de Evaluarea Programelor n Administraia Public

7
Capitolul 1

NOIUNI TEORETICE ALE EVALURII DE PROGRAME

Cuprins Pagina
Obiectivele Capitolului I 8

I.1 Proiect, program, politic, performan 9


I.2 Evaluarea i Monitorizarea 12
I.3 Evaluare sumativ versus evaluare formativ 19
I.4 Evaluare reactiv versus evaluare prestabilit 21
I.5 Sisteme de evaluare: evaluare centralizat, evaluare descentralizat 24
I.6 Metode calitative de cercetare utilizate n evaluare 26
I.7 Metode cantitative de cercetare utilizate n evaluare 38
Rspunsuri i comentarii la ntrebrile din testele de autoevaluare 47
Bibliografia Capitolului I 49

Curs introductiv de Evaluarea Programelor n Administraia Public

8
Noiuni teoretice ale Evalurii de programe

OBIECTIVELE Capitolului I
Principalele obiective ale Capitolului I sunt:
Cunoaterea diferitelor tipuri de evaluare;
Prezentarea etapelor evalurii;
Prezentarea relaiei dintre evaluare i management

I.1 Proiect, program, politic, performan

Evaluarea de programe explicitarea conceptelor

Studiul evalurii este relativ nou, ndeosebi n Romnia. Una dintre primele
nregistrri ale unei evaluri la nivel internaional este evaluarea eficacitii terapeutice a
sucului de lmie n rndul marinarilor realizat de marina britanic n secolul al
XVIII1-lea.

Materia prim a evalurii

Materia prim a evalurii este constituit din proiecte, programe i politici


publice. Proiectele reprezint unitatea cu gradul cel mai sczut de generalitate. Un
proiect este efortul organizat de a pune n practic o idee. Desigur, ne referim n acest
studiu mai ales la proiectele de dezvoltare socio-economic. Printre elementele eseniale
ale unui proiect se numr: scopul, obiectivele, actorii implicai (iniiatori, beneficiari
direci i indireci, finanatori, etc.) activitile, calendarul, resursele i efectele
multiplicatoare.

Curs introductiv de Evaluarea Programelor n Administraia Public

1
Eficacitatea sucului de lmie n combaterea scorbutului la marinari comandat de marina britanic n
secolul XVIII! Francezii pretind c au realizat prima cercetare de acest gen chiar mai devreme cd armatele
normande au realizat o evaluare privind eficacitatea relativ a diferitelor tipuri de arcuri n Models for the
evaluation of elearning, http://wiki.ossite.org/index.php?title=Models_for_the_evaluation_of_elearning

9
Noiuni teoretice ale Evalurii de programe

Proiectele pot fi iniiate i implementate de diferite entiti printre care: instituiile


administraiei publice, organizaiile non-guvernamentale i chiar firmele din sfera privat.
De regul proiectele reprezint punerea n aplicare a obiectivelor specifice ale unor
programe.
Programul este unitatea cu gradul de generalitate mai ridicat dect proiectul, ns
cu o structur asemntoare. Implementarea unui program se realizeaz prin
implementarea mai multor proiecte, care detaliaz i pun n aplicare unul sau mai multe
dintre obiectivele programului.
Politica public reprezint unitatea cu gradul cel mai ridicat de generalitate, ce
corespunde unei direcii strategice de aciune ntr-un anumit domeniu. Un exemplu de
politic public, specific administraiei publice din Romnia este dezvoltarea capacitii
administrative; un program subsecvent acestei politici este Modernizarea Administraiei
Publice Locale, iar unul dintre proiectele care pun n aplicare acest program este
Evaluarea Programelor n Administraia Public. Proiectul este impelmentat la nivelul
unei primrii i detaliaz i aplic unul dintre obiectivele programului: creterea
responsabilitii pentru cheltuirea banilor publici. Programele i proiectele pot fi finanate
de instituii ale administraiei publice centrale i locale, de organizaii internaionale
(Uniunea European, Banca Mondial, etc.), organizaii non-profit i alte entiti. De
obicei, finanatorul este cel interesat de rezultatele proiectului, de evaluarea ndeplinirii
obiectivelor propuse. n numeroase cazuri, instituiile publice co-finaneaz sau sunt
parteneri n proiectele de dezvoltare care afecteaz grupurile de oameni, comunitile din
raza lor de aciune.
Mai mult, un management performant presupune organizarea activitii
instituiilor publice pe baz de proiecte, pentru a fi mai uor administrat, mbuntit,
urmrit i verificat. Este o tendin susinut i ncurajat n ntreaga Uniune
European. Nevoia de evaluare n sistemul administrativ este n continu cretere.
Reforma administraiei publice, dezvoltarea capacitii administrative presupune
dezvoltarea capacittii de evaluare.

Curs introductiv de Evaluarea Programelor n Administraia Public

10
Noiuni teoretice ale Evalurii de programe

Aceasta poate fi realizat prin crearea unui cadru legislativ, a unei capaciti instituionale
i prin dezvoltarea resursei umane n domeniul evalurii.

Test de autoevaluare
Scriei rspunsurile n spaiile libere din chenar
Parcurgnd informaii referitoare la conceptele de proiect, program i politic, presupun
c ai reinut unele aspecte interesante.
a) Care este principala diferen dintre proiect i program?

b) Ce presupune conceptul de management performant?

Rspunsurile i comentarii la ntrebrile din testele de autoevaluare le vei gsi la sfritul


acestui Capitol.

Curs introductiv de Evaluarea Programelor n Administraia Public

11
Noiuni teoretice ale Evalurii de programe

I.2 Evaluarea i Monitorizarea

Definiii ale evalurii

Evaluarea proiectelor i programelor n administraia public este o etap


specific, extrem de util n planificarea i managementul proiectelor, o tehnic de
cercetare i un instrument pentru realizarea politicilor publice, utilizat cu succes de ctre
responsabili de managementul instituiilor i al organizaiilor, de coordonarea proiectelor
i a programelor derulate din fonduri publice sau private. nali funcionari publici,
politicieni, manageri, directori de instituii i organizaii, directori de programe i
coordonatori de proiecte utilizeaz diferite modele de evaluare pentru a sesiza, n timp
util, efectele interveniilor pe care le implementeaz sau intenioneaz s le
implementeze. Scopul este de a sesiza i a contracara la timp efectele nedorite asupra
grupurilor de oameni, comunitilor i societii, precum i pentru a ncuraja elementele
pozitive ale programelor i proiectelor. Mai mult, scopul implicit al evalurii este de a
colecta sistematic informaii despre rezultate, output si administrarea proiectelor pentru
mbuntirea implementrii i generarea unor decizii performante n viitor. Pe scurt,
diferitele modele de evaluare sunt utilizate pentru a minimiza pierderile i a maximiza
beneficiile interveniilor asupra grupurilor sociale de mici sau mari dimensiuni.
De-a lungul evoluiei sale, evaluarea a primit numeroase definiii. O sintez a
definiiilor evalurii date de diferite dicionare relev anumii termini-cheie:
determinarea meritului, a valorii, estimare, preuire etc. Evaluarea de proiecte sau
programe este strns legat de sensul acestor termeni, fr a se rezuma ns la ei. n
definiiile evalurii apar de asemenea ca o constant o serie de elemente legate de
metodologie.
n cartea sa despre Analiz i cercetare n administratia public, Dan andor
descrie sintetic faptul c evaluarea programelor se refer la o analiz sistematic pentru

Curs introductiv de Evaluarea Programelor n Administraia Public

12
Noiuni teoretice ale Evalurii de programe

a vedea msura n care proiectele i programele au fost implementate conform inteniilor


i i-au atins obiectivele.
Comisia European propune cinci criterii relevante n evaluare: relevan,
eficien, eficacitate, sustenabilitate i impact2. Pornind de la acestea, putem defini
evaluarea ca fiind procesul prin care, cu ajutorul unor metode i instrumente specifice,
putem msura gradul n care proiectele au obiective i rezultate relevante, resursele sunt
consumate economic, pentru a atinge obiectivele propuse, dac proiectul are anse de a
continua i dup ncheierea finanrii, msura n care activitile i ating grupul int i
dac impactul lor este resimit pe termen lung.

Figura 1 . Principalele criterii de evaluare

Impact
Context Nevoi,
socio- Probleme
economic
Rezultate

Program
Obiective Input Output

Evaluare
Relevan Eficienta

Eficacitate

Utilitate,
Sustenabilitate

Sursa: Tavistock Institute et all, The Evaluation of Socio-Economic Development: The


GUIDE, 2003

Curs introductiv de Evaluarea Programelor n Administraia Public

2
www.evalsed.info

13
Noiuni teoretice ale Evalurii de programe

Relevana se refer la msura n care programul analizat reuete s rspund


nevoilor reale ale actorilor implicai. De asemenea are n vedere eventualele schimbri
de context care ar putea avea ca rezultat anumite modificri n tipul nevoilor la care
programul ar trebui s se adreseze sau schimbri n ierarhia acestora. Un program este
relevant dac pe tot parcursul implementrii sale ine cont de aceste modificri de
context, are flexibilitatea necesar de a se replia de cte ori este necesar pentru a rspunde
nevoilor la care i propune s rspund. Iar un program devine irelevant n momentul n
care, pe parcursul existenei sale, eueaz n acoperirea nevoilor pe care-i propune s le
acopere sau le acoper n mod defectuos, raportat la planul iniial. Un aspect al relevanei
este i necesitatea ca anumite programe s fie susinute din bani publici. Care sunt aceste
programe? Care sunt motivele pentru care statul trebuie s se implice n implementarea
sa? Sectorul privat sau non-profit nu a reuit s acopere nevoile actorilor implicai? De
ce? Pentru a afla dac un program este relevant i n ce msur, trebuie apreciate toate
aceste elemente.

Eficacitatea are n vedere msura n care programele i ating obiectivele


propuse. De asemenea, gradul n care rezultatele proiectului corespund nevoilor
identificate n faza de design este o msur a eficacitii unui program.

Eficiena ia n calcul un aspect suplimentar, esenial n existena proiectelor i


programelor: cel financiar. Mai mult, eficiena are n vedere i urmtoarele aspecte:
Ar fi putut fi obinute aceleai rezultate cu mai puine resurse?
Sunt costurile unitare prea ridicate?
Chiar dac obiectivele sunt atinse, este proiectul/programul prea costisitor pentru
a putea fi continuat?

Curs introductiv de Evaluarea Programelor n Administraia Public

14
Noiuni teoretice ale Evalurii de programe

Impactul reprezint efectul net pe care un program l produce. Datorit


variabilelor externe, distorsionante, impactul unui proiect este greu de calculat cu
exactitate. Este greu s difereniezi efectul unui program ntr-un context socio-economic
este extrem de complex. Totui folosind metode adecvate este posibil, cu o marj de
eroare asumat s dm rspunsul la urmtoarele ntrebri:
Ce schimbri au rezultat n urma programului?
Exist alte beneficii ale programului, alturi de cele preconizate?
O alt accepiune a impactului este aceea n care impactul prezint efectele unui program
pe termen lung.

Sustenabilitatea se refer la continuitatea programului dup ntreruperea


finanrii din sursa iniial.
Efectele programelor sau programele nsele continu dup ncheierea
implementrii?
Pot fi identificate surse alternative de finanare?
Sustenabilitatea d, alturi de celelalte criterii msura performanei unui proiect sau
program.

Alturi de aceste criterii mai pot fi menionate i altele, la fel de importante pentru
aprecierea performanelor unui program. Cele la care ne vom referii n continuare sunt
echitatea i implicarea comunitii.
Echitatea se refer la aspecte precum: accesul la serviciile furnizate de proiect
indiferent de: vrst, sex, condiii materiale i sociale. De regul sunt promovate proiecte
care descurajeaz discriminarea de orice tip.

Participarea comunitii este un alt criteriu de care se ine cont n evaluarea


anumitor proiecte. Desigur, este vorba despre proiectele care permit aceasta.

Toate aceste criterii, alturi de altele pe care nu le-am menionat, dar care pot fi la fel de

Curs introductiv de Evaluarea Programelor n Administraia Public

15
Noiuni teoretice ale Evalurii de programe

importante, sunt utilizate n precesul de evaluare. ns, n funcie de programul sau


proiectul evaluat, se poate apela doar la o parte dintre acestea.

Pe lng luarea n considerare a ct mai multe dintre criteriile enumerate,


evaluarea ar trebui s fie analitic, sistematic, de ncredere, orientat pe probleme sau pe
utilizatori, in funcie de modelul de evaluare utilizat.

Cheia unei nelegeri corecte este diferena ntre sistematic i continuu din care
rezult diferena ntre evaluare (sistematic dar secvenial- realizat n anumite
momente din viaa unui program) i monitorizare (proces continuu de colectare a datelor
n timpul implementrii unui program). La fel trebuie neleas i definiia dat de N.C
Allum, M.W. Bauer, G. Gasgell - Quality, Quantity and Knowledge interests, Avoiding
confusion in Bauer and Gasgell, Qualitative research. Termenul de evaluare se refer
la activitatea de colectare, analiz i raportare sistematic a informaiilor care pot fi
utilizate pentru schimbarea atitudinilor i pentru mbuntirea unui proiect sau
program.(Allum, 2000: 3)
Sintetiznd, putem reliefa urmtoarele elementele eseniale ale unei evaluri:
Evaluarea este un instrument util n managementul politicilor, programelor i
proiectelor;
Implic aprecieri pe baza unor criterii;
Evaluarea este util n oricare dintre stadiile dezvoltrii unui program:
o n stadiul de design;
o nainte de implementare- evaluarea ex-ante;
o n timpul implementrii- evaluarea concomitent;
o Ulterior implementrii- evaluarea ex-post;
Evaluarea este un proces explicativ: pornete de la anumite ntrebri pentru care
gsete rspunsuri;

Curs introductiv de Evaluarea Programelor n Administraia Public

16
Noiuni teoretice ale Evalurii de programe

Este mai comprehensiv dect monitorizarea;


Evaluarea este o activitate sistematic i implic analize tiinifice (colectarea de
date, analiza lor, compararea lor pe baza anumitor criterii);
Evaluarea st la baza lurii unor decizii n legatur cu programul evaluat :
modificarea designului sau a modului de implementare. Deciziile se pot referi la
continuarea, modificarea sau chiar stoparea programului.
n opinia unuia dintre autorii clasici n domeniul evalurii, Michael Quinn Patton,
Evaluarea este colectarea sistematic de informaii despre activitile, caracteristicile i
rezultatele programelor pentru a fi utilizate de anumite personane cu scopul de a reduce
nesiguranele, pentru a spori eficacitatea i a lua deciziile oportune n legtur cu
programele respective( Michael Quinn Patton, 1997: 23). Aceast definiie, dac nu este
neleas adecvat poate produce confuzii. Cheia unei nelegeri corecte este diferena ntre
sistematic i continuu din care rezult diferena ntre evaluare (sistematic dar
secvenial- realizat n anumite momente din viaa unui program) i monitorizare
(proces continuu de colectare a datelor n timpul implementrii unui program).

Monitorizarea

Monitorizarea se refer la cuantificarea pe tot parcursul implementrii


proiectului sau programului a evoluiei privind atingerea obiectivelor, consumarea
resurselor, atingerea grupului int, cuantificarea sistematic a schimbrilor generate de
implementarea programului sau proiectului. n urma monitorizrii se poate sesiza n mod
permanent raportul input output, venituri-cheltuieli, activitti planificate- activiti
realizate, grup int propus-grup int atins, nregistrndu-se eventualele discordane.
Evaluarea explic de ce respectivele discordane exist (dac exist). Monitorizarea este
descriptiv, n timp ce evaluarea este explicativ. Legtura dintre monitorizare i
evaluare este foarte strns.

Curs introductiv de Evaluarea Programelor n Administraia Public

17
Noiuni teoretice ale Evalurii de programe

Evaluarea nu poate fi realizat (sau poate fi realizat extrem de dificil), dac nu


exist un sistem coerent de monitorizare. Acest sistem presupune de regul un set de
indicatori i un plan de monitorizare. De asemenea anumite resurse trebuie alocate
procesului de monitorizare. De obicei, resursele umane pentru monitorizare sunt
mobilizate din echipa de implementare a proiectului. Dar nu este exclus, mai ales n cazul
unor proiecte de mari dimensiuni, ca monitorizarea s fie asigurat de persoane
specializate din afara echipei de implementare a proiectului.

Test de autoevaluare
Scriei rspunsurile n spaiile libere din chenar
Parcurgnd informaii referitoare la conceptele de proiect, program i politic, presupun
c ai reinut unele aspecte interesante.
a) Care este principala diferen dintre evaluare i montorizare?

b) Enumerai criteriile de evaluare propuse de Comisia European.

Rspunsurile i comentarii la ntrebrile din testele de autoevaluare le vei gsi la sfritul


acestui Capitol.

Curs introductiv de Evaluarea Programelor n Administraia Public

18
Noiuni teoretice ale Evalurii de programe

I.3 Evaluare sumativ versus evaluare formativ

Exist numeroase criterii n functie de care putem clasifica tipurile de evaluare:


dup scopul evalurii, dup momentul de timp n care se desfoar evaluarea, dup
unitatea de analiz, dup poziia membrilor echipei de evaluare, etc.

Dup scopul evalurii:

a. Evaluarea sumativ, care analizeaz rezultatele la un anumit moment de


la nceperea programului cu scopul de a stabili performana programului i
de a estima valoarea sa
b. Evaluarea formativ se face de obicei n timpul implementrii (este o
evaluare intermediar) cu scopul de a analiza situaia i de a uura
mbuntirea programului.
Aceasta terminologie a fost utilizat pentru prima dat de Michael Scriven,
(1991), ulterior fiind preluat de toate sursele relevante n domeniu.
Robert Stake ofer n Standards-Based and Responsive Evaluation o definiie
extrem de sugestiv a evalurii sumative i formative: Cnd buctarul gust supa, este
evaluare formativ, iar cnd oaspeii gust supa, este evaluare sumativ (Robert Stake,
2003: 52).
Robert Stake, evaluator de programe educaionale n Statele Unite ale Americii n
perioada anilor 60-70, este unul dintre primii susintori ai metodelor calitative n
evaluarea programelor sociale. Stake percepe evaluarea ca serviciu i ca reflectare de
valori.

Curs introductiv de Evaluarea Programelor n Administraia Public

19
Noiuni teoretice ale Evalurii de programe

Test de autoevaluare
Scriei rspunsurile n spaiile libere din chenar
Parcurgnd informaii referitoare la conceptele de proiect, program i politic, presupun
c ai reinut unele aspecte interesante.
a) Oferii o definiie evalurii sumative i formative.

b) Care este principala diferen dintre cele dou tipuri de evaluri?

Rspunsurile i comentarii la ntrebrile din testele de autoevaluare le vei gsi la sfritul


acestui Capitol.

Curs introductiv de Evaluarea Programelor n Administraia Public

20
Noiuni teoretice ale Evalurii de programe

I.4 Evaluare reactiv versus evaluare prestabilit

Tot dup scopul evalurii la Stake se regsete i diferenierea ntre evaluarea


prestabilit, recunoscut prin: afirmarea obiectivelor, utilizarea testelor obiective,
utilizarea standardelor deinute de responsabilii programelor i a rapoartelor de tip
cercetare i evaluarea reactiv, caracterizat prin urmtoarele elemente:
Pune un accent mai mare asupra activitilor unui program, dect
asupra inteniilor sale.
Rspunde necesitilor publicului.
Perspectivele valorice ale actorilor sunt luate n considerare n
menionarea eecurilor i a succeselor unui program.
Termenul reactiv (provenit din relaia stimul rspuns) asociat procesului de
evaluare promoveaz ideea evaluatorului-stimul n contrast cu evaluatorul-rspuns. Unul
dintre principalele dezavantaje ale evalurii prestabilite este faptul c cercettorii
(tradiional cantitativiti) se concentreaz asupra unor variabile care nu pot fi controlate
de management, prin aceasta pierznd din utilitate. Stimulii standardizai generai de
evaluarea prestabilit s-au dovedit adesea mai puin relevani dect stimulii care apar
spontan n cadrul programului(cum ar fi reaciile actorilor, discuiile ulterioare
desfurrii unei activiti, etc.).
Cteva trsturi eseniale ale evalurii reactive sunt: accentul pus pe observaie i
flexibilitate, preferina pentru metodele calitative i accentul pe mbuntirea practicilor
locale.
Evaluarea reactiv are o serie de avantaje i dezavantaje. Printre avantaje se
numr: relevarea unor variabile importante ale programului, ncurajarea eforturilor de
schimbare ale celor implicai ntr-un program, ncurajarea creterii controlului local.
Totui, evaluarea prestabilit ar trebui preferat evalurii reactive atunci cnd este
important s tim dac anumite scopuri au fost atinse, dac anumite promisiuni au fost

Curs introductiv de Evaluarea Programelor n Administraia Public

21
Noiuni teoretice ale Evalurii de programe

inute i cnd urmeaz s fie investigate ipoteze sau aspecte predeterminate. ne putem
atepta ca msurtorile prestabilite s fie mai obiective i mai de ncredere. (Shadish Jr.,
Cook, Leviton 1999: 283) n concluzie, trebuie avute n vedere ambele tipuri de evaluare
n funcie de program.
Evaluarea reactiv are o serie de elemente comune cu evaluarea formativ, n
timp ce evaluarea prestabilit se suprapune parial evalurii sumative3.
Tabelul 1. Puncte comune ntre evaluarea reactiv i formativ pe de o parte i evaluarea
prestabilit i sumativ pe de alt parte
Evaluarea Flexibilitatea metodologic Evaluarea
reactiv Preferina pentru metode calitative formativ
Concentrarea pe activiti
Accentul pe mbuntirea practicilor
Se realizeaz de regul pe parcursul unui
program
Evaluarea Preferina pentru metode cantitative Evaluarea
prestabilit Concentrarea pe obiective i pe gradul de sumativ
realizare a acestora
Se realizeaz, de obicei, la finalul unui
program

Caracterizat de anumii critici ca fiind atractiv superficial (Shadish Jr., Cook,


Leviton 1999: 317), distincia reactiv-prestabilit rmne valabil n teoria evalurii,
deoarece elucideaz anumite aspecte ale procesului de evaluare care, neconceptualizate
rmn n penumbr: importana flexibilitii metodologice, utilitatea metodelor calitative,
accentul care trebuie pus i pe activiti, nu numai pe obiective etc.
Ambele sunt considerate relevante i utile pentru sectorul public.

Curs introductiv de Evaluarea Programelor n Administraia Public

3
Este vorba de conceptele promovate de Michael Scriven.

22
Noiuni teoretice ale Evalurii de programe

Test de autoevaluare
Scriei rspunsurile n spaiile libere din chenar
Parcurgnd informaii referitoare la conceptele de proiect, program i politic, presupun
c ai reinut unele aspecte interesante.
a) Enumerai 3 puncte comune ale evalurii reactive cu cea formativ.

b) Enumerai 3 puncte comune ale evalurii prestabilit cu cea sumativ.

Rspunsurile i comentarii la ntrebrile din testele de autoevaluare le vei gsi la sfritul


acestui Capitol.

Curs introductiv de Evaluarea Programelor n Administraia Public

23
Noiuni teoretice ale Evalurii de programe

I.5 Sisteme de evaluare: evaluare centralizat,

evaluare descentralizat
Problema care se ridic n cazul sistemelor de evaluare este un loc comun n
problematica administraiei publice: care este nivelul optim de
centralizare/descentralizare n activitatea de evaluare a programelor. Ca i n cazul
serviciilor publice, exist avantaje i dezavantaje, fie c se opteaz pentru centralizare,
fie c se alege descentralizarea ca model de organizare a sistemului de evaluare a
programelor n Romnia. n timp ce o centralizare excesiv imprim lips de flexibilitate
i induce lipsa discreiei administrative, descentralizarea poate atrage dup sine lipsa
coerenei, utilizarea deficitar a metodologiei, etc. Din acest motiv se opteaz de cele mai
multe ori pentru o soluie intermediar: nici centralizare, dar nici descentralizare
excesiv. O atenie deosebit trebuie acordat nevoilor fiecrui domeniu de activitate.
Chiar dac iniial dezvoltarea unui sistem de evaluare este legat de un anumit minister,
ulterior, trebuie analizat nevoia de evaluare i la nivelul celorlalte ministere. Mai mult,
dei o atenie deosebit va fi acordat evalurii programelor cu finanare european
(PHARE, SAPARD, Fonduri Structurale, etc), nu trebuie ignorate i celelalte programe
finanate din surse interne, dar i din alte surse externe. Sistemul de evaluare va ctiga
astfel n complexitate.
Irlanda este un exemplu n care au fost ncercate ambele modele. Modelul
centralizat a fost adoptat n intervalul 2000-2006. Activitatea de evaluare a fost
organizat i coordonat de ctre Unitatea de Evaluare a Ministerului Finanelor. n acest
interval s-a asigurat o concentrare a eforturilor de evaluare pe programele operaionale. A
fost o abordare consecvent i s-au semnalat costuri reduse. Un alt avantaj al sistemului
centralizat de evaluare este faptul c Unitatea de Evaluare e exterioar Autoritii de
Management care implementeaz programul operaional respectiv. Modelul
descentralizat a fost implementat n intervalul 1994-1999. Evaluarea reprezent n

Curs introductiv de Evaluarea Programelor n Administraia Public

24
Noiuni teoretice ale Evalurii de programe

aceast perioad responsabilitatea fiecrei Autoriti de Management responsabile cu un


Program Operaional. i aceast abordare are o serie de avantaje: permite Autoritilor de
Management s conceap evalurile conform propriilor nevoi, iar acestea pot apela la
Unitatea Central de Evaluare pentru expertiz tehnic.
Modelul propus pentru Romnia de ctre specialitii din Unitatea Central de
Evaluare pentru perioada 2007-2013 este o combinaie ntre modelul centralizat i cel
descentralizat.

Test de autoevaluare
Scriei rspunsurile n spaiile libere din chenar
Parcurgnd informaii referitoare la conceptele de proiect, program i politic, presupun
c ai reinut unele aspecte interesante.
a) Oferii cte un avantaj pentru cele dou tipuri de evaluare.

b) Care este modelul de evaluare propus pentru Romnia?

Rspunsurile i comentarii la ntrebrile din testele de autoevaluare le vei gsi la sfritul


acestui Capitol.

Curs introductiv de Evaluarea Programelor n Administraia Public

25
Noiuni teoretice ale Evalurii de programe

I.6 Metode calitative de cercetare utilizate n evaluare


Selectarea unei metodologii pentru evaluarea unui proiect sau a unui program i
pune amprenta asupra ntregului proces de evaluare. De cele mai multe ori, selecia se
fcea din rndul metodelor cantitative. Recent cercettorii metodelor de evaluare au
observat anumite limitri ale tehnicilor cantitative privind rspunsul care trebuia dat
anumitor ntrebri de evaluare. Tendina actual este de a combina cele dou abordri
metodologice. Metodele calitative de colectare a datelor la care m refer cu predilecie
sunt: interviurile individuale, observaia participativ i analiza documentelor. Toate
acestea particip uneori la constructia unui studiu de caz.

Utilizarea metodelor calitative n evaluarea de programe

Prin utilizarea metodelor calitative n evaluarea de programe, se obin o serie de


descrieri ale organizrii i funcionrii programului, ale experienelor pe care le au cei
implicai n program. Scopul acestor descrieri este oferirea unei imagini despre programul
respectiv. Prin utilizarea metodelor calitative se ncearc gsirea unui rspuns la
urmtoarele tipuri de ntrebri:
1. Cum funcioneaz programul?
2. Care este perspective participanilor n programul respective? Ct sunt ei de
mulumii cu desfurarea sau cu rezultatele programului? Care este rolul fiecrui
actor implicat? Care sunt principalele nemulumiri i care sunt cauzele acestora?
3. Cum s-au desfurat anumite activiti ale programului?
Se urmrete descrierea tuturor aspectelor care pot fi relevante pentru nelegerea
unui program.
Din totalitatea informaiilor colectate prin interviuri, studii de caz, observaii de
teren, vor fi ulterior selectate pentru raportul de evaluare acele informaii care ofer un
rspuns pentru ntrebrile evalurii.

Curs introductiv de Evaluarea Programelor n Administraia Public

26
Noiuni teoretice ale Evalurii de programe

Observaia
Observaia este o metod cu multiple avantaje n evaluarea de proiecte. Caracterul
su non-invaziv este esenial n obinerea unor informaii nedistorsionate, spre deosebire
de cele obinute prin interviu sau prin sondajul de opinie unde efectul de dezirabilitate
social este mai pregnant.
Evaluatorul poate realiza observaia i poate beneficia de informaiile culese prin
aceast metod n cursul participrii n implementarea unui proiect, cu ocazia ntlnirilor
i interaciunilor ocazionate de derularea proiectului. Datele astfel obinute trebuie notate
imediat, nregistrrile fiind indicat s fie fcute ntr-un jurnal de observaie care urmeaz
a fi analizat ulterior. Acest tip de date pot fi extrem de utile n evalurile de proces. De
asemenea, evaluatorul poate colecta o serie de date prin analiza activitilor specifice
unui program. n cursul interaciunilor cotidiene, un numr de detalii aparent
nesemnificative se pot dovedi ulterior ca fiind eseniale. Ele pot atrage atenia
evaluatorului asupra unor aspecte care urmeaz a fi analizate formal ulterior. De
exemplu, dac n cazul evalurii activitii unui centru de zi pentru copii provenii din
familii defavorizare, evaluatorul observ materialele didactice care se presupune c sunt
utilizate zilnic n stare perfect (neatinse, neuzate) i poate pune ntrebri n legtur cu
utilizarea efectiv a materialelor in timpul activitilor zilnice. Dac, n aceeai situaie,
evaluatorul observ o atitudine de mirare a copiilor care intr n sala de mese la vederea
fructelor i a feelor de mas, evaluatorul poate investiga ulterior condiiile n care copii
iau masa de obicei, precum i dac sunt hrnii corespunztor.
n evaluarea programelor observaia nu este folosit la adevrata sa valoare. O
prim cauz este explicarea problemelor prin cauze sociale sau economice (de genul:
srcia este datorat situaiei economice generale, salariilor mici, educaiei reduse,
provenienei dintr-o familie cu mijloace reduse, etc.). n anumite cazuri astfel de
explicaii nu sunt suficiente, comportamentul putnd fi cauza real, iar pentru studiul
comportamentelor observaia este cea mai bun metod.

Curs introductiv de Evaluarea Programelor n Administraia Public

27
Noiuni teoretice ale Evalurii de programe

O a doua cauz este costul n timp i for de munc pentru a face suficiente
observaii referitoare la un grup mare de oameni sau la o comunitate. Cercetrile
efectuate pe astfel de teme dureaz perioade mari de timp, exact ceea ce lipsete de obicei
ntr-o evaluare. Ca s dm un exemplu, cercetarea unui clasic al observaiei, William
Foot Whyte, Street Corner Society: The Social Structure of an Italian Slum (1943) a
durat 5 ani!

Interviul individual

Interviul individual este cel mai adesea utilizat in evaluarea unor programe de
mici dimensiuni, cnd sunt implicai un numr relativ restrns de indivizi-cheie n
implementarea unui program. Cnd utilizeaz acest tip de interviu, evaluatorul urmrete
fie clarificarea modului de funcionare a programului, fie determinarea unor soluii pentru
realizarea de schimbri n modul de funcionare (Chen, 2005: 79). Interviul individual
este o ncercare de a obine informaii pentru evaluarea unui program prin intermediul
unor ntrebri i rspunsuri din cadrul unor convorbiri ntre evaluator i participanii ntr-
un anumit program.

La baza interviului, fie c este individual, fie c este de grup, st un ghid de


interviu care precizeaz mai mult sau mai puin exact ntrebrile care urmeaz a fi
utilizate n cursul interviului. Spre exemplu, pentru evaluarea unui program al crui
obiect l constituie un Centru de Zi pentru educarea copiilor precolari provenii din
familii defavorizate, putem recurge la un interviu semi-structurat. Interlocutorii vor fi
prinii copiilor-beneficiari direci ai programului. n acest caz, putem utiliza urmtorul
ghid de interviu:

Curs introductiv de Evaluarea Programelor n Administraia Public

28
Noiuni teoretice ale Evalurii de programe

Ghid de interviu utilizat n evaluare:

Ghid de interviu pentru evaluarea Centrului de Zi pentru educarea copiilor precolari


provenii din familii defavorizate

Vrsta interlocutorului ____________


Sexul interlocutorului_____________
Data _____________________________

Bun ziua, numele meu este ____________.


Scopul acestui interviu este s aflm prerea dumneavoastr despre acest CZ unde
v aducei zilnic copilul. Sunt interesat n special de problemele pe care le-ai ntmpinat
i de recomandrile pe care le avei.
Dac suntei de acord, voi nregistra aceast convorbire, pentru a putea evita orice
denaturare a conversaiei noastre. Tot ce vom vorbi aici rmne confidenial, doar un
rezumat al prerilor tuturor persoanelor implicate n program, fr referin la numele
acestora, va fi fcut public.
Pentru nceput v rog s ne spunei dac avei vreun copil care frecventeaz
centrul de zi i dac da, cum a fost ales copilul dvs. pentru programul Centrului de Zi?
(Not: n funcie de rspuns se pot adresa alte ntrebri pentru clarificare).
Avei cunotin s fi existat probleme n selecia participanilor n program?
(Not: dac da, se continu cu ntrebri cum ar fi: Care au fost acestea?, tii de ce au
aprut?, Cum au fost rezolvate? Sau Ce sugestii avei pentru rezolvarea unor astfel de
probleme?).
Ct de mulumit suntei de serviciile oferite? (Not: se poate continua cernd
detalii despre serviciile la care se refer, i poate fi utilizat o scal de la 1 la 10 pentru
evaluarea fiecrui serviciu).

Curs introductiv de Evaluarea Programelor n Administraia Public

29
Noiuni teoretice ale Evalurii de programe

Care este programul zilnic al copiilor? (Not: dup ce se primete rspunsul se


poate continua cu ntrebri cum ar fi: Cum ai aprecia prestaia educatorilor?, Cum
apreciai comportamentul personalului auxiliar?).
Cum colaborai cu personalul angajat al Centrului de Zi? (Not: se vor cere
detalii i explicaii; se poate continua seria ntrebrilor cu: Ai participat la edintele cu
prinii? Ct de des? Dar la serbri? Ce alte activiti implic participarea
dumneavoastr?).
Ce credei c nu este bun n programul centrului de zi? Not: se vor cere detalii
i explicai; se poate continua cu ntrebarea Care sunt soluiile pe care le propunei
pentru eventualele probleme?
Care ar fi elementele pozitive ale acestui program? De ce credei acest lucru?
(Not: se va insista pe explicarea motivelor pentru care acestea au fost menionate).
Dac ai mai avea un copil ntre 3 i 6 ani l-ai nscrie la Centrul de Zi?
Ce prere avei despre ntregul program? (Not: se va insista pe aspectele care
nu au aprut mai devreme n discuie).
Ce alte lucruri ar merita tiute despre program? (Not: se vor cere detalii i
explicaii).

Focus grupul (FG)

FG este un interviu structurat aplicat asupra unui grup special constituit cu ocazia
interviului. Se folosete mult n domeniul marketingului, n care se urmrete aflarea
opiniilor despre anumite produse sau servicii i pentru a completa anumite cercetri
sociologice (pentru triangulare). O variant este cea n care sunt convocai experi
(metoda Delphi), n care se urmrete ajungerea la o soluie sau la evaluarea unor situaii.

Principalul scop al FG este surprinderea ct mai detaliat a atitudinilor,


credinelor, sentimentelor, experienelor i reaciilor respondenilor ntr-o manier mai
puin specific celorlalte metode calitative de cercetare fie c este vorba de observaie,

Curs introductiv de Evaluarea Programelor n Administraia Public

30
Noiuni teoretice ale Evalurii de programe

interviu individual sau studiu de caz). Particularitatea FG este interaciunea.


n comparaie cu interviul individual, care intenioneaz cunoaterea atitudinilor
individuale, FG agreg o multitudine de perspective i procese emoionale ntr-un context
de grup.
Fa de observaie, FG poate furniza o cantitate mai mare de informaii ntr-o
perioad mai scurt de timp, economisind astfel resurse (timp, bani, personal). n timp ce
n cadrul observaiei cercettorul asteapt ca lucrurile sa se ntmple, n cadrul FG el
conduce direcia investigaiei n sensul dorit, prestabilit prin ghidul de FG. n acest sens,
FG nu este un eveniment spontan, ci organizat.
FG poate fi utilizat n etapele preliminare sau exploratorii ale unei evaluri, n
timpul acesteia, pentru a valida opiniile obtinute n interviurile individuale, i informaiile
provenite din studiul documentelor sau ulterior implementrii unui program pentru a
evalua impactul sau pentru a da noi direcii de evaluare. FG poate fi utilizat ca metod de
evaluare de preferin n combinaie cu alte metode de cercetare pentru verificarea
validitii evalurii.
Organizarea interviurilor FG necesit mai multe resurse i o mai bun planificare
dect celelalte tipuri de interviu. Selectarea participanilor, pregtirea i adunarea lor n
locuri dotate cu toate dispozitivele tehnice necesare ia de obicei mult timp.
Numrul recomandat de persoane participante la FG este de obicei ntre ase i
zece (MacIntosh, 1981), ns anumii cercettori utilizeaz pn la 15 persoane (Goss,
1996), pe cnd alii se opresc la patru (Kitzinger, 1995). Numrul grupurilor variaz
deasemenea, mergndu-se de la cte o ntlnire cu cele cteva grupuri formate, (Burgess
1996), la mai multe ntlniri cu un singur grup pan la mai multe intlniri cu mai multe
grupuri.
FG dureaz de obicei ntre o or si dou ore.
Sunt preferate locaiile neutre pentru a evita orice tip de dezirabilitate i asocierile
cu influenele pozitive i negative pe care le-ar putea genera un anumit context. Dealtfel,
FG utilizate pentru evaluarea unui program pot fi organizate ntr-o varietate de locuri: sli
nchiriate, sli de edin (n care, eventual, subiecii ca grup pre-determinat se ntlnesc

Curs introductiv de Evaluarea Programelor n Administraia Public

31
Noiuni teoretice ale Evalurii de programe

i cu alte ocazii, n timpul implementrii programului) etc.


Selecia participanilor pentru FG nu este nici ea un proces simplu. Dac un grup
e prea eterogen, sub aspectul genului sau al categoriei sociale sau ocupaionale,
diferenele dintre participani pot avea un impact considerabil asupra contribuiilor
acestora n cadrul FG. Deasemenea, dac un grup e omogen din perspectiva anumitor
caracteristici, diverse opinii sau experiene ar putea fi omise. (Morgan 1988).
Odat ce profilul participanilor a fost stabilit, urmtoarea provocare e
reprezentat de localizarea lor. Recrutarea participanilor poate necesita timp, mai ales
dac tema n discuie nu prezint beneficii imediate sau nu este ntr-un alt fel atractiv
pentru participani. Acesta nu este ns cazul n evaluarea de programe, mai ales atunci
cnd prin FG se testeaz satisfacia beneficiarilor fa de un anumit program, sau in
cazurile n care, programele sunt susinute de ctre anumii finanatori, iar actorii
implicai i-au asumat obligaia transparenei.
Odat ce ntlnirea a fost stabilit, rolul moderatorului devine esenial. El ofer
informaii i explicaii clare n legatur cu scopul ntlnirii, i ajut pe participani s se
simt n largul lor i nlesnete interaciunea dintre ei. n timpul ntlnirii moderatorul
trebuie s anime dezbaterea prin ntrebri deschise, prin provocarea participanilor la a-i
exprima opiniile. Rolul moderatorului se refer i la concentrarea continu a ateniei
participanilor asupra subiectului. De asemenea, moderatorul trebuie s asigure fiecrui
participant ansa de a interveni i n acelai timp, moderatorii trebuie s evite
manifestarea propriilor opinii (Kreuger 1988), pentru a nu influena anumii participani.
Moderatorul trebuie s posede caliti deosebite de comunicare interpersonal, s
fie un bun asculttor neprejudiciat i adaptabil. Astfel va fi ncurajat un dialog deschis,
interactiv, eficient.
Nivelul controlului impus de moderatori depinde de tipul proiectului, de tipul i
scopul evalurii. Dac sunt implicai doi sau mai muli moderatori trebuie s existe un
acord prealabil n legtur cu aportul fiecruia. E recomandabil ca unul dintre moderatori
s supervizeze interaciunea grupului, iar celalalt s ia notie n legtur cu aspecte ale
discuiei care nu pot fi nregistrate, precum i cu opinii sau reacii care trebuie clarificate

Curs introductiv de Evaluarea Programelor n Administraia Public

32
Noiuni teoretice ale Evalurii de programe

ulterior.
n evaluarea de programe, metoda poate fi folosit n urmtoarele scopuri:
1. S nelegem de ce a aprut o anumit problem n mediul din care sunt
selectai participanii i n ce msur programul respectiv o acoper;
2. Pentru identificarea nevoilor recunoscute, dar i a celor latente i a
satisfaciei fat de modul n care programul rspunde la ateptrile lor;
3. Gsirea unor posibile soluii pentru eventualele probleme ale programului;
4. Pentru a afla posibilele reacii fa de anumite soluii propuse de diferiii
actori implicai in program;
5. Aflarea atitudinilor fa de anumite instituii sau programe sau a ncrederii
n acestea.

n evaluarea unui program, pot fi utilizate mai multe focus grupuri, rezultatele
fiind ulterior corelate. Este chiar recomandabil ca n momentul n care avem de a face cu
grupuri eterogene pe care vrem s le studiem, s construim mai multe focus grupuri. Este
bine s evitm s reunim n acelai grup efii i subordonaii, persoane cu mai mult
educaie i persoane mai slab educate, etc. pentru c difer modul n care se pun
problemele, exist sentimente de team sau respect care pot mpiedica prezentarea unor
puncte de vedere. De asemenea, populaia studiat poate fi mprit i pe faete ale
problemei studiate. De exemplu, dac dorim s vorbim despre educaia contraceptiv n
rndul tineretului ar fi bine s vorbim separat cu bieii i fetele.

Metodele de colectare a informaiei cel mai des ntlnite n cazul evalurii


programelor, precum i tipul de informaii obinute pot fi descrise astfel:

Curs introductiv de Evaluarea Programelor n Administraia Public

33
Noiuni teoretice ale Evalurii de programe

Tabelul 2. Metode de colectare a informaiei


Surse de date Descriere Informaii obinute
Arhive: Date deja existente aflate n Date cantitative care ne ajut s
- Recensmnt arhivele instituiilor publice aflm care este starea actual
- Indicatori sau private de fapt; pot aprea i indicaii
statistici ale unor anumite nevoi

- Baze de date ale


instituiilor
- Alte cercetri
Comunicare non- Aceste tehnici utilizeaz forme Date calitative: valori,
interactiv: sau protocoale structurate, o percepii, opinii, observaii,
- Sondaje de varietate de scale i de judeci de valoare
opinie modaliti de rspuns
- Surse cheie
- Tehnica
incidentului critic
- Grup Delphi
Comunicare Aceste tehnici presupun un Date n principal calitative:
interactiv: numr mai mic sau mai mare opinii, judeci ca expert;
- Forumuri de persoane implicate n percepii i perspective de grup,
ceteneti diferite grade de interaciune valori i importan a nevoilor;
- Tehnica grupului Consens asupra scopurilor sau
nominal aciunilor;
- Focus grupuri Informaie asupra cauzelor;
Decizii asupra prioritilor
Sursa : Adaptare dup Belle Ruth Witkin, James W. Altschuld, (1995) Planning
and Conducting Needs Assessments. A Pratical Guide, Sage Publications, p. 48 n
andor, Sorin Dan (2005) Analiz i cercetare, Cluj-Napoca, Accent, p.54

Curs introductiv de Evaluarea Programelor n Administraia Public

34
Noiuni teoretice ale Evalurii de programe

n practic se folosesc cel mai des sondajele de opinie n rndul beneficiarilor,


acestea fiind percepute ca fiind mai profesionale i mai uor de administrat. Din pcate
instrumentul folosit, chestionarul, este lipsit de finee i rezultatele obinute nu sunt
ntotdeauna cele mai bune. De asemenea, este greu s surprinzi nevoile latente (care nu
au fost contientizate nc) printr-un sondaj.
De aceea este preferabil ca n limita timpului, a banilor i a personalului pe care le
avem la dispoziie s ncercm s mbinm ct mai bine ct mai multe dintre metodele
menionate mai sus.

Analiza documentelor

Analiza documentelor este sursa de informaii cel mai adesea exploatat de ctre
evaluatori mai ales din motive de economie de resurse: timp, bani, personal. n cadrul
procesului de evaluare, analiza documentelor se poate referi la analiza rapoartelor,
evidentelor contabile i nu numai, a planurilor anuale, a tuturor detaliilor legate de un
anumit proiect sau program. Proveniena documentelor poate fi divers: organizaia
finanatoare, implementatoare, contractant sau subcontractant.
Marele avantaj este faptul c datele sunt deja adunate, nu mai este necesar
organizarea unui sondaj de opinie, sau a altor metode de colectare a datelor.
Una dintre problemele care apar n cazul utilizrii metode de analiz a
documentelor este faptul c ele nu conin ntotdeauna totalitatea informaiilor necesare
legate de rezultatele unui proiect sau program. Tocmai de aceea, n cadrul unui proces de
evaluare, este necesar utilizarea mai multor metode de colectare a datelor. Informaiile
obinute din analiza de documente pot fi completate prin utilizarea interviului, observaiei
i chiar a chestionarului acolo unde este necesar.
Documentele unui program trebuie privite critic, din punctul de vedere al
informaiei coninute. O atenie deosebit trebuie acordat att cantitii informaiei, ct i
calitii acesteia. Harry P. Hatry ofer o clasificare a principalelor probleme care pot

Curs introductiv de Evaluarea Programelor n Administraia Public

35
Noiuni teoretice ale Evalurii de programe

aprea n procesul de analiz a documentelor i a metodelor de ameliorare a acestora


(Tabelul 3).
Tabelul 3. Clasificarea principalelor probleme care pot aprea n procesul de
analiz a documentelor i a modalitilor de ameliorare a acestora
Problema Modaliti de ameliorare
1. Date lips sau Cercetarea documentaiei conexe
incomplete Intervievarea personalului implicat n program
pentru acoperirea a ct mai multe lipsuri.
Reevaluarea obiectivelor i inteniilor evalurii
(eventuala modificare sau anulare a unora dintre
ele)
Excluderea datelor lips sau estimarea ct mai
exact a valorilor lips
2. Date disponibile ntr-o Cercetarea nregistrrii datelor, dac acestea exist
form extrem de i sunt disponibile
agregat Realizarea unor colecii de date noi, originale
Renunarea la datele detaliate care nu sunt
disponibile
3. Date care nu sunt Realizarea , acolo unde este posibil, a operaiilor
comparabile prin care datele pot deveni comparabile
Concentrarea ateniei asupra procentelor i mai
puin asupra valorilor absolute.
Renunarea la aceste date, atunci cnd problema
este insurmontabil.
Sursa: Joseph S. Wholey (Editor), Harry P. Hatry (Editor) i Kathryn E. Newcomer
(Editor) (2005), Handbook of Practical Program Evaluation 2nd Edition, p.398

Curs introductiv de Evaluarea Programelor n Administraia Public

36
Noiuni teoretice ale Evalurii de programe

Dup colectarea tuturor informaiilor relevante se recurge la clasificarea acestora


i stabilirea categoriilor necesare pentru a oferi un rspuns ct mai clar i in acelai timp
comprehensiv pentru ntrebrile evalurii. De exemplu, una dintre aceste ntrebri se
poate referi la satisfacia beneficiarilor fat de un anumit program. Pentru nceput se
adun toat informaia necesar, urmnd ca aceasta s fie subdivizat n categorii, modele
i teme care o fac mult mai accesibil, uor de neles i de utilizat. Evaluatorul ncepe, de
obicei prin lectura materialelor adunate (interviuri, studii de caz, observaii de pe teren),
i prin ataarea de note pe marginea acestora (Wholey, Hatry, Newcomer, 2005).

Test de autoevaluare
Scriei rspunsurile n spaiile libere din chenar
Parcurgnd informaii referitoare la conceptele de proiect, program i politic, presupun
c ai reinut unele aspecte interesante.
a) Care sunt principalele metode de cercetare calitative? Menionai i
instrumentele de cercetare utilizate pentru fiecare n parte.

b) Care este scopul folosirii acestor metode de cercetare calitative?

Rspunsurile i comentarii la ntrebrile din testele de autoevaluare le vei gsi la sfritul


acestui Capitol.

Curs introductiv de Evaluarea Programelor n Administraia Public

37
Noiuni teoretice ale Evalurii de programe

I.7 Metode cantitative de cercetare utilizate n evaluare

Conjuncia copulativ i din Ancheta sociologic i sondajul de opinie


(Rotariu i Ilu, 1997, 2001) atrage atenia asupra unor deosebiri ntre ancheta sociologic
i sondajul de opinie, chiar dac anumii cercettori tind s pun semnul egalitii,
echivalenei i chiar al identitii ntre cele dou noiuni. Diferenele ntre o anchet
sociologic i un sondaj de opinie sunt ilustrate ct se poate de clar n cartea profesorilor
Traian Rotariu i Petru Ilu (Ancheta sociologic i sondajul de opinie: teorie i
practic). Se remarc astfel existena a cel puin apte note distinctive ntre cele dou
forme de cercetare:

1. O prim caracteristic specific a sondajului de opinie spre deosebire de ancheta


sociologic se detaeaz din semnificaia termenului la nivel semantic. Sondajele de
opinie au n centru pe de o parte sondajul, iar pe de alt parte opinia. Termenul sondaj
este sinonim cu sintagma cercetare selectiv, iar sensul s se poate reduce n mod strict la
operaia de selectare a indivizilor care urmeaz a fi chestionai (Rotariu i Ilu, 2001: 52).
Aspect prin excelen subiectiv al realitii sociale, prin opinie se nelege o stare sau o
predispoziie mental fa de un anumit referent (andor, 2005: 58). Opinia are la baz
diverse credine, valori, atitudini, sentimente i aprecieri personale ale celor care o
exprim. De multe ori, sondajul de opinie este utilizat interanjabil cu sintagma sondaj de
opinie public. Dan andor prezint un model al formrii i manifestrii opiniilor n sfera
public, i mai concret n sistemul administrativ i politic (andor, 2005: 59):

Curs introductiv de Evaluarea Programelor n Administraia Public

38
Noiuni teoretice ale Evalurii de programe

Instituii Opinii Participare


Preedinte Atitudini i credine Interaciuni cu
Parlament pe termen scurt sau administraia
Tribunale lung privind Votul
Administraia instituiile publice i Participarea n
central politicile acestora aciuni de lobby
Administraia
local
Agenii
publice

Figura 2. Nivelul de manifestare al opiniilor n sistemul administrativ i politic. (Sursa:


input (cereri
Sorin Dan andor, (2004),Analiz i cercetare, Cluj-Napoca: Accent,sau sprijin)
p.59, adaptare dup
Robert G. Lehnen, American Institutions, Political Opinion & Public Policy, Dryden
Press, 1976, p. 32)

Detaliind noiunea de opinie public, sunt subliniate trei aspecte fundamentale:


intensitatea opiniei, importana subiectului, i stabilitatea opiniilor (andor, 2005: 59).
Aceste elemente dau msura n care opinia public este relevant. Opinia public este
ns considerat complex i greu de definit operaional (Rotariu i Ilu, 2001: 52).

1. O alt caracteristic specific a sondajului de opinie n comparaie cu ancheta


sociologic este specificul problemelor cercetate. n cazul sondajului de opinie public,
problemele sau temele abordate au un caracter de interes general (opiuni politice,
atitudini fa de probleme instituionale, etc.), pe cnd ancheta sociologic poate fi
centrat pe probleme care preocup un grup mai restrns(e.g. beneficiarii unui program
sau proiect, o anumit categorie ocupaional, etc). Din acest motiv, n evaluarea de
programe vom vorbi mai degrab de anchet sociologic dect de sondaj de opinie.
2. Sondajul de opinie este o subspecie a anchetei sociologice, care se remarc
printr-un puternic caracter descriptiv. De cele mai multe ori, sondajele de opinie nu stau
la baza unor cercetri explicative.

Curs introductiv de Evaluarea Programelor n Administraia Public

39
Noiuni teoretice ale Evalurii de programe

3. Spre deosebire de anchet, sondajul de opinie necesit, de regul, un timp mai


scurt de desfurare. ntrebrile din chestionarele folosite sunt de cele mai multe ori clar
structurate i relativ simple. Eantioanele selectate asigur o reprezentativitate rezonabil
pentru evalurile cu caracter general urmrite. Ancheta sociologic, dimpotriv, necesit
un timp mai indelungat de organizare i desfurare, ntrebrile din cadrul chestionarului
specific anchetei pot fi structurate, semistructurate i chiar nestructurate, iar eantionarea
se face dup proceduri mai complexe.
4.Rezultatele sondajului sunt prezentate ntr-o form uor accesibil.
Ancheta sociologic are urmtoarele caracteristici (Hyman, 1973): presupune un
numr mare de cazuri, selectarea acestora trebuie fcut dup criterii riguroase de
eantionare;datele trebuie colectate n situaii normale, ct mai apropiate de viaa de zi cu
zi; colectarea se face n conformitate cu proceduri standardizate iar datele sunt ntr-o
form msurabil cantitativ, cea mai simpl fiind prezena sau absena unui atribut.

n evaluarea de proiecte i programe pentru administraia public cel mai adesea


este utilizat ancheta sociologic. Aceasta poate avea ca populaie statistic cetenii-
clieni ai unei anumite instituii (administraia financiar, poliia, cu sistemul educaional,
etc.), beneficiarii unui program sau proiect. Populaia statistic poate consta i n membrii
unei uniti administrativ-teritoriale sau ai unui grup dintr-o anumit comunitate, int a
unor intervenii susinute din bani publici.

Toate acestea de mai sus sunt mai mult problematici din care pot fi puse ntrebri.
Putem pune ntrebarea ntr-un mod apropiat de formularea propus sau pentru fiecare
dintre ele putem formula mai multe ntrebri, astfel nct s nelegem mai bine
fenomenul.

Curs introductiv de Evaluarea Programelor n Administraia Public

40
Noiuni teoretice ale Evalurii de programe

Sondajul de opinie este utilizat ca surs principal de culegere a datelor n 22.5


%(9) din cazuri(Tabelul 1), ca metod secundar n 25%(10) din cazuri(Tabelul 2), iar ca
metod teriar, tot n 25%(10) dintre cazuri dupa cum reiese din Tabelul 3.

Tabelul 4. Metoda teriar de cercetare utilizat n evalurile realizate de Banca Mondial


Frecvena Procentul
analiza doc 10 25,0
sondaj 10 25,0
interviu ind 4 10,0
focus group 6 15,0
Delphi 8 20,0
observaia 2 5,0
Total 40 100,0

Dac prin analiza documentelor este ncurajat utilizarea datelor deja existente,
din motive de economie i eficient, analiza va evidenia de cele mai multe ori carene n
datele avute la dispoziie ca o consecin a unor studii anterioare. Datele obinute prin
sondajul de opinie aplicat n cadrul studiului de impact trebuie interpretate prin prisma i
n contextul datelor regsite n arhive, datelor provenite din recensminte i al celorlalte
date statistice existente.
Scopul unui astfel de sondaj ar fi :
1. s verifice valabilitatea datelor obinute iniial, pe un eantion mai larg i mai
reprezentativ
2. adresarea unor ntrebri n legatur cu probleme care nu au fost abordate anterior
Astfel se obin date predominant cantitative (legate de nivelul de angajare a forei
de munc, sursele de venit).

Curs introductiv de Evaluarea Programelor n Administraia Public

41
Noiuni teoretice ale Evalurii de programe

Dac se utilizeaz sondajul de opinie, trebuie avute n vedere urmatoarele


elemente:

utilizarea ntrebrilor potrivite


construcia eantionului
alegerea celor mai relevante tehnici de analiz a datelor

ntrebrile ar trebui s se concentreze pe problemele sociale cu care are legatur


proiectul. Trebuie s existe o legatur direct ntre variabilele cu ajutorul crora se
msoar impactul i ntrebrile chestionarului. Numrul i coninutul ntrebrilor trebuie
s se plieze pe importana relativ a variabilelor. Accentul trebuie pus pe claritatea
formulrii ntrebrilor. nc din aceast etap, o importan semnificativ o are influena
variabilelor externe. Validitatea concluziilor depinde de masura n care poate fi anticipat
i controlat influen acestora. Claritatea i relevana ntrebrilor, precum i ordinea n
care ntrebrile sunt prezentate poate avea un impact semnificativ asupra validitii
analizei. Problema variabilelor externe i a oportunitii ntrebrilor poate fi rezolvat
prin pre-testarea instrumentului. n acest context, unii cercettori vorbesc despre procesul
de clarificare sau de curare a instrumentului. nainte de a ncepe construcia unui
chestionar n vederea utilizrii lui pentru evaluarea impactului social al unui proiect sau
program, specialistul n tiinte sociale trebuie s in cont de dou realiti: realizarea
unor cercetri noi presupun, de regul mult timp, i n al doilea rnd, este recomandabil
utilizarea cercetrilor anterioare. Studiile cantitative trebuie corelate cu tehnicile
inductive de analiz a informaiei existente, cu analiza informaiei calitative i cu
observaia.

Analiza statistic a informaiei cantitative

Nivelul de masur a caracteristicilor utilizat ( nominal, ordinal, interval sau


raport) va determina tipul instrumentelor utilizate pentru msurarea variabilelor. Pentru

Curs introductiv de Evaluarea Programelor n Administraia Public

42
Noiuni teoretice ale Evalurii de programe

c marea parte a caracteristicilor msurate n tiinele sociale sunt nominale, sunt


utilizate, de obicei, metode de analiz statistic elementare referitoare la asociere i
semnificaie. i pentru evaluarea impactului social (EIS) metodele descriptive predomin,
n defavoarea celor infereniale. Unde este posibil aplicarea unui chestionar, se poate
recurge la metode de analiz statistic mai sofisticate.

Anumite informaii de natur cantitativ vorbesc de la sine. Este cazul n care un


grup de participani ntr-un anumit proiect obin o crestere semnificativ a veniturilor n
comparaie cu un grup de control comparabil. n alte cazuri, pentru a ajunge la concluzii
pertinente este necesar o analiz statistic sofisticat. Teoretic limitele de ncredere ntre
care pot fi pstrate prin analiza statistic ar trebui s arate ct sunt de pertinente
rezultatele. La nivel practic erorile sistematice nedetectate la nivelul datelor pot depi cu
mult incertitudinile luate n calcul. Rezultatele vor mima riguarea tiinific, fr a o
atinge. Totui, tehnicile pur calitative pot avea un grad ridicat de subiectiviate. O
comparaie ntre tehnicile calitative i cantitative este adesea necesar. La fel cum pot
ajuta la explicarea rezultatelor, inconsistenele evideniate prin triangulaia rezultatelor
generate prin diferite metode de analiz pot ajuta i la identificarea erorilor sistemetice i
a unor false interpretri care altfel ar trece neobservate.
Acolo unde potenialul pentru erori sistematice este ridicat, metodele cantitative
care presupun analize statistice sofisticate pot avea un raport cost-eficien mai sczut, iar
n final s fie mai puin relevante dect o combinaie a unor metode cantitative i
calitative mult mai simple. Pentru a determina ct de mare i ct de semnificativ este
impactul unui proiect, cel mai important lucru este formularea ntrebrilor semnificative,
implicarea persoanelor potrivite, inclusiv a evaluatorilor potrivii.

Curs introductiv de Evaluarea Programelor n Administraia Public

43
Noiuni teoretice ale Evalurii de programe

Studiu de impact care utilizeaz analiza statistic

Copestake coordoneaz n anul 2000 Studiul de impact a microcreditelor asupra


srciei n Zambia. Acest studiu a avut la baz trei surse de date :
Un sondaj de opinie cu un chestionar aplicat pe un eantion din participanii la
program .
Un al doilea sondaj de opinie cu un chestionar aplicat pe o populaie mai larg de
firme si gospodrii.
Un set de focus-group-uri calitative n cascad.
Analiza programului a avut trei scopuri:
Identificarea caracteristicilor primitorilor de credite (gen, nivel de srcie,
vechimea afacerii) pentru a estima nivelul atins de program
Identificarea i estimarea impacturilor directe ale imprumuturilor asupra
debitorilor, asupra afacerii lor i asupra gospodariilor acestora
Identificarea efectelor indirecte ale programului
Studiul de impact a comparat datele obinute din sondajul aplicat participanilor cu
datele furnizate de trei surse secundare:
Un sondaj de opinie oficial pentru determinarea nivelului actual al srciei n
raport cu limita srciei calculat n funcie de consum
Un studiu participativ de evaluare a gradului de urbanizare i un sondaj de opinie
naional aplicat pe ntreprinderi mici i mijlocii
Unde a fost posibil chestionarul utilizat pentru studiul eantionului participant n
program a preluat ntrebri utilizate n aceste surse secundare. Acesta acoperea:
Caracteristici ale respondenilor
Activitile gospodariilor i afacerilor pe parcursul unei perioade standard de o
lun.
Respondenii au fost, de asemenea, rugai s estimeze care ar fi fost rspunsurile lor
n aceeai lun, anul trecut / cu un an nainte. Chestionarul a inclus de asemenea ntrebri

Curs introductiv de Evaluarea Programelor n Administraia Public

44
Noiuni teoretice ale Evalurii de programe

deschise i ntrebri de opinie, n timp ce informaiile despre mprumuturile primite au


fost obinute direct din documentele proiectului.
Regresia a fost utilizat pentru a evalua impactul direct al programului asupra
afacerilor celor care au primit credite. Acesta a scos n eviden urmatoarele aspecte:
Diferena ntre profitul mediu obinut de ctre firmele care au apelat la credit i
cel obtinut de ctre grupul de control nu a fost semnificativ statistic.
Diferena privind rata de cretere a profiturilor a fost semnificativ statistic.
Profitul celor care au apelat la credite coreleaz cu trainingul oferit ca parte a
programului.
Datele cantitative au fost completate cu cele obinute n urma ntrebrilor
calitative prin care respondenilor li s-au cerut s explice motivele pentru schimbrile
profitabilitii principalei lor afaceri de-a lungul ultimului an. O proporie mai mare a
celor care au luat credit(comparativ cu cei care nu au luat) ale cror profituri s-au mrit
au atribuit aceast cretere, creterii nivelului investiiilor, banilor reinvestii i
diversificrii produciei.
Acest caz ilustreaz avantajele utilizrii mai multor metode de cercetare n
studiile de evaluare, i implicit, de impact. O abordare pozitivist a fost util n
identificarea i cuantificarea celor mai importante impacturi. Analiza interpretativ (att a
datelor obtinute prin metode cantitative ct i calitative) a fost necesar pentru a explica
rezultatele, pentru a relata efectele variaiei n jurul mediei i pentru a plasa rezultatele
analizei ntr-un context mai larg. Studiul de caz ilustreaz de asemenea importana
comparaiilor nainte i dup intervenie. Pentru a avea un rezultat optim, metodele de
cercetare se utilizeaz n combinaii de dou, trei sau chiar mai multe.

Curs introductiv de Evaluarea Programelor n Administraia Public

45
Noiuni teoretice ale Evalurii de programe

Tabelul 5. Numr de metode de cercetare utilizate


Numrul metodelor utilizate cumulativ Frecvena
2 10
3 20
4 6
5 4
Total 40

Dintr-un eantion de 40 de studii de evaluare a impactului social, observm c n


75% din cazuri (30) utilizeaz combinaii de doua sau trei metode. Nu exist nici un caz
de EIS care are la baza o singur metod, 10% (4) utiliznd cinci metode.

Test de autoevaluare
Scriei rspunsurile n spaiile libere din chenar
Parcurgnd informaii referitoare la conceptele de proiect, program i politic, presupun
c ai reinut unele aspecte interesante.
a) Care sunt principalele metode de cercetare cantitative?

Rspunsurile i comentarii la ntrebrile din testele de autoevaluare le vei gsi la sfritul


acestui Capitol.

Curs introductiv de Evaluarea Programelor n Administraia Public

46
Noiuni teoretice ale Evalurii de programe

Rspunsuri i comentarii la ntrebrile din testele de autoevaluare


I.1. a) Programul este unitatea cu gradul de generalitate mai ridicat dect proiectul, iar
implementarea lui se realizeaz prin implementarea mai multor proiecte.
b) Managementul performant presupune organizarea activitii instituiilor publice pe
baz de proiecte, pentru a fi mai uor administrat, mbuntit, urmrit i verificat.
I.2. a) Evaluarea este un proces ce se realizeaz n anumite momente din viaa unui
program, iar monitorizarea este un proces continuu de colectare a datelor n timpul
implementrii unui program.
b) Relevan, eficien, eficacitate, sustenabilitate i impact.
I.3. a) Cnd buctarul gust supa, este evaluare formativ, iar cnd oaspeii gust supa,
este evaluare sumativ (Robert Stake, 2003: 52).
b) Evaluarea sumativ se realizeaz cu scopul de a stabili performana programului i
de a estima valoarea sa, iar evaluarea formativ se realizeaz cu scopul de a analiza
situaia i de a uura mbuntirea programului.
I.4. a) Flexibilitatea metodologic, preferina pentru metode calitative i se realizeaz de
regul pe parcursul unui program.
b) Preferina pentru metode cantitative, concentrarea pe obiective i pe gradul de
realizare a acestora i se realizeaz, de obicei, la finalul unui program.
I.5. a) Modelul centralizat de evaluare are ca avantaj faptul c Unitatea de Evaluare e
exterioar Autoritii de Management care implementeaz programul operaional

Curs introductiv de Evaluarea Programelor n Administraia Public

47
Noiuni teoretice ale Evalurii de programe

respectiv. Modelul descentralizat are ca avantaj faptul c permite Autoritilor de


Management s conceap evalurile conform propriilor nevoi, iar acestea pot apela la
Unitatea Central de Evaluare pentru expertiz tehnic.
b) Modelul propus este o combinaie ntre modelul centralizat i cel descentralizat.
I.6. a) Interviul (ghidul de interviu), observaia (grila de observaia), focus grupul i
studiile de caz.
b) Se urmrete descrierea tuturor aspectelor care pot fi relevante pentru nelegerea
unui program.
I.7. a) Sondajul de opinie, ancheta sociologic, analiza documentelor

Curs introductiv de Evaluarea Programelor n Administraia Public

48
Noiuni teoretice ale Evalurii de programe

Bibliografia capitolului I
1) Grboan, Raluca - Metode i tehnici de evaluare: impactul social al programelor,
Editura Accent, Cluj Napoca, 2006
2) andor, Sorin Dan, Analiz i cercetare n administraia public, Accent, 2004

3) Foundations of Evaluation and Advanced Evaluation courses' website

http://eval.cgu.edu
4) GAO Designing Evaluations. PEMD-10.1.4.
http://www.gao.gov/policy/10_1_4.htm
5) Trochim, William M. The Research Methods Knowledge Base, 2nd Edition.
Internet WWW page: http://trochim.human.cornell.edu/kb/index.htm
6) UNDP Results-oriented Monitoring and Evaluation
http://www.undp.org/eo/documents/mae-toc.htm
7) UNESCO Evaluation Manual
http://www.unesco.org/ios/eng/evaluation/tools/outil_e.htm

Curs introductiv de Evaluarea Programelor n Administraia Public

49
Noiuni practice ale Evalurii de programe

Capitolul 2

NOIUNI PRACTICE ALE EVALURII DE PROGRAME

Cuprins Pagin
Obiectivele Capitolului 2 52
II.1 Metode de evaluare a programelor (I): evaluarea proceselor,
evaluarea rezultatelor 52
II.2 Metode de evaluare a programelor (II): evaluarea nevoilor,
analiza SWOT, analiza cost-beneficiu 54
II.3 Modele de evaluare a programelor 56
II.4 Evaluarea impactului social, principii ale impactului social 66
II.5 Designul indicatorilor, indicatori de context, indicatori ai
programului, indicatori sociali, etc. 74
II.6 Etapele unei evaluri i principalele elemente legate de designul
unei evaluri 79
Rspunsuri i comentarii la ntrebrile din testele de autoevaluare 85
Bibliografia Capitolului II 87

Curs introductiv de Evaluarea Programelor n Administraia Public

50
Noiuni practice ale Evalurii de programe

OBIECTIVELE Capitolului II
Principalele obiective ale Capitolului 1 sunt:
Prezentarea principalelor metode i modele de evaluare a
programelor;
Cunoterea aplicabilitii practice a noiunilor studiate;
nelegerea legturii cu sistemul general de evaluare;
Prezentarea evalurii impactului social;
Prezentarea indicatorilor unui program;
Prezentarea unui model de evaluare potrivit contextului instituional
romnesc.

II.1 Metode de evaluare a programelor (I):

evaluarea proceselor, evaluarea rezultatelor


Un prim pas n nelegerea metodelor de evaluare este realizarea distinciei ntre
tipuri de evaluare, metode de evaluare i tehnici de evaluare. Tipurile de evaluare
reprezint perspectivele teoretice din care poate fi abordat evaluarea. Aici se
ncadreaz, n funcie de diferitele tipuri de clasificare, urmtoarele: evaluarea formativ,
sumativ, reactiv, prestabilit, ex-ante, interim, ex-post, analiza impactului, evaluarea
bazat pe teorie etc.
Metoda reprezint, ca i n cercetare, o modalitate general, strategic (din punct
de vedere metodologic i nu teoretic) de abordare a realitii. Spre exemplu putem realiza
o evaluare formativ utiliznd ca metod de evaluare evaluarea procesului sau
evaluarea rezultatelor intermediare. Printre cele mai utilizate metode se numr: analiza
nevoilor, analiza SWOT, analiza cost-beneficiu, analiza cost-eficien, evaluarea
rezultatelor i evaluarea proceselor.

51
Curs introductiv de Evaluarea Programelor n Administraia Public

Noiuni practice ale Evalurii de programe

Metode i tipuri de evaluare


Exist metode care uneori sunt considerate tipuri de evaluare, la fel cum exist
tipuri de evaluare considerate uneori metode. Schematic, inventarul celor mai des
utilizate metode i tipuri de evaluare este reprezentat n tabelul urmtor. n prima coloan
sunt reprezentate tipurile de evaluare (explicitate mai sus), n a treia coloan sunt
enumerate metodele de evaluare, iar n coloana a doua apar tipurile care uneori sunt
consirate metode i metodele appreciate uneori ca fiind tipuri.
Tabel.20
TIPURI DE EVALUARE METODE DE EVALUARE
1. evaluarea formativ a. evaluarea procesului
2. evaluarea sumativ b. evaluarea rezultatelor
3. evaluarea reactiv c. evaluarea nevoilor
4. evaluarea prestabilit d. analiza SWOT
5. evaluarea ex-ante e. analiza cost-beneficiu (ACB)
6. evaluarea interim f. analiza cost eficien
7. evaluarea ex-post
8. evaluarea participativ
9. evaluarea bazat pe teorie
10. evaluarea impactlui
Pentru realizarea fiecrui tip de evaluare, pot fi utilizate una sau mai multe
metode de evaluare.
Evaluarea procesului (sau a implementrii), care se concentreaz asupra
modului n care programul a fost implementat i asupra proceselor i procedurilor prin
intermediul crora acesta funcioneaz.
Evaluarea rezultatelor are n vedere analiza raportului obiective-rezultate. Aici
vor fi analizate att rezultatele intenionate, ct i rezultatele neintenionate ale
programului.
Metodele, ca i tipurile de evaluare, se selecteaz n funcie de prioritile
strategice i de cele ale prilor implicate, de caracteristicile programului, de stadiul de

52
Curs introductiv de Evaluarea Programelor n Administraia Public

Noiuni practice ale Evalurii de programe

implementare al programului, de datele disponibile, de stadiul evalurii i de msura n


care programul poate fi evaluat. Figura urmtoare este ilustrativ n acest sens.
Figura 3. Alegerea metodelor

Prioriti strategice

Prioritile
prilor
implicate
Caracteristicile
programului

ntrebrile
Stadiul evalurii
programulu
i

Tipul abordrii Stadiul


evalurii

Selectarea metodelor

Alegerea tehnicilor
Datele disponibile Evaluabilitate

Assessment

Sursa: Tavistock Institute et all, The Evaluation of Socio-Economic Development: The GUIDE, 2003,
p.104

53
Curs introductiv de Evaluarea Programelor n Administraia Public

Noiuni practice ale Evalurii de programe

II.2 Metode de evaluare a programelor (II):

evaluarea nevoilor, analiza SWOT, analiza cost-beneficiu

Spre exemplu, pentru evaluarea ex-ante poate fi utilizat una sau mai multe din
urmtoarele metode: Evaluarea nevoilor, analiza SWOT, ACB.

Figura 4. Metode de evaluare compatibile cu evaluarea ex-ante

Evaluarea
ex-ante

Evaluarea nevoilor SWOT ACB

Prin evaluarea nevoilor vom putea determina relevana proiectului. Desigur, nu


este vorba doar de nevoile beneficiarilor, ci de nevoile tuturor celor implicai n proiect.
Vom identifica i ierarhiza nevoile grupului int, ale implementatorilor, ale finanatorilor
i ale societii n general. Dup o corect ierarhizare a acestor nevoi n funcie de
obiectivele proiectului, vom putea aduce mbuntiri designului proiectului.

Prin analiza SWOT pot fi identificate punctele tari, cele slabe, oportunitile i
ameninrile semnificative pentru programul sau proiectul evaluat. Analiza SWOT se
refer n principal la contextul proiectului.

Analiza cost-beneficiu se refer la dimensiunea financiar a proiectului.


Rspunde la ntrebri precum: Care sunt costurile i care sunt beneficiile preconizate ale

54
Curs introductiv de Evaluarea Programelor n Administraia Public

Noiuni practice ale Evalurii de programe

proiectului? Aceasta n cazul unei evaluri ex-ante. n cazul unei evaluri interim sau ex-
post putem vorbi despre costurile i beneficiile realizate pn ntr-un anumit moment al
programului, respectiv pn la finalul implementrii.

Test de autoevaluare
Scriei rspunsurile n spaiile libere din chenar
Parcurgnd informaii referitoare la conceptele de proiect, program i politic, presupun
c ai reinut unele aspecte interesante.
a) Definii evaluarea procesului i evaluarea rezultatelor.

b) Enumerai criteriile n funcie de care se selecteaz metodele de evaluare.

c) Care este diferena dintre analiza SWOT i analiza cost-beneficiu?

Rspunsurile i comentarii la ntrebrile din testele de autoevaluare le vei gsi la sfritul


acestui Capitol.

Curs introductiv de Evaluarea Programelor n Administraia Public

55
Noiuni practice ale Evalurii de programe

II.3 Modele de evaluare a programelor


Cercetarea privind modelele de evaluare a programelor i proiectelor a cunoscut o
dezvoltare deosebit n ultimii ani, ns a fost mereu n atenia cetcettorilor i
practicienilor. Designul modelelor de evaluare i selectarea modelului potrivit pentru
evaluarea unui anumit proiect sau program au devenit scopul a numeroase investigaii.
Demersul este specific autorilor clasici in domeniul evalurii (Michael Quinn Patton,
Michel Scriven, Peter H. Rossi), crora li s-au alaturat o serie de autori provenii mai ales
din mediul academic (Daniel Stufflebeam, Egon Guba,Yvonna Lincoln, Ernest R. House,
Kenneth R. Howe, Hanne Foss Hansen etc).
Instrumentarul este vast: evaluarea formativ, evaluarea sumativ, cea care pune
un accent pe beneficiari, pe experi sau pe diveri participani n proiect, evaluarea
realist, cea bazat pe teorie sau orientat pe utilizarea practic sunt doar cteva exemple.

Un model de evaluare stipuleaz ntrebarea la care un anumit tip de evaluare


ncearc s rspund i stabilete criteriile luate n considerare pentru evaluare (Hansen,
2005). Literatura de specialitate ofer o mare varietate a abordrilor privind modelele de
evaluare. Hansen (2005) i Scriven (2003) propun unele dintre cele mai noi tipologii ale
modelelor de evaluare. Acestea au n vedere ase categorii de modele de evaluare, care se
regsesc i n contribuiile altor autori: Birkmayer i Weiss, Pawson, Jorgensen i Stame
(2004).

Modelele orientate spre rezultate (modelul scopului ndeplinit i modelul


efectelor produse) se nscriu n evaluarea sumativ. Modelul scopului ndeplinit este
modelul clasic n care rezultatele sunt evaluate strict prin prisma scopului i a
obiectivelor prestabilite ale unui program. ntrebarea de baz este n acest caz: n ce
msur au fost realizate obiectivele?, iar criteriile de evaluare sunt derivate din scopul i
obiectivele programului. Modelul efectelor produse urmrete identificarea tuturor
consecinelor pe care un program sau un proiect le produce sau ar putea s le produc.

56
Curs introductiv de Evaluarea Programelor n Administraia Public

Noiuni practice ale Evalurii de programe

Acest model este ns adesea criticat pentru inexistea unor criterii clare de
evaluare. Evaluatorul poate reduce aceast problem prin aplicarea modelului la o analiz
nainte i dup intervenie. ntrebarea fundamental n cazul acestui model este: Care
sunt efectele evidente ale programului?, iar criterile de evaluare sunt deschise, din
moment ce toate consecinele ar trebui dezvluite.
Modelele explicative sunt modele orientate pe proces i corespund evalurii
formative. Acest model de evaluare urmrete evoluia proiectului din momentul
designului, pe parcursul implementrii i pn dup implementare. ntrebrile: Ct de
mulumitor este nivelul activitilor?, Exist probleme de implementare? sunt
specifice acestui tip de model, iar performana este analizat pe tot parcursul proiectului,
de la idee pan la finalizare i la impactul asupra grupului int, i reaciile acestuia.
Modelele sistemice, materializeaz o abordare sistemic n cmpul evalurii.
Acestea analizeaz input-ul, structura, procesele i output-ul n termeni de rezultate.
Evaluarea poate fi organizat pe compararea dintre input-ul, procesul i output-ul
planificat i cele realizate efectiv sau pe anumite tipuri de benchmarking care compar
rezultatele unui anumit proiect cu rezultatele unor proiecte similare implementate de
organizaii similare ntr-un context comparabil, care sunt considerate excelente.
ntrebarea fundamental n acest caz este dac a funcionat programul ca un ntreg, iar
performana este analizat fie comparnd input-ul, procesul i output-ul realizat cu cele
preconizate, fie comparndu-le cu cele dintr-un alt proiect considerat reper de bun
practic.
Modelele economice (cost-eficien, cost-eficacitate si cost-beneficiu) au la baz,
pan la un anumit nivel, perspectiva sistemic. Ele sunt diferite de modelele sistemice
pentru c raporteaz rezultatele la costurile implicate de proiect. Modelul cost-eficien,
are ca interogaie de baz gradul n care productivitatea este la un nivel satisfctor.

Curs introductiv de Evaluarea Programelor n Administraia Public

57
Noiuni practice ale Evalurii de programe

Criteriul de evaluare este comparaia dintre rezultate obinute i cheltuielile


implicate. Modelul cost-eficacitate este preocupat de msura n care proiectul sau
programul a fost construit i implementat eficace, iar criteriul de performan pune fa n
fa efectele proiectului cu resursele implicate. Modelul cost-beneficiu are ca preocupare
principal msura n care utilitatea proiectului este mulumitoare, iar criteriul de evaluare
este utilitatea raportat la costuri.
Modelele centrate pe actorii implicai (modelul orientat pe beneficiar, modelul
orientat pe participani, modelul orientat pe opinia experilor) au la baz criterii de
evaluare propuse de participanii la proiect, fie c este vorba de iniiatori, implementatori,
contractori, subcontractori sau de beneficiari. Modelul orientat pe beneficiar are ca
ntrebare de baz nivelul de satisface al beneficiarului, iar criteriile de evaluare sunt
formulate de beneficiari. Modelul orientat pe participant i propune s afle dac
participanii la proiect sunt mulumii, i tot participanii sunt cei care stabilesc criteriile
de evaluare. Modelul orientat pe opinia experilor i propune s investigheze msura n
care calitatea profesional a proiectului este satisfctoare. Criteriile de evaluare sunt
stabilite n cazul acestui model de ctre experii ntr-un anumit domeniu.
Modelele centrate pe teorie evalueaz validitatea teoriei programului care st la
baza unei anumite intervenii. n literatura de specialitate exist cteva variante pentru
modelele care intr n aceast categorie: fie teoria programului este reconstruit i
comparat cu analiza empiric a programelor (Birkmayer si Weiss, 2003), fie observaia
empiric este utilizat pentru analiza relaiilor dintre context, mecanisme i rezultat, dup
cum este sugerat n abordarea sintezei realiste (Pawson, 2002). Modelele centrate pe
teorie sunt considerate a fi o extensie a modelelor orientate spre rezultate (Hansen, 2005).
ns, modelele clasice orientate spre rezultate au n vedere obiectivele i efectele concrete

Curs introductiv de Evaluarea Programelor n Administraia Public

58
Noiuni practice ale Evalurii de programe

ale interveniilor, iar scopul evalurii este analiza rezultatelor acestora, n timp ce, n
cazul modelelor centrate pe teorie accentul se pune pe cutia neagr deschis prin teoria
programului care relev mecanisme care ridic ntrebri asupra unui conglomerat de
activiti i intervenii. ntrebrile specifice acestui model sunt : Ce funcioneaz i n ce
context? Exist erori detectabile n teoria programului? Pentru evaluare, teoria
programului este reconstituit si evaluata pe baza analizelor empirice-criteriul de evaluare
cel mai sigur in acest caz.
Exist un numr din ce n ce mai mare de modele propuse n literatura de
specialitate. Din perspectiva actualului proiect de cercetare, pe lng modelele propuse
mai sus, rein atenia i urmtoarele modele de evaluare, att prin actualitatea lor, ct i
prin posibilitatea de a fi aplicate n administraia public romneasc.
Modelul CIPP (Stufflebeam, 2002) - context, input, proces, produs (rezultat)-
transpune evaluarea bazat pe rezultate ntr-o evaluare a eficacitii i sustenabilitii,
facilitnd n acelai timp metaevaluarea i sinteza. ntrebrii de la care pornete acest tip
de evaluare, Este programul un succes? i sunt subsumate ntrebri care verific
impactul, eficacitatea i sustenabilitatea: A fost atins grupul int?, Au fost acoperite
nevoile grupului int?, Beneficiile obinute n urma proiectului sunt sustenabile?
Procesul prin care au fost obinute aceste beneficii este adaptabil pentru alte contexte?
etc. Criteriile de evaluare sunt derivate din scopul i obiectivele programului.
Modelul constructivist (Egon Guba & Yvonna Lincoln, 2001) are la baza trei
abordri fundamentale: ontologic, epistemologic i metodologic:
Abordarea ontologic a constructivismului este relativismul, potivit caruia, efortul
uman de organizare a experienei ntr-o form inteligibil este un construct,
independent de orice realitate fundamental. Relativismul pornete de la premisa
c nu exist un adevr obiectiv. Aceasta nu nseamn c orice aciune este
validat, dup cum reiese din criteriile epistemologice i metodologice;
Abordarea epistemologic a constructivismului este subiectivismul tranzacional,
conform cruia realitatea i adevrul depind de nivelul informrii i al sofisticrii

Curs introductiv de Evaluarea Programelor n Administraia Public

59
Noiuni practice ale Evalurii de programe

informaiilor deinute de indivizii aflai n poziii de decizie;


Abordarea metodologic a constructivismului este hermeneutica-dialectic,
potrivit creia, opiniile actorilor implicai ntr-un proiect sunt ntr-o prim etap
teoretice, iar apoi primesc sens practic prin confruntarea cu realitatea empiric.
Potrivit acestui model, intrebarile de baza sunt: Cine este clientul pentru aceast
evaluare?, Cine sunt ceilali actori implicai?, Care este perspectiva fiecruia?,
Care sunt ateptrile lor?, Care este nivelul de satisfacie al actorilor implicai fa de
procesul i rezultatele proiectului? etc. Criteriile de evaluare sunt stabilite prin cooperare
de actorii implicai n proiect.
Modelul calitativ (Michael Q. Patton, 2003) propune utilizarea metodelor
calitative (observaie, interviu individual, focus-group, metoda Delfi) pentru evaluarea de
programe, cu precdere n anumite situaii, cnd este necesar aprofundarea unor aspecte
ale programului evaluat. n cazul acestui model de evaluare ntrebrile sunt de natur
calitativ: Cum au fost indeplinite obiectivele programelor?, De ce nu au fost realizate
anumite obiective?, etc. Criteriile de evaluare sunt stabilite prin obiectivele proiectului.
Modelul centrat pe utilizarea practic a evalurii (Michael Q. Patton, 2002)
respect principiile evalurii formative. Conform acestui model, procesul de evaluare
debuteaz n momentul designului unui proiect i se incheie ulterior implementrii
acestuia. Accentul se pune pe utilizrile posibile pe care diferiii actori-utilizatori le pot
da evalurii. n funcie de acestea, mai exact de scopul i obiectivele evalurii se
profileaz structura evalurii. ntrebrile principale n cadrul acestui model sunt: Cine
sunt utilizatorii evalurii? Care sunt obiectivele lor?, Care sunt informaiile de care
au acetia nevoie? etc. Criteriile de evaluare sunt stabilite de catre utilizatorii evalurii.

Modelul transdisciplinar privete evoluia evalurii de la stadiul de practic la


cel de disciplin specializat (Scriven, 2003). Scriven identific principalele trei
dimensiuni ale evalurii care stau la baza evalurii: epistemologic, politic i tiinific
(Scriven, 1993). Dimensiunea epistemologic are la baz obiectivismul. Evaluarea are

Curs introductiv de Evaluarea Programelor n Administraia Public

60
Noiuni practice ale Evalurii de programe

valoare n msura n care se bazeaz pe logic, raiune i afirmaiile fcute corespund


realitii. Dimensiunea politic se traduce prin orientarea evalurii spre consumator
(Scriven, 1993: 9), iar Stufflebeam consider c aceast abordare este extrem de dificil,
impunnd implicarea unor experi credibili i foarte bine pregtii (Stufflebeam, 2001).
Caracterul tiinific al evalurii se regsete n posibilitatea disciplinei de a avea un
sistem metodologic i de a-l mbunti i aplica n alte discipline i n domenii
interdisciplinare. Grafic, dimensiunile modelului transdisciplinar poate fi reprezentat
tridimensional, fiecare dintre dimensiuni fin reprezentat pe una dintre axe:

Planul vertical dintre axele x i y reprezint disciplinele (dimensiunea tiinific),


planul situat ntre axele y i z reprezint domeniile evalurii (dimensiunea
epistemologic), iar planul orizontal descris de x i z reprezint domeniile de aplicare a
evalurii (dimensiunea politic), ca i n Figura 5 (Coryn, Hattie, 2006). Oricrei evaluri
i corespunde un anumit punct sau volum.

Figura 6. Modelul Transdisciplinar

ion Discipli
aluat nes
v
fE
ld so
Fie

Fiel
ds o x
f Ap
plic
atio
n
z

Curs introductiv de Evaluarea Programelor n Administraia Public

61
Noiuni practice ale Evalurii de programe

Cu ajutorul acestui model poate fi reprezentat orice evaluare. Evaluarea unui program n
domeniul sntii public ar putea fi reprezentat, innd cont de cele trei dimensiuni.

Figura 7. Reprezentarea spaial a evalurii unui program de sntate public, conform


Modelului Transdisciplinar

Asociind Modelul Transdisciplinar cu casa evalurii descris de M. Scriven (Scriven,


1991: 13), acesta poate fi mbuntit i dezvoltat dup cum reiese din Figura 7.
Figura 8. Modelul Transdisciplinar i Casa Evalurii

v
iv

iii

ii

i x

Curs introductiv de Evaluarea Programelor n Administraia Public

62
Noiuni practice ale Evalurii de programe

(i) Planul orizontal reprezentnd baza cubului se refer la dimensiunea aplicativ a


evalurii. Aceasta este urmat n sens ascendant de planurile corespunztoare (ii)
dezvoltrii instrumentelor, (iii) metodelor, (iv) teoriei i (v) metateoriei care corespunde
podului din casa evalurii. Desigur aceste trepte nu trebuie privite restrictiv, ci pot fi
nuanate n funcie de scopul cercetrii.

Recent, Comisia UE a propus o lista orientativ de indicatori care ar trebui


urmrii n evaluarea programelor. Printre acetia se regasesc: coeziunea social
(integrarea social, dimensiunile srciei sau ale srciei extreme, riscul srciei i al
excluziunii sociale, coeziunea social, geografic, omajul de lung durat, accesibilitatea
serviciilor de interes general), calitatea angajrii (sigurana profesional, drepturile
muncitorilor, organizarea pieei muncii, echilibrul ntre viaa personal i cea
profesional, oportunitile de angajare i integrare prin angajare, etc.) protecia social i
serviciile sociale (nivelul proteciei, accesibilitate, etc.) interesele consumatorului,
educaie, capital social, viaa comunitar, drepturile fundamentale ale omului, etc.
Deasemenea, pe site-ul Comisiei se regsete i un manual de implementare a studiilor
evaluare (www.evalsed.info). Acesta explic pas cu pas procedurile care trebuie utilizate
pentru evaluarea proiectelor derulate din Fondurile Structurale. Totui, el trebuie
particularizat pentru fiecare ar n parte, i nu este oportun a fi aplicat ca atare. Modelele
de evaluare promovate de Comisia Uniunii Europene sunt modele mixte, situate la
intersecia ntre modelele economice (care subliniaz inputul financiar), cele centrate pe
rezultate si modelele calitative.

n privina modelelor de evaluare a programelor, literatura romneasc n


domeniu este relativ srac. Exist studii referitoare la modele de evaluare, dar cel mai
adesea este vorba de evaluri tehnice, economice sau specifice altor domenii (construcii,
protecia mediului, software, etc.) i nu de evaluri ale unor programe, cu att mai puin
ale unor programme finanate sau co-finanate din bani publici: modele de evaluare ale

Curs introductiv de Evaluarea Programelor n Administraia Public

63
Noiuni practice ale Evalurii de programe

riscului de ar, modele de evaluare a siguranei structurilor construciilor, modele de


evaluare a dispersiei poluanilor n atmosfer, modele de evaluare a costului testrii
software, etc. Totui, n materie de evaluare, n Romnia, ncepnd cu anul 2002 apar
primele referiri la studii de evaluare. Acestea sunt fie contribuiile cercettorilor sau
colaboratorilor Institutului de Cercetare a Calitii Vieii (ICCV), fie ale unor cercettori
din sfera academic, sau practicieni din domeniul profit i non-profit. Chiar dac este
vorba de cri, de anumite capitole din cri, de articole, de lucrri prezentate cu ocazia
unor conferine sau de rapoarte de cercetare realizate pentru teri, majoritatea
contribuiilor romneti abordeaz doar adiacent problematica modelelor de evaluare.
Astfel, n 2002, S. Ilie scrie Formal and informal incomes of the Romanian Households
ntr-un volum coordonat de Rainer Neef i M. Stnculescu: The Impact of Informal
Economies n Eastern Europe, Ed. Ashgate U.K. n acelai volum apare studiul
Households economic strategies between state, market and the informal economies al M.
Stanculescu. Ambele lucrri ofer informaii pentru evaluarea impactului social al unor
programe, ns nu abordeaz probleme specifice modelelor de evaluare i nici a
metodologiei evalurii. n 2003, avndu-l printre co-autori pe M. Stnculescu , apare la
Editura Institutul European, n ediie bilingv, Impactul pre-aderrii. Politici de coeziune
i dezvoltarea regional economc i social a Romniei/Pre-Accesion Impact Studies.
EU Cohesion Policy and Romania's Regional Economic and Social Development. Din
nou, contribuia romneasc este limitat la furnizarea anumitor date, i realizarea unor
analize care au doar o legatur indirect cu evaluarea. n Quality of life in Romania si in
Politica Sociala. Studii 1990-2004, aprute n 2004 la editura Expert, Ioan Marginean
identific anumii indicatori sociali utili ntr-o evaluare, fr a face referire la mixtura de
modele de evaluare utilizate.

Actualmente, n Romnia, nu exist publicaii sau cercetri care abordeaz direct


problema modelelor care pot fi utilizate pentru evaluarea programelor, cu att mai puin
pentru evaluarea unor programe sau proiecte finanate parial sau integral din bani
publici.

Curs introductiv de Evaluarea Programelor n Administraia Public

64
Noiuni practice ale Evalurii de programe

Tendina pe plan internaional este de a utiliza concomitent mai multe modele de

evaluare atent alese i adaptate. Studiile i rapoartele de evaluare trebuie s rspund din

ce n ce mai mult att unor ntrebri privind procesul, ct i unor ntrebri privind

rezultatele; intereseaz n acelai timp efectele economice i cele de impact social. Mai

ales n cazul proiectelor finanate din bani publici, tendina este de a utiliza modelele de

evaluare care se concentreaz pe rezultate ct i modele de evaluare care au la baz

perspectiva beneficiarilor direci ai proiectelor (cetenii). Pentru aceasta, este necesar

utilizarea unor modele de evaluare orientate att pe rezultate ct i pe actorii implicai n

program. Acestea sunt modele complexe, obinute prin selecia, analiza i sinteza unor

modele simple de evaluare.

Test de autoevaluare
Scriei rspunsurile n spaiile libere din chenar
Parcurgnd informaii referitoare la conceptele de proiect, program i politic, presupun
c ai reinut unele aspecte interesante.
a) Care sunt modelele centrate pe actorii implicai?

Rspunsurile i comentarii la ntrebrile din testele de autoevaluare le vei gsi la sfritul


acestui Capitol.

Curs introductiv de Evaluarea Programelor n Administraia Public

65
Noiuni practice ale Evalurii de programe

II.4 Evaluarea impactului social,

principii ale impactului social

Actualmente, stadiul cunoaterii n domeniul evalurii impactului social, pe plan


internaional, este extrem de avansat, n pofida timpului relativ scurt (35 de ani) trecut de
la apariia primelor abordri sistematice. Contribuiile eseniale vin dinspre cercetarea
academic (care colaboreaz strns cu practicanii din administraiile locale i centrale
din numeroase state), dinspre sectorul non -profit i din cel privat (care finanteaz diverse
intervenii cu impact asupra indivizilor, grupurilor, comunitailor i societailor), i
dinspre organizaii internaionale, care, la rndul lor, implementeaz o serie de programe
si proiecte n numeroase state i comunitai (Comisia Uniunii Europene, Banca
European pentru Reconstrucie si Dezvoltare, Banca Mondial, Fondul Monetar
Internaional, OECD, USAID etc.).

Definirea impactului social


Impactul social al unui program are trei accepiuni: efectele pe termen lung pe
care programul le produce, efectele nete ale unui program i efectele unui program asupra
unor grupuri de indivizi (beneficiari, actori implicai).

Aspecte tehnice
n privina aspectelor tehnice, a metodologiei utilizate, exist un anumit consens.
Evaluarea impactului social are la baz utilizarea metodelor clasice de cercetare
sociologic, att cantitative (statistice), ct i calitative (observaia, interviul, studiile de
caz etc).
Pentru impactul social s-a dezvoltat o metodologie variat, n funcie de
contextul socio-economic, cultural i organizaional n funcie de natura interveniei, de
variabilele care prezint interes, n funcie de bugetul disponibil, de capacitatea de
cercetare i de o serie de ali factori. Sintetiznd cele mai recente apariii n domeniu, n

Curs introductiv de Evaluarea Programelor n Administraia Public

66
Noiuni practice ale Evalurii de programe

materie de design al evalurilor de proiecte i programe facem distincia ntre principalele


dou tipuri de design ale evalurii: experimental i quasi-experimental. Rossi, Freeman
i Lipsey prezint un catalog al categoriilor de design al analizelor de impact organizat n
funcie de strategiile de selecie a grupurilor experimentale i de control, specificitatea
interveniei i strategiile utilizate pentru colectarea datelor (Rossi, Freeman , Lypsey,
1999: 261).

Metodologia de evaluare a impactului social

Evaluarea impactului social (EIS) ncepe de obicei cu un proces de analiz a


contextului n care este implementat proiectul, n timpul cruia sunt identificate
problemele status quo-ului i sunt descrise toate alternativele posibile. Procesul de
evaluare a impactului social continu cu analiza factorului social al status quo-ului
(problema de baz) i estimarea schimbrii sociale induse de fiecare alternativ a
acesteia. Procesul EIS se ncheie cnd analistul redacteaz raportul de evaluare a
impactului, iar cei care au prerogativele necesare integreaz rezultatele evalurii
impactului social n derularea proiectelor i/sau activitilor.

Modele de evaluare a impactului social - Etape specifice

Exist numeroase abordri privind etapele tipice ale unei EIS. Mai ales cnd este
vorba despre aciuni sau proiecte de dimensiuni mici relativ simple, n cazul n care EIS
este necesar, aceasta poate fi realizat relativ rapid. Va avea la baz documentele
existente i sursele de date uor de accesat ale instituiilor publice, ale librriilor, ale
internetului i consultri concise cu prile implicate n proiect. Cu ct proiectul i
efectele sale sunt mai complexe cu att EIS va fi mai complex. Evaluarea impactului
social presupune utilizarea metodelor clasice de cercetare sociologic, att cantitative
(statistice), ct i calitative (observaia, interviul, studiile de caz etc).

Curs introductiv de Evaluarea Programelor n Administraia Public

67
Noiuni practice ale Evalurii de programe

Fiecare EIS implic cercetarea contextului : dimensiunile comunitii, grupul de


beneficiari direci i indireci, dimensiunile sociale, educaionale, economice i etnice,
valori i nevoi. Consultarea unor experi este de obicei necesar. Interaciunea cu
comunitile i grupurile afectate este esenial din moment ce aspectele sociale i
culturale ale contextului, valorile indivizilor sunt intrinsec legate de acestia. Exist
multiple metode prin care aceast interaciune este realizabil, prin care se pot studia
caracteristicile grupurilor, comunitilor, societilor. De la observaia participativ (in
care analistul trieste n comunitate pentru a afla cum functioneaz aceasta) pna la
interviuri de grup, individuale i sondaje de opinie. Alegerea metodelor se va face n
funcie de timpul i resursele financiare disponibile, n funcie de tipul comunitaii i n
funcie de opinia experilor vis-a-vis de problemele sociale i nevoile respectivei
comuniti.

Chiar dac fiecare proiect este diferit i fiecare EIS este unic, n majoritatea cazurilor
sunt recunoscui anumii pai standard ai analizei pentru ca aceasta sa-i ating scopul.
Majoritatea surselor propun ntr-o form sau alta urmtorii opt pai4:

1. Identificarea nevoilor i a problemelor sociale


2. Identificarea participanilor i beneficiarilor
3. Identificarea i descrierea alternativelor de aciune
Alternativele sunt concepute pe baza scopului i a nevoii de aciune. Analistul EIS
trebuie s determine alternativele i s adune datele necesare pentru fiecare dintre
acestea. Urmatoarele informaii de baza sunt necesare de regul pentru
identificarea fiecrei alternative:

Locaia
Legile i regulamentele sub incidena crora cade proiectul
Nevoile de infrastructur

Curs introductiv de Evaluarea Programelor n Administraia Public

4
Validai i de ctre Banca Mondial

68
Noiuni practice ale Evalurii de programe

Orarul de implementare
Dimensiunile forei de munc necesare
Dimensiunea i natura facilitilor (dac este cazul)
Nevoia de fort de munca local
Resurse instituionale

4. Definirea condiiilor iniiale


Ulterior stabilirii metodelor de interaciune cu grupurile afectate i obinerii
datelor de baz pentru fiecare alternativ, analistul urmeaz s defineasc
condiiile existente n fiecare dintre domeniile potenial afectate. ntr-un cuvnt
este necesar analiza contextului social. Analistul va cuta raspunsul la
urmatoarele ntrebri:

Ce grupuri de indivizi vor fi afectate? Sunt acestea concentrate sau


dispersate?
Cum se raporteaz fiecare grup la mediul su de viaa?
Care este contextul istoric al fiecarui grup?
Ce tip de valori culturale i ce atitudini caracterizeaz fiecare grup?
Care sunt caracteristicile demografice i economice relevante?
Exist acces la utiliti? Educaie? Transport? Exist modele stabile de
imigrare i emigrare?
Desigur, acestea sunt informaiile minime necesare. Ele pot fi adunate din
documentele publice, din cercetrile anterioare publicate, prin consultarea experilor
i a comunitaii. Pentru un proiect mai complex sunt necesare cercetri suplimentare.

5. Msurarea impactul direct al proiectului sau programului prin analiza datelor


obinute cu ajutorul sistemului de monitorizare. Ce se ntmpl ns cnd nu

Curs introductiv de Evaluarea Programelor n Administraia Public

69
Noiuni practice ale Evalurii de programe

exist un sistem de monitorizare? La aceast problem ncercm s identificm o soluie


n modelul de evaluare a impactului pe care l propunem, adaptat la contextul instituional
romnesc.

6. Aprecierea impactului indirect i cumulativ al proiectului


Acesta nu este vzut ca un pas n procesul analitic ci mai degrab ca un aspect al mai
multor pai. De cele mai multe ori impactul social nu este direct. Acesta poate deveni
evident la mult timp dup ce implementarea proiectului i a aciunilor presupuse de
acesta este finalizat. De asemenea este posibil ca impactul sa fie resimit n domenii i
locaii fr legatur direct cu proiectul.

7. Recomandarea unor alternative de aciune


Odat cu identificarea unui impact negativ semnificativ trebuie propuse alternative
care ar putea ameliora problemele. Printr-o colaborare strns cu coordonatorii
proiectului i cu grupurile implicate trebuie vzut dac aceste alternative pot fi puse n
practic. nainte de aceasta, trebuie ns analizat impactul social al acestor alternative.

8. Dezvoltarea unui plan de contracarare a efectelor nedorite


Efectele sociale nedorite pot fi contracarate cu ajutorul cooordonatorilor de proiect i
prin implicare grupurilor afectate. n acelai timp trebuie dezvoltate programe de
monitorizare care s asigure punerea n practic a planurilor de contracarare a
efectelor nedorite.

Obinerea i utilizarea informaiei care duce n ultim instan la nelegerea


impactului interveniei necesit un design metodologic care se pliaz pe tipul de impact
investigat. Aceasta presupune n primul rnd formularea atent a ntrebrilor de
identificare a proiectului a crui impact urmeaz a fi cercetat. Ulterior, e necesar
definirea problemelor cheie, specificarea semnificatiei diferitelor tipuri de impact i

Curs introductiv de Evaluarea Programelor n Administraia Public

70
Noiuni practice ale Evalurii de programe

identificarea cazurilor n care impactul social nu poate fi msurat. Aceste operaii sunt
urmate de: identificarea metodelor i tehnicilor de colectare a datelor, obinerea datelor
necesare, analiza preliminar a acestora i integrarea rezultatelor studiului de impact n
intervenie.

Principii ale impactului social

Principiile studiilor de evaluare a impactului social sunt aceleai cu principiile


evalurii de programe n general.

Pentru a fi valid din punct de vedere tiinific, evaluarea trebuie s fie imparial,
independent, credibil, s asigure participarea tuturor actorilor implicai, s fie util, i
s fie prezentat ntr-o manier accesibil.

Imparialitatea i independena se refer la calitatea unei evaluri de a nu


reprezenta prtinitor anumite interese. Procesul de evaluare ar trebui s fie independent i
de managementul programului. Este destul de dificil pentru cineva implicat n designul i
implementarea unui program s sesizeze eventualele erori. O opinie din exterior poate fi
mai obiectiv. Prin urmare, imparialitatea i independena pot fi asigurate prin separarea
procesului de evaluare i a unitii responsabile de realizarea acestuia de restul echipei de
proiect. Aceasta nu nseamn lipsa oricrei comunicri. Pentru c, att n faza de design,
ct i n etapele de implementare implicarea evaluatorilor este esenial. Ei trebuie s
adune date i s le analizeze n diferitele momente de pe parcursul unui proiect. Important
este ca evaluatorii s nu fie i cei care implementeaz proiectul sau programul respectiv.
Aceasta nu presupune faptul c evaluatorii externi sunt preferati celor interni. Capacitatea
intern de evaluare ste binevenit i nu contrazice acest principiu. Evaluatorii din

Curs introductiv de Evaluarea Programelor n Administraia Public

71
Noiuni practice ale Evalurii de programe

interiorul unei instituii pot aprecia uneori cu mai mult pertinen un anumit program,
dect evaluatorii externi. Doar c este important s nu fie implicat aceeai persoan att
n managementul programului, ct i n evaluarea lui. Ct despre sistemul de evaluare
pentru administraia public, acest principiu ar putea fi respectat dac ar exista o unitate
central de evaluare care s fie responsabil cu raportarea rezultatelor evalurii
ministerului care coordoneaz programul, direct ministrului sau unui comitet director din
ministerul respectiv. Instituiile administratiei publice responsabile cu implementarea
anumitor proiecte ar putea raporta rezultatele evalurii unitii centrale de evaluare de
unde ar ajunge direct la un nivel suficient de nalt pentru a sta la baza anumitor decizii.

Credibilitatea este asigurat pe de o parte prin respectarea principiilor descrise


anterior (impartialitate i independen). ns, pentru a fi credibil o evaluare trebuie s
respecte o anumit metodologie prezentat explicit tuturor prilor implicate. Mai mult,
credibilitatea este dat de acurateea datelor colectate i a procesului de analiz aacestor
date. Raportul unei evaluri credibile trebuie s evidenieze att aspectele pozitive ale
derulrii programului (care trebuie ncurajate), ct i aspectele negative (care necesit
msuri de mbuntire). Pentru a avea un raport credibil, trebuie implicai evaluatori
specializai, recunoscui n domeniile de expertiz necesare pentru analiza proiectului.
Pentru evaluarea unui proiect sau program educaional vom avea nevoie n echipa de
evaluare de experi n domeniul educaional. Pentru evaluarea unui program de sntate
public vom avea vevoie de experi n sntate public, .a.m.d. Alturi de aceti experi
pe anumite domenii echipa de evaluare trebuie s cuprind i experi n colectarea i
analiza datelor. Acetia vor aduce un plus de credibilitate prin efectuarea unor cercetri
pertinente din punct de vedere metodologic.

Participarea tuturor actorilor implicai reprezint un principiu al evalurii n


sensul necesitii de a fi luate n considerare, n timpul procesului de evaluare,

Curs introductiv de Evaluarea Programelor n Administraia Public

72
Noiuni practice ale Evalurii de programe

perspectivele tuturor actorilor implicai n desfurarea unui program. Perspectivele


multiple reprezint, alturi de un plus informaional, un plus de autenticitate. Nu este
vorba de implicarea tuturor actorilor n realizarea evalurii, ci doar ca input
informaional.

Utilitatea evalurii i prezentarea sa ntr-o manier accesibil sunt principii


ale evalurii strns legate ntre ele. Dac nu este prezentat ntr-o manier accesibil,
evaluarea are puine anse de a fi util. Iar utilitatea presupune, n cazul unei evaluri,
msura n care recomandrile fcute n urma procesului de evaluare pot fundamenta
decizii care duc la mbuntirea managementului programului. Prezentarea ntr-o
manier accesibil a datelor rezultate n urma evalurii este o condiie sine qua non a
utilizrii respectivei evaluri. n funcie de utilizatorii evalurii, trebuie ales un anumit tip
de limbaj, iar prezentarea datelor trebuie s in cont de cunotinele metodologice ale
utilizatorilor respectivului studiu.

Test de autoevaluare
Scriei rspunsurile n spaiile libere din chenar
Parcurgnd informaii referitoare la conceptele de proiect, program i politic, presupun
c ai reinut unele aspecte interesante.
a) Care sunt caracteristicile care fac ca evaluarea s fie valid d.p.d.v tiinific?

Rspunsurile i comentarii la ntrebrile din testele de autoevaluare le vei gsi la


sfritul acestui Capitol.

Curs introductiv de Evaluarea Programelor n Administraia Public

73
Noiuni practice ale Evalurii de programe

II.5 Designul indicatorilor, indicatori de context,

indicatori ai programului, indicatori sociali, etc.

Indicatorii utilizai n evaluarea programelor n general i n studiile de impact


social sunt percepui ca un suport pentru monitorizarea atitudinilor grupurilor de oameni,
nivelului de trai i a schimbrii sociale. Este din ce n ce mai dificil de fcut distincia
ntre schimbrile imprimate de anumite intervenii sociale (programe) i cele cauzate de
tendinele socio-economice. n lipsa indicatorilor este imposibil de cuantificat efectul
unui program asupra grupului int, iar n lipsa unui sistem de indicatori riguros conceput
este imposibil calcularea efectelor nete ale unei intervenii asupra grupurilor, comuniii
i a societii.

Indicatorii sunt elemente care msoar aspecte considerate eseniale pentru


desfurarea unui program. De regul, ei au legtur direct cu obiectivele programului,
cu modul de desfurare a activitilor, cu calendarul, resursele,cu grupul int i cu
celelealte elemente ale unui program. Un indicator este o informaie identificabil i uor
de neles. Cteva exemple de indicatori: numrul beneficiarilor mulumii de un anumit
program, numrul locurilor de munc create, numrul de locuinte date n folosin, etc.
Un sistem de indicatori se construiete pornind de la identificarea informaiilor necesare
pentru stabilirea nivelului de performan al unui program.
E preferabil ca un indicator s fie msurat n mod sistematic. Colectarea datelor ar
trebui fcut de ctre entiti independente, neimplicate direct n intervenie. Datele
provin din numeroase surse, cum ar fi: documentele proiectului/programului (care stau la
baza cererii de finanare, teoria programului, etc.), input-uri, calenarul de desfurare al
programului, surse secundare (statistici oficiale, rapoarte, cercetri), surse primare
(observaii, anchete sociologice, interviuri) etc.

Curs introductiv de Evaluarea Programelor n Administraia Public

74
Noiuni practice ale Evalurii de programe

Comisia European propune o clasificare complex a indicatorilor (Comisia European,


1995). Dintre criteriile propuse in aceast clasificare, cele mai relevante sunt:
1. Dup informaiile vizate:
a. Indicatori de context
b. Indicatori ai programului

a. Indicatorii de context sunt cei care se refer la elementele care pot influena
rezultatele programului, ns nu fac parte din acesta. Spre exemplu, ntr-un program de
reinserie profesional, care are ca scop angajarea omerilor n urma unui training
professional, un indicator de context este creterea economic. Un alt indicator de context
ar putea fi cererea de pe piaa muncii din zona n care se implementeaz programul. Att
o cretere economic general, ct i modificri majore n evoluia cererii de pe piaa
muncii (e.g. creterea cererii de for de munc prin deschiderea unui supermarket n
zon) pot influena numrul de omeri care vor fi angajai. ns, angajarea acestora poate
s nu se datoreze att programului din care fac parte, ct modificrilor din context.
Indicatorii de context pot avea astfel o influen major asupra rezultatelor programelor i
proiectelor. Acestea pot fi alterate masiv sub influene externe programului. De aceea
evoluia contextului trebuie, pe ct posibil, analizat, monitorizat i anticipat.

b. Indicatorii programului sunt cei care ofer informaii despre un anumit


program sau proiect, afecteaz rezultatele acestuia i reprezint elemente intrinseci ale
programului. Dac ne referim la programul de reinserie profesional dat ca exemplu mai
sus, printre indicatorii programului se pot numra: numrul omerilor cuprini n grupul
int, gradul de participare a acestora la cursurile oferite, nivelul satisfaciei lor fa de
treining-ul urmat etc. Acestea sunt informaii clare, care pot fi colectate n mod
sistematic, pe tot parcursul desfurrii programului i care stau la baza sistemului de
monitorizare i evaluare.

Curs introductiv de Evaluarea Programelor n Administraia Public

75
Noiuni practice ale Evalurii de programe

Un alt sistem de clasificare a indicatorilor ine cont de etapele specifice din


desfurarea programului. Astfel avem:
1) Indicatori de resurse
2) Indicatori de output
3) Indicatori de rezultat
4) Indicatori de impact

1) Indicatorii de resurse sunt cei prin care se msoar resursele disponibile, gradul
de consum al resurselor, n orice moment al programului. Acest tip de indicatori se refer
la toate tipurile de resurse: umane, organizaionale, materiale, de timp, etc. Rolul acestora
este de a furniza informaii legate de resursele disponibile. n cadrul monitorizrii
indicatorii de resurse arat n fiecare moment din viaa proiectului gradul de epuizare a
resurselor, iar n cadrul procesului de evaluare, indicatorii de resurse arat n ce msur s-
a consumat bugetul, dac acesta a fost depit, care au fost resursele necesare pentru
anumite activiti, etc. Exemple de indicatori de resurse: bugetul total al proiectului,
numrul persoanelor implicate n implementarea proiectului, numrul instituiilor i
organizaiilor implicate, proporia finanrii din fonduri publice, autofinanrii, finanrii
din fonduri europene, rata absorbiei resurselor, etc.

2) Indicatorii de output exprim produsele directe ale activitilor unui program.


Mai exact, output-ul se refer la tot ceea ce a fost obinut prin consumarea resurselor.
Exemple de indicatori de output: numrul de kilometri de strad construit sau reabilitat,
numrul de omeri care au beneficiat de training profesional finanat printr-un anumit
program.

3) Indicatorii de rezultat se refer la beneficiile imediate care sunt resimite ca


urmare a proiectului de ctre beneficiarii direci sau indireci. n acelai timp, indicatorii
de rezultat urmresc dac programul i-a ndeplinit obiectivele. Spre exemplu: timpul

Curs introductiv de Evaluarea Programelor n Administraia Public

76
Noiuni practice ale Evalurii de programe

economisit de ctre utilizatorii unei autostrzi nou-construite, abilitile dobndite de


participanii la un curs de recalificare, ndeplinirea unor atribuii de ctre participanii la
un anumit program, etc. Rezultatele pot fi cuantificate n momentul n care serviciile sunt
furnizate de ctre beneficiari.

4) Indicatorii de impact reprezint consecinele ulterioare ale programului pe


termen mediu i lung sau efectele sale asupra unui grup de persoane. Spre exemplu,
traficul de pe o autostrad la un an dup ce a fost construit, procentul omerilor angajai
la un an dup absolvirea cursului de recalificare.

n funcie de principalele criterii de evaluare, indicatorii se mpart n:


1) Indicatori de eficien
2) Indicatori de eficacitate
3) Indicatori de performan
4) Indicatori de relevan
5) Indicatori de sustenabilitate
6) Indicatori de impact net

1) Indicatorii de eficien se refer la msura n care rezultatele proiectului au fost


atinse cu minimum de resurse. Spre exemplu, suma investit pentru construcia unui
kilometru de autostrad ar putea fi un indicator de eficien, ca dealtfel i suma cheltuit
de un angajator pentru perfecionarea unui angajat.

2) Indicatorii de eficacitate sunt cei prin care se exprim msura n care prin
rezultatele unui proiect au fost ndeplinite obiectivele. Un exemplu ar fi notele obinute la
un test de aptitudini profesionale de ctre omerii cuprini ntr-un program de reconversie
profesional, note care exprim msura n care omerii au dobndit noi aptitudini
(obiectiv al programului).

Curs introductiv de Evaluarea Programelor n Administraia Public

77
Noiuni practice ale Evalurii de programe

3) Indicatorii de relevan se construiesc pornind de la evaluarea nevoilor pe care


proiectul intenioneaz s le acopere.Un exemplu de indicator de relevan este timpul
necesar pentru a parcurge o anumit distan dup construcia unei autostrzi.

4) Indicatorii de sustenabilitate se refer la msura n care programul sau proiectul


supravieuiete dup ncheierea finanrii prin care a fost nfiinat. Spre exemplu,
perioada de timp, de dup ncheierea finanrii, n care serviciile continu s fie livrate.

5) Indicatorii de impact net cuantific efectele nete ale proiectului asupra grupului
int. Un exemplu relevant este numrul omerilor care au fost angajai ca efect direct al
unui program de reinserie profesional. Este foarte greu de cuantificat impactul net al
unui proiect, pentru c, uneori, este dificil dac nu imposibil de msurat n ce msur
rezultatele proiectului sunt afectate de elemente ale contextului socio-economic. n ce
msur o cretere economic general este responsabil pentru angajarea unor omeri
cuprini n acelai timp intr-un program de reinserie profesional? n ce msur s-au
angajat ei datorit programului? Uneori este greu de spus. Alteori este ns posibil, cu
ajutorul interviului sau a altor metode de cercetare specifice tiinelor socio-umane.

6) Indicatorii de performan se refer la cuantificarea msurii n care


proiectul/programul rspunde la ateptrile calitative i cantitative ale beneficiarilor sau
ale actorilor implicai.

Curs introductiv de Evaluarea Programelor n Administraia Public

78
Noiuni practice ale Evalurii de programe

Test de autoevaluare
Scriei rspunsurile n spaiile libere din chenar
Parcurgnd informaii referitoare la conceptele de proiect, program i politic, presupun
c ai reinut unele aspecte interesante.
a) Enumerai care sunt indicatorii n funcie de etapele specifice i menionai pe scurt o
principal caracteristic a fiecruia.

Rspunsurile i comentarii la ntrebrile din testele de autoevaluare le vei gsi la


sfritul acestui Capitol.

II.6 Etapele unei evaluri i principalele elemente

legate de designul unei evaluri

Indicatorii sociali

Termenul de indicatori sociali cumuleaz mai multe sensuri. El se refer n


acelai timp la date statistice din sfera socio-demografic (Mary Bunch, 1995), la indici
compui din mai multe variabileprivind diverse aspecte ale interveniilor sociale, dar i la

Curs introductiv de Evaluarea Programelor n Administraia Public

79
Noiuni practice ale Evalurii de programe

modelele care explic obinerea anumitor efecte sociale pornind de la anumite resurse.

Heinz-Herbert Noll identific patru etape principale ale dezvoltrii indicatorilor


sociali.

Prima etap ncepe la mijlocul anilor 1960 i dureaz pn n anii 1970.


Trstura principal a acestei perioade este contientizarea necesitii indicatorilor
sociali, dezvoltarea programelor, realizarea unor cercetri i studii sociale semnificative.

Cea de-a doua etap coincide cu anii 70 i const n popularizarea masiv a


indicatorilor sociali la nivel internaional. Consecina imediat a fost un val semnificativ
de publicaii, acceptarea indicatorilor sociali ca domeniu al cercetrii n tiinele sociale i
stabilirea unor sisteme de raportare i monitorizare n numeroase ri. La fel de
important este i crearea infrastructurii metodologice de generare a datelor cum ar fi:
barometrele de cercetare a calittii vieii, a nivelului de trai, a opiniei publice, etc.

A treia etap debuteaz la finalul anilor 70 i continu pn la jumtatea anilor


80. Este o etap n care interesul pentru indicatorii sociali stagneaz sau chiar descrete.
Aceasta se observ prin scderea numrului de publicaii n domeniu, prin ntreruperea
proiectelor ncepute i nu datorit lipsei fondurilor (caz valabil doar n Statele Unite) ci a
scderii interesului5 n domeniu. Au aprut i unele explicaii ale acestui trend: criza
economic de la nceputul anilor 1980 care a redirecionat atenia spre problemele
economice, schimbrile aprute n climatul politic i n programele de politici sociale,
tranziia dinspre liberalism spre ideologia conservatoire, rutinizarea ideilor, a
standardelor metodologice i a ariilor de cercetare n tiinele socio-umane, etc.

Cea de-a patra etap care a nceput n anii 1980 i contiu pn n prezent
reprezint o revitalizare a practicii i a cercetrii n domeniul indicatorilor sociali. Un nou

Curs introductiv de Evaluarea Programelor n Administraia Public

5
OECD este un exemplu n acest sens.

80
Noiuni practice ale Evalurii de programe

val de cercetri i publicaii la nivel global, noi instrumente metodologice, noi paradigme,
noi instituii pentru managementul bazelor de date, pentru monitorizarea indicatorilor
sociali la nivel local, regional, naional i internaional, organizarea din ce n ce mai
extensiv a activitii guvernamentale pe baz de programe i proiecte, etc.

Scopul general al indicatorilor sociali const n oferirea unor informaii


plauzibile, msurabile i verificabile despre situaia prezent a grupurilor de mici sau
mari dimensiuni, mbuntirea bazelor de date existete i realizarea de predicii privind
starea i comportamentul viitor al grupurilor. Nevoia care a condus la dezvoltarea unor
sisteme de indicatori sociali a fost cea de a monitoriza i raporta mai adecvat condiiile i
procesele sociale, nevoia de a dezvolta metodele de cuantificare a acestor fenomene i a
crete capacitatea de a colecta i nmagazina date (Johnston, 1988).

n accepiunea modern a termenului, indicatorii sociali au dou funcii


principale: monitorizarea schimbrii sociale i cuantificarea nivelului de trai. Indicatorii
sociali sunt astfel date care aduc informaii noi despre structuri i procese, scopuri i
realizri, valori i opinii.

Indicatorii sociali au reuit nu doar s aduc noi informaii despre condiiile


sociale (Innes, 1990). Modelarea efectelor sociale cu ajutorul metodelor multivariate
pentru stabilirea relaiilor cauzale s-a ncercat n numeroase domenii: n cel educaional
(Rowley, Leckie 1977), n sntate (Wolfson, 1994), cultur (Ekos Research Associates
Inc. 1987) i asisten social (Bronfenbrenner, U. 1979). n toate aceste cazuri, modelele
au fost construite prin introducerea variabilelor relevante pentru diversele intrvenii ca
variabile independente (predictori).

Curs introductiv de Evaluarea Programelor n Administraia Public

81
Noiuni practice ale Evalurii de programe

Heinz-Herbert Noll se refer la distincia ntre indicatori sociali obiectivi care


reprezint fapte sociale independente de opiniile i evalurile personale i indicatori
sociali subiectivi care au la baz percepii i evaluri individuale ale condiiilor sociale
(Heinz-Herbert Noll, 1996). Distincia ntre indicatorii subiectivi i obiectivi a fost fcut
anterior i de ali cercettori. Ea apare, spre exemplu i n Ctlin Zamfir (coord.),
Indicatori i surse de variaie a calittii vieii, Editura Academiei, 1984. n prima
categorie, cea a indicatorilor sociali obiectivi se nscrie: rata omajului, rata srciei,
orele de munc pe sptmn, rata mortalitii perinatale etc. Iar printer indicatorii sociali
subiectivi se numr: nivelul satisfaciei fa de condiiile de via, fa de locul de
munc, percepia fa de justiie, fa de alte instituii, etc.

Knox aduce n prim plan nivelul de analiz i de utilizare a indicatorilor (Knox,


1975). La nivel naional-indicatorii sociali ajut n procesul de stabilire a prioritilor
naionale raportate la numrul mare de obiective, la nivelul resurselor i la natura
preferinelor . La nivel regional sau local indicatorii sociali ar fi mai potrivii pentru
monitorizarea schimbrilor sociale, pentru evaluarea programelor i politicilor de
intervenie social.

Utilizarea indicatorilor subiectivi sau obiectivi depinde de fenomenul care trebuie


cuantificat i de cum este el definit. Lund ca exemplu conceptul de nivel de trai, vom
observa c el este cuantificat n mod diferit n Statele Unite fa de rile scandinavice. n
Statele Unite ale Americii nivelul de trai este neles din perspective calittii vieii,
urmnd tradiia cercetrilor realizate n domeniul sntii mintale de ctre W.I Thomas.
Bunstarea subiectiv este cel mai de ncredere etalon de apreciere a nivelului de trai.
Prin urmare indicatorii sociali subiectivi vor fi cei preferai. n rile scandinavice,
dimpotriv, dup tradiia iniiat de Jan Drenowski i Richard Titmus msurarea nivelului
de trai se face exclusive prin indicatori sociali obiectivi. Nivelul de trai este definit ca

Curs introductiv de Evaluarea Programelor n Administraia Public

82
Noiuni practice ale Evalurii de programe

resursele deinute la nivel individual, cu ajutorul crora o persoan poate s-i controleze
i s-i auto-influeneze condiiile de via; iar resursele sunt definite n termini de bani,
proprieti, cunotine, energie fizic i psihic, relaii sociale, siguran, etc.( Erikson,
Uusitalo, 1987).

Una dintre cele mai importante aplicaii ale cercetrilor realizate n domeniul
indicatorilor sociali este prezentarea rapoartelor cu date agregate la nivel naional sau
regional din care rezult informaii privind structurile i procesele sociale, condiiile i
efectele politicilor sociale Astfel de informaii sunt colectate sistematic, continuu de ctre
instituii specializate n clolectarea i prelucrarea statistic a datelor. Aceste date permit
evaluarea condiiilor de via n diverse ri, monitorizarea eventualelor schimbri i
realizarea de comparaii la nivel internaional i regional.

Raportarea datelor adunate pornind de la indicatorii sociali se practic i n afara


Europei i a Statelor Unite ale Americii. n continuare sunt prezentate cteva exemple.
ncepnd din 1994, Biroul Australian de Statistic public un raport annual sub
denumirea de Australian Social Trends . Comisia Economic a Naiunilor Unite a
publicat ncepnd din anii 90 cteva rapoarte similare cu numele de "Social Panorama of
Latin America", iar Departamentul de studii sociale i de dezvoltare al Universitii din
Natal monitorizeaz schimbrile din societatea sud-african elabornd raportul "Indicator
South Africa: The Barometer of Social Trends" o dat la trei luni. Agenia
guvernamental de planificare economic din Japonia ("Economic Planning Agency")
aduce elemente noi n raportarea tendinelor sociale.

n 1975, Kenneth C. Land propune trei dintre principalele motive pentru


construcia unui sistem de indicatori sociali (Land, 1975). n primul rnd, Land se refer
la mbuntirea capacitii de a cuantifica shimbarea social, prin completarea
indicatorilor economici cu indicatori socio-demografici. Un al doilea scop identificat este

Curs introductiv de Evaluarea Programelor n Administraia Public

83
Noiuni practice ale Evalurii de programe

cel de a monitoriza progresul social, atingerea anumitor scopuri stabilite. Land face
referire i la un al treilea scop al indicatorilor sociali-cel de a ajuta la evaluarea
programelor guvernamentale i de a contribui la stabilirea prioritilor n designul
politicilor sociale.

Mai recent, problema indicatorilor sociali apare n paradigma reinventrii


guvernmntului (Ekos Research Associates Inc. 1996) potrivit creia, guvernanii
trebuie s rspund pentru aciunile lor.

Pentru cuantificarea impactului social al unui program pot fi utilizai indicatorii


de orice tip i din orice categorie care dau informaii referitoare la efectele unui program
asupra unui grup de indivizi. Un indicator de impact poate fi n acelai timp un indicator
de performan, de rezultat sau de eficacitate.

Test de autoevaluare
Scriei rspunsurile n spaiile libere din chenar
Parcurgnd informaii referitoare la conceptele de proiect, program i politic, presupun
c ai reinut unele aspecte interesante.
a) n ce const scopul indicatorilor sociali?

Rspunsurile i comentarii la ntrebrile din testele de autoevaluare le vei gsi la


sfritul acestui Capitol.

Curs introductiv de Evaluarea Programelor n Administraia Public

84
Noiuni practice ale Evalurii de programe

Rspunsuri i comentarii la ntrebrile din testele de autoevaluare


II.1. i II.2. a) Evaluarea procesului (sau a implementrii), care se concentreaz
asupra modului n care programul a fost implementat i asupra proceselor i procedurilor
prin intermediul crora acesta funcioneaz.
Evaluarea rezultatelor are n vedere analiza raportului obiective-rezultate. Aici vor
fi analizate att rezultatele intenionate, ct i rezultatele neintenionate ale programului.
b) Prioritile strategice i de cele ale prilor implicate, de caracteristicile
programului, de stadiul de implementare al programului, de datele disponibile, de stadiul
evalurii i de msura n care programul poate fi evaluat.
c) Analiza SWOT se refer n principal la contextul proiectului, iar analiza
cost-beneficiu se refer la dimensiunea financiar a proiectului.
II.3. a) Modelul orientat pe beneficiar, modelul orientat pe participant, modelul
orientat pe opinia experilor
II.4. a) Imparial, independent, credibil, s asigure participarea tuturor
actorilor implicai, s fie util, i s fie prezentat ntr-o manier accesibil.
II.5. a) Indicatorii de resurse sunt cei prin care se msoar resursele disponibile,
gradul de consum al resurselor, n orice moment al programului.
Indicatorii de output exprim produsele directe ale activitilor unui
program.
Indicatorii de rezultat se refer la beneficiile imediate care sunt resimite
ca urmare a proiectului de ctre beneficiarii direci sau indireci.

Curs introductiv de Evaluarea Programelor n Administraia Public

85
Noiuni teoretice ale Evalurii de programe

Indicatorii de impact reprezint consecinele ulterioare ale programului pe


termen mediu i lung sau efectele sale asupra unui grup de persoane.
II.6. a) Scopul general al indicatorilor sociali const n oferirea unor informaii
plauzibile, msurabile i verificabile despre situaia prezent a grupurilor de mici sau
mari dimensiuni, mbuntirea bazelor de date existete i realizarea de predicii privind
starea i comportamentul viitor al grupurilor.

Curs introductiv de Evaluarea Programelor n Administraia Public

86
Noiuni teoretice ale Evalurii de programe

Bibliografia Capitolului II
8) Grboan, Raluca - Metode i tehnici de evaluare: impactul social al programelor,
Editura Accent, Cluj Napoca, 2006
9) andor, Sorin Dan, Analiz i cercetare n administraia public, Accent, 2004

10) Foundations of Evaluation and Advanced Evaluation courses' website

http://eval.cgu.edu
11) GAO Designing Evaluations. PEMD-10.1.4.
http://www.gao.gov/policy/10_1_4.htm
12) Trochim, William M. The Research Methods Knowledge Base, 2nd Edition.
Internet WWW page: http://trochim.human.cornell.edu/kb/index.htm
13) UNDP Results-oriented Monitoring and Evaluation
http://www.undp.org/eo/documents/mae-toc.htm
14) UNESCO Evaluation Manual
http://www.unesco.org/ios/eng/evaluation/tools/outil_e.htm

Curs introductiv de Evaluarea Programelor n Administraia Public

87
BIBLIOGRAFIE GENERAL

BIBLIOGRAFIA GENERAL
1. ***, 2000, Social Assessment and Agricultural Reform in Central Asia and
Turkey, World Bank Publications
2. ***, 1987, A Final Report of the Rationale of the Cultural Initiatives Program
and a Review of its Effectiveness, Ekos Research Associates Inc. for the
Department of Communications, Ottawa.
3. ***, 1996, Rethinking Government 1995, Ekos Research Associates Inc. Final
Report, July 12.
4. ALLUM, N.C, M.W. Bauer, G. Gasgell, 2000, Quality, Quantity and Knowledge
interests, Avoiding confusion in Bauer and Gasgell, Qualitative research,
London, Sage
5. BARROW, C. J. 2003. Social Impact Assessment: An Introduction. London:
Arnold.
6. BARROW, Christopher, 2001, Social Impact Assessment: An Introduction,
Oxford University Press USA
7. BAUER, R.A. (Ed.)., 1966, Social Indicators. Cambridge, Mass., London: The
M.I.T. Press.
8. BECKER, Henk A., 1997, Social Impact Assessment: Method and Experience in
Europe, North America, and Developing World. UCL Press Limited, London

Curs introductiv de Evaluarea Programelor n Administraia Public

88
BIBLIOGRAFIE GENERAL

9. BECKER, Henk A. and Frank Vanclay. Eds., 2003, The International Handbook
of Social Impact Assessment. Cheltenham, Colchester, United Kingdom: Edward
Elgar Publishing.
10. Benus, Jacob, dr. Nuria Rodriguez-Planas i Abt Associetes Inc., 2002,
STUDIUL DE EVALUARE A IMPACTULUI NET a PROGRAMELOR DE
MASURI ACTIVE PENTRU PIATA MUNCII
11. BRONFENBRENNER, U., 1979, The ecology of human development,
Cambridge, MA: Harvard University Press).
12. BUNCH, Mary, 1995, Social Indicators: Annotations from the Literature,
Working Paper F-02, Exploring Canadian Values: Foundations for Well-Being,
Canadian Policy Research Networks Inc., Ottawa.
13. BURDGE, Rabel J., 2004, A Community Guide to Social Impact Assessment: 3rd
Edition
14. BURDGE, Rabel J., 2004, The Concepts, Process and Methods of Social Impact
Assessment. BURDGE, Rabel J. Guest Editor. 2003. The Practice of Social
Impact Assessment. Impact Assessment and Project Appraisal, 21(2&3): 84-234
(two issues)
15. BURGESS, J. , 1996, Focusing on fear, Area 28 (2): 130-36.
16. CHELCEA, Septimiu, 2001, Tehnici de Cercetare sociologic, SNSPA Bucureti
17. CHELIMSKI, E., W.R. Shadish (Editori), 1997, Evaluation for the 21st Century,
SAGE Publications Inc.,
18. CHEN, Huey T., 1990, Theory-driven evaluation. Thousand Oaks, CA: Sage
Publications
19. Chen, Huey T., 2005, Practical Program Evaluation: Assessing and Improving
Planning, Implementation, and Effectiveness, Sage Publications Inc

Curs introductiv de Evaluarea Programelor n Administraia Public

89
BIBLIOGRAFIE GENERAL

20. CHIRIAC D., C. Hum, 2002, Impactul socio-economic al fenomenelor naturale


dezastruoase n Romnia - inundaii, alunerri de teren, secet (62 p.), Probleme
Economice vol. 20-21/2002 CIDE

21. COBB, Clifford, Ted Halstead and Jonathan Rowe, 1995a, "If the GDP is up, why
is America down?", The Atlantic Monthly, October.
22. COBB, Clifford, Ted Halstead and Jonathan Rowe, 1995b, The Genuine Progress
Indicator: Summary of Data and Methodology. Redefining Progress.
23. CONNELL, James P., Anne C. Kubish, Lisbeth B. Schorr and Carol H. Weiss
(eds.), 1995, New Approaches to Evaluating Community Initiatives. Vol.1:
Concepts, Methods, and Contexts. Washington, D.C.: The Aspen Institute
24. COOK, Thomas D. i Donald T. Campbell, 1979, Quasi-experimentation: Design
and Analysis Issues for Field Settings Chicago, Rand McNally
25. COPESTAKE, James et al., 2000, Assessing The Impact of Microcredit on
Poverty: a Zambian Case Study Centre for Development Studies
26. Coryn, Chris L. S., John A. Hattie, 2006, The Transdisciplinary Model of
Evaluation, SAGE
27. Curley, Hilary, Eugen Perianu, 2006, Assessment of the Evaluation Culture in
Romania
28. DALE, Alan, TAYLOR, Nick, MARCUS, Lane, 2001, Social Assessment in
Natural Resource Management Institutions. CSIRO Publishing. PO Box 1139,
Collingwood, Victoria, 3066 Australia. 312 pp.
29. DIACONU, Mihai, 2004, Evaluarea n nvmnt-cu privire la nvmntul
superior-Sesiunea de comunicri tiinifice (20 mai 2004), Bucureti:
http://www.ase.ro/biblioteca/carte2.asp?id=480&idb

Curs introductiv de Evaluarea Programelor n Administraia Public

90
BIBLIOGRAFIE GENERAL

30. ERIKSON,R., H.Uusitalo, 1987, The Scandinavian Approach to Welfare


Research. Swedish Institute for Social Research, Reprint Series No. 181,
Stockholm
31. FITZPATRICK, J.L., Sanders, J.R., i Worthen, B.R., 2004, Program Evaluation.
(3rd Edition) Boston: Pearson.
32. GRBOAN, Raluca, 2006, Metode i tehnici de evaluare: impactul social al
programelor, Editura Accent, Cluj Napoca
33. GOSS, J.D., Leinbach T.R., 1996, Focus groups as alternative research practic,
Area 28 (2): 115-23
34. HANSEN, Hanne Foss, 2005, Choosing Evaluation Models, A Discussion on
Evaluation Design, in Evaluation, Vol. 11, No. 4, p. 447-462, SAGE Publication
35. HENDERSON, D.W., 1974, Social Indicators: A Rationale and Research
Framework, Economic Council of Canada (Ottawa: Information Canada).
36. HUGHES, Jenny, 2000, Project Manager's Guide ot Evaluation,
http://www.evaluate-europe.net/handbook/handbookpdf
37. HYMAN, H.H., 1973, Surveys in the Study of Political Psichology, n J.N.
Knutson ed., Handbook of Political Psichology, Jossey Bass
38. ILIE, S., 2002, Formal and informal incomes of the Romanian Households n
Stanculescu, M, R. Neef (editori) The Social Impact of Informal Economies in
Eastern Europe, Ed.Ashgate U.K.
39. ILU, Petru, 1997, Abordarea calitativ a socioumanului, Polirom, Iai
40. INNES DE NEUFVILLE, J., 1975, Social Indicators and Public Policy:
Interactive Processes of Design and Application (New Brunswick, NJ:
Transaction).
41. INNES, J., 1989, "Disappointments and legacies of social indicators", Journal of
Public Policy, Vol. 9, No. 4, pp. 429-432.

Curs introductiv de Evaluarea Programelor n Administraia Public

91
BIBLIOGRAFIE GENERAL

42. INNES, Judith Eleanor, 1990, Knowledge and Public Policy: The Search for
Meaningful Indicators, Second Expanded Edition (New Brunswick, NJ:
Transaction Publishers).
43. JOHNSTON, D.F., 1988, Toward A Comprehensive 'Quality-Of-Life' Index.
Social Indicators Research, 20, 473-496.
44. KITZINGER, J. ,1995, Introducing focus groups, British Medical Journal 311:
299-302.
45. KNOX, Paul L., 1975, Social Well-Being: A Spatial Perspective, Oxford, London
46. KREUGER.A., 1988, Focus groups: a practical guide for applied research,
London: Sage
47. KUBISH, A., L. Schorr et al, 1995, Ne approaches to evaluating community
initiatives. Washington DC: The Aspen Institute
48. LAND, K., 1992, Social Indicators n: Encyclopedia of Sociology, pp 1844-1850.
49. LAND, Kenneth C., 1975, Social Indicator Models: An Overview, Chapter 2 of
Social Indicator Models (NY: Russell Sage Foundation).
50. LUA, M. (coord.), 2003, Impactul Integrrii Europene asupra Comunitaii
Clujene, www.casaeuropei.com
51. MACINTOSH, J., 1981, Focus groups in distance nursing education, n Journal
of Advanced Nursing 18: 1981-85.
52. MALAN, Jack, 2004, Benchmarking Evaluation Capacity in the New Member
States, Centre for Strategy and Evaluation Services
53. MARGINEAN, Ioan, 2004, Politica Social. Studii 1990-2004, Expert
54. MORGAN, D.L. , 1988, Focus groups as qualitative research. London: Sage
55. NOLL, Heinz-Herbert, 1996, The International Experience: Social Indicators,
paper presented at the "Symposium on Measuring Well-Being and Social
Indicators", Toronto, October.

Curs introductiv de Evaluarea Programelor n Administraia Public

92
BIBLIOGRAFIE GENERAL

56. PATTON, Michael Quinn, 1997, Utilization-Focused Evaluation: The New


Century Text, 3rd ed., Beverly Hills: Sage Publications
57. PATTON, Michael Q., 2002, Qualitative Research and Evaluation Methods,
SAGE
58. PRONK, J., Haq, M. (Ed.), 1992, Sustainable Development - From Concept to
Action. The Hague Report. The Hague and New York
59. PYATT, Graham, 1991, SAMs, the SNA and National Accounting Capabilities,
Review of Income and Wealth, Series 37, No. 2, June, pp. 177-198.
60. ROTARIU, Traian, Petru Ilu, 2001, Ancheta sociologic i sondajul de opinie:
teorie i practic, Polirom
61. ROTARIU, Traian, Petru Ilu, 1997, Ancheta sociologic i sondajul de opinie:
teorie i practic, Polirom
62. ROSSI, Peter, Howard Freeman, Mark Lypsey, 1999, Evaluation, A Systematic
Approach, 6th ed., SAGE Publication
63. ANDOR, Sorin Dan, 2005, Analiz i cercetare n administraia public, Ed.
Accent
64. SCHORR, Kubisch, 1995, New approaches to evaluating community initiatives.
Washington DC: The Aspen Institute
65. SCRIVEN, M., 1991, The evaluation thesaurus (4th ed.). Thousand Oaks, CA:
Sage.
66. SCRIVEN, M.,1993, Hard-won lessons in program evaluation. New Directions
for Program Evaluation, 58. San Francisco, CA: Jossey-Bass.
67. SCRIVEN, M., 2003, Evaluation in the new millennium: The transdisciplinary
vision. In S. I. Donaldson & M. Scriven (Eds.), Evaluating social programs and
problems: Visions for the millennium (pp. 19-42). Wahwah, NJ: Lawrence
Erlbaum Associates.

Curs introductiv de Evaluarea Programelor n Administraia Public

93
BIBLIOGRAFIE GENERAL

68. SCRIVEN, M., 2005, The transdisciplinary model of evaluation: Radical


implications. Paper presented at the meeting of the American Evaluation
Association/Canadian Evaluation Society, Toronto, Canada.
69. SHADISH, William R. Jr., Thomas D. Cook, Laura C. Leviton, 1999,
Fundamentele evalurii programelor: Teorii ale practicii , FIMAN
70. SILVERMAN, David, 2001, Interpreting Qualitative Data: Methods for
analysing Talk, Text and Interaction, 2nd ed. Sage
71. STAKE, Robert, 2003, Standards-Based and Responsive Evaluation, SAGE
72. STANCULESCU,M, R. Neef, editori, 2002, The Social Impact of Informal
Economies in Eastern Europe , Ed.Ashgate U.K.
73. STANCULESCU,M. (coautor), 2003, Toward Country - Led Development. A
Multi-Partner Evaluation of the Comprehensive Development Framework.
Findings from Six Country Case Studies: Bolivia, Burkina, Faso, Ghana,
Romania, Uganda, Vietnam, IBRD, The World Bank Washinghton USA
74. STANCULESCU,M. (coautor), 2003, Pre-Accesion Impact Studies. EUCohesion
Policy and Romania's Regional Economic and Social Development
(bilingv),Institutul European (ed.)
75. STUFFLEBEAM, D. L., 2001, Evaluation models. New Directions for
Evaluation, 89. San Francisco, CA: Jossey-Bass.
76. STUFFLEBEAM, D. L., 2004, The 21st century CIPP model. In M. C. Alkin
(Ed.), Evaluation Roots (pp. 245-266). Thousand Oaks, CA: Sage.
77. STUFFLEBEAM, D. L., 2005, CIPP model (context, input, process, product). In
S. Mathison (Ed.), Encyclopedia of evaluation (pp. 60-65). Thousand Oaks, CA:
Sage.
78. TAYLOR, C. Nicholas, Bryan, C. Hobson i Colin G. Goodrich, 2004, Social
Assessment: Theory, Process and Techniques, SAGE

Curs introductiv de Evaluarea Programelor n Administraia Public

94
BIBLIOGRAFIE GENERAL

79. TASHAKKORI, Abbas, Charles Teddlie, 1998, Mixed Methodology: Combining


Qualitative and Quantitative Approaches, SAGE Publications, Inc.
80. TASHAKKORI, Abbas, Charles Teddlie, 2003, Handbook of Mixed Methods in
Social & Behavioral Research, SAGE Publications, Inc.
81. VANCLAY, Frank, 2003, The International Handbook of Social Impact
Assessment: Conceptual and Methodological Advances, Edward Elgar Publishing
- ISBN: 1840649356
82. WADDELL, S., 1995, "Lessons from the Healthy Cities Movement for Social
Indicators Development", Social Indicators Research, Vol. 34, No. 2, pp. 213-
222.
83. Weiss, Carol Hirschon, 1995, Nothing as Practical as Good Theory: Exploring
Theory-Based Evaluation for Comprehensive Community Initiatives for Children
and Families. n James P. Connell, Anne C. Kubish, Lisbeth B. Schorr and Carol
H. Weiss (eds.) New Approaches to Evaluating Community Initiatives. Vol.1:
Concepts, Methods, and Contexts. Washington, D.C.: The Aspen Institute
84. WHITE, Robert (ed.), 2004, Controversies in Environmental Sociology,
Cambridge University Press, ISBN: 0521601029
85. WHOLEY, Joseph S., Harry P. Hatry i Kathryn E. Newcomer (Editori), 2005,
Handbook of Practical Program Evaluation 2nd Edition
86. WOLFSON, Michael C., 1994, "POHEM a framework for understanding and
modelling the health of human populations," World Health Statistical Quarterly,
Vol. 47, pp. 157-176.

RESURSE INSTITUIONALE

1. Comisia European, 1995, Common Guidelines for Monitoring and


Evaluation, Luxembourg: OPOCE

Curs introductiv de Evaluarea Programelor n Administraia Public

95
BIBLIOGRAFIE GENERAL

2. Tavistock Institute et all, 2003, The Evaluation of Socio-Economic Development:


The GUIDE
3. United Nations, 1991, World Development Report (New York: Oxford University
Press).
4. Banca Mondial, 1993, "Social Accounting Matrices", Chapter 20 of System of
National Accounts, Inter-Secretariat Working Group on National Accounts.
5. Banca Mondial, 1994, Guidelines and Priciples for Social Impact Assessment
6. Policy Research Committee, 1996, Growth, Human Development, Social
Cohesion: Draft Interim Report, October.
7. Ekos Research Associates Inc., 1996, Rethinking Government 1995, Final Report,
July 12
8. Elias, 2006, Report-Accreditation of the public Administration Department at
Babes-Bolyai University, Cluj
9. ARACIS, 2006, Metodologia de evaluare externa, standardele, standardele de
referinta si lista indicatorilor de performanta a Agentiei Romne de Asigurare a
Calitatii n nvatamntul Superior, Bucuresti
10. United States General Accounting Office (USGAO) , 2003, Report to
Congressional Commities, Program Evaluation- An evaluation Culture and
Collaborative Partnerships help build evaluation Capacity
11. MWH, (2006), Ex-post evaluation of the PHARE programme in Romania
12. ECOTEC, (2006)-Thematic Report on Support to PAJC in Bulgaria and Romania

RESURSE WEB

1. http://www.pbs.org/johngardner/chapters/4.html
2. http://en.wikipedia.org/wiki/Watts_Riots
3. www.evalsed.info

Curs introductiv de Evaluarea Programelor n Administraia Public

96
BIBLIOGRAFIE GENERAL

4. www.evaluate-europe.net/handbook/handbookpdf
5. http://www.soc.surrey.ac.uk/sru/SRU19.html
6. www.worldbank.org
7. http://www.cjph.ro/index.php?_init=public.parcuri_list&
8. www.iccv.ro
9. www.casaeuropei.com
10. www.dog-eared.com/socialecologypress/

Curs introductiv de Evaluarea Programelor n Administraia Public

97