Sunteți pe pagina 1din 233

MANUALUL

pentru
EVALUAREA
DEZVOLTRII SOCIO-ECONOMICE

Institutul Tavistock
n colaborare cu:

GHK
IRS

CUPRINS
MULUMIRI.............................................................................................................................................1
INTRODUCERE .......................................................................................................................................2
CAPITOLUL I CONTRIBUIA EVALURII LA DEZVOLTAREA SOCIAL-ECONOMIC 6
1.1 AVANTAJELE EVALURII ..........................................................................................................6
1.2 INTRODUCERE N EVALUARE: ISTORIC I OBIECTIVE.....................................................12
1.3 METODE I SURSELE ACESTORA............................................................................................20
1.4 EVALUARE N SCOPUL SPRIJINIRII DEZVOLTRII SOCIO-ECONOMICE......................26
1.5 REGULI DE BAZ........................................................................................................................38
CAPITOLUL 2 PROIECTAREA I IMPLEMENTAREA EVALURII PENTRU
DEZVOLTAREA SOCIO-ECONOMIC...........................................................................................41
2.1 PROIECTAREA I PLANIFICAREA EVALURII ....................................................................41
2.2 IMPLEMENTAREA I ADMINISTRAREA EVALURILOR ..................................................59
2.4 REGULI DE BAZ.........................................................................................................................85
CAPITOLUL 3 DEZVOLTAREA CAPACITILOR NECESARE EVALURILOR SOCIOECONOMICE ..........................................................................................................................................88
OFERTA ................................................................................................................................................112
CAPITOLUL 4 ALEGEREA METODELOR, A TEHNICILOR I A INDICATORILOR.
UTILIZAREA INDICIILOR N EVALUARE..................................................................................113
4.1 FACTORI CARE INFLUENEAZ ALEGEREA METODELOR, A TEHNICILOR, A
DATELOR I A DOVEZILOR ..........................................................................................................113
4.2 METODE I TEHNICI PENTRU EVALUAREA DIFERITELOR TIPURI DE INTERVENII
SOCIO-ECONOMICE........................................................................................................................120
4.3 METODE I TEHNICI PENTRU DIFERITE SCOPURI ALE EVALURII ............................126
4.4 METODE I TEHNICI APLICABILE N DIFERITE STADII ALE
PROGRAMELOR/POLITICILOR.....................................................................................................128
4.5 METODE I TEHNICI APLICABILE DIFERITELOR STADII ALE PROCESULUI DE
EVALUARE........................................................................................................................................131
4.6 OBINEREA I UTILIZAREA DATELOR N EVALUARE....................................................135
4.7 CREAREA INDICATORILOR I A SISTEMELOR DE INDICATORI ...................................139
4.8 UTILIZAREA INDICATORILOR N SCOPUL MBUNTIRII MANAGEMENTULUI .154
4.9 REGULI DE BAZ.......................................................................................................................159

Anexe:
Anexa A
Anexa B

Pricipalele stadii ale evalurii


Schimbri n Regulile Fondurilor Structurale

MANUALUL Decembrie 2003

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Introducere


MULUMIRI
Evaluarea reprezint un element cheie n elaborarea i implementarea corespunztoare a
programelor finanate prin intermediul instrumentelor structurale din cadrul politicii europene
de coeziune. n decursul ultimului an, administraia public a Romniei a ntreprins eforturi
intense n scopul construirii i consolidrii capacitii sale de a pregti i administra evaluri.
Aceste eforturi au contribuit la activiti pregtitoare marcante desfurate n Romnia n
vederea obinerii calitii de stat membru al Uniunii Europene.
Conceptul de evaluare evolueaz n mod constant n ceea ce privete aria de interes i
ntrebrile sale, tehnicile i metodele utilizate, proiectarea i indicatorii afereni. n acest
sens, att cererea ct i oferta de evaluare trebuie s-i dezvolte n continuu capacitile,
pentru a putea face fa cu succes noilor provocri din domeniu. GHIDUL pentru Evaluarea
Dezvoltrii Socio-Economice este recunoscut drept cea mai complet i util surs de
informaie existent n domeniu, acoperind n mod extensiv probleme ca iniierea i
implementarea evalurilor, dezvoltarea capacitii, a metodelor, tehnicilor i indicatorilor
utilizai n procesul evalurii.
Acestea fiind spuse, versiunea n limba romn a GHIDULUI se dovedete a fi
indispensabil ntr-un asemenea moment important, cnd practicile evalurii urmeaz a fi
extinse de la programele finanate prin fonduri europene la totalitatea interveniilor finanate
din bani publici desfurate n Romnia.
Dorim s aducem mulumiri Comisiei Europene pentru generozitatea de a pune la dispoziie
GHIDUL n vederea traducerii sale n limba romn, ct i pentru sprijinul i ncurajarea
acordate n activitatea fr precedent de a ncorpora practicile evalurii i cultura asociat n
procesul de formulare a politicilor publice bazat pe dovezi n cadrul sectorului public din
Romnia.

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Introducere


INTRODUCERE
MANUALUL se adreseaz celor implicai n evaluarea dezvoltrii socio-economice din
Europa. El este o continuare a coleciei MEANS (n traducere, metode pentru evaluarea
politicilor structurale). Chiar dac principalul domeniul de interes l reprezint evaluarea din
cadrul Fondurilor Structurale Europene, MANUALUL nu se limiteaz doar la evaluarea
acestor intervenii. Dezvoltarea socio-economic este pn la urm o problema foarte des
ntlnit n multe programe naionale i regionale care nu sunt finanate de ctre Uniunea
European. n multe ri din Europa, ca i n alte pri ale lumii, mbuntirea economiilor
regionale i locale care au rmas mult n urm, re-integrarea grupurilor marginalizate i
adaptarea la provocrile competiiei globale i la evoluiile tehnologiei, sunt prioritare. n
contextul limitrii resurselor i al existenei strategiilor inovatoare pe care le presupune
dezvoltarea socio-economic, cererea pentru evaluare s-a extins odat cu dezvoltarea
politicilor i a interveniilor complexe.
Evaluarea dezvoltrii socio-economice; politici, programe, teme i proiecte
MANUALUL se ocup de evaluarea dezvoltrii socio-economice n Europa, motiv pentru
care se pune un accent deosebit pe Fondurile Structurale europene. Fondurile sunt
organizate n programe, iar evaluarea are loc n fazele ex-ante, intermediar i ex-post.
Programele reprezint o modalitate prin care se pot atinge obiective politice mai
cuprinztoare, iar evaluarea programelor contribuie la evaluarea politicilor. Programele
cuprind multe intervenii i proiecte. Evaluarea la nivel de msura ntreprins/ intervenie
efectuat sau proiect desfurat, reprezint o parte din evaluarea ntregului program. Multe
programe diferite, mpreun cu elementele lor, contribuie la obiectivele tematice, n timp ce
evaluarea tematic se bazeaz pe evaluarea proiectelor i a programelor. Principiile
evideniate n acest MANUAL se aplic de regul n programele, politicile, proiectele socioeconomice i n evaluarea tematic. Astfel, MANUALUL se va dovedi util celor care trebuie
s planifice, s contracteze i s realizeze att evaluri tematice, ale politicilor i proiectelor,
ct i evaluri ale programelor.
Cui se adreseaz acest MANUAL?
Cititorii acestui MANUAL aparin diferitor comuniti care activeaz n domeniul programelor
de dezvoltare socio-economic. Printre acetia se numr:

cei implicai n formularea politicilor publice i care manifest un interes deosebit pentru
evaluare, avnd n vedere avantajele dar i limitele evalurii, precum i resursele i
capacitile de care vor avea nevoie;
managerii din sectorul public i funcionarii publici care pot contracta evaluri i care vor
s dobndeasc o imagine general cu privire la informaiile disponibile, inclusiv
referitoare la posibilitile de abordare i la metodele pe care ar trebui s-i
fundamenteze activitatea;
managerii de programe care vor dori s integreze i s in cont de rezultatele evalurii
n administrarea i planificarea programelor;
partenerii la programe, care se implic din ce n ce mai mult ca actori actori-cheie n
cadrul evalurilor, fiind consultai n ceea ce privete agendele de evaluare i care va fi
necesar s utilizeze constatrile procesului de evaluare;
evaluatorii, dintre care muli sunt specializai n anumite arii ale evalurii, dar care
beneficiaz de o scurt descriere a unei game mai largi de msuri i abordri, putnd
astfel sprijini colaborarea ntre membrii echipei de evaluare.

Cu toate c MANUALUL n sine se adreseaz utilizatorilor i cititorilor generaliti, mai


degrab dect specialitilor, am luat n considerare i nevoile acestora din urm, punnd la
dispoziie cteva cri de fundamentare care s sprijine i s completeze coninutul

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Introducere


MANUALULUI. Aceste
http://www.evalsed.info.

materiale

sunt

disponibile

pe

Internet,

la

adresa

De ce nc un MANUAL despre evaluare?


n prezent nu ducem lips de ghiduri, manuale sau alte materiale-surs privind evaluarea! Pe
msur ce profesia i practica evalurii s-au extins, crile publicate pe aceasta tem ar
putea foarte uor sa ocupe o ntreag bibliotec. Dei acest tip de literatur i are originea
n America de Nord, rspndirea evalurii i n Europa de cele mai multe ori ca rspuns la
cerinele Fondurilor Structurale - a favorizat apariia multor astfel de publicaii i pe
continentul european. Comisia European a publicat un Ghid Metodologic detaliat, referitor
la indicatori, evaluarea ex-ante, evaluare macroeconomic, etc., teme specifice i strns
legate de Regulamentele Fondurilor Structurale. Exist de asemenea i o Reglementare
Financiar care cere ca o evaluare ex-ante i una ex-post s fie realizate pentru toate
programele finanate de UE, i care trebuie riguros respectat1. Autoritile publice la nivel de
stat membru public i ele materiale pentru ndrumarea celor care evalueaz programe i
politici naionale i de dezvoltare socio-economic european.
Obligaia de a duce la bun sfrit evaluri precum i materialele ndrumtoare publicate de
cei responsabili pentru programele de dezvoltare socio-economic sunt n permanent
schimbare. Evaluarea trebuie s corespund circumstanelor n care are loc dezvoltarea
socio-economic i alternativelor politice principale crora li se furnizeaz informaia. De
reinut este c acest MANUAL nu substituie alte surse de informare i c, ntr-adevr, el se
bazeaz i face referin la diverse alte surse, acolo unde este cazul. MANUALUL se
adreseaz unui public mai larg i prezint abordri i practici ale evalurii n domeniul
programelor si politicilor publice avute n vedere. De multe ori, unele surse sunt strict
specializate, adresndu-se unor arii restrnse de evaluare i cu precdere experilor.
MANUALUL i propune s umple acest gol existent pe pia i s permit o mai bun
nelegere a metodelor i a practicii adecvate, prezentnd informaiile ntr-o form accesibil.
Actualizarea coleciei MEANS
Pn n momentul de fa, principala surs n aceast ndrumare a fost, bineneles, colecia
MEANS un set de manuale utile i cuprinztoare publicate de Comisia European n 1999.
Colecia MEANS a devenit un text standard pentru evaluatorii europeni i s-a bucurat de o
reputaie justificat, datorat mai ales coninutului, ambiiei i ariei de acoperire. Multe
aspecte cuprinse n aceste lucrri au rezistat ntr-adevr la testul timpului, i au fost
ncorporate n acest nou MANUAL. Cu toate acestea ntre timp au avut loc multe schimbri,
cum ar fi:

schimbri majore produse n practica evalurii survenite odat cu apariia noilor


instrumente de evaluare, cu sporirea importanei teoriei, cu noile abordri participative i
calitative (referitoare n special la dezvoltarea socio-economic) i cu accentul pus pe
instituionalizarea evalurii;
politica european a evoluat, urmrind ndeaproape Agenda de la Lisabona; rolul
capitalului uman i social, importana societii informaionale i a economiei bazat pe
cunoatere ca modaliti de cretere a competitivitii, prioritile pentru o dezvoltare
durabil i pentru anse egale, au fost n egal msur aduse n atenia specialitilor;
aderarea n 2004 a nc zece state membre a adus noi provocri procesului de evaluare;
Fondurile Structurale sunt introduse n administraia public n pofida experienei
insuficiente n evaluare i a unei culturi a evalurii slab dezvoltat. Autorii acestui

Reglementarea Financiar (Reglemetarea Consiliului 1605/2002), Articol 27. Exemple de reguli i


principii de evaluare care trebuie s fie considerate cnd se au n vedere fondurile europene inclusiv
Articolul 21 despre implementarea regulilor (Reglementarea Comisiei 2342/2002) care definete n
particular rolul evalurii ex-ante

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Introducere


MANUAL au avut n vedere nevoile de dezvoltare a capacitii existente n multe dintre
noile state membre. n termeni practici, se urmrete o maximizare a ceea ce se poate
obine n mod pragmatic, utiliznd resursele, competenele, dezvoltarea instituional i
sursele de informaie aflate la dispoziie.
Toate aceste schimbri sunt substaniale, iar MANUALUL a fost conceput pentru a lua n
considerare consecinele acestor schimbri, dar i pentru a anticipa viitoarele schimbri. Nu
exist niciun motiv pentru care s se considere c ritmul viitor al schimbrilor intervenite n
procesul de evaluare i n politica socio-economic va ncetini. Din aceast cauz, i cu
intenia de a face posibil actualizarea rapid a informaiilor, MANUALUL n sine, crile de
fundamentare i Glosarul pot fi gsite i accesate pe Internet. n viitor se intenioneaz ca
materialul s fie dezvoltat, astfel nct utilizatorii vor avea posibilitatea de a structura i
configura MANUALUL lor personal, adaptat propriilor nevoi, rolului pe care l dein n cadrul
evalurii i acelor programe i politici pe care le evalueaz sau conduc.
Coninut i structur
Noul MANUAL este publicat ntr-un singur volum. El are la baz o serie de cri de
fundamentare2 care furnizeaz material mai specializat i mai detaliat i care poate fi accesat
pe Internet.
MANUALUL n sine are patru capitole:
Capitolul I prezint o introducere n procesul de evaluare mpreun cu avantajele sale.
Aceasta ncepe cu o scurt descriere a felului n care evaluarea poate contribui la
mbuntirea politicilor i a programelor i, n cele din urm, la accentuarea dezvoltrii
socio-economice. n continuare, sunt prezentate cteva idei de baz privind evaluarea:
istoria sa, cteva dintre practicile pe care se axeaz evaluatorii i scopurile diferite ale
evalurii. n cele din urm, este discutat specificitatea dezvoltrii socio-economice ca obiect
al evalurii. Acest lucru include analiza caracteristicilor unei politici de dezvoltare socioeconomic, mpreun cu implicaiile sale pentru evaluare, ca i a principalelor teorii i idei
care stau la baza politicilor i a programelor pe care evaluatorii trebuie s le aib n vedere.
Capitolul II se refer la problemele practice legate de proiectarea i implementarea
evalurilor, inclusiv la modul n care se planific o evaluare, n care se definesc ntrebrile
privitoare la evaluare i se aleg metodele, precum i la modul cum se iniiaz i contracteaz
activitatea de evaluare. Sunt prezentate apoi aspecte privind managementul evalurii,
alegerea evaluatorilor, rolul Comitetelor Directoare, coordonarea comunicrii n vederea
asigurii calitii n evaluare.
Capitolul III cuprinde informaii referitoare la modul n care se construiete capacitatea de
evaluare i abordeaz strategii pentru dezvoltarea capacitii. Argumentul este structurat n
jurul unui model idealizat care indic patru stadii n dezvoltarea capacitii de evaluare.
Aceast parte conine referiri att la capacitatea intern, din cadrul administraiilor, ct i la
capacitatea extern din cadrul reelelor profesionale i a parteneriatelor.
Capitolul IV introduce metodele i tehnicile evalurii, cu referire la punctele lor tari, la
punctele slabe i la utilizarea cea mai potrivit a acestora. Metodele i tehnicile sunt
discutate pe marginea unor exemple practice prezente n tipuri diferite de programe socioeconomice, n faze diferite ale programului, n stadii distincte ale procesului de evaluare i n

n continuare, cnd ne vom referi la fiecare dintre acestea, pentru a simplifica referina, vom
meniona doar Cartea 1, sau Cartea 2 etc. (n.t.)

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Introducere


scopuri diverse ale evalurii. n final, sunt prezentate tipurile de date (cantitative i calitative),
sistemele de indicatori i sursele de date.
Fiecare capitol al MANUALULUI se ncheie cu un set de reguli de baz, care descriu pe
scurt att modul corect de lucru, ct i regulile fundamentale care pot fi recomandate celor
care administreaz, contracteaz, preiau i folosesc evaluri. Cu toate acestea, MANUALUL
evit n general s fie exagerat de prescriptiv. Aceasta se datoreaz ntr-o anumit msur
faptului c, de multe ori, nu exist o soluie general valabil n evaluare, iar diferitele abordri
prezint fiecare avantaje i dezavantaje n contexte distincte. n aceeai ordine de idei, se
poate afirma c precondiiile ideale pentru evaluare sunt de cele mai multe ori inexistente
fie din cauza lipsei de date, fie datorit problemelor de sincronizare sau de disponibilitate a
competenelor. Tema central a acestui MANUAL este mbuntirea capacitii de
evaluare.
Pentru a veni n sprijinul MANUALULUI, a fost pregtit i o serie de cri de fundamentare,
care se adreseaz att specialitilor, ct i practicienilor.
Cartea 1 - Abordri ale evalurii n cadrul anumitor teme i domenii de politic public.
Aceasta ia n considerare prioriti importante precum dezvoltarea durabil, societatea
informaional, incluziunea social i ansele egale, dar i politicile publice care pot include
intervenii pentru promovarea dezvoltrii socio-economice. Cartea 1 furnizeaz metode de
evaluare, date i indicatori adecvate acestor arii prioritare i politici, oferind totodat exemple
pentru aplicarea lor.
Cartea 2 - Tehnici i metode de evaluare. Aceasta include elaborarea unei game largi de
instrumente i tehnici, att cantitative ct i calitative care se dovedesc utile n diferite stadii
ale evalurii.
Cartea 3 O resurs privind construirea capacitii de evaluare. Aceast prezint cazuri
reale de dezvoltare a capacitii de evaluare n UE, mai exact n Italia, Olanda i Irlanda,
precum i referine la alte experiene regionale, naionale i internaionale, inclusiv n rile n
curs de aderare. Ea susine partea teoretic prezentat n MANUAL, intenionnd s
stimuleze dezvoltarea capacitii de evaluare.
n final, este pus la dispoziie un Glosar care conine definiiile termenilor ntlnii n MANUAL
i n crile de fundamentare.

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


CAPITOLUL I CONTRIBUIA EVALURII LA DEZVOLTAREA
SOCIAL-ECONOMIC
Primul capitol al acestui manual se refer la motivele pentru care evalurii i se acord o
importan att de mare n cadrul programelor de dezvoltare social-economic. Acesta
introduce cteva principii de baz de evaluare, originile acestor principii i scopurile n care
ele sunt aplicate. n continuare, sunt evideniate unele dintre caracteristicile politicilor i
interveniilor de natur socio-economic, ct i implicaiile pe care aceste caracteristici le au
asupra modului n care pot fi evaluate.
1.1 AVANTAJELE EVALURII
Evaluri care pot avea un impact important
A investi timp, bani i efort n evaluare trebuie s fie justificat de
schimbrile aduse de aceasta politicilor socio-economice, ct i de
succesul nregistrat de un program. Evaluarea nu reprezint un scop n
sine. n dezvoltarea social-economic, scopul politicilor este acela de a
mbunti perspectivele social-economice ale indivizilor, teritoriilor sau
sectoarelor de activitate. Desigur, fiecare program socio-economic are
scopul su specific. Unele vizeaz modernizarea centrelor urbane, altele
modernizarea sectoarelor industriale devenite nerentabile sau aflate n
declin, n timp ce altele pot viza integrarea social a grupurilor
defavorizate sau diversificarea/modernizarea zonelor rurale. Toate
aceste prioriti i multe altele sunt abordate n cadrul programelor
Fondurilor Structurale Europene. Indiferent de tipul programului sau al
politicii, motivul care face ca evaluarea s fie necesar n toate aceste
cazuri este unul singur, raportat la urmtoarea ntrebare fundamental:
este posibil aplicarea metodelor i procedeelor de evaluare astfel nct
s fie mbuntit calitatea vieii i oportunitile oferite cetenilor?
Pentru a putea avea o astfel de influen, evaluarea trebuie sa pun
ntrebri i s ofere rspunsuri legate de probleme de importan
deosebit pentru actorii cheie ai programelor i finanatorii acestora - fie
c acetia sunt manageri, legislatori sau beneficiari.
Evaluarea are cel mai mare potenial de contribuie n domeniul politicilor
inovative, acolo unde atingerea succesului nu este garantat, iar
implementarea nu este lipsit de obstacole. n aceste situaii este
necesar un management performant i o planificare adecvat. Aplicat
n mod corespunztor, evaluarea ajut la rezolvarea anumitor
incertitudini inerente unor situaii complexe. Dezvoltarea socioeconomic nu este o tiin exact, este un proces complex, avnd
numeroase incertitudini. Alegerea obiectivelor i a msurilor, proiectarea
programelor, implementarea i asigurarea unei dezvoltri dinamice a
acestora, toate necesit analiz, putere de anticipare, crearea unor
sisteme de feed-back i mobilizarea diferitelor instituii, agenii i grupuri
din cadrul populaiei.

Oferind
rspunsuri la
ntrebri ce
merit
dezbtute

Evaluarea poate
reduce
incertitudinea i
mbunti
procesele de
planificare i
implementare

Att expertiza teoretic, dar i practica propriu-zis au fcut ca


evaluarea s devin o component cheie n foarte multe iniiative de
dezvoltare socio-economic.
Aceast perspectiv privind justificarea necesitii evalurii are dou
implicaii importante:

n primul rnd, dac evaluarea este util i aplicabil, trebuie s fie Capacitatea

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


privit ca parte integrant a procesului de luare a deciziilor i
management i desigur a ntregului proces de obligativitate
democratic de a rspunde n faa cetenilor. Astfel, ciclul unei
politici socio-economice sau al programului trebuie s includ un
sistem funcional de evaluare. Acesta este motivul pentru care
MANUALUL acord o att de mare atenie proiectrii sistemului de
evaluare i dezvoltrii capacitii evaluative n interiorul ageniilor
publice i n cadrul reelelor profesionale i tiinifice.

n al doilea rnd, evaluatorii i cei care contracteaz evaluarea i


folosesc rezultatele evalurii trebuie ntotdeauna s analizeze i s
aleag ntre a folosi cele mai bune metode existente i cerinele
pragmatice, reale. n lumea real a dezvoltrii socio-economice,
rareori dispunem de timpul, de resursele - sau uneori chiar de datele
necesare pentru a implementa o evaluare detaliat. Acesta este
motivul pentru care acest MANUAL pune un accent deosebit asupra
tipurilor de decizii strategice care trebuie adoptate n procesul de
evaluare, cum ar fi de exemplu: Cnd pot fi considerate ca fiind
justificate investiii sporite n evaluare? n ce condiii sunt necesare
metode mai performante? Cum poate evaluarea s acopere acele
goluri n cunoatere, goluri care ntr-o lume mai perfect ar fi fost
deja acoperite nc nainte ca o intervenie s fi fost mcar
planificat?

evaluativ i
integrarea n
ciclul formativ al
politicilor socialeconomice

A cntri ntre
pragmatism i o
evaluare ca la
carte

mbuntirea programelor n timp


Un important principiu organizatoric adoptat n cadrul acestui MANUAL
este acela al liniei temporale n formarea politicilor social-economice.
Este ceva absolut firesc a vorbi despre un ciclu formativ al politicilor
socio-economice, care ncepe atunci cnd acestea, dar i programele
asociate lor, sunt formulate i continu cu planificarea, alocarea
resurselor, proiectarea/realizarea programului, implementarea i
obinerea realizrilor programului i a rezultatelor finale. Limbajul utilizat
n evaluare urmeaz acest ciclu, acest fapt putnd fi observat din
folosirea termenilor precum evaluare ex ante, evaluare intermediar,
evaluare ex post, termeni adesea folosii de Fondurile Structurale
Europene. Aceti termeni sunt explicai pe larg n Anexa A. Dup o
logic asemntoare, este fcut o distincie clar ntre realizri
imediate, rezultate pe termen scurt, rezultate pe termen lung i
impacturi.
nainte de a reveni la caracteristicile specifice ale dezvoltrii socialeconomice trebuie s definim contribuia adus de evaluare la fiecare
stadiu al ciclului formativ al politicilor socio-economice.
Dup cum sugereaz i diagrama din Fig.1.1, exist trei cicluri
temporale distincte care prezint importan pentru toi cei implicai n
procesul de evaluare.n primul rnd, putem vorbi de ciclul procesului
de evaluare, care are loc la diferite momente i stadii; n cadrul unui al
doilea ciclu putem vorbi de un ciclu de programare, care este cel care
genereaz cererea pentru diferitele momente n care evaluarea este
necesar. Exist i un al treilea ciclu, ciclul formativ al politicilor
social-economice, care, concomitent contureaz i influeneaz
programele i, n mod inevitabil i cerinele de evaluare. n mod normal,
ciclul formativ al politicilor social-economice este mai lung dect ciclul de

Diferite stadii
ale ciclului
formativ al unei
politici socioeconomice sau
al unui program

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


programare.
Fig. 1.1 Cele trei cicluri formative: al politicilor socio-economice, de programare
i de evaluare

Formularea
politicilor

Revizuirea
politicilor
Concluziile
programului

Proiectarea
programului
Evaluare ex ante/ de
fezabilitate

Evaluare ex-post/a
rezultatelor

Evaluri n
derulare/intermediare

Implementarea
programului

Aplicarea
politicilor

Fig.1.1 este doar una ilustrativ desigur exist multe alte stadii n
cadrul fiecrui ciclu, stadii care pot fi descrise n diferite moduri. ns
diagrama ilustreaz ntr-adevr cteva dintre cele mai importante
probleme de sincronizare n timp, foarte frecvent ntlnite n evaluare.
Cercul interior pornete de la evaluarea de tip ex-ante, n cadrul creia
sunt analizate nevoile iniiale i se fac studii de fezabilitate ale
programelor planificate, ajunge apoi la evaluarea de tip intermediar, n
cadrul creia se analizeaz progresul i modul de implementare al
programului, apoi la evaluarea de tip ex-post, care pune accent pe
rezultate. Cu toate acestea, evaluarea de tip ex-ante trebuie s
influeneze fazele de proiectare a programelor i de formulare a
politicilor social-economice n acelai mod n care evalurile
intermediare trebuie s influeneze implementarea programului i
politicile socio-economice formulate n legtur cu aplicarea acestui
program i a unor programe similare. La finalul ciclului de evaluare,
evalurile de tip ex-post trebuie s contribuie la revizuirea politicilor
socio-economice. Este ideal ca aceste cicluri s se desfoare astfel,
8

Pstrnd
alinierea
ciclurilor
neschimbat

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


ns n realitate acest lucru nu este ntotdeauna posibil. Evalurile de tip
ex-ante pot fi uneori fcute mult prea trziu pentru a fi capabile s
influeneze stadiul de proiectare al programului sau, mai mult, cel de
formulare a politicilor socio-economice. Rezultatele evalurilor de tip expost pot aprea mult prea trziu pentru a mai putea influena revizuirea
politicilor. De asemenea, schimbri n cadrul politicilor sau n programe
pot aprea i nainte ca evaluarea s fie declanat aspect nu foarte
neobinuit n programe de dezvoltare socio-economic adoptate la nivel
naional sau european. Acest aspect poate conduce, de exemplu, la
modificarea obiectivelor i prioritilor ca urmare a elaborrii unor
sisteme care au ca scop cuantificarea rezultatelor sau chiar anularea
anumitor proiecte sau intervenii care au constituit obiectul evalurii.
Unul dintre avantajele implicrii n faza de proiectare a evalurii a
legislatorilor i a celor nsrcinai cu planificarea este dat de
mbuntirea modului n care sunt aliniate toate aceste activiti strns
interconectate.
n general, n cadrul acestui manual interesul este pus ntr-o mai mare
msur pe evaluarea programelor dect pe evaluarea politicilor socioeconomice. Cu toate acestea, uneori cele dou nu sunt uor de separat,
cu precdere n perioada aa-numitelor politicilor bazate pe indicii. Se
pune un accent deosebit pe folosirea adecvat a resurselor i pe
nvarea din experiene anterioare: pe scurt, pe a formula politici socioeconomice n baza unor argumente practice. Aceasta reprezint ntradevr o caracteristic cheie a modului n care evaluarea de tip ex-ante
este definit n cadrul Fondurilor Structurale Europene. Evaluarea poate
reprezenta un instrument deosebit de puternic pentru a nva lecii din
derularea altor programe, lecii ce pot fi folositoare pentru mbuntirea
politicilor socio-economice ulterioare.

nvare cu
scopul
mbuntirii
politicilor socioeconomice

Exist o serie de avantaje specifice pe care evaluarea le poate conferi n


cadrul ciclului de programare:
Proiectarea programelor
Unul dintre atributele de baz ale evalurii este acela de a colecta
informaii de la diferiii actori cheie sau de la public n general. Acest
lucru are o relevan deosebit, cu precdere n faza de proiectare a Asigurnd
programelor. Asigurarea relevanei programelor i adaptabilitii lor la relevana
nevoile utilizatorilor este esenial n acest stadiu iar evaluarea poate programelor
contribui la acest lucru. Nu se poate vorbi de un anumit moment n timp
n care se decide sporirea relevanei unui anumit program. De-a-lungul a
numeroase faze ale dezvoltrii socio-economice, programele sunt
supuse unui proces continuu de feed-back primit din partea utilizatorilor
(poteniali i actuali) i din partea altor actori cheie. ntr-adevr se poate
vorbi de un moment de reprogramare explicit definit, iar un astfel de
lucru reprezint ceva destul de obinuit.

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


Selectarea instrumentelor
Un sistem de evaluare bine proiectat, i n mod special o evaluare de tip
ex-ante vor contribui i la selectarea instrumentelor i a modalitilor de
intervenie specifice, corespunzatoare obiectivului general urmrit de
program. Evaluarea poate face apel la o serie de resurse n selectarea
instrumentelor. Acestea pot lua forma unei analize economice menite s
evalueze costurile i beneficiile aproximative ale unui numr de
instrumente alternative sau ale unor proiecte de dimensiuni mari. De
asemenea, poate face apel la o evaluare de eligibilitate, menit a gsi o
coresponden ntre interveniile specifice propuse i criteriile care le
asigur relevana, n cadrul unui program sau al unor regulamente de
ansamblu. Poate face apel la o apreciere a transparenei i a credibilitii
interveniei propuse, astfel nct s permit aprecierea probabilitii de
obinere a succesului.

Apreciind
capacitatea i
posibilitile de
alegere a
interveniilor i a
instrumentelor

mbuntirea managementului i a rezultatelor


Un proces de evaluare pe deplin integrat poate aduce o contribuie
deosebit asupra modului de administrare i aplicare al programelor.
Analiznd datele rezultate n urma procesului de monitorizare i
investignd cauzele care au condus la dificultile cu care un program
este confruntat, evaluarea poate pune la dispoziia administratorilor de Rezultate i
program un feed-back adecvat i poate face posibile eventuale corecii procese
pe parcurs. Chiar i ntr-un stadiu incipient, exist de obicei rezultate preliminare
preliminare, n special dac avem de-a face cu o succesiune bine
precizat a procesului de implementare bazat pe un model logic. Astfel,
evaluarea procesului de implementare ofer rezultate nc din faze
incipiente. Cu toate acestea, multe din problemele care apar nc din
primele stadii ale implementrii sunt direct legate de modul n care
prile interacioneaz, de modul n care sunt adoptate deciziile i sunt
realizate planurile, de schimbrile organizaionale sau de noi
parteneriate. Evaluarea acestor procese chiar i o descriere detaliat
efectuat n mod direct pot fi deosebit de utile att prilor implicate ct
i principalilor finanatori i administratori.
Identificarea realizrilor imediate, a rezultatelor pe termen scurt i
pe termen lung, precum i a impacturilor
ncepnd nc din primele faze, programele de dezvoltare socioeconomic trebuie s dea rezultate. n fazele foarte incipiente, aceste Efecte i
rezultate imediate iau adesea forma realizrilor imediate (de exemplu, rezultate
numrul de firme care primesc subvenii pentru rennoirea substaniale
echipamentelor tehnologice, sau numrul de persoane aflate n omaj
care particip la cursuri de calificare). Cu toate acestea, politicienii sunt
preocupai cu precdere de rezultate mai substaniale, cum ar fi faptul c
firmele i sporesc competitivitatea pe pia, sau de faptul c persoanele
aflate n omaj i pot gsi un loc de munc. Este de ateptat ca
asemenea efecte s aib un impact mai ridicat asupra obiectivelor
urmrite de politicile socio-economice sau de program, cel puin pe
termen lung. Acest fapt permite evalurii s ridice ntrebri precum:
Poate fi considerat creterea nregistrat de firmele regionale ca fiind
durabil? Sau, au fost mbuntite n mod viabil perspectivele de
angajare ale persoanelor aflate n omaj de o perioad ndelungat de

10

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


timp?
Pentru numeroi politicieni/legislatori, identificarea, descrierea i
cuantificarea realizrilor imediate, a rezultatelor i a impacturilor
reprezint avantajul major oferit de evaluare. Cu toate acestea, pentru
ca ntregul proces s fie cu adevrat util, politicienii/legislatorii trebuie s
se asigure ntotdeauna c obiectivele programului sunt clar stabilite i c
exist o relaie direct ntre interveniile efectuate i obiectivele stabilite.
La rndul lor, administratorii programelor - dac este necesar chiar
apelnd la evaluatori i lucrnd mpreun cu acetia - trebuie s se
asigure de existena unor sisteme de indicatori i de monitorizare
eficiente i totodat, de existena unei legturi directe i clare ntre
indicatorii alei i obiectivele sau intele stabilite.
Identificarea consecinelor nedorite i a efectelor perverse
Chiar i atunci cnd programele i instrumentele i ndeplinesc
obiectivele fixate, acestea pot da natere totui unor consecine
nedorite, fie pozitive, fie negative. De exemplu, sprijinul acordat
ntreprinztorilor rurali poate afecta negativ ntreprinztorii dintr-un ora
nvecinat care activeaz n acelai sector de activitate sau pe aceeai
pia. Uneori, aceste consecine nedorite pot avea efecte negative. De
exemplu, un instrument menit s mbunteasc posibilitile de
angajare ale unui grup pe piaa muncii poate avea consecine negative
pentru un alt grup. n cazul cel mai nefavorabil, interveniile pot avea
chiar i un aa-numit efect pervers: adic, pot conduce ntr-o direcie
total opus celei dorite. De exemplu, o intervenie menit a promova
turismul, ca urmare a confuziei asupra a ceea ce reprezint cerere
pentru turism ntr-o regiune, poate s reduc turismul existent.
A delimita clar rezultatele interveniilor de natur socio-economic,
inclusiv consecinele neateptate sau efectele perverse reprezint un
aspect esenial. Acesta reprezint i o modalitate prin care evaluarea
poate contribui la procesul de nvare - n acest caz n special de
nvare a modului de realizare al interveniilor, de proiectare mai bun a
programelor i de nlturare a interveniilor pgubitoare i a efectelor
perverse.

Delimitarea
consecinelor
nedorite este
important
pentru procesul
de nvare

Niveluri de evaluare: politici, teme, programe i proiecte


Stabilirea unei relaii ntre politici, programe, intervenii specifice i
proiecte reprezint o problem constant n evaluare. Adesea, programe
bine realizate nu conduc ntotdeauna la politici sau strategii eficiente,
documente de programare bine ntocmite nu se transpun n proiecte
bune sau nu toate proiectele bune asigur n mod neaprat succesul
unui program. Totui evaluarea stadiului de programare reprezint n
mod absolut un punct de plecare n evaluarea politicilor socioeconomice, iar evaluarea proiectelor reprezint un punct de plecare n
evaluarea unui program.

Stabilirea unei
legturi ntre
intervenii,
programe i
politici constituie
adesea o
problem

Evalurile tematice i criteriile care deriv din politicile socio-economice,


atunci cnd acestea sunt aplicate unui anume program, reprezint
modaliti obinuite de a introduce o dimensiune politic evalurii.
Se manifest n prezent o tendin de a muta obiectul evalurii la un

11

n special
datorit faptului

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


nivel superior, i de a acorda o atenie sporit dimensiunii
politice/strategice.
Aceasta
reflect
acordul
i
dorina
legislatorilor/politicienilor de a lua n considerare rezultatele evalurii. n
acelai timp, prezint o serie de provocri pentru evaluatori, n special
deoarece acetia doresc s analizeze rezultatele muncii lor ntr-un
context mult mai larg. Considerarea dimensiunii politice poate, de
asemenea, s sprijine procesul de evaluare al stadiului programrii, de
exemplu prin identificarea unor criterii orientate spre rezultate, care pot
spori considerabil ansele succesului unui program.

c exist
tendina de a
muta obiectul
evalurii la un
nivel superior,
cel a politicilor
socioeconomice

Cea mai mare parte a evalurii de proiect, cel puin n cazul proiectelor
mici, revine promotorilor de proiecte i altor intermediari. Cea mai
important excepie apare n cazul proiectelor mari (de exemplu,
proiecte de infrastructur), care prezint numeroase din caracteristicile
unui program, att n termeni de complexitate ct i de mrime.
O sarcin frecvent ce revine managerilor de proiect i promotorilor este
aceea de a conduce un tip de evaluare intern, proprie. Cu toate c
acest gen de evaluri pot fi adesea lipsite de autonomia considerat
important pentru a garanta credibilitatea extern, totui ele pot aduce
contribuii importante programului. De exemplu, dac a fost stabilit un
cadru bine structurat pentru evaluarea proprie a unui proiect, exist
anumite garanii care s ateste faptul c rezultatele vor fi sistematizate i
vor fi utile la nivelul programului. n plus, cerinele pentru o evaluare
proprie pot crea condiii pentru feed-back i pentru o atmosfer propice
nvrii, att n interiorul proiectului, ct i n cadrul altor proiecte, ceea
ce se va dovedi benefic pentru program n general.

Evaluarea
intern poate fi
benefic la
nivelul
interveniilor sau
al proiectului

Toi cei implicai n planificarea i realizarea muncii de evaluare trebuie


s cunoasc clar legatura dintre politici, programe, proiecte i evaluare
tematic. Principiile elaborate n cadrul acestui MANUAL sunt n general
aplicabile oricrui tip de evaluare.
1.2 INTRODUCERE N EVALUARE: ISTORIC I OBIECTIVE
O scurt istorie a evalurii
Evaluarea a aprut ca o latur distinct a practicii profesionale n
America de Nord a anilor de dup rzboi. Trei dintre laturile mai
importante ale perioadei de nceput au fost: evaluarea inovaiilor din
cadrul sistemului educaional (de exemplu, eficiena introducerii unei noi
programe colare), stabilirea unei legturi ntre evaluare i alocarea Diferite laturi ale
eficient a resurselor (de exemplu, prin procedeele planificrii, procesului de
programrii i prin sistemul bugetar) i evaluarea programelor de lupt evaluare
mpotriva srciei (de exemplu, experimentele sociale din anii `60).
Aceste laturi distincte definesc deja cteva dintre cele mai importante
procedee de evaluare, nc utilizate i astzi, care includ studii
cantitative i experimentale folosind grupuri de control care constituie
baza a numeroase experimente i teste efectuate n domeniul
educaional, metode de apreciere economice i analize cost-beneficiu,
i, de asemenea metode participative i calitative care implic n
procesul de evaluare i beneficiarii int ai respectivelor programe.
Lund n considerare aceste stiluri diferite de evaluare, putem identifica
patru tipuri de actori-cheie, ale cror opinii difer uneori n legtur cu

12

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


definirea prioritilor evalurii. Aceste grupuri includ:

legislatori, spre exemplu oficiali i politicieni alei prin vot;


interesele profesionitilor i ale specialitilor n domeniu (ex. profesori
din domeniul educaional sau oameni de tiin implicai n cercetare)
manageri i administratori, de exemplu funcionari publici sau
administratori ai ageniilor publice locale;
un mare numr de persoane afectate de intervenia public (de ex.,
posibilii beneficiari ai unei asemenea intervenii).

Fiecare dintre aceste grupuri are o anumit opinie legat de modul n


care evaluarea poate servi intereselor sale. De exemplu, legislatorii au
tendina de a privi evaluarea ca pe un instrument menit s asigure
responsabilizarea i justificarea deciziilor politice; cetenii au cu
precdere tendina de a privi evaluarea ca pe un instrument de
responsabilizare i ca pe o oportunitate de a adapta interveniile publice
la necesitile lor; managerii i administratorii sunt adesea preocupai de
aplicarea politicilor i a programelor de eficiena cu care acestea sunt
administrate i organizate; n timp ce specialitii n domeniu privesc
adesea evaluarea ca pe o oportunitate de a mbunti calitatea muncii
lor sau chiar autonomia asociaiei profesionale din care fac parte.
Aceasta nu nseamn c evaluarea, n sensul su cel mai larg
desemnnd aplicarea sistematizat a cercetrii socio-economice - ar fi
lipsit cu desvrire din Europa sau din alte pri ale lumii. Cu toate
acestea, a avut probabil impactul cel mai puternic n Europa de Nord i
n acele pri ale Europei care aveau n mod special relaii strnse cu
Statele Unite i Canada. Pornind din anii '70, evaluarea a nceput s fie
folosit n diferite ri europene, ns adesea utiliznd procedee i
prezentnd caracteristici diferite. n rile scandinave, de exemplu, unde
se pune un accent deosebit de puternic pe guvernarea democratic,
evaluarea a urmat i ea o direcie similar. n Frana, evaluarea a
oglindit, pn nu demult, trsturile unui stat francez caracterizat printr-o
abordare formal, structurat la nivel central-guvernamental i printr-o
practic mai diversificat i mai dinamic la nivelele regionale i locale.
Cu toate acestea, evaluarea nu poate fi considerat ca fiind un proces
static n niciuna dintre aceste ri. De exemplu, practica de evaluare din
Frana a evoluat n mod considerabil dup anul 2000, datorit cerinelor
de reform bugetar. n foarte multe ri, accentul i modul de
cuantificare al activitii de evaluare au reflectat adesea schimbrile
politice ale diferitelor guverne. De exemplu, n Marea Britanie, evaluarea
a cunoscut o dezvoltare considerabil o dat cu schimbarea guvernului
n anul 1997.
Fondurile Structurale Europene au jucat un rol deosebit de important n
extinderea practicii de evaluare n interiorul Uniunii Europene. n cadrul
fiecrui stadiu al ciclului de programare aplicat evalurii (evaluare exante, intermediar i ex-post), obiectivele i responsabilitile sunt clar
stabilite. Faptul c introducerea evalurii n multe ri din Sudul Europei
a avut loc n urma cerinelor formulate n cadrul regulamentelor
Fondurilor Structurale este astzi un aspect unanim recunoscut. Pornind
de la nceputuri relativ modeste n anul 1988, se poate vorbi astzi
despre o abordare deosebit de bine elaborat a Fondurilor Structurale n
ce privete evaluarea.

13

Diferii actori
cheie doresc ca
evaluarea s le
serveasc n
diferite scopuri

Exist diferite
tradiii
naionale n
realizarea
evalurilor

Abordarea
Fondurilor
Structurale
privind
evaluarea a
evoluat n timp

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


Aceast abordare include:
o obligaie legal pentru finanatorii programului i pentru manageri
de a recurge la evaluare;
o responsabilitate comun a diferitelor structuri guvernamentale fa
de ntregul proces de evaluare;
un proces de evaluare multifazic, interconectat (evaluare ex-ante,
intermediar, ex-post);
implicarea a numeroi parteneri n programe i n evaluarea
acestora;
legturi clare ntre evaluare, pe de o parte, i programe i alocarea Au existat de
asemenea
resurselor financiare publice, pe de alt parte.
modificri n
n ultima perioad, se remarc o diversificare a regulamentelor dezvoltarea
Fondurilor Structurale n ceea ce privete evaluarea (pentru detaliere, a regulamentelor
de evaluare
se vedea Fig.1.2).

Cteva dintre cele mai importante schimbri se refer la:


trecerea de la obligativitatea de a realiza procesul de evaluare
impus din exterior, la o cerere pentru evaluare venit din interior, din
partea managerilor de programe i a legislatorilor nii;
trecerea de la o evaluare a programelor fcut la finele unui ciclu de
programare, la o evaluare pe deplin integrat n cadrul programelor
nc de la nceput;
trecerea de la publicarea rezultatelor evalurii din motive de
responsabilizare, ctre o preocupare pentru o utilizare sistematizat
a evalurii pe parcursul procesului de implementare al unui program;
trecerea de la ideea conform creia managementul procesului de
evaluare era n mod esenial un aspect strict legat de procedeele
administrative sau contractuale, ctre un interes sporit acordat
modului n care evaluarea poate contribui la dezvoltarea unui
Schimbri de
management bazat pe cunoatere.
responsabilitate
Aceste schimbri au intervenit n paralel cu modificri de /modificarea
responsabilitate ale diferiilor actori la nivel european, naional i competenelor
regional, dar i cu o extindere a importanei acordate principiului de n cadrul
parteneriat. Lista potenialilor iniiatori ai proceselor de evaluare a fost procesului de
extins astfel nct astzi poate include, spre exemplu, autoriti locale, evaluare
parteneri sociali sau grupuri din cadrul societii civile.

Reforma din cadrul Regulamentelor Fondurilor Structurale (a se vedea


anexa B), pentru cea de-a treia generaie de programe (2000-2006),
dei transfer multe din atribuiile procesului de evaluare n competena
statelor membre impune i ca aceste evaluri s fie utilizate att ntr-o
faz ex-ante, ct i ntr-una intermediar.
Proceselor de revizuire a evalurilor intermediare li se acord denumirea
de evaluri finale. Aceast combinaie de transferuri de responsabilitate
i monitorizare extern din partea unor structuri guvernamentale
superioare ierarhic reprezint de asemenea un aspect tipic al evalurilor
din domeniul dezvoltrilor socio-economice.

14

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


Box 1.2 Dezvoltarea Regulamentelor Fondurilor Structurale
1994 I 1999

2000 I 2006
EVALUAREA EX-ANTE

O evaluare ex-ante trebuie realizat n


cadrul unui parteneriat ntre Comisie
i statul membru; trebuie n mod
necesar s includ i impactul asupra
mediului nconjurtor.
Comisia evalueaz planurile lund n
considerare aceast evaluare de tip
ex-ante.

Statul membru deine responsabilitatea principal pentru evaluarea


de tip ex-ante. Obiectivul evalurii ex-ante este clar definit, o atenie
special trebuie acordat impactului asupra mediului, pieei muncii i
asupra promovrii egalitii anselor pentru femei i brbai.
Evaluarea ex-ante este ncorporat n cadrul planurilor elaborate
ulterior.

EVALUAREA INTERMEDIAR

Nu exist nici un fel de precizri care


s solicite ca informaia s fie
colectat i comunicat.
Nu exist nici un fel de prevederi care
s defineasc un anumit rol al
Comitetului de Monitorizare n cadrul
procesului de evaluare (n practic,
principalul rol al Comitetului de
Monitorizare a fost acela de a numi
evaluatorii).

Statul membru este responsabil pentru derularea evalurii


intermediare, n parteneriat cu Comisia; Comisia este aceea care
apreciaz relevana procesului de evaluare.
Obiectivul evalurii intermediare este unul bine definit. Evaluarea
intermediar este organizat de ctre autoritile relevante implicate
n administrarea programului i este realizat de un evaluator
independent; trebuie s fie defintivat pn la 31 Decembrie 2003.
Pentru a facilita evalurile, autoritatea de management trebuie s
creeze un sistem pentru colectarea datelor financiare i statistice
necesare pentru evalurile intermediare i ex-post.
Comitetul de Monitorizare analizeaz rezultatele evalurii
intermediare i pe aceast baz poate propune schimbri n structura
programului.
O versiune completat a evalurii intermediare va fi derulat pn la
finele anului 2005 cu scopul de a face pregtirile necesare pentru
operaiunile care se vor derula n continuare. (Aceast versiune mai
complet, revizuit a evalurii intermediare poart i denumirea de
evaluare final).
EVALUAREA EX-POST

O evaluare ex-post trebuie realizat n


cadrul unui parteneriat ntre Comisie
i statul membru, apreciindu-se
impactul msurilor adoptate n raport
cu obiectivele urmrite.

Comisia deine responsabilitatea principal pentru evaluarea de tip


ex-post, n parteneriat cu statul membru.
Obiectivul evalurii de tip ex-post este unul bine definit. Evaluarea expost este realizat de ctre un evaluator independent, ntr-o perioad
de trei ani de la finele perioadei de programare.
REZERVA DE PERFORMAN

nainte de 31 martie 2004, alocaia n procent de 4% pentru fiecare


stat membru, reinut la nceputul perioadei, este alocat ca o
rezerv de performan, n baza documentelor fazei de programare
a crei performan este considerat a fi un succes de ctre Comisie.
Performana este apreciat n baza unor indicatori, a eficienei, a
managementului i a implementrii finanaciare, care sunt definite de
ctre statul membru n urma consultrilor cu Comisia.
n ultima perioad s-a manifestat o tendin puternic ndreptat cu
precdere nspre reforma managementului public i nspre introducerea Legtura cu
conceptului de management al performanei n administraia public n managementul
multe ri europene i n cadrul Comisiei Europene (a se vedea performanei
Management Performant i Eficient-SEM 2000; i A cheltui mai eficient

15

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


- Implementarea Politicilor de Evaluare ale Comisiei Europene). Aceast
tendin continu s se manifeste prin conectarea deciziilor financiare i
bugetare la un nivel de performan care n mod necesar trebuie
cuantificat i detaliat. Managementul performanei att la nivelul Comisiei
Europene (a se vedea Implementarea Managementului bazat pe
activitate n cadrul Comisiei), ct i la nivelul statelor membre este acum
reflectat de nc un element cuprins n cadrul cerinelor de evaluare din
cadrul regulamentelor existente, i anume cele legate de Rezerva de
Performan. Indicatorii de eficien a managementului i ai implementrii
financiare trebuie colectai astfel nct s fie justificat returnarea
fondurilor reinute la nceputul perioadei de programare.
Diferite tradiiii surse
Evaluarea are diferite surse i nici nu se poate vorbi despre evaluare ca
fiind o practic unitar, sau care deriv dintr-un singur set de procedee.
Acest lucru se datoreaz parial evoluiei istorice a evalurii, att n
Europa ct i n America de Nord. Aa cum am menionat deja, n mod
obinuit se poate vorbi de trei surse importante ale gndirii/colii de
evaluare: 1/ iniiativele Marii Societi din Statele Unite din anii '60, 2/
inovaiile aduse n domeniul educaional i n special introducerea unor
programe colare inovatoare i 3/ introducerea controlului bugetar i a
sistemelor de eficien, ca de exemplu Sistemele de Planificare,
Programare i Bugetare (PPBS). Acestor trei surse distincte, li se mai pot
Numeroase surse
aduga managementul prin obiective, cercetarea participativ n
i origini diferite
domeniul dezvoltrii comunitilor sau al dezvoltrii rurale, managementul
bazat pe rezultate i multe altele.
O modalitate de a distinge ntre aceste surse este aceea de a analiza
exemple particulare i de a pune accent pe ideile i teoriile principale care
stau la baza diferitelor procedee de evaluare.
Putem descrie patru astfel de seturi de teorii:
Cercetare i metode tiinifice. Multe dintre ideile i metodele de baz
folosite n evaluare provin din tiinele sociale i economice. Pornindu-se
de la o logic ce combin testri de ipoteze, observaii, colectare i
analize de date, sunt n permanen cutate explicaii pentru fenomenele
observate. n cadrul programelor socio-economice complexe, aceste
explicaii sunt rareori uor de furnizat. O bun parte a muncii evaluatorilor
este reprezentat n fapt de ncercarea de a atribui rezultatele observate
resurselor financiare publice folosite i invers.
Teoria economic i alegerile publice. Gndirea economic influeneaz
evaluarea la diferite nivele. Acestea includ noiuni de eficien i alocare Patru surse de
adecvat a resurselor financiare publice limitate, noiuni despre stimuli i idei i teorie
comportamente instituionale (n special la nivel macroeconomic) i studii
la nivel macroeconomic care ncearc s identifice efectele agregate ale
interveniilor politice (de exemplu, n termeni de competitivitate sau de
PIB).
Teoria managerial i organizaional. Aceasta a cptat o influen mai
notabil n cadrul evalurii n decursul ultimelor perioade, pe msur ce
accentul a fost pus din ce n ce mai mult pe implementare i pe punerea

16

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


n practic a programelor i politicilor. Acest curent de gndire scoate n
eviden aspecte legate de contextul organizaional, de coordonarea
inter-organizaional (de exemplu, prin intermediul parteneriatelor sau
prin crearea de consorii), precum i aspecte legate de motivare, drept de
proprietate i participare.
tiinele politice i administrative. Pe msur ce programele publice i
administratorii acestora au n vedere probleme legate de procesul politic
i de reforma sectorului public, ei au reuit s trag din ce n ce mai multe
concluzii legate guvernare, responsabilizare i cetenie. Multe dintre
teoriile principale ale reformei sectorului public i ale noului model de
management al sectorului public, precum transparen i responsabilizare
au fost influenate de aceste perspective. n plus, mediul politic
contemporan evideniaz din ce n ce mai stringent importana obinerii
consensului n ntrirea legitimitii aciunilor politice.
Din cele discutate anterior rezult n mod evident c evaluatorii pot avea
profesii diferite. Pot fi economiti - preocupai de probleme legate de
eficien i costuri, consultani de management - interesai de
funcionarea corespunztoare a organizaiei sau analiti politici, fiind
interesai de reforma dintr-un anumit sector i de problematica
transparenei, sau, pur i simplu, oameni de tiin (din diverse
discipline), interesai de stabilirea adevrului, de descoperirea a noi
informaii i de a confirma/infirma ipoteze diverse.
Una dintre cele mai mari probleme cu care se confrunt cei care conduc
sau care apeleaz la o evaluare este aceea de a alctui o echip
adecvat de persoane competente, care s poat combina n mod
eficient toate aceste stiluri de evaluare (acest aspect va fi abordat pe larg
n Capitolul al doilea al acestui MANUAL, care va analiza n detaliu
profilul unei echipe de evaluare i modalitile de selecie ale
evaluatorilor potrivii).
La nivel naional sau european, unul din rolurile cheie ale evalurii, acela
de sporire a capacitii, se manifest prin a pune n legtur grupuri
diferite ale comunitilor de evaluatori profesioniti. Organizarea de
conferine, reele i societi profesionale care reunesc evaluatori din
diferite medii reprezint modaliti de a spori gradul de cunoatere dintre
acetia, dar i de a transmite i de a mprti practici, cunotiine,
expertiz (aceste aspecte vor fi discutate pe larg in capitolul al doilea al
acestui MANUAL).
n ciuda acestor diferene privind sursele i procedeele de evaluare, se
pot distinge totui cteva tipuri principale de evaluare. Acestea pot fi
analizate n funcie de dou criterii principale. Un prim criteriu se refer la
obiectivele evalurii, iar cel de-al doilea are n vedere metodologia
aplicat n cadrul procesului de evaluare.
Principalele obiective ale evalurii
Evalurile pot servi ntotdeauna unui scop mai larg, cum ar fi acela de a
aduce o contribuie semnificativ unui anumit domeniu al politicii publice
sau al programului. Evaluarea poate avea unul din urmtoarele cele mai
cunoscute scopuri:

17

mbinarea
diversitii n
cadrul unei echipe
de evaluare

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I

Planificare/eficien a se asigura c exist o justificare clar pentru Cinci obiective


o anume politic/program i c resursele financiare publice sunt diferite
utilizate n mod eficient.

Responsabilizare a demonstra msura n care un program i-a atins


obiectivele i ct de eficient au fost utilizate resursele financiare
publice.

Implementare a mbunti performana programelor i eficiena


modului n care ele sunt aplicate i administrate.

Furnizarea de cunoatere - a spori nivelul de nelegere al msurilor


care pot fi utilizate n diferite circumstane i al modului n care se
poate spori eficierna diferitelot msuri i intervenii.

ntrirea capacitii instituionale mbuntirea i dezvoltarea


capacitii participanilor la program, reelelor i instituiilor acestora.

Fiecare dintre aceste scopuri ale evalurii prezint interes diferit pentru
diveri actori cheie i n general le sunt asociate variate tipuri de ntrebri
de evaluare, de exemplu:

Dac scopul evalurii este reprezentat de planificare/eficien,


evaluarea va fi util n principal persoanelor responsabile cu
planificarea i politicienilor, dar i cetenilor n general. Aceti actoricheie vor fi n general preocupai de modul n care resursele
financiare publice sunt alocate ntre diverse obiective concurente i de
modul n care acestea sunt apoi utilizate. Ei vor dori s afle rspunsuri
la ntrebri precum: Este acesta cel mai bun mod n care pot fi utilizai
banii publici? Exist modaliti alternative de folosire a resurselor care
pot aduce beneficii sporite? Exist o echivalen ntre costurile
presupuse de intervenii, pe de o parte i beneficiile ateptate, pe de
Diferite obiective
alt parte?
prezint
interes
pentru actori Dac scopul evalurii l constituie responsabilizarea, atunci va fi util
cheie diferii
politicienilor, finanatorilor programelor i parlamentelor. Ea rspunde
acelor iniiatori care, avnd un program sau o politic socioeconomic deja aprobat, doresc s afle ce s-a ntmplat cu resursele
alocate. Acest tip de evaluare rspunde la ntrebri precum: Ct de
....i ridic
mare a fost succesul nregistrat de programul respectiv? Obiectivele
probleme de
programului au fost ndeplinite? Au fost banii cheltuii n mod eficient
evaluare diferite
i care a fost impactul nregistrat?

Dac scopul evalurii este implementarea, atunci va fi util n principal


managerilor de programe i principalilor parteneri implicai n program.
Aceti iniiatori de programe sunt n principal interesai de
mbuntirea managementului i a modului de aplicare a
programelor, etape de care sunt direct responsabili. Acest tip de
evaluare rspunde la ntrebri precum: Este managementul eficient?
n ce msur sunt partenerii de program implicai? Este definit
eligibilitatea (ce zone, ce grupuri int etc. sunt eligilibile pentru a primi
asisten prin program)? Este respectat graficul de timp stabilit?

Dac scopul evalurii este de a furniza cunoatere, aceasta va veni


cu precdere n ntmpinarea nevoilor politicienilor i a celor implicai

18

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


n planificare incluzndu-i i pe cei implicai n planificarea de noi
programe. Aceti actori-cheie doresc s tie n ce msur ipotezele
programelor sunt confirmate i ce nvminte pot fi trase pentru viitor.
Acest tip de evaluare rspunde la ntrebri precum: Ce am nvat din
ceea ce s-a dovedit c funcioneaz? Sunt mecanismele de
intervenie i de schimbare mai bine nelese? Este necesar s
analizm logica programului sau ipotezele sale de baz? Este
aceasta o modalitate eficient de atingere a obiectivelor - sau exist
alternative mai bune? Care este dovada eficienei interveniilor
efectuate?

Dac scopul evalurii este reprezentat de mbuntirea capacitii


instituionale, atunci ea va fi util partenerilor implicai n program i
altor actori-cheie. Acetia vor fi interesai de modul n care i pot spori
eficiena, de modul n care capacitile lor pot fi extinse sau de modul
n care beneficiarii pot obine maximum din ceea ce un program poate
oferi. Acest tip de evaluare ofer rspunsuri la ntrebri precum: Sunt
beneficiarii (inclusiv comunitile locale) suficient de implicai n
conceperea programului i a msurilor acestuia? Ce poate fi fcut
pentru a spori gradul de participare i obinere a consensului? Sunt
mecanismele programului ndeajuns de durabile, iar abordarea este
descentralizat?

nvarea ca obiectiv general al evalurii


Este uneori sugerat faptul c evaluarea poate fi privit ca avnd un
obiectiv general, atotcuprinztor, n cadrul crora pot fi incluse toate
celelalte obiective discutate mai sus. Acest obiectiv general are n vedere
procesul de nvare, iar evaluarea, privit din aceast perspectiv, are
drept scop:
a nva prin intermediul unei analize sistematizate a modului n care
pot fi elaborate, implementate i aplicate mai bine programele i
politicile publice.
Importana acordat procesului de nvare subliniaz o trstur cheie a
evalurii, trstur care este ntr-o mare msur n acord cu necesitile
programelor de dezvoltare socio-economic. Aa cum am artat deja, n
cadrul acestor programe, baza de cunotiine pus la dispoziie nu este
una perfect, i se manifest o nevoie constant de a dobndi mai multe
informaii despre diferite contexte i despre modul de combinare mai
eficient a diferitelor msuri.
Accentul pus pe procesul de nvare evideniaz de asemenea un alt
aspect deosebit de important al procesului de evaluare, un element cheie
al capacitii de evaluare, care va fi dezbtut pe larg n continuare. Este
unanim recunoscut faptul c pentru ca o evaluare s fie n mod adecvat
integrat n cadrul procesului de elaborare a unei politici, trebuie s existe
totodat un cadru propice nvrii, n care succesul, dar i problemele i
eecurile unui program s fie luate n considerare pentru a trage
nvminte utile pentru viitor.

19

Trebuie s
nvm cum
poate fi
mbuntit
dezvoltarea socioeconomic

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


1.3 METODE I SURSELE ACESTORA
Capitolul al IV-lea al acestui MANUAL descrie n detaliu metodele,
instrumentele i tehnicile utilizate n evaluare. Accentul va fi pus n
principal pe fundamentele acestor metode i instrumente. Sunt descrise
cinci procedee metodologice complexe, dup care este dezbtut modul n
care acestea sunt interconectate cu diferite coli filosofice care au avut o
influen puternic n cadrul tiintelor sociale aplicate sau al tiintelor
economice.
Perspective metodologice
Avnd n vedere metodologia evalurii i lund n considerare diferitele
abordri ale procesele de evaluare discutate mai sus, putem distinge
cinci perspective metodologice:
Perspectiva alocrii resurselor, care are n vedere utilizarea eficient
a resurselor, att prospectiv, n termenii planificrii, ct i retrospectiv,
avnd n vedere modul n care resursele au fost utilizate.
Perspectiva bazat pe standarde sau inte, care are n vedere
aprecierea succesului sau a performanelor prin raportarea la anumite
criterii.
Perspectiva explicativ, care are n vedere explicarea impacturilor i a
succesului unui program i furnizarea de aseriuni de natur cauzal
cu privire la a ceea ce d rezultate, cum i n ce condiii.
Perspectiva de formare / orientat spre schimbare, ce ofer pe
parcusrul existenei unui program un feed-back pozitiv i de o
complexitate sporit, foarte util pentru funcionarea eficient a unui
sistem propriu de corecie i monitorizare.
Perspectiva participativ/evolutiv, care ncearc s dezvolte reele,
comuniti i teritorii, utiliznd metode participative, i o structur de
tip descentralizat.
Toate aceste consideraii metodologice pot fi deosebit de folositoare n
evaluare deoarece ne permit s realizm diferite demersuri. Unele dintre
acestea vor prea extrem de familiare acelora care au deja experien n
evaluarea politicilor i a programelor, de exemplu:

Cinci procedee
metodologice

Diferite tipuri de
evaluare ne
permit s
realizm diferite
lucruri

O analiz cost-beneficiu, utilizat n stadiul de evaluare a proiectelor,


reprezint un exemplu adecvat al unei prespective de alocare a
resurselor.

Un studiu indicator care analizeaz gradul n care un program i-a


ndeplinit obiectivele reprezint un exemplu elocvent al perspectivei
bazat pe standarde/obiective.

O evaluare intermediar, menit a oferi un feed-back adecvat care s


permit managerilor de programe i partenerilor s nu devieze de la
obiectivele propuse iniial i dac este necesar s reorienteze anumite
programe, constituie un bun exemplu pentru perspectiva de formare.

O evaluare tematic menit s analizeze efectele produse de diferite


tipuri de intervenii i care ncearc s neleag care sunt acele tipuri
de intervenii capabile s sprijine n mod eficient ntreprinderile mici i
mijlocii i n ce condiii ar reprezenta un exemplu pentru perspectiva Adevrata
provocare
explicativ.

20

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I

presupus de
O evaluare desfurat la nivel local, menit s conduc la obinerea evaluarea
consensului ntre actorii locali, s sprijine problemele aflate deja pe programelor
agenda lor de lucru i s le dezvolte capacitile ar reprezenta o complexe
exemplificare a procedeului participativ, de tip descentralizat.

Una dintre principalele caracteristici ale interveniilor de dezvoltare socioeconomic este reprezentat de modul n care reuesc s combine
diferite programe n cadrul unui anumit sector de activitate sau teritoriu.
Programele provin din diferite zone sau domenii ale politicii socioeconomice: educaie i recalificare, cercetare i dezvoltare tehnologic,
mediu, dezvoltarea infrastructurii etc. Aceasta reprezint una dintre
provocrile distincte cu care evaluatorii programelor de dezvoltare socioeconomic se confrunt, i anume modul n care s evalueze seturi
complexe de intervenii interconectate ntre ele, apreciind totodat nu
numai contribuia fiecrui element n parte, ci i a sinergiilor existente
ntre elemente.
Fiecare dintre aceste domenii sau sectoare ale politicii socio-economice
au modaliti tradiionale de evaluare, precum i teorii specifice care se
pot dovedi a fi dificil de combinat. Exist, cu siguran, motive ntemeiate
datorit crora evaluarea prezint procedee i metode specifice,
adecvate diferitelor domenii ale politicilor socio-economice. Aceste
diferene tind s reflecte caracteristici, obiective i ateptri de natur
politic specifice fiecrui domeniu de politici socio-economice iar acest
lucru afecteaz i tipurile de msuri sau de indicatori care pot fi folosii, ca
i ntregul procedeu de evaluare ce se impune a fi utilizat. De exemplu,
evalurile interveniilor din domeniul tiinei i tehnicii utilizeaz cu
precdere indicatori bibliometrici drept msur de cuantificare a
rezultatelor cercetrii, n timp ce evalurile interveniilor din domeniul
educaional depind ntr-o mare msur de indicatorii de msurare a
performanelor studentului. n unele domenii ale politicii socio-economice,
poate exista o tradiie ca managerii de programe s realizeze propria lor
evaluare asupra interveniilor pe care le administreaz. Un exemplu ar fi
programele internaionale de dezvoltare, n care evaluarea se realizeaz
sub forma analizrii documentelor proiectelor din teren efectuat de ctre
managerii responsabili de portofoliul respectiv de proiecte dintr-o ar sau
sector de activitate aflate n curs de dezvoltare. n alte sectoare ale
politicii socio-economice, implicarea direct a managerilor care
administreaz proiectele supuse evalurii ar fi pus sub semnul ntrebrii,
din punct de vedere al independenei i al obiectivitii. Efectuarea unei
evaluri economice a proiectelor de infrastructur nainte de a aloca
resursele financiare publice unor asemenea proiecte este considerat un
aspect ct se poate de firesc. Acest lucru ns nu este att de des ntlnit
n cazul proiectelor n care investiiile n infrastructur reprezint doar o
mic parte din resursele totale alocate unei anume intervenii.
Trei Curente Filozofice
Trei curente filozofice marcheaz abordrile metodologice de mari
dimensiuni utilizate n evaluarea programelor de dezvoltare socioeconomic.

Pozitivismul acest curent filozofic a influenat diferite domenii ale

21

Fiecare sector al
politicilor socioeconomice are
propriile sale
tradiii de
evaluare i teorii

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


tiinei, ncepnd cu secolul al XVIII-lea. Curentul pozitivist pornete
de la premisa c este posibil obinerea cunoaterii obiective prin
observaie. Astfel, diferite persoane, aplicnd acelai tip de
instrumente de observare, ar trebui s obin rezultate identice,
rezultate care, atunci cnd sunt analizate folosindu-se aceleai
tehnici obiective ar trebui s conduc la aceleai descoperiri, fr a
avea importan persoana care a aplicat respectivele tehnici.
Curentul pozitivist avea ca obiectiv descoperirea principiilor i a
regulilor (asemntoare celor existente n tiinele naturii). Explicaia
se bazeaz pe agregarea elementelor individuale i a
comportamentelor i interaciunilor dintre acestea. Aceasta constituie
de altfel i baza reducionismului, unde ntregul este neles prin
analizarea prilor componente, ct i a metodelor bazate pe
chestionare i a modelelor econometrice utilizate n evaluare. n cel
mai bun caz, aceste metode pot oferi dovezi cuantifiabile privind
relaiile dintre resursele alocate unor intervenii i rezultatele obinute
n urma acestor intervenii. Limitrile curentului pozitivist n contextul
evalurii dezvoltrii socio-economice sunt evideniate de dificultile
presupuse de modul de cuantificare al multora dintre rezultatele care
prezint interes, de complexitatea interaciunilor dintre intervenii i
ali factori, precum i de absena unor informaii suficiente legate de
msurile care pot fi aplicate n mod eficient n anumite situaii.

Dezvoltarea
socio-economic
difer n medii
diferite-principii
comune sunt
dificil de ntlnit n
contexte diferite

Limitrile unei forme pure de pozitivism sunt astzi bine cunoscute.


ntre acestea putem include: dificultile presupuse de observarea
realitii, ntruct tot ceea ce poate fi observat este n general
incomplet i de aceea necesit o interpretare bazat pe anumite
contexte i teorii; imposibilitatea de a evita efectele de instrument,
ntruct tot ceea ce poate fi observat este ntotdeauna intermediat,
simplificat sau chiar distorsionat de instrumentele i tehnicile utilizate
n colectarea datelor; dificultatea inerent oricror tipuri de comuniti
umane de a gsi principii i legi care s nu difere n funcie de
contextul local; probleme de complexitate, unde fenomenele nsei
sufer modificri pe msur ce interacioneaz adesea n moduri
imposibil de prevzut; i totodat aprecierile subiective, curpinznd
judeci de valoare ale persoanelor care i construiesc o realitate
proprie importante n special n numeroase contexte de dezvoltare
social n cadrul crora probleme precum excluziunea social
reprezint nu numai o problem ce merit a fi analizat, dar i o
realitate incontestabil.
Aceste limitri ale curentului pozitivist au condus la apariia a numeroase
coli post-pozitiviste. Cea mai radical dintre aceste coli, care respinge
aproape n totalitate ideile pozitiviste este constructivismul, care neag
posibilitatea existenei unei cunoateri obiective. Realismul, pe de alt
parte, pune accent pe nelegerea diferitelor contexte i pe teoriile i
principiile care dau natere la diferite explicaii i interpretri. Astfel:

Constructivismul susine c lumea poate fi neleas doar prin


intermediul teoretizrii observaiilor; construciile exist, ns nu pot fi
n mod necesar cuantificate, faptele sunt mereu ncrcate de teorie, Prerile actorilor
iar faptele i valorile sunt interdependente. Potrivit acestui curent, n cheie sunt cele
centrul procesului de descoperire a cunotiinelor se afl evaluatorii i care conteaz
iniiatorii de programe. Evaluatorul i va asuma cu precdere un rol
interactiv, de coordonare a procesului, de a oferi rspuns la ntrebri,

22

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I

reunind diferite grupuri de actori-cheie cu opinii divergente, n vederea


realizrii unei analize comune i a atingerii consensului. Evaluatorul
joac un rol cheie n stabilirea prioritilor i n medierea negocierilor
dintre actorii-cheie. Actorul-cheie reprezint deseori cea mai
important surs de informaii, ns analizele specifice i informaiile
provenite din surse externe trebuie luate n considerare i folosite
pentru a oferi i puncte de vedere diferite.
Realismul reprezint acel curent care caut s deschid cutia
neagr a politicilor i programelor, pentru a pune n eviden
mecanisme rspunztoare pentru o schimbare de un anume tip.
Propunndu-i acest lucru, curentul filozofic recunoate faptul c
programele i politicile sunt adnc nrdcinate n procese sociale i
organizaionale multistratificate, precum i faptul c influena acestor
dimensiuni diferite i a contextelor variate trebuie luat n considerare.
O importan deosebit este acordat analizei sociale, explicndu-se
diferite principii, inndu-se cont de modelul context-mecanismrezultat. Sistemele analizate sunt considerate sisteme deschise. n
cadrul acestui curent de gndire, evaluatorii ncearc s identifice
mecanismele cauzale i s explice motivele pentru care anumite
procedee ofer rezultate bune n anumite contexte. Adesea,
evaluatorul dezvolt o relaie de tip profesor - elev cu legislatori,
practicieni i cu ali participani la acest proces. Evalurile tematice
tind s se deruleze n conformitate cu un asemenea model. Mergnd
mai n profunzime, studiile de caz comparative reprezint abordri
caracteristice ale practicii de evaluare influenate de curentul realist.

n practic, evaluatorii rare ori i desfoar activitatea n conformitate cu


unul dintre aceste curente filozofice, ns, n funcie de circumstanele
specifice ale evalurii, se vor apropia mai mult de un curent sau de altul.
n termeni generali, procedeele de evaluare aplicate n conformitate cu
gndirea pozitivist vor fi utile cu precdere n faza de revizuire a
politicilor sau programelor. Abordrile realiste pot conduce la o serie de
informaii foarte utile n faza formativ, n special n cazul cnd evaluarea
vizeaz dezvoltarea unei politici socio-economice. Abordrile
constructiviste pot fi n mod special utile n a face ca programele s
funcioneze n mod corect, ns depind ntr-o mare msur de
ncrederea i de relaiile existente ntre evaluator i actorii-cheie.
Este deosebit de important s identificm aceste curente filozofice, chiar
i numai datorit faptului c ele sunt extrem de utile n a explica motivele
pentru care evaluarea prezint abordri att de diferite. A defini n mod
explicit aceste curente i a-i forma totodat propriile preferine reprezint
cu siguran aspecte foarte folositoare pentru evaluatori (ct i pentru cei
care apeleaz la evaluare).
Combinnd cele dou axe ale obiectivelor i metodologiei de evaluare,
putem identifica mcar cteva dintre diferitele tipuri de evaluare care se
folosesc n mod frecvent pentru programele de dezvoltare socioeconomic. Cele dou axe i tipurile de evaluare sunt prezentate n
Fig.1.3. Cu siguran, cererile de evaluare specifice vor avea n mod
normal mai multe obiective i vor apela la diferite tipuri de metode. De
exemplu, o evaluare de tip formativ menit a mbunti implementarea
programului poate, de asemenea, s genereze i cunoatere; tot n acest
fel, tipurile de evaluare utilizate n managementul performanei pot ajuta,
dac sunt administrate n mod adecvat, la dezvoltarea instituiilor i a

23

Deschidearea
cutiei
negrepentru
a
stabili mecanisme
cauzale

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


reelelor. Astfel, o anumit evaluare nu va corespunde n mod neaprat
cu exactitate unuia dintre cele cinci tipuri prezentate. Mai degrab, se
poate afirma c aceasta prezint, n mod aproximativ, caracteristicile unui
anume tip. n acelai timp, un sistem de evaluare va reflecta elemente
cuprinse n diferite tipuri de evaluare.
Fig. 1.3 Cele dou axe ale evalurii: Scop i Metodologie
OBIECTIVE

Planificare/
Planning/
Eficienta
Efficiency

Alocarea
resurselor

M
E
T
O
D
O
L
O
G
I
E

Standarde si
obiective

Responsabilizare

Implementare

Productie bazata
pe cunoastere

Intarirea capacitatii
institutionale

Alocativa/
Economica

Management/
Performata

Formativ

Imbunatatire
Schimbare

Cauzal/
Experimental

Explicatie

Participativ

Evolutiv/
Participativ

La intersecia celor dou axe scop i metodologie, pot fi observate cinci


tipuri principale de evaluare. Acestea sunt:
Evaluri alocative/economice situate la intersecia dintre planificare i
eficien, pe de o parte i metodologia de alocare a resurselor pe de alt
parte;
Evaluri orientate spre management/performan, situate la intersecia
ntre responsabilizare i stabilirea intelor i a standardelor, ca Cinci tipuri
principale de
metodologie;
Evaluri formative, situate la intersecia ntre implementarea i aplicarea evaluare
programelor i metodologiile care au ca scop relizarea unor mbuntiri
i modificri;
Evaluri cauzale/experimentale, situate la intersecia ntre furnizarea
cunoaterii i metodologii care ncearc s asigure explicaii pentru
efectele obinute n urma unei intervenii;
Evaluri participative, situate la intersecia ntre ntrirea capacitii
instituionale sau de reea i metodologiile de dezvoltare social sau
organizaional.

24

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


Aceste tipologii nu pot fi localizate cu exactitate, dei a le plasa, chiar i
de o manier aproximativ, se poate dovedi a fi extrem de util. De
exemplu, evaluarea formativ poate de asemenea s ntreasc
capacitatea instituional i s vin n ajutorul managementului n
ndeplinirea obiectivelor; evaluarea alocativ/economic poate aduce
contribuii unor obiective de responsabilizare i s furnizeze cunoatere
i n egal msur poate contribui la planificarea i la adoptarea unor
decizii de eficien n faza ex-ante. Cu toate acestea, aceste tipologii nu
surprind dect cteva dintre principalele curente de gndire legate de
evaluare i de dezvoltarea socio-economic. Am subliniat, de exemplu
importana managementului performanelor, a participrii i a ntririi
capacitii instituionale, i toate acestea sunt ncorporate n tipologiile de
evaluare identificate anterior.
Aceste cinci tipuri de evaluare ofer un punct de plecare extrem de util
discuiei despre instrumentele i tehnicile evalurii din capitolul al
patrulea al acestui manual i din crile de fundamentare.
O important distincie trebuie fcut n cadrul acestei diversiti de
scopuri, metode i tipologii de evaluare. Aceast distincie se refer la
diferena ntre evalurile care au ca scop s aprecieze, cuantifice i s
demonstreze eficiena politicilor i a programelor i acele evaluri care au
ca scop s furnizeze recomandri, s dezvolte i s mbunteasc
politicile i programele. Multe dintre evalurile cerute n cadrul Fondurilor
Structurale Europene fac parte din prima categorie, dei se ateapt
totui ca evalurile ex-ante i intermediar s contribuie ntr-o anumit
msur i la mbuntirea programului.
Cu toate acestea, numeroase evaluri derulate n cadrul contextului de
dezvoltare socio-economic sunt n ntregime orientate ctre a furniza
recomandri, pentru dezvoltarea socio-economic i pentru mbuntirea
programelor. Acest MANUAL dorete s aib n vedere ambele abordri,
dei implicaiile acestora sunt total diferite. De exemplu, evalurile de
natur extern, care au ca scop s aprecieze i s cuantifice eficiena,
au n vedere ntr-o mai mare msur structurile evalurii, inclusiv
independena acestora. Pe de alt parte, evalurile de natur intern sunt
n mai mic msur preocupate de problema independenei/autonomiei,
comparativ cu importana acordat oferirii de recomandri oportune i
furnizrii de resurse care pot ntri structura programelor din interior.
Utilizatorii acestui MANUAL trebuie s aib n vedere aceast distincie.
Patru tipologii teoretice relevante n evaluare
Importana acordat teoriei a crescut din ce n ce mai mult. Acest lucru
se datoreaz parial pierderii ncrederii n pozitivismul pur n cadrul cruia
se presupunea c observaiile conduc la cunoatere i ofer explicaii n
mod independent, fr a apela la interpretri. Att susintorii curentului
realist, ct i ai celui constructivist, subliniaz n diferite moduri
necesitatea apelrii la teorie. ns, exist motive mult mai practice care
fac necesar recunoaterea importanei teoriei, plecnd de la cunoscuta
maxim nu exist nimic mai practic dect o teorie bun. Doar cu ajutorul
teoriei, evaluarea poate analiza inteniile programului i identifica logica
interveniilor, sau poate nelege modul de implementare sau de
modificare a programelor, sau explica efectele doar parial nelese ale
programelor asupra diferitelor domenii de politici socio-economice. Cele

25

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


mai cunoscute i mai utilizate utilizate teorii sunt:

Teoria Programelor
Teorii ale practicii
Teorii de implementare i modificare
Teorii specifice politicilor socio-economice

O teoriei bun
conduce la o
evaluare practic

Teoria programelor - elaborarea Modelelor Logice utilizate pe scar


larg n contextul programelor de dezvoltare finanate de Banca Mondial
i de UE reprezint o tipologie de evaluare simplificat, care pune accent
pe resursele programului, pe realizri imediate, pe rezultate i impacturi.
Teoria schimbrii reprezint o abordare a teoriei programrii care are n
vedere deschiderea cutiei negre i care merge mai n profunzime fa
de descrierile de tip resurse-rezultate, cutnd s neleag care sunt
teoriile actorilor implicai n interveniile programului i modul n care
acestea ar trebui s funcioneze.
Teorii ale practicii - exist astzi o literatur din ce n ce mai bogat n
ceea ce privete practica de evaluare, referitoare, spre exemplu, la ceea
ce evaluarea ncearc s realizeze i la abordrile care dau rezultate
eficiente. Asemenea teorii sunt rezultate din leciile nvate prin studierea
unor evaluri efectuate anterior. De exemplu, modul de a asigura
utilizarea rezultatelor evalurilor, modul de a ajunge la concluzii n baza
unor indicii sau modul de a aduga valoare unui program sau unei
intervenii.
Teorii ale implementrii i schimbrii - acestea presupun nelegerea
schimbrilor politice, a difuziei inovaiei, a comportamentului i conducerii
admininstrative i organizaionale. Aceste teorii deriv n principal din
tiinele politice i din studii organizaionale. Aplicarea lor n cadrul
evalurii poate condiiona chiar i succesul interveniilor programului.
Teorii specifice politicilor socio-economice - exist un ntreg set de
teorii asociate dezvoltrii socio-economice, legate de exemplu de modul
n care dezvoltarea are loc n timp i spaiu (a se vedea capitolul 1.4, n
continuare). Seturi de teorii similare sunt prezente n majoritatea
sectoarelor prioritare ale politicilor socio-economice: de exemplu, n
educaie, sntate, pe piaa muncii sau n probleme legate de protecia
mediului. Cartea 1 prezint n detaliu aceste teorii, n strns legtur cu
temele i sectoarele politicilor socio-economice.

Evaluatorii trebuie
s dein
cunotiine legate
de teoriile din
sectorul politicilor
socio-economice
ntruct proiectarea interveniilor este n mod obinuit marcat de un
dar i de teoriile
raionament care deriv din teoriile existente n sectorul politicilor sociode evaluare
economice, este nu numai util ci i absolut firesc ca evaluatorii s dein
cunotiine legate de teorii relevante pentru temele i sectoarele politicilor
socio-economice vizate.
1.4 EVALUARE N SCOPUL SPRIJINIRII DEZVOLTRII SOCIOECONOMICE
Modul cum evalum depinde de ceea ce evalum!
Scopul acestui MANUAL nu este de a analiza natura dezvoltrii socioeconomice n toat diversitatea sa. Cu toate acestea, cteva remarci
26

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


introductive sunt necesare ntruct modul n care este fcut evaluarea
se afl n strns legtur cu obiectul evaluat. Evaluatorii fac cunoscut
adesea necesitatea de a stabili clar obiectul evalurii, iar dezvoltarea
socio-economic reprezint ntr-adevr un obiect de o natur foarte
special.
Dezvoltarea socio-economic poate presupune o serie de intervenii
posibile care includ infrastructur, educaie i recalificare, tiin i
tehnic, prevenirea criminalitii i programe active de integrare pe piaa
muncii, toate acestea n diferite combinaii. Totui, cteva generalizri
sunt posibile i identificarea lor nc de la nceput contribuie la a pune
bazele teoriei i derulrii evalurii n dezvoltarea socio-economic.

n ciuda diferitelor
tipuri de
intervenii, cteva
generalizri sunt
totui posibile.

Cele mai importante afirmaii sunt de altfel i cele mai evidente:


dezvoltarea socio-economic are bineneles ca obiectiv dezvoltarea.
Definiiile date dezvoltrii socio-economice nu sunt ntotdeauna foarte
consistente, ns n general ele cuprind urmtoarele:

dezvoltarea reprezint un proces discontinuu, ce nu poate fi anticipat


sau controlat ntotdeauna - ea reprezint mai puin o problem de
implementare i mai mult una de iniiere i de administrare a unui
proces de schimbare care altfel nu s-ar fi produs;

o dimensiune teritorial - ntreaga dezvoltare are loc n cadrul unui


teritoriu bine administrat i n mod absolut necesar interveniile
Fondurilor Structurale vor fi realizate n strns legtur cu politicile
regionale; aceast dimensiune prezint aspecte mai puternice n
cazul anumitor programe i prioriti dect n cazul altora (de exemplu
n cazul programelor de dezvoltare local din mediul urban sau rural),
ns ea este n permanen prezent;

o baz de pornire - dezvoltarea socio-economic ncearc s


cldeasc pe fundaii pre-existente, care par a avea un potenial clar
de dezvoltare; Aceasta evideniaz totodat i o dimensiune
temporal; despre dezvoltarea socio-economic se discut mereu la
timpul viitor, ns anumite sectoare ale politicii socio-economice (cum
ar fi cel al unei dezvoltri susinute) pot avea un orizont de timp mai
ndelungat dect altele;

o dimensiune cantitativ i alta calitativ - se refer att la o cretere


numeric (cretere a salariilor, a numrului locurilor de munc, a
Caracteristicile
numrului de firme) ct i la calitatea muncii, a mediului, a
dezvolrii sociooportunitilor sau a perspectivelor educaionale;
economice...

o dimensiune politic i una normativ dezvoltarea poate merge n


diferite direcii iar politicile socio-economice stabilesc un spectru de
prioriti i de valori n interiorul cruia deciziile sunt adoptate. De
exemplu, faptul c prin Strategia de la Lisabona s-a stabilit, pe de o
parte, o cretere a posiblitilor de angajare a forei de munc, iar pe
de alta, realizarea unei economii dinamice, bazate pe cunoatere
exprim o serie de prioriti de ordin valoric.
Acestea prezint importante consecine pentru evaluare. De exemplu:

27

....are consecine

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I

asupra modului n
adesea metodele adoptate trebuie s fie capabile s conduc la care evalum
schimbri i la procese evolutive (incluznd aici i deciziile adoptate n
cadrul implementrii programului) ct i la rezultate cuantificabile;

analizarea aplicrii diferitelor msuri n cadrul unui anumit teritoriu


reprezint o cerin esenial pentru evaluarea dezvoltrii socioeconomice;

o apreciere ex-ante, o evaluare a etapelor premergtoare programrii


sau planificrii sunt necesare pentru identificarea resurselor existente
n baza crora pot fi iniiate programele de dezvoltare socioeconomic;

pe lng msurile de natur cantitativ (descrieri, indicatori, modele)


trebuie apreciate totodat i descrierile calitative privind coninutul
programelor, standardele de calitate i gradul de relevan al
msurilor pentru obiectivele urmrite;

modelele de politici socio-economice i afirmaiile normative sau


valorice asociate acestora (de ex. legate de solidaritatea social,
dezvoltarea susinut, anse egale pentru femei i brbai), definesc
criterii clare pentru evaluare i pentru ceea ce trebuie s reprezinte
obiectivul evalurii.

ntre cele mai importante caracteristici ale programelor de dezvoltare


socio-economic pot fi evideniate urmtoarele:

Caut s adreseze probleme structurale persistente i aparent de


nerezolvat, precum i nevoi fundamentale de adaptare. Adesea, avem
de-a face cu sectoare industriale aflate n declin, cu firme
necompetitive, cu administraii publice cu capaciti limitate, grupuri
sau colectiviti afectate pe termen lung de procesul de excluziune
social, sisteme educaionale i de calificare slab conectate la
adevratele necesiti ale economiei sau cu o infrastructur slab
dezvoltat. Astfel de circumstane pot fi comparate cu o serie de
programe unde interveniile sunt mai puin ambiioase, cum ar fi spre
exemplu, situaiile n care ele implic introducerea unui nou sistem de
pregtire i calificare sau modernizarea unui sistem de infrastructur
rutier existent.
Sunt compuse din intervenii multiple, menite a se sprijini reciproc. De
exemplu, acestea ar putea combina intervenii n infrastructur cu
programe de calificare, de dezvoltare a firmelor mici cu programe de
transfer de tehnologie, toate n cadrul unui singur teritoriu. Chiar i un
program sectorial sau tematic poate include mai multe tipuri de
intervenii sau msuri. Acest aspect deriv din nelegerea faptului c
multe probleme persistente, structurale sunt multidimensionale i pot
fi adresate numai dac diferitele dimensiuni discutate mai sus sunt i
ele simultan supuse unor modificri.

28

Necesitatea unei
schimbri
structurale n faa
unor probleme de
dezvoltare
persistente

Intervenii
multilaterale
pentru dezvoltri
multidimensionale

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I

Sunt create n aa fel nct s rspund necesitilor


mediilor/contextelor n care sunt implementate, n contrast cu
numeroase intervenii publice care sunt standardizate i nu iau n
considerare contexte specifice. Astfel, programele destinate sprijinirii
deschiderii unor afaceri aplicate spre exemplu n Nordul Germaniei i
cele aplicate n Sudul Portugaliei, dei pot avea obiective similare,
este foarte posibil ca modul de abordare al problemelor s fie unul
diferit n cele dou zone, reflectnd circumstanele diferite, istoria,
resursele specifice, precum i strategiile naionale i regionale pe
termen lung existente n fiecare dintre aceste teritorii.

Potrivite
caracteristicilor
mediilor/contextel
or n care sunt
aplicate

Nu n ultimul rnd, sunt planificate i finanate n interiorul unui cadru


naional sau internaional mai larg. Astfel, dei create cu scopul de a
rspunde nevoilor anumitor contexte specifice, programele socioeconomice au adesea la baz un concept mai larg, o anumit
strategie sau politic socio-economic. Acesta este cazul Fondurilor
n interiorul unui
Structurale Europene, conturate n baza unui angajament general de
cadru politic mai
coeziune socio-economic, ce se dorete a fi atins prin reducerea
larg
diferenelor n ceea ce privete PIB pe cap de locuitor i prin
respectarea altor condiii asemntoare n interiorul Uniunii Europene.
Este de asemenea i cazul a numeroase programe socio-economice
aplicate la nivel naional i internaional.

S dovedeasc att o structur puternic de tip descentralizat, dar i


o abordare ierarhizat. Acestea sunt elaborate cu scopul de a
rspunde nevoilor i prioritilor unor beneficiari i actori-cheie
specifici care pot activa n diverse teritorii sau sectoare de activitate,
sau care pot avea interese n domenii cu prioritate mare precum
protecia mediului sau egalitatea anselor pentru brbai i femei. Importana
Aceti actori sunt considerai ca parteneri n cadrul sistemului de parteneriatelor de
dezvoltare socio-economic. ntr-adevr, n numeroase programe tip bottom-up
socio-economice care abordeaz programe de dezvoltare la nivel
local, asemenea parteneri preiau conducerea activitilor de stabilire a
prioritilor, de elaborare a programelor, de implementare i
administrare a rezultatelor programului.

Fiind devotate schimbrilor structurale i sistematice, programele de


dezvoltare socio-economic nu i pot realiza ntotdeauna obiectivele
stabilite pe termen lung n cadrul unei singure perioade de
programare. Mai mult, datorit obiectivelor pe termen lung avute,
aceste politici i programe au n vedere de obicei sustenabilitatea i
viabilitatea rezultatelor imediate ale dezvoltrii. Reprezint prin
urmare un aspect absolut firesc pentru programele de dezvoltare
socio-economic s aib n vedere mai mult dect simplele rezultate
cantitative, convenionale precum sisteme de transport mbuntite
sau noi cursuri de pregtire i calificare. Acestea vor include totodat
i schimbri n organizarea instituional i n capacitatea
administrativ, schimbri ce vor asigura sustenabilitatea acestor
rezultate pentru generaiile viitoare de programe.

Putem stabili o legtur direct ntre aceste caracteristici de dezvoltare


socio-economic i evaluare. Cteva dintre cele mai importante sunt
prezentate n Tabelul 1.4 , de mai jos.

29

Dezvoltare
durabil pe
termen lung i
sustenabilitate

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


Tabelul 1. 4 Implicaiile caracteristicilor programelor de dezvoltare socio-economic pentru evaluare
Caracteristicile programului
Necesiti de dezvoltare
persistente i structurale

Ipoteze care deriv din aceste Implicaiile pentru evaluare


caracteristici
Evaluarea trebuie s delimiteze clar
Modificri pe termen lung
nceputul unor modificri pe termen
- atingerea obiectivelor va
lung i s urmreasc schimbrile n
necesita timp i schimbri
timp.
Evaluarea trebuie de asemenea
sistemice
s ia n calcul sisteme de dimensiuni
mai mari i rezultate specifice.

Natura multidimensional a
programelor i a interveniilor

Interveniile i msurile adoptate


trebuie s interacioneze ntre ele
i s se sprijine reciproc

Evaluarea trebuie s analizeze


interaciunile dintre numeroasele
programe/intervenii. Evaluarea
trebuie s ia n calcul probleme de
complexitate i de sinergie.

Programe adecvate
contextelor

Programele i msurile vor diferi


chiar i atunci cnd obiectivele
sunt aceleai. Contextele vor fi,
de asemenea, diferite.

Evaluarea trebuie s considere


interveniile n contextele n care sunt
aplicate. Evalurile trebuie s
aprecieze relevana i s ajute la
identificarea msurilor care
funcioneaz n diferite contexte.
Principii generale sunt dificil de
stabilit.

Acioneaz n interiorul unui


cadru politic mai larg

Orice program de dezvoltare


socio-economic va fi elaborat n
baza obiectivelor unui cadru
politic mai larg.

Evaluatorii trebuie s identifice


criteriile prioritare ale acestor spectre
politice largi, ct i obiectivele
specifice ale programelor.

Parteneriatele realizate pe o
structur de tip descentralizat
sunt importante

Partenerii din cadrul structurilor


tip descentralizat sunt
ntotdeauna importani. Uneori,
acetia articuleaz nevoi i
prioriti n baza unor informaii
locale/regionale, i cteodat au
o importan deosebit n etapele
de proiectare i implementare.

Evaluarea trebuie s apeleze la


metode participative i de tip
descentralizat. n acele sectoare n
care influena actorilor de la nivelele
locale/regionale este predominant
(de ex., programele de dezvoltare
teritoriale/locale) evaluarea trebuie s
vin n sprijinul managementului/
conducerii programelor.

Sustenabilitate

Programele trebuie s includ o


dimensiune a modificrilor
sistemice, pentru a veni n
sprijinul sustenabilitii
rezultatelor programului.

Evaluarea trebuie s-i concentreze


atenia asupra acestor modificri
sistemice inclusiv asupra dezvoltrii
capacitilor care au o influen
major asupra sustenabilitii.

Tabelul 1.4 ofer o explicaie a motivelor pentru care anumitor subiecte li


se acord o importan mai mare n cadrul acestui MANUAL. Accentul pus
pe observarea modificrilor pe termen lung, a dezvoltrii capacitilor, a
interaciunilor i a sinergiilor dintre msurile adoptate, ct i pe utilizarea
metodelor participative deriv n mod direct din caracteristicile
programelor de dezvoltare socio-economice i a ipotezelor coninute de
acestea.
O importan deosebit trebuie acordat parteneriatului. Faptul c Evaluare ntrdezvoltarea socio-economic este una multidimensional, reunind diferite un context de

30

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


intervenii din sectoare politice distincte i implicnd diverse agenii i parteneriat
actori (formali i informali) a determinat ca parteneriatul s dobndeasc o
importan deosebit n evaluare. Multe dintre programele iniiate la nivel
european sunt bazate pe parteneriat ntruct sunt finanate i sprijinite
totodat la nivel naional i regional. De asemenea, n cadrul programului
Fondurilor Structurale Principiul Parteneriatului este integrat n cadrul
regulamentului programului. Parteneriatul ridic probleme importante
pentru evaluare.
ntotdeauna "partenerii" sunt devotai unor angajamente comune, altfel
acetia nu ar fi implicai n programe de dezvoltare socio-economice.
Totui acetia au i interesele lor proprii. Aceste dou tipuri de interese
(comune i specifice) cer ca evalurile i managerii de programe s
includ n planurile lor obiectivele (chiar i cnd acestea pot prea
contradictorii), ntrebrile evalurii i criteriile. Pn la un anumit punct,
evalurile pot rezolva astfel de fenomene prin includerea atent a
diferitelor interese din cadrul parteneriatelor. n Capitolul 2 al acestui
MANUAL va fi dezbtut pe larg modul cum se poate face acest lucru.
Exist de asemenea metode ce pot fi aplicate pentru a integra multiplele
criterii ale diferiilor actori cheie (a se vedea Capitolul 4). Evaluarea n
contextul unui parteneriat are implicaii pentru rolul unui evaluator sau al
echipei de evaluare. Acetia trebuie s-i asume un rol mai complex dect
acela de a documenta n mod pasiv care sunt diversele prioriti ale
actorilor -cheie. Evaluatorii trebuie s-i asume un rol mai activ n a sprijini
atingerea consensului - att la nceput, n etapa de proiectare a
evalurilor, dar i pe parcuurul ntregului ciclu de evaluare - inclusiv n
momentul n care rezultatele sunt diseminate i se discut concluziile.
Coordonarea, negocierea i facilitarea consensului sunt abiliti necesare
evaluatorilor.
Contextul politicilor Uniunii Europene
Aa cum am menionat anterior, orice program de dezvoltare socioeconomic este integrat n cadrul unui context politic mai larg. Este cazul
att al programelor Fondurilor Structurale Europene, ct i al programelor
derulate la nivelul statelor membre.
Programele Fondurilor Structurale au propriile lor orientri i prioriti
orizontale specifice. Prioritile orizontale stabilite pentru perioada 20002006 sunt: asigurarea de locuri de munc i promovarea resurselor
umane, dezvoltarea durabil, protejarea mediului nconjurtor,
promovarea anselor egale pentru brbai i femei, o societate
informaional i dezvoltarea la nivel local. Fondurile Structurale sunt de
asemenea integrate n cadrul unei agende politice mai largi a UE care are
o influen din ce n ce mai mare n conturarea coninutului programelor.
Este important s menionm principalele direcii politice care contureaz
abordrile dezvoltrii socio-economice n Europa, ntruct acestea
prezint implicaii asupra obiectivului general al evalurii, dar i asupra
criteriilor specifice utilizate pentru a aprecia succesul unui program sau al
altuia.
ntre factorii politici cheie care influeneaz conturarea programelor de
dezvoltare socio-economic se includ:

31

Prioriti
orizontale
pentru
dezvoltarea
programelor
europene

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


Politica de coeziune la nivel Comunitar, care are ca scop reducerea
disparitilor dintre regiunile cele mai dezvoltate i cele mai puin
dezvoltate cuantificate, de obicei n termenii PIB/locuitor. Aceast politic
are ca obiectiv sprijinirea acelor aciuni menite s contribuie la reducerea
disparitilor de natur economic, social teritorial din cadrul
Uniunii(CEC 2001). Ea contribuie la realizarea acestui deziderat prin
concentrarea resurselor n acele zone considerate a fi rmase n urma
Reducerea
celorlalte. Majoritatea acestor fonduri sunt alocate acelor regiuni n care
disparitilor la
PIB/locuitor este mai sczut dect 75% din media UE. Aceast politic nu
nivel regional
abordeaz disparitile respective n mod direct, ci mai degrab pune
accent pe acele intervenii menite s influeneze factori determinani ai
creterii economice precum infrastructura, incluznd aici transport,
resurse umane, capacitatea de a administra investiii i servicii, n special
prin intermediul unui sistem viabil de ntreprinderi mici i mijlocii, printr-un
management eficient al sectorului public i prin tehnologii informaionale.
Strategia adoptat la Lisabona i ntreg procesul care a urmat ntlnirii
Consiliului European din martie 2000 au convenit asupra strategiei globale
care include totodat obiectivul de a face ca Uniunea European s
devin, ntr-un termen de zece ani: cea mai competitiv i mai dinamic
economie bazat pe cunoatere din lume pn n anul 2010, cu locuri de
munc mai multe i mai bune-calitativ i de o coeziune social mai
ridicat . Pe msur ce procesul iniiat la Lisabona a continuat s fie
dezvoltat (adugnd, n cadrul urmtoarelor Consilii Europene, aspecte
legate de protecia mediului, dezvoltare durabil, dezvoltarea spiritului
antreprenorial sau competitivitate), problema central rmne integrarea
dimensiunilor bine stabilite ale politicilor la nivel european. n mod special,
ea aduce n atenie i reunete problemele legate de politicile de angajare
a forei de munc i de competitivitate (al caror nceput dateaz din anul
1993, o dat cu raportul Delors cu privire la Creterea Economic,
Competitivitate i Politici de Ocupare (COM (93) 700 final) i politicile de
solidaritate social, bunstare i sisteme de politici de angajare, reunite n
cadrul aa-numitului Model Social European.
Aceasta a fost consolidat de Strategia European de Angajare a Forei
de Munc, ale crei aspecte coincid uneori sau vin s accentueze mai
mult prevederile adoptate la Lisabona, de exemplu prin evidenierea
dimensiunilor sociale cu privire la reconcilierea dintre activitatea la locul de
munc cu viaa de familie sau la mbuntirea locurilor de munc oferite
grupurilor defavorizate, dar i prin ncercrile fcute pentru a mbunti
posibilitile de angajare a forei de munc i de a contribui la realizarea
obiectivului de angajare n procent de 100% a forei de munc.
Astfel de curente politice sunt cele n msur s influeneze dezvoltarea
socio-economic ntr-un context european. Legturile existente ntre
diferitele politici i Fondurile Structurale sunt cel mai clar evideniate n
cadrul relaiilor cu noile state membre; de exemplu, msurile de protecie
a mediului vizate de strategia de dezvoltare durabil adoptat n cadrul
consiliului European de la Goteborg, sau prioritatea acordat resurselor
umane n special n cadrul agendei Consiliului de la Lisabona sunt
reflectate n strns legtur cu sprijinul acordat de Comisia European
(Comunicare din partea Comisiei: Specificaii suplimentare pentru rile
candidate la aderare COM 2003 110 final). Dei pot exista diferene de
accent ntre politicile care au ca obiectiv solidaritatea social i cele care
au n vedere o dereglementare a pieei muncii, exist totui un consens

32

Combinnd
dimensiuni
economice i
sociale

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


larg rspndit conform cruia dezvoltarea trebuie s includ n aceeai
msur att o dimensiune social, ct i una economic.
Evalurile dezvoltrii socio-economice trebuie deci s in seama de acest
obiect deosebit de important al evalurii. Cu toate acestea, descrierea
fcut mai sus tendinelor recente din domeniul politic evideniaz i
cteva dintre provocrile pe care dezvoltarea socio-economic le ridic n
momentul n care trebuie evaluate urmtoarele aspecte, de exemplu:

Multe dintre politicile i programele avute n vedere (precum atingerea


unei dezvoltri sustenabile sau sprijinirea ntreprinztorilor privai)
reprezint obiective deosebit de complexe. Astfel, atingerea unei
dezvoltri sustenabile reunete resurse de natur social i
economic, dar i resurse naturale i competene umane. O societate
informaional i bazat pe cunoatere combin elemente
organizaionale, tehnologice i instituionale. Evaluarea lor ridic
probleme metodologice legate de modul de definire al obiectului supus
evalurii, dar i de modul n care mbuntirile sau obiectivele
propuse pot fi realizate.

n cadrul Fondurilor Structurale Europene i al altor programe de


dezvoltare socio-economic, prioritile orizontale sunt consolidate
totodat i de politici complementare, de iniative socio-economice
care necesit o integrare a resurselor, de msuri i mecanisme de
implementare. Aceste iniiative multidimensionale au loc n cadrul
unor contexte care se suprapun uneori (ce pot fi de natur teritorial,
instituional sau sectorial). Evaluarea acestor msuri integrate, ct i
a modului n care componentele lor interacioneaz ntre ele face parte
din complexitatea ce caracterizeaz programele de dezvoltare socioeconomic.

Parial datorit necesitii evalurii unor obiecte complexe, integrate,


va aprea adeseori problema alegerii celei mai potrivite uniti de
analiz. Aceasta reprezint o problem de a decide dac o anumit
msur sau un ntreg program sau o politic socio-economic trebuie
s fie evaluat/evaluat. De asemenea ridic ntrebri legate de
operaiuni de agregare sau dezagregare: este oare oportun
descompunerea iniiativelor complexe n pri componente i
aprecierea succesului fiecreia sau mai degrab ncercarea de a defini
o modalitate de cuantificare agregat, dar care n practic ar putea s
nu fie foarte util? (de exemplu, putem defini un singur instrument
pentru a msura mbuntirea nregistrat n cadrul unei dezvoltri
durabile?) n practic, alegerea unei uniti de analiz este adesea
caracterizat de raionamente i compromisuri ntre a dobndi mai
multe cunotiine legate de aspecte specifice ale unei intervenii i a
furniza informaii pertinente i utile programului n ansamblul su.

Unele dintre programele i politicile ntlnite n dezvoltarea socioeconomic pot fi evaluate apelndu-se la o logistic i la sisteme de
valori diferite. n termeni generali, de exemplu, diferenele de ordin
economic ar trebui apreciate la nivel local, regional, naional sau
european? n ceea ce privete prioritile specifice orizontale precum
ansele egale pentru femei i brbai, ar trebui apreciate n raport cu
evoluia specific a pieei muncii sau n legtur cu diferite criterii
precum gsirea unui echilibru ntre familie i carier sau n termenii

33

Politicile socioeconomice
creeaz
provocri
pentru
evaluare

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


contribuiilor aduse de aceste politici la creterea solidaritii sociale?
Multor dintre cele mai importante ntrebri ridicate de evaluare nu li se
poate da un rspuns n cadrul fazei de programare. De exemplu, a estima
gradul de convergen dintre statele membre i dintre regiuni cere n mod
normal analize comparative de date fcute la nivel european cu privire la
creterea economic, productivitate i nivel de salarizare. Cu toate
acestea, evalurile programelor pot contribui la interpretarea unor evaluri
pe scar mai larg, la nivelul politicilor socio-economice. Ele pot de
asemenea s furnizeze un tip diferit de indicii despre ceea ce se ntmpl
n mod real pe teren, despre modul n care msurile sunt ndreptate spre
atingerea unor obiective specifice, despre calitatea i cantitatea resurselor
i rezultatelor, despre reaciile iniiatorilor de programe i satisfaciile
obinute de ei i despre modul n care programele sunt administrate i
implementate.

Contribuia
programelor la
evaluarea
politicilor
socioeconomice

Bazele teoretice ale dezvoltrii socio-economice


Aa cum am menionat anterior, un domeniu relevant al teoriei n
evaluarea programelor de dezvoltare socio-economic are ca obiect
dezvoltarea nsi. Principalele seturi de ipoteze i teorii utilizate n
explicarea i interpretarea rezultatelor programelor socio-economice
decurg din curentele de gndire contemporane privind dezvoltare socioeconomic.
Dei n mod tradiional (probabil pn la sfritul anilor 70) accentul a fost
pus cu precdere pe acoperirea cererii prin intermediul acordrii unor
subvenii la nivel regional i a altor tipuri de subvenii (de ex. sume
acordate omerilor), curentul actual este ndreptat ntr-o mai mare msur
nspre latura ofertei sau a capacitii. Aceasta poate lua forme diferite - de
la mobilizarea resurselor folosite sub capacitatea existent la creterea
capacitilor i valorii resurselor existente sau la transferarea de noi
resurse ntr-un sector sau zon.

De la un
accent pus pe
cerere la un
accent pe
ofert i
capacitate

Exemple de astfel de ipoteze i teorii lansate n perioada contemporan


includ:

Economia bazat pe cunoatere: conceptul unei economii bazate pe


producie, diseminare a cunotinelor i aplicare a informaiilor i a
"know-how-ului" ca produse n sine, precum i folosirea generalizat
de noi modaliti de producie constnd n aplicarea informaiilor i a
cunotinelor n procesul de producere a bunurilor i serviciilor.

Capitalul uman: recunoate faptul conform cruia resursele umane n


special gradul de alfabetizare i nivelurile de educaie, sntate i
Productivitatea
speran de via n general, creeaz condiiile necesare creterii
forei de
productivitii care va permite grupurilor sociale s transforme acest
munc
capital uman n bunstare economic sporit.

Capitalul social: se refer mai curnd la bunstarea social dect la


cea individual, obinut prin intermediul reelelor sociale i
instituionale (incluznd spre exemplu parteneriate i asociaii) care
iniiaz i sprijn activiti sociale eficiente. Acestea includ ncrederea
social, norme i reele precum i sisteme politice i legislative care s

34

Know-how-ul
i aplicarea sa
ca produs i
ca o
contribuie
adus
produciei

Sprijinirea
eficient a
relaiilor
interumane

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


acorde un sprijin deschis coeziunii sociale.

Excluziunea social: are ca obiective diferenele existente ntre


indivizi i comuniti n cea ce privete accesul la servicii, oportunitile
de angajare oferite i posibilitile de infrastructur existente.
Excluziunea social are un impact negativ asupra dezvoltrii
economice, dar i asupra politicilor privind angajarea forei de munc
i resursele umane, asupra proteciei mediului sau a promovrii
anselor egale ntre femei i barbai. Atingerea unei coeziuni
economice i sociale mai ridicate a devenit unul dinte obiectivele
prioritare ale Uniunii Europene ce reunete politici de angajare a forei
de munc, de protecie social, de asigurare a locuinelor, educaie,
sntate, informaii i comunicaii, mobilitate, aprare i justiie,
recreere i cultur.

Diferene n ce
privete
accesul la
bunuri, servicii
i pe piaa
muncii

Transfer de tehnologie: acest aspect presupune c transferurile de


tehnologie sunt posibile datorit accesibilitii "bunurilor publice" i
Procesul de
permit zonelor mai slab dezvoltate s recupereze decalajul fa de
imitare reduce
zonele dezvoltate; prin prisma acestor teorii capacitatea de absorie i
diferenele
de imitare este mai important chiar dect aceea de inovare.

O important surs de idei n termeni structurali i regionali deriv din aanumita nou geografie economic. Dou teorii sunt de obicei asociate
acestei coli de gndire:
Avantajul comparativ local - acesta presupune c regiunile dobndesc
un potenial de cretere economic atunci cnd i exploateaz
avantajul comparativ deinut. Acest avantaj comparativ poate lua Exploatarea a
diferite forme avantaj comparativ n termeni comerciali (bunuri i ceea ce este
servicii) i n termeni necomerciali bunuri poziionale (peisaj distinctiv
natural, cultur), exploatate adesea n domeniul turistic.

Poli de cretere - aceast cretere poate necesita la nceput o


concentrare la nivel regional, care va contribui pentru nceput la o
cretere mai degrab dect la o reducere a diferenelor. Cu toate
acestea, se presupune c aceste diferene vor fi erodate n fazele
urmtoare, iar creterea economic va fi distribuit.

Concentrare
nainte de
reducerea
diferenelor

Aceste teorii care stau la baza prioritilor politice, ntre care menionm
politicile de coeziune social, Strategia European de Ocupare a Forei de
Munc sau strategia stabilit la Lisabona prezint implicaii deosebite
pentru evaluare, de exemplu:

Avnd n vedere importana acordat investiiilor publice suplimentare


n cadrul teoriei neo-clasice a creterii economice, este foarte
important de stabilit dac investiia public este ntr-adevr una
suplimentar sau doar una care se substituie investiiei existente. Aa
cum vom discuta n continuare, estimarea adiionalitii, a alocrilor
inutile i a proceselor de substituie reprezint un element absolut
necesar n cadrul evalurii dezvoltrii socio-economice.
Dat fiind importana de a dirija noile resurse spre acele regiuni i
sectoare investiionale cu potenialul cel mai ridicat, a analiza gradul
de adecvare a alocrii resurselor, precum i dac acestea ajung la
beneficiarii crora le sunt destinate reprezint o activitate deosebit de

35

De ce
fondurile
suplimentare
conteaz
Sunt
programele
orientate spre
resurse?

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


important pentru evaluatori. Interaciunea dintre metodele de alocare
a resurselor bazate pe diferenele tematice i regionale reprezint de
asemenea un domeniu de interes pentru evaluatorii programelor de
dezvoltare socio-economice ntruct criteriile tematice pot uneori s
nu fie orientate ntocmai spre acele regiuni sau acei beneficiari
considerai a fi rmas cel mai mult n urm.
n numeroase cazuri, modul n care evaluarea programelor contribuie la a
oferi rspunsuri la ntrebri importante de evaluare este reprezentat o
nelegere de ordin calitativ a ceea ce se petrece n realitate pe teren. De
exemplu, multe dintre ideile i teoriile de baz ale dezvoltrii socioeconomice evideniaz importana tehnologiei ca resurs important a
creterii economice. Astfel, evalurile programelor socio-economice, ntrun asemenea cadru politic trebuie s:

clarifice care sunt tipurile de investiii tehnologice care sunt realizate,


de exemplu n infrastructur, aptitudini, investiii fcute de firme n
echipamente noi,
aprecieze calitatea acestor investiii n termeni de relevan, asimilare
i utilitate percepute de ctre actorii de la nivelele locale sau regionale,
caute dovezi ale eficienei, rapiditii i gradului de consens cu care
aceste msuri tehnologice sunt implementate,
identifice tipurile de rezultate preliminare i modificrile care pot fi
consecina utilizrii anumitor resurse,
aprecieze ct de sustenabile par a fi inovaiile observate i msura n
care sunt dezvoltate noi capaciti, nu doar beneficii singulare ale
interveniei respective.

Evalurile
programelor
ajut la
nelegerea a
ceea ce are
loc pe teren

Acest tip de informaii calitative de teren pot fi utile evalurii n diferite


moduri pentru:

sprijinirea managerilor de programe i a altor actori-cheie n a nelege


evenimentele derulate, ceea ce le va permite s mbunteasc Sprijinirea
modul de orientare, de administrare i de implementare al managerilor de
programelor,
programe

furnizarea unui anumit grad de certitudine legislatorilor, cu mult timp


Rspundere
nainte de terminarea programului, c banii sunt cheltuii n scopurile
pentru banii
pentru care au fost alocai,
publici

oferirea unor informaii contextuale care vor permite evaluatorilor


politicilor socio-economice nsrcinai cu aprecierea eficienei
instrumentelor politice s interpreteze rezultatele obinute de o
manier mai generalizat.

Valoarea Adugat la nivel Comunitar


Dei acest MANUAL nu este n mod exclusiv preocupat de evaluarea
interveniilor fondurilor Structurale europene, multe dintre sfaturile oferite
pot fi utile i acestor programe. Adesea, evaluarea acestor programe ia n
considerare n mod particular valoarea adugat la nivel comunitar a
interveniilor. Nu exist o modalitate corect sau una greit de
identificare i msurare a valorii adugate la nivel comunitar, ns
analizarea sa trebuie fcut avnd n vedere natura specific a
interveniilor i a contextului general. Exist, totui, cteva puncte de

36

Oferirea unui
context
evalurilor
politicilor
sociale

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


plecare:

n primul rnd, trebuie luate n considerare principiile care stau la


baza interveniei. Acestea includ principii de parteneriat,
subsidiaritate i adiionalitate. Au fost angajai partenerii potrivii n
cadrul proceselor de planificare i implementare? Au fost deciziile
cheie adoptate la nivelul cel mai de jos? Au adus interveniile
ceva n plus fa de ceea ce ar fi avut loc n lipsa lor?

n al doilea rnd, ar trebui apreciat modul n care contribuie


intervenia la agenda politic mai larg a UE (incluznd politica de
coeziune, Strategia de la Lisabona, Strategia European de
Ocupare a Forei de Munc sau Strategia de includere a politicilor
privind egalitatea anselor ntre brbai i femei n cadrul tuturor
nivelelor organizaionale, politici i programe).

n al treilea rnd, ar trebui apreciat gradul n care acestea au avut


un impact asupra instituiilor i sistemelor, incluznd aici schimburi
internaionale, transfer de practici i expertiz, care reprezint
consecina finanrii interveniilor de ctre UE (n legtur cu acest
aspect, aa cum va fi discutat n cadrul Capitolului 3 al acestui
MANUAL, interveniile UE au reprezentat adevrai stimuli n
promovarea unei culturi de evaluare).

n al patrulea rnd, aprecierea valorii adugate la nivel comunitar


trebuie s ia n considerare gradul de complementaritate dintre
interveniile UE i instrumentele politice aplicate la nivel naional.

Pentru a oferi o apreciere echilibrat acestor aspecte privind valoarea


adugat la nivel comunitar, aceasta trebuie analizat lundu-se n calcul
orice posibile costuri de tranzacionare.
A face tot posibilul ntr-o realitate imperfect
Att evaluatorii ct i legislatorii i pot construi ipoteze mult prea
ambiioase n legtur cu ceea ce poate realiza evaluarea n contextul
unui anume program sau politic socio-economic. ntr-o lume ideal,
programele sunt bine structurate, datele administrative sunt mereu la
ndemn, evalurile sunt realizate n perioade adecvate, promotorii de
programe i exprim clar obiectivele, cauzele interveniilor au fost
analizate i bine articulate, resurse adecvate au fost puse la dispoziie, n
strns legtur cu scopurile urmrite, competenele necesare sunt
disponibile astfel nct s constituie o echip de evaluare eficient,
ipotezele politicilor rmn constante pe parcursul perioadei de existen a
O lume
programului avut n vedere, i, de asemenea, printr-o planificare eficient,
ideal....
rezultatele evalurii vor fi obinute la timp pentru a oferi att informaii
necesare revizuirii politicilor ct i oportuniti de reprogramare n faza
premergtoare planificrii.
Fr ca acest lucru s ne surprind, lumea real este adesea foarte
diferit de acest context! Prioritile politice se schimb sau evolueaz din
.....care rareori
perioada n care programul se afl nc ntr-o faz de construcie,
exist n
evalurile ex-ante nu sunt conduse ntotdeauna n mod corespunztor,
realitate
obiectivele programului se dovedesc a fi mai mult un compromis ntre
prioritile foarte diferite ale diferiilor actori-cheie, cunoatem indicatorii pe
37

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


care am dori s i colectm i analizm, ns datele necesare nu sunt
disponibile, iar ciclul de evaluare nu este ntotdeauna sincronizat cu cel
formativ al politicilor socio-economice. n toate aceste circumstane extrem
de familiare, evaluarea poate aduce totui contribuii importante. Dar
aceasta necesit o abordare simultan, pe dou planuri:
n primul rnd, evaluatorii trebuie s fie dispui s produc maximum
posibil cu resursele disponibile i n contextul instituional existent, iar n
acelai timp s recunoasc n mod deschis limitrile cu care se confrunt.
Producerea a
Exist pericolul ca evaluatorii, ca rspuns la presiuni contractuale diverse,
ceea ce este
s ncerce s promit mai mult dect vor fi capabili s ofere sau s
posibil....
ncerce s trag concluzii mai ferme dect le-ar permite n mod normal
indiciile existente.
O a doua traiectorie care trebuie urmrit simultan este aceea de a
recunoate deschis problema resurselor, a datelor inexistente, a
oportunitii n timp, a structurii de programare, de planificare i a
competenelor disponibile n momentul nceperii unei evaluri. Pe aceast
baz, unul dintre cele mai importante rezultate ale evalurii este
reprezentat de identificarea acelor condiii necesare pentru a mbunti
calitatea, oportunitatea n timp, relevana i utilitatea evalurilor n viitor.
Responsabilitatea acionrii n baza acestor rezultate rmne n sarcina
celor care au apelat la evaluare i a managerilor de programe. Aceasta
reprezint o parte a sarcinii de dezvoltare a unei capaciti de evaluare
care va fi discutat pe larg n Capitolul 3 al acestui manual i n Cartea 3.
Desigur, vor exista anumite circumstane n care condiiile sunt att de
limitate nct efectuarea unei evaluri este nepotrivit.. O asemenea
concluzie rezult din analiza evaluabilitii (a se vedea Cartea 2). Exist o
serie de dezbateri conform crora n astfel de circumstane se poate pune
sub semnul ntrebrii chiar relevana continurii programului.
Cele mai multe programe se deruleaz totui n circumstane mai puin
extreme, dei ele rmn totui imperfecte. De aceea n niciun caz nu
trebuie subestimat valoarea unor informaii sistematice orict de puine
ar fi ele, mai ales n sectoarele n care n general informaiile sunt greu de
gsit. Procesele de planificare a unei evaluri, de identificare a logicii unei
intervenii, de identificare a resurselor necesare i de identificare a
punctelor n care rezultatele evalurii pot veni n sprijinul deciziilor din faza
de reprogramare, pe lng faptul c genereaz informaii i rezultate,
conduc, de asemenea i la clarificarea raionamentelor care stau la baza
programelor.
1.5 REGULI DE BAZ
Aceast parte a MANUALULUI a introdus cteva dintre aspectele
principale ale evalurii dezvoltrii socio-economice. n cadrul diferitelor
subiecte abordate se includ cele privind: beneficiile aduse de evaluare,
natura sarcinii de evaluare i cerinele specifice ale politicilor socioeconomice, ct i diferite indicii de bun practic ce vin n sprijinul
planificrii, elaborrii i utilizrii evalurii. Acestea sunt urmtoarele:
1. Amintii-v c evaluarea se face cu scopul mbuntirii
programelor i nu din dorin proprie. ntotdeauna, n planificarea
unei evaluri trebuie s fie puse urmtoarele ntrebri: Cum vor
mbunti rezultatele evalurii vieile cetenilor, prosperitatea i

38

Dezvoltnd n
acelai timp
capaciti
pentru viitor

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


bunstarea lor sau competitivitatea actorilor economici n anumite
regiuni. Dac nu este posibil gsirea unui rspuns pozitiv la
aceste ntrebri, se impune o re-analizare atent a necesitii de
evaluare sau cel puin a modului n care aceasta a fost proiectat.
2. Alinierea n timp a ciclurilor de evaluare cu ciclurile de programare
i cu cele de politici socio-economice reprezint un obiectiv care
trebuie s fie atins. Acesta este modul cel mai bun n care ne
putem asigura c evalurile aduc o contribuie maxim. Este de
preferat s realizm o evaluare incomplet sau imperfect ns la
timp, dect de s obinem o mbuntire de 10% a calitii
evalurii, dar s pierdem oportunitatea ca legislatorii i managerii
de programe s foloseasc rezultatele evalurii.
3. Diferiii actori-cheie, spre exemplu legislatorii, profesionitii,
managerii, cetenii obinuii au n general ateptri diferite de la
evaluare. Dac interesul unui actor-cheie important este ignorat,
acest lucru poate slbi fora unei evaluri fie din cauza unei
proaste proiectri i/sau din cauz c rezultatele acesteia vor
pierde n crediblitate. A-i implica pe legislatori i pe cei responsabili
de programe va garanta c ei vor avea n vedere rezultatele
evalurii. Deci identificai iniiatorii programului, aflai care pot fi
interesele lor n cadrul unei evaluri i implicai-i activ n cadrul
evalurii.
4. Evalurile trebuie s fie pe deplin integrate n planificarea i n
managementul programelor. Managerii de programe trebuie s
priveasc evaluarea ca pe o resurs, o surs de a obtine feedback, un instrument pentru mbuntirea performanei, o
avertizare timpurie asupra problemelor (i soluiilor) i un mod de
sistematizare a cunotinelor. Evaluarea nu este numai un
procedeu impus din exterior. Desigur acest adevr are implicaii
puternice pentru evaluatori, care trebuie s aib n vedere i
interesul managerilor de programe (i al partenerilor lor) i s
ncerce s considere n mod serios necesitatea furnizrii unor
rspunsuri la ntrebri mai dificile.
5. A obine rezultate bune din partea diferitelor grupuri care constituie
comunitatea de evaluatori profesionali din perioada contemporan
necesit att construcia i sprijinirea unui spirit de echip, ct i
constituirea unor relaii/puni de legtur. Relaiile/punile de
legtur trebuie constituite la nivel naional, regional, european
ntre diferitele stiluri i tradiii ale diferiilor evaluatori provenii din
rndul
sociologilor,
economitilor,
analitilor
politici
i
consultaniilor manageriali. n consecin, organizai conferine i
sprijinii schimbul de informaii/cunoatere la nivel profesional
pentru a garanta difuzarea cunotiinelor i a know-how-ului.
Aceasta reprezint o modalitate de construcie a capacitilor. La
nivel micro prioritatea o reprezint integrarea i combinarea
diferitelor aptitudini i competene n cadrul unei echipe de
evaluatori.
6. Evaluarea nu depinde doar de analiza retrospectiv a ratei de
succes sau de eec i de a gsi vinovai. Ea are o contribuie clar
n fiecare stadiu al ciclului de programare. n mod special,

39

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul I


evaluarea poate sprijini programele nc dintr-o faz incipient,
prin ajutorul acordat n selectarea logisticii interveniilor i prin
descoperirea punctelor slabe ale designului unui program - ceea
ce permite ca aciunile de remediere s poat fi derulate cu
uurin.
7. Nu mai poate fi acceptat procedeul de a colecta cantiti mari de
date n sperana c acestea vor furniza eventual, rspunsuri la
toate ntrebrile ridicate de evaluare. Colectarea datelor este
aproape ntotdeauna insuficient. Aceasta nu nseamn c
sistemele de date nu ar fi eseniale, ele trebuie realizate nc dintro faz preliminar (a se vedea Capitolul 4). Cu toate acestea, prin
stabilirea n mod clar a ipotezelor, dezvoltndu-se teoria pus la
dispoziie i stabilind clar tipul de evaluare care se impune,
evalurile pot deveni mai bine orientate spre obiective i ofer
rezultate mai bune la acelai nivel al resurselor utilizate.
8. Contextul politic reprezint un cadru important n interiorul cruia
evalurile trebuie s fie localizate. Desigur politicile se schimb
sau sunt reafirmate n mod constant n diferii termeni i cu
modificri subtile de prioriti. Totui este necesar ntotdeauna s
acordm atenie dezbaterilor i deciziilor politice pentru a fi siguri
c evalurile rmn sensibile la prioritile politice. Criteriile mai
largi ce trebuie integrate n cadrul evalurilor deriv de obicei dintrun spaiu politic mai larg.
9. Dei am argumentat adesea c importana actorilor cheie este
una major (a se vedea punctul 3 de mai sus), aspectul pus pe
dezvoltarea socio-economic confer o atenie special unui grup
important dar adesea neglijat i anume beneficiarilor poteniali ai
interveniilor programului. Includerea acestora n programul de
evaluare, indiferent dac ei sunt reprezentai de comuniti locale,
grupuri marginalizate, noi entiti economice etc. implic ceva mai
mult dect o simpl analiz a opiniilor acestora. Implic de
asemenea ncorporarea n cadrul evalurii a criteriilor i a
raionamentelor lor i acceptarea c experiena lor i beneficiile
obinute justific interveniile efectuate n cadrul programului. Acest
aspect corespunde cu logica abordrilor de tip participativ i
descentarlizat, att de rspndite n cazul dezvoltrii socioeconomice. Acesta reprezint totodat motivul pentru care
metodele participative au devenit deosebit de importante n cadrul
gamei de metode i procedee utilizate n evaluare.
10. Fii pragmatici! Trim ntr-o lume imperfect, n care resursele sunt
limitate, administratorii nu sunt ntotdeauna eficieni, coordonarea
este una imperfect, cunoaterea este neuniform, iar datele nu
sunt mereu disponibile. Totui, merit nceput chiar i cu pai mici,
s lucrm cu ceea ce este disponibil i s sporim, chiar i la nivel
marginal, eficiena i legitimitatea programelor publice. Chiar i
rezultatele modeste pot face o diferen, n special atunci cnd
sunt integrate n cadrul unei viziuni pe termen lung, ce are ca scop
dezvoltarea capacitilor i derularea unor evaluri mai ambiioase
n viitor.

40

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


CAPITOLUL 2 PROIECTAREA I IMPLEMENTAREA EVALURII
PENTRU DEZVOLTAREA SOCIO-ECONOMIC
Aceasta parte a MANUALULUI furnizeaz sugestii cu privire la proiectarea
i implementarea evalurii pentru dezvoltarea socio-economic. Se iau in
consideraie : proiectarea si implementarea evalurii, implementarea i
administrarea sarcinilor evalurii.
2.1 PROIECTAREA I PLANIFICAREA EVALURII
Evaluarea i programarea
n Capitolul 1 al acestui MANUAL am accentuat faptul c dezvoltarea
socio-economic, care nu este o tiina precis, este complex i
nesigur, deoarece adesea sunt cteva teorii, nu neaprat compatibile,
care susin strategii de dezvoltare diferite.
Documentele de planificare sunt n primul rnd, i cel mai important, o
parte esenial a planificrii i a ciclului de proiect, i n felul acesta o
resurs fundamental n politica pentru dezvoltarea socio-economic. Cu
toate acestea, ele sunt i documente de politic, care de obicei trebuie s
fie agreate de ctre muli actori, de la diferite nivele teritoriale, i cu valori,
scopuri i prioriti foarte diferite. De aceea, nu este surprinztor c aceste
documente sunt adesea vagi, c ele ncearc s acopere fiecare
perspectiv posibil asupra problemei, cteodata ntr-un mod general
(chiar dac acest lucru implic rspndirea resurselor disponibile), i c
Documentele
unele obiective pe care ei le identific sunt contradictorii, dac nu chiar
de planificare
incompatibile.
pot fi vagi si
inconsecvente
Acest inconvenient este n mod evident prezent, mai ales cnd
complexitatea programelor crete, o dat cu noua generaie a politicilor de
dezvoltare socio-economic, accentund abordarea teritorial, punctnd
sustenabilitatea, nevoia pentru parteneriate extinse i/sau pentru principii
de integrare variate.
n conformitate cu o viziune tradiional, aceste necunoscute fac dificil
evaluarea programelor de dezvoltare socio-economic, dac nu chiar
imposibil. Fr scopuri clare, o teorie de intervenie coerent, i un
proiect de program exact, fr identificarea a ceea ce se evalueaz i a
criteriilor pentru evaluare, demersul devine arbitrar i subiectiv. Tocmai din
cauza existenei obiectivelor multiple i a complexitii programelor,
evaluarea devine esenial.
Ideal, aceste probleme de evaluare ar trebui s fie luate n consideraie n
faza formulrii programului, i acest lucru ar trebui s previn probleme
precum formularea de obiective contradictorii. Conceptualizarea
rezultatelor preconizate n termeni operaionali, i n felul acesta
msurabili (de ex. prin construirea unui sistem de monitorizare i de
indicatori din etapa de nceput), este un instrument foarte puternic pentru
a ajuta factorii de decizie s formuleze programe mai bune. Ca urmare a
acestui motiv, implicarea evalurii i a evaluatorilor ct mai devreme
posibil este o condiie esenial pentru un bun program de dezvoltare
socio-economic.

41

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


Multe tehnici de evaluare precum analiza evaluabilitii, construirea teoriei
programului i analiza SWOT (a se vedea Capitolul 4 i Cartea 2) pot fi
folosite, dintr-o etap iniial, pentru a clarifica prioritile de nceput i
n etapele
logica aflate la baza unei intervenii.
iniiale,
evaluarea ajut
Folosirea de tehnici evaluative i adoptarea abordrilor evaluative chiar de
la clarificarea
la nceputul unei intervenii, va ajuta actorii implicai s dezvolte un limbaj
liniei de baz i
comun, n timp ce identificarea unor rezultate tangibile intermediare i
a prioritilor de
msurabile va ajuta la clarificarea procesului de implementare. Toate
aciune.
acestea contribuie la stabilirea unor repere n implementarea ciclului de
via al programului.
Dar chiar i dup ce documentele de planificare au fost finalizate,
contribuia evalurii la programare poate fi foarte important. n aceast
etap evaluarea poate ajuta la clarificarea scopurilor i/sau la stabilirea
proiectelor posibile. Folosirea modelelor logice ajut la trasarea intereselor
i prioritilor politicii diferiilor actori implicai. Dac asemenea modele
sunt dezvoltate n interaciune cu evaluatorii i cu cei care elaboreaz
politicile, ele pot conduce la restructurarea programului. Aceasta este
probabil cea mai important contribuie a evalurii la faza de programare.
Trebuie s reamintim un fapt deosebit de important: valoarea evalurii
pentru cei care elaboreaz politicile const n a pune ntrebrile potrivite,
precum i n furnizarea unor rspunsuri precise. (Acest lucru este discutat
mult mai n detaliu n continuare.) A avea o metodologie temeinic i date
de ncredere este foarte important deoarece aceasta va conduce la
rspunsuri de bun calitate la ntrebrile de evaluare. Cu toate acestea,
n final, valoarea adaugat a evalurii pentru factorii de decizie const n a
le prezenta ntrebri precum: Care au fost obiectivele exerciiului? Este
acesta echilibrul ntre diferitele scopuri pe care noi le dorim cu adevarat?
Poate acest nivel de performan s fie considerat satisfacator?
Ca urmare, crearea condiiilor n care ntrebrile de evaluare pot primi
rspunsuri ct mai precise posibil, rmne un scop important. n acest
context, cu ct programul este mai precis, cu ct sunt mai explicite
schimburile i sinergiile poteniale dintre diferitele scopuri i obiective, cu
ct este mai riguroas logica programului, cu ct este mai sigur teoria
programului, cu ct este mai cuprinzator sistemul de indicatori, cu ct este
mai coerent succesiunea rezultatelor intermediare i procesul de
implementare folosit, cu att evaluarea va decurge mai uoar i mai va fi
precis. O asemenea situaie ideal va face ca analizele independente cu
privire la succesul sau eecul programului s fie temeinice, de ncredere i
de folos. Va crete resposabilitatea sistemului de guvernare i va fi
dezvoltat o mai bun nelegere a modurilor n care scopul general al
dezvoltrii socio-economice durabile poate fi atins.
Din perspectiva unui potenial evaluator exist un beneficiu atunci cnd:

intele (sau scopurile) sunt ct se poate de explicite i conceptele la


care se refer sunt definite i nelese n general.
Obiectivele sunt legate de intervenii (sau grupuri de intervenii) i
rezultatele msurabile.
Dac interveniile au obiective multiple, o anumit pondere explicit
este ataat fiecrui obiectiv.
Obiectivele cuprind intele a cror realizare poate fi msurat. intele

42

Valoarea
evalurii st n
a pune
ntrebrile
potrivite,
precum i n
furnizarea
rspunsurilor
corecte.

Evaluarea este
mai uoar
cnd logica
programelor
este explicit

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II

ar trebui s aib intervale de timp explicite i ar fi trebuit s fie


rezultatul negocierii dintre cei care elaboreaz politicile i cei
responsabili pentru implementare.
Exist stimulente care ncurajeaz n mod clar realizarea obiectivelor.

Aceste condiii ajut procesul de evaluare s defineasc criteriile n funcie


de care s se judece, dac o intervenie ar putea atinge, este pe cale sau
a realizat un rezultat de success.
n practic aceste condiii nu sunt obinuite i dup cum vom arta n cele
ce urmeaz, procesul de evaluare n sine trebuie s contribuie adesea la
definirea obiectivelor i a criteriilor care reflect anvergura unei intervenii.
Oricare ar fi originea obiectivelor, ele asigur un important set de criterii n
funcie de care pot fi judecate realizrile interveniilor.
Planificarea evalurii
Aceast seciune prezint mai n detaliu diferitele activiti i aspecte care
sunt necesare n planificarea evalurii. n mod special ne vom referi la
urmtoarele aspecte:

Domeniul i definirea obiectului evalurii;


Identificarea i implicarea actorilor vizai;
Analiza teoriei programului i a obiectivelor politicii care stau la baza
interveniilor.

Definirea obiectului evalurii


Decizia de a evalua este o oportunitate de a defini limitele programului n
ceea ce privete dimensiunile instituionale, temporale, sectoriale i
geografice. Acesta este cunoscut ca fiind domeniul evalurii sau obiectul
evalurii. Definirea domeniului unei evaluri nseamn a se pune
ntrebarea : Ce urmeaz s fie evaluat ?
Domeniul evalurii poate fi specificat n cel puin patru sensuri:

instituional (la nivel european, naional sau local);


temporal (perioada de timp luat n consideraie);
sectorial (social, industrial, de mediu, rural, etc.); i
geografic (care parte a teritoriului european, care regiune, ora,
rezervaie natural, etc.).

Un program este conceptual delimitat de resursele financiare, teritoriul Ateptrile


care intereseaz i perioada de programare. Cu toate acestea, este bine pentru evaluare
s se ia n consideraie mai nti urmtoarele ntrebri:
vor varia la
diferite etape
Exist intenia s se limiteze evaluarea la finanarea programului sau ex-ante, termen
s se includ o alt finanare naional, regional sau local care este, mediu si exntr-o msur mai mare sau mai mic, n legatur direct cu post.
programul?
Exist intenia s se limiteze evaluarea la intervenii n aria eligibil
sau s se extind observaiile la anumite zone nvecinate care au
probleme similare de dezvoltare?
Exist intenia s se limiteze evaluarea la finanarea alocat n cadrul

43

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


ciclului de programare luat n consideraie sau ntr-o anumit msur
s se includ i finanarea ciclurilor precedente?
n mod obinuit este de folos s se adopte o definiie relativ strict a
domeniului evalurii. Experiena a artat c n timpul procesului de
evaluare actorii implicai doresc s examineze aproape orice. Pentru a
ajunge la concluzii solide, evaluarea ar trebui s fie limitat la o examinare
a programului i a interdependenelor sale eseniale cu alte politici publice
i intervenii.

Domeniul se
refer la ceea
ce urmeaz a fi
evaluat.

Acest risc al lrgirii domeniului este mare, n special pentru evalurile exante. Acestea se pot transforma n preconizri sau speculaii care sunt
departe de obiectul evalurii. n evaluarea ex-ante este cel mai bine s se
limiteze domeniul evalurii strict la propunerile de program.
Adesea autoritile contractante nu sunt dispuse s restrng domeniul
ntrebrilor de evaluare crora ei se ateapt ca evaluarea s le
rspund. O contribuie pe care o pot avea evaluatorii este s identifice
cele mai importante ntrebri pentru succesul programului, ca o realizare
imediat derivat din dezvoltarea teoriilor de program care identific logica
interveniei i lanul de implementare. Cteodata, cea mai bun modalitate
de a stabili care sunt ntrebrile de evaluare prioritare i de a restrnge
domeniul evalurii este s se discute constrngerile practice, precum
timpul i resursele. Acesta este un lucru care poate fi un rezultat cheie al
fazei de iniiere a evalurii.
Pentru ca o evaluare s fie de folos, deciziile care urmeaz a fi luate i
care pot fi fundamentate cu ajutorul evalurii, trebuie s fie formulate ct
mai precis posibil. Adesea, autoritile contractante, avnd intenia
ludabil de a evita s influeneze echipa de evaluare, se feresc s
menioneze de la nceput schimbrile pe care ei le consider necesare
unui program sau ndoielile lor cu privire la eficacitatea unei anumite
aciuni, pentru a constata dac echipa de evaluare ajunge la aceleai
concluzii. Cu toate acestea, experiena arat c evaluarea are o ans
mic de a documenta deciziile intenionate, dac acestea nu sunt
cunoscute de la nceput de cei care urmeaz s colecteze i s analizeze
datele. Realitatea socio-economic este foarte complex i echipa de
evaluare se confrunt cu un numr mare de observaii i posibiliti pentru
a face mbuntiri. Verificarea ipotezelor pentru care oficialii, managerii
sau ali actori implicai prezint un interes sczut, nu este realist.
Identificarea i implicarea actorilor-cheie
Aa cum am mai menionat, dezvoltarea socio-economic include cteva
tipuri de proiecte, programme i politici, iar acest lucru presupune c
numrul actorilor sau prilor interesate este adesea foarte mare.
Experiena de evaluare sugereaz c aceasta este departe de a fi un
obstacol pentru o evaluare bun. Dimpotriv, ofer oportuniti care ar
trebui sa fie exploatate pentru a pune cele mai potrivite ntrebri i pentru
a da rspunsurile cele mai utile.
Cnd elaborarea politiciilor pornete de la nivel comunitar aceasta are
impact asupra numrului de actori implicai. n special, accentul pus pe Exist muli
principiul parteneriatului are la baz opinia c implicarea instituiilor actori i toi
neguvernamentale i a actorilor societii civile vor mbunti calitatea trebuie s fie

44

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


dezvoltrii socio-economice, att din punctul de vedere al definirii unui set implicai ntr-un
cuprinztor de obiective, ct i n ceea ce privete facilitarea procesului anumit fel
implementrii.
Ali factori care au subliniat tendina ctre implicarea unui grup mare i
divers de instituii i actori, se refer la influena parteneriatelor verticale i
orizontale, apariia guvernrii la mai multe nivele i aplicarea
subsidiaritii, stabilirea prioritilor transversale ale politicilor, precum
dezvoltarea durabil sau a oportunitilor egale i recunoaterea rolului
jucat de capitalul social n dezvoltarea socio-economic.
Apariia dezvoltrii locale i teritoriale, unde diferitele sectoare de politic
i surse de finanare sunt integrate ntr-o ncercare de a consolida
dezvoltarea socio-economic ntr-o zon, face ca identificarea actorilor i
implicarea lor n procesul formulrii programului (abordare descentralizat,
participativ) s fie un pas esenial al ntregului proces.

n special n
interveniile de
dezvoltare
local
descentralizat

Chiar i n programele i proiectele mai simple exist un numr de actori


ale cror interese sunt afectate, pozitiv sau negativ, de ctre activitatea
planificat sau implementat.
De aceea, n toate cazurile, identificarea actorilor poteniali afectai (n
evalurile ex-ante), a celor care au fost de fapt afectai (n evaluri
intermediare sau ex-post), i implicarea lor n procesul de evaluare sunt
aspecte importante deoarece permit s se ia n consideraie puncte de
vedere diferite, efecte indirecte sau consecine neintenionate care pot fi
foarte semnificative pentru descrierea impacturilor, ntelegerea lanurilor
de cauzalitate i judecarea rezultatelor.
Accentul pus pe identificarea actorilor a fost pn acum descris n termenii
beneficiilor sale practice pentru a nelege mai bine programul, pentru a
pune ntrebri mai bune i pentru a obine informaii de mai bun calitate.
Cu toate acestea, exist un raionament suplimentar pentru identificarea i
implicarea actorilor. Evaluatorii, mpreun cu managerii de program, au
un interes comun n a se asigura c exist o asumare a constatrilor
evaluarii. Numai n felul acesta va fi posibil ca cei implicai s acorde
atenie evalurilor i s acioneze pe baza recomandrilor sau s
defineasc prioritile lor proprii de aciune pe baza constatrilor.

Implicarea
ncurajeaz de
asemenea
asumarea
rezultatelor i a
constatrilor
evalurii

Ca urmare, prima ntrebare care trebuie pus, dup ce domeniul evalurii


a fost definit, este: Cine sunt persoanele, grupurile sau organizaiile care
au un interes n intervenia care urmeaz a fi evaluat i/sau pot fi
interesate n procesul sau de rezultatele evalurii n sine? Aceasta faz n
limbajul evalurii este numit identificarea actorilor.
n mod ideal, acest exerciiu ar trebui s aib loc nainte de definirea
detaliilor evalurii pentru a ne asigura c sunt incluse punctele lor de
vedere i pentru a decide asupra celor mai relevante ntrebri la care
evaluarea trebuie s rspund. Dar, chiar i n cazul n care acest lucru nu
este posibil n totalitate deoarece, de exemplu, nu a fost posibil s se
identifice toate prile interesate ntr-o etap iniial i n timpul avut la
dispoziie o anumit implicare a actorilor intersai este de dorit.
A doua ntrebare care trebuie pus ar fi dac este posibil i cum vor
furniza actorii interesai resursele relevante pentru proiectarea,

45

Se identific
actorii afectai
sau potenial
afectai

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


managementul sau coninutul evalurii ?
Implicarea actorilor poate avea loc la nivele foarte diferite:

Dac implicarea este minim, evaluatorii ar trebui s se asigure c


actorii vor furniza probe (date, informaii, analize independente, etc.)
ca parte a procesului evalurii. Multe metode i tehnici descrise n
Cartea 2 pot fi folosite pentru acest scop: interviuri individuale, studii,
grupuri int, etc.

Dac implicarea este substanial, actorii pot fi implicai pe parcursul


ntregului studiu, inclusiv n definirea prioritilor, a ntrebrilor de
evaluare i a criteriilor asociate. Adesea, acest lucru nseamn
implicarea Comitetului Director pentru proiectul de evaluare, aa cum
vom vedea cnd vom discuta managementul procesului de evaluare.

Actorii ar trebui
s contribuie la
proiectarea
evalurii.

n practic, implicarea actorilor n marea majoritate a programelor este


undeva la mijloc. Dac participarea actorilor n Comitetul Director este
limitat la partenerii oficiali instituionali i sociali, diseminarea feed-backului ctre ceilali actori care sunt capabili s asigure informaii i analize
independente este realizat pe scar larg, prin diseminarea rapoartelor,
ntlnirilor ad-hoc i altor a instrumentelor similare.
Teoriile programului i modele de logic
Faza consultrii actorilor asigur i o oportunitate pentru a reconstrui
logica programului nainte de lansarea acestuia. Precum am vzut n
Capitolul 1 al MANUALULUI, exist teorii diferite, adesea n competiie, Fiecare politic
i program ar
care stau la baza interveniilor n acest domeniu.
trebui s
Ideal, fiecare program sau politic ar trebui s specifice clar setul de prezinte
ipoteze pe baza crora scopul dorit, n cazul nostru dezvoltarea socio- ipotezele sale
economic, poate fi atins prin resursele alocate i interveniile finanate. de baz,
Aceste ipoteze ar trebui s fie consecvente una cu cealalt i ar trebui s susinute cu
fie susinute prin indicii. Acest caz este destul de rar n practic, n special evidene
n lumea complex a dezvoltrii socio-economice.
De aceea, un pas nainte n planificarea evalurii este s se
reconstruiasc teoria programului care face obiectului evalurii. Este cazul
mai ales al analizrii capacitii programului de a atinge intele dorite (de
ex. dezvoltarea). O identificare clar a motivelor pentru care acest lucru ar
trebui preconizat este o important precondiie pentru a pune ntrebrile
corecte de evaluare.
Acest lucru accentueaz faptul c programarea i evaluarea sunt
intercorelate. Managerii de program i cei care planific trebuie s fie
contieni c sunt instrumente disponibile care pot ajuta la reconstruirea
lanului care leag intele generale ale programului, obiectivele
intermediare specifice, activitile desfurate de implementatori i n final
rezultatele i consecinele acestor activiti. Capitolul 4 al acestui
MANUAL (i Cartea 2) discut i furnizeaz exemple de instrumente i
tehnici variate, (modele logice, matrici logice, teoria programului, teoria
schimbrii) care pot fi utilizate n reconstruirea logicilor de intervenie i a
lanurilor de implementare.

46

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


Pe lng consultarea actorilor, analiza i aplicarea acestor metode poate
evidenia posibilele aspectele critice ale implementrii programului i astfel
s delimiteze domeniul de analiz al evalurii n mod corespunztor.
Definirea ntrebrilor de evaluare i a criteriilor
Definirea ntrebrilor de evaluare
Definirea ntrebrilor de evaluare este o parte esenial a nceputului
oricrui exerciiu de evaluare.
ntrebrile de evaluare pot fi de diferite tipuri. Ele pot fi:
ntrebri descriptive cu scopul de a remarca, descrie i msura
schimbrile (ce s-a intamplat?),
ntrebrile cauzale care analizeaz i explic relaiile de cauz i efect
(cum i n ce masur s-a intamplat aa datorit programului?)
ntrebrile normative care aplic criteriile de evaluare (sunt rezultatele
i impacturile satisfctoare n relaie cu intele, scopurile propuse
etc?).
ntrebrile predictive, care ncearc s anticipeze ce se va ntmpla ca
rezultat al interveniilor planificate (oare msurile care sunt luate pentru
a contracara rata omajului vor crea efecte negative pentru mediu sau
pentru angajaii deja existeni?)
ntrebri critice, care au ca scop s susin schimbarea adesea din
perspectiva valorilor asumate (cum pot politicile oportunitilor egale s
fie mai bine acceptate de ctre IMM-uri? Sau, care sunt strategiile
eficiente pentru a reduce excluderea social?)

Intrebrile de
evaluare pot fi
cauzal
descriptive,
normative,
predictive sau
critice

Ideal, ntrebrile de evaluare ar trebui s aib urmtoarele caliti:

ntrebarea trebuie s corespund unei nevoi reale pentru


fundamentarea, ntelegerea i/sau identificarea unei soluii noi. Dac o
ntrebare este de interes numai n ceea ce privete cunotinele noi,
fr s constituie o resurs imediat pentru procesul de luare a Intrebrile de
deciziei sau pentru dezbateri publice, atunci este mai mult o problem evaluare ar
trebui s fie
de cercetare tiinific i nu ar trebui s fie inclus ntr-o evaluare.
legate de
ntrebarea trebuie s se refere la un impact, un grup de impacturi, un procesul de
rezultat sau o nevoie. Altfel spus, are n vedere, cel puin parial, luare a deciziei,
elemente din afara programului, n special beneficiarii si sau mediul s aib in
su economic i social. Dac o ntrebare se refer doar la vedere
managementul resurselor i al rezultatelor, probabil c poate fi tratat impactele sau
mai eficient pe parcursul monitorizrii sau al auditului.
nevoile, i s
includ criteriile
ntrebarea are n vedere doar un criteriu. Aceast calitate a unei de judecat
ntrebri de evaluare poate cteodat s fie dificil de obinut, dar
experiena a artat c este un factor cheie n utilitatea evalurii. Dac
criteriul nu este formulat clar de la nceput, este puin probabil ca
raportul final de evaluare s furnizeze concluzii.

47

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


n final, este bine s se menioneze c nu toate ntrebrile pe care le pun
contractanii evalurii i managerii de program sunt adecvate pentru a fi
ntrebri de evaluare. Unele sunt prea complexe, vizeaz un orizont de
timp ndelungat i solicit date care nu sunt disponibile. Alte ntrebari nici
mcar nu necesit eforturi de evaluare, dar pot fi abordate prin sisteme de
monitorizare existente, manageri de consultan, sau fac referin la audit
sau alte sisteme de control.
Criterii de evaluare
ntrebrile de evaluare care cuprind criterii pentru un raionament evaluativ Criteriile
fac parte n principal dintr-una din urmtoarele patru categorii, referitoare principale
pentru
la:
raionament
evaluativ sunt
relevana programului;
legate de
eficacitatea sa;
relevan,
eficiena sa; i
eficacitate,
utilitatea sa.
eficien i
utilitate
Aceste patru categorii principale sunt prezentate n Fig. 2.1.
Fig. 2.1 Criterii principale de evaluare

Societate
Economie
Mediu

Program

Evaluare

Impacte

Nevoi
probleme
aspecte

Obiective

Relevanta

Outcomes/
Rezultate
Inputs

Outputs

Eficienta
Eficacitate
Utilitate
Durabilitate

Termenul relevan, n contextul unei evaluri, se refer la relevana


obiectivelor explicite ale programului n legatur cu problemele socioeconomice pe care se presupune c le abordeaz. n evaluarea ex-ante,
ntrebrile de relevan sunt cele mai importante pentru c accentul este
pe alegerea celei mai bune strategii sau pe justificarea celei propuse. n
evaluarea intermediar, scopul este s se verifice dac contextul socioeconomic a evoluat precum s-a preconizat i dac aceast evoluie pune
sub semnul ntrebrii un obiectiv particular.

Relevana
indic dac
intervenia a
fost
corespunztoar
e problemelor
propuse pentru
a fi abordate

Termenul eficacitate ia n calcul dac obiectivele formulate n program Eficacitatea se


sunt realizate, care au fost succesele i dificultile, ct de adecvate au refer la
fost soluiile alese i care este influena factorilor externi programului.
realizarea

48

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


obiectivelor.
Termenul eficiena se refer la analizarea rezultatelor obinute sau,
preferabil, a impacturilor produse, n raport cu resursele mobilizate. Cu
alte cuvinte, sunt efectele obinute corespunztoare resurselor? (Termenii
economie i minimizarea costurilor sunt cteodat utilizai n acelai iar eficiena ia
n consideraie
sens).
costurile
ntrebrile de baz ale evalurii intermediare dar mai ales ale evalurilor asociate
ex-post, sunt cu privire la eficacitatea i eficiena interveniilor
implementate i ale ntregului program.
Termenii "eficacitate" i eficien sunt folosii n mod obinuit de ctre
managerii care, n contextul monitorizrii, prefer s emit judeci cu
privire la realizrile imediate, dect cu privire la rezultate sau impacturi).
ntr-adevr, ntrebrile cu privire la performana programului sunt din ce n
ce mai obinuite pentru monitorizare. Dat fiind relevana monitorizrii i a
evalurii, se pot propune multe ntrebri care s vizeze performana.
Criteriul utilitii judec impacturile obinute de program n legatur cu
nevoile de ansamblu ale societii i ale economiei. Utilitatea este un
criteriu deosebit, deoarece nu face nici o referire la obiectivele declarate
ale programului. Cnd obiectivele programului nu sunt definite bine sau
cnd sunt multe impacturi neateptate trebuie s fie formulat o ntrebare
privind utilitatea fie i la nivelul simului comun. Cu toate acestea, criteriul
trebuie s fie folosit cu pruden, astfel nct s ne asigurm c selectarea
nevoilor sau aspectelor importante de ctre echipa de evaluare nu este
prea subiectiv. O modalitate de prevenire a acestui risc este ca n
selectarea ntrebrii privind utilitatea s fie implicai ali actori, mai ales
beneficiarii propui ai propiectului.
Termenul sustenabilitate se refer la msura n care realizrile imediate
i rezultatele interveniei sunt durabile. Adesea evalurile analizeaz
sustenabilitatea schimbrilor instituionale, precum i impacturile socioeconomice. Criteriul sustenabilitii este de asemenea legat de conceptul
dezvoltrii durabile care n sine poate fi privit ca o definiie a utilitii. n
acest MANUAL i n Cartea 1, dezvoltarea durabil este definit ca
referindu-se cu precdere la meninerea capitalurilor umane, productive,
naturale i sociale, mai puin doar pstrarea mediului pentru generaiile
viitoare.
ntrebrile de evaluare tipice legate de criteriile principale sunt
urmtoarele:

Relevana: n ce msur sunt obiectivele programului justificate n


raport cu nevoile? Poate fi dovedit existena lor? Corespund ele unor
prioriti locale, naionale i Europene?
Eficacitatea: n ce msur au fost realizate obiectivele? Au produs
interveniile i instrumentele folosite efectele ateptate? Ar putea s fie
obinute mai multe efecte prin folosirea diferitelor instrumente?
Eficiena: Au fost realizate obiectivele la cel mai mic cost? Ar putea fi
obinute efecte mai bune cu acelai cost?
Utilitate: Sunt efectele ateptate sau neateptate satisfctoare la
nivel global din punctul de vedere al beneficiarilor direci sau indireci?
Sustenabilitatea: Sunt rezultatele i impacturile, inclusiv schimbrile

49

Utilitatea judec
impacturile
comparativ cu
nevoile sociale
i economice de
anasamblu

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


instituionale, durabile n timp? Vor continua impacturile s existe n
absena finanrii publice?
Aceste criterii nu sunt exclusive. Alte criterii precum echitatea, coerena,
sinergia, reproductibilitatea sunt adesea folosite n evaluare. n plus,
criteriile de evaluare i ntrebrile de evaluare care deriv din ele pot fi
legate de consecinele negative i pozitive neintenionate ale interveniilor.
Chiar dac programele au logica i scopurile lor proprii, ele sunt ncadrate
n politici care definesc un scop mai larg. Ele pot contribui la incluziunea
social sau competitivitatea economic chiar dac scopul lor imediat este
pregatirea vocaional sau nceputul unei noi afaceri. Nici evaluarea nu
poate fi limitat la intele i prioritile programului.

O gam larg
de alte criterii ar
putea fi de
asemenea
folosite pentru a
face judecai
evaluative

Evaluatorii trebuie de asemenea s analizeze rezultatele care nu au fost


prevzute n program. Dintre acestea fac parte urmtoarele:

Experienele i prioritile beneficiarilor care i-au stabilit criteriile


proprii pentru eficacitatea programului care poate nu sunt n
concordan cu ale celor care planific politica i programul;
Efectele perverse, neintenionate, care pot aciona de fapt
mpotriva obiectivelor programului, reducnd oportunitile n loc s
le sporeasc, de exemplu, exportnd locuri de munca dect
crendu-le; i
Rezultatele sugerate de alt cercetare i evaluare, posibil inspirate
din teorii de dezvoltare socio-economic sau experiena
comparativ a altor ri.

Toate acestea constituie argumente pentru evaluare de a nu se orienta


exclusiv pe elul declarat al programului, ci de a lua n considerare i
aspecte din afara logicii programelor i de a adopta o perspectiv
independent, chiar critic. Aceasta nu este oricum o justificare pentru
ignorarea intelor programului, dar mai degrab un argument pentru a
continua n vederea mbuntirii programului i pentru a nva din
acesta.
Un set de concepte, care sunt aplicate n mod normal n evaluri, deriv
din teoria economic i include:

Adiionalitatea, a fost intervenia suplimentar celei care ar fi avut


loc oricum?
Alocarea inutil a generat intervenia realizri imediate, rezultate i
impacturi care oricum ar fi aprut?
Transferare negativ, a cauzat intervenia reduceri n dezvoltarea
socio-economic din alta parte?

ntrebrile despre alocri inutile i transferare negativ sunt utile mai ales
n evaluarea programelor mari. Ca urmare, nu este cazul s includem
astfel de ntrebri n intervenii socio-economice mai mici.
Evaluabilitatea ntrebrilor de evaluare
O dat ce ntrebarile evalurii au fost identificate, trebuie analizat
evaluabilitatea lor. Trebuie s fie fcut o analiz preliminar pentru a se
constata dac se poate rspunde la ntrebrile evaluative lund n
considerare resursele de date disponibile. Va fi capabil echipa de
50

Evaluabilitatea
ntrebrilor
reprezint
msura n care

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


evaluare s asigure rspunsuri credibile la ntrebrile puse, avnd n ele pot fi
vedere timpul i resursele disponibile i folosind instrumentele de evaluare aplicate de fapt
corespunzatoare? Acest lucru necesit un studiu pentru a estima n practic
evaluabilitatea.
Pentru fiecare ntrebare evaluativ trebuie s verificm, chiar i foarte
sumar dac:

conceptele sunt stabile,


ipotezele explanatorii pot fi formulate,
datele disponibile pot fi folosite pentru a rspunde ntrebrii, fr nici o
investigaie suplimentar,
accesul la domeniu poate crea probleme majore.

Exist anumii factori care induc dificulti n a rspunde la ntrebarea


evaluativ. De exemplu, dac programul este foarte nou, dac nu a
produs nc rezultate semnificative sau dac nu sunt date disponibile sau
datele nu sunt corepunzatoare. Acestea sunt motive pentru una din
urmtoarele decizii: a nu se face evaluarea, a o amna, sau a reface
ntrebrile pentru a fi mai realiste.
Fig. 2.2 indic faptul c n stadiul de analiz a evaluabilitii se pornete
de la premisa c rezultatele evalurii vor fi obinute i folosite.
Fig. 2.2 Selectarea ntrebrilor de evaluare prioritare
Actorii iau in
consideraie
deciziile
care trebuie
luate

Listarea iniial a
ntrebrilor
evaluative
identificate ca fiind
necesare pentru a
fundamenta
deciziile

Analizarea
probabilitii
de a obine i
de a utiliza
rspunsurile

Identificarea
ntrebrilor
prioritare

Dintre ntrebrile relevante menionm:

Vor fi folosite concluziile? De ctre cine? Pentru ce scop (pentru


decizie, pentru dezbateri, pentru informare)? Cnd?
Este contextul politic adecvat pentru a realiza o asemenea evaluare
ntr-un anumit moment i/sau ntr-un anumit context? Exist vreo
situaie conflictual care ar putea compromite succesul evalurii?
Exist deja vreun studiu recent care a rspuns la majoritatea
ntrebrilor?
Sunt prioritile de evaluare suficient de stabile?

51

ntrebrile ar
trebui sa fie
alctuite in
conformitate cu
utilitatea
informaiei ce
urmez a fi
obinut.
Analiza
ntrebrilor de
evaluare
economisete
timp i efort

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


n Cartea 2 sunt descrise cerinele formale ale analizei evaluabilitii, cei
interesai de aceast subiect pot s consulte acea informaie suplimentar.
Alegerea metodelor de evaluare, atribuirea responsabilitilor i
alocarea resurselor
Alegerea metodelor
La ntrebrile de evaluare se poate rspunse ntr-o varietate de moduri.
De aceea alegerea metodei este critic pentru a utiliza la maxim resursele
de evaluare disponibile. Aceasta este n mod normal o alegere
operaional, care poate fi finalizat numai cnd domeniul analizei a fost
definit i cnd exist informaii suficiente despre disponibilitatea datelor.
Cu toate acestea, n timpul fazei de planificare, este necesar s se fac
anumite alegeri. Alegerea metodelor este influenat de:

Fidelitatea teoriei programului;


Nivelul consensului ntre actori;
Tipul programului care urmeaz s fie evaluat;
Momentul n ciclul programului la care are loc are loc evaluarea;
Tema sau sectorul interveniei programului.

Influeele
asupra alegerii
metodelor sunt
variate

Capitolul 4 al acestui MANUAL asigur informaii i direcionare


suplimentar cu privire la alegerea metodelor. Cartea 2 elaboreaz
metode i tehnici specifice, iar Glosarul furnizeaz definiii ale
instrumentelor care nu sunt folosite n mod obinuit.
Rolul Ghidrii
Faptul c evalurile n cadrul Fondurilor Structurale sunt adesea obligatorii
i c att Comisia European, ct i autoritile naionale responsabile
emit linii directoare referitoare la momentul i modul n care s se
efectueze exerciii evaluative, este foarte util. Aceasta pentru c, pe de o
parte, previne tendina ca decizia de a evalua s devin rutin (evaluarea
devine doar o obligaie, o formalitate pentru instituiile menionate mai sus,
cu nici o valoare adaugat clar pentru managerii de program). Pe de alt
parte, poate asigura o ghidare necesar i binevenit att pentru
autoritile de planificare, ct i pentru echipele de evaluare n legtur cu
atitudinile i rezultatele ateptate. Cu siguran, premisa c evalurile ar
trebui realizate i existen liniilor directoare privind scopul lor, a fost un
imbold important pentru dezvoltarea capacitii de evaluare, aa cum vom
arta mai departe n Capitolul 3.
Liniile directoare sunt folositoare n special pentru a stabili parametrii
pentru evaluarea programelor relativ descentralizate, pentru care este
important s fie adoptate prioriti, criterii i proceduri comune, deoarece
acest lucru poate asigura un anumit grad de comparabilitate. Asemenea
linii directoare au fost dezvoltate tradiional de ctre autoritile naionale
sau europene. Ele pot fi utile dac sunt dezvoltate de managerii de
program sau chiar de evaluatori cnd ntregul proces de evaluare din
cadrul unui singur program va fi descentralizat. n dezvoltarea socio
economic n care evalurile participative i autoevalurile sunt comune,
cteva ghidri de baz, n special dac prioritile sunt dezvoltate n

52

Evalurile
programelor n
cadrul
Fondurilor
Structurale sunt
obligatorii.

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


colaborare cu actorii locali, pot fi cele mai eficiente.
Decizii cheie cu privire la resurse
Evalurile pot fi vzute ca o ncercare din partea evalutorilor de a ghici Management de
opiunile managerilor de program. Fr a generaliza, adesea, acetia din vrf i parteneri
urm au impresia c tiu deja majoritatea lucrurilor pe care evaluatorii cheie externi
sunt obligai s le spun.
Tocmai de aceea este important s se implice autoritatea politic, sau cel
puin managementul de vrf, mpreun cu majoritatea partenerilor externi
importani ai programului n planificarea evalurii. Acest lucru nu
nseamn implicarea lor n deciziile tehnice, ci doar suficient ct s se
asigure c au posibilitatea s influeneze urmtoarele patru aspecte Ar trebui s fie
implicai n
fundamentale:
planificare i
evaluare
Motivele pentru evaluare
Cine este responsabil de ntregul exerciiu
Ct s se cheltuie pentru studiu
Cine va realiza lucrarea.
Motive pentru evaluare?
Aceasta este cea mai important ntrebare. Aa cum am artat deja, la
nivel potenial exist scopuri generale diferite pentru realizarea unei
evaluri, exist inte specifice diferite i exist ntrebri de evaluare
diferite. Opiunea reflectat de termenii de referin, dac este mprtit
de factorii de decizie i de ctre majoritatea partenerilor relevani ai
programului, asigur credibilitatea evalurii.
Cine este responsabil?
Aceasta de refer la:
Membrii Comitetului Director;
Responsabilii pentru scrierea termenilor de referin; i
Responsabilii cu asigurarea legturii ntre administraie i echipa de Ideal, oamenii
responsabili cu
evaluare.
evaluarea ar
Toate aceste persoane trebuie s fie destul de experimentate pentru a trebui s aib
avea acces direct la cei care elaboreaz politicile la toate nivelele pentru a oarecare
mprti cu ei cunotinele pe care studiul se presupune c le produce. experien
Ei trebuie de asemenea s cunoasc problemele teoretice i practic n
metodologice ale cercetrii evaluative. Acest lucru este esenial pentru a evaluare.
forma judecile lor proprii cu privire la calitatea evalurii, precum i pentru
a pune ntrebrile corecte echipei de evaluare.

De aceea, ideal, oamenii responsabili cu evaluarea ar trebui s aib


experien n realizarea practic a evaluarii.
Ct s se cheltuie?
Este dificil s se decid a priori ct s se cheltuie pentru o evaluare.
n general, pentru programele mari, de rutin, bugetele solicitate pentru

53

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


evaluare vor fi o proporie mic din resursele programului (n mod normal
mai puin de 1%). Pe de alt parte, pentru interveniile pilot care sunt
relativ inovative, i pentru care evaluarea are un rol puternic de nvare
dar i de stimulare a participrii, costurile pot fi ntr-o proporie relativ mare
din program (pn la 10%). Exist cazuri cnd pn la 5% din bugetele
programului au fost dedicate evalurilor, alocri care au fost parte din
strategia de implementare a managementului. Un exemplu n acest sens l
constituie evaluarea care cuprinde un element formativ puternic cu intenia
de a asista managerii i actorii vizai n munca lor.
Cea mai adecvat baz pentru determinarea bugetului este natura i
domeniul evalurii solicitate. Evaluarea bun necesit contribuii de la
evaluatori buni i angajamente din partea acelora care contracteaz
lucrarea, precum i a actorilor implicai.

S se cheltuie
mai mult pe
programe i
intervenii
inovative

n practic, este comun n programele socio-economice s se cheltuie


sume care nu sunt necesare cnd evalurile abordeaz teme de rutin,
dar nu se cheltuie ndeajuns cnd programele sunt inovative. Acest risc
apare atunci cnd evaluarea este direcionat, n principal, pentru scopuri
de responsabilizare sau de monitorizare.
Resursele bugetare nu ar trebui s fie un factor care s limiteze calitatea
unei evaluri. Totui acest lucru conteaz deoarece evaluarea trebuie s
dispun de resursele necesare pentru a face fa fie unor constrngeri de
timp, fie unor activiti care sunt intens consumatoare de resurse. De
exemplu, n cazul evalurii ex-ante, timpul disponibil pentru a fundamenta
formularea programului i disponibilitatea datelor sunt limitate. La
evaluarea intermediar, dimensiunea examinrii i a consultrii actorilor
va avea o influen major asupra cerinelor de resurse. La faza ex-post,
mai puin bugetul n sine ct calitatea monitorizrii i a evalurilor
anterioare pot fi un factor de limitare.
Cine realizeaz evaluarea?
Evaluare ar trebui s fie condus de o echip extern sau ar trebui s fie
condus intern? Exist avantaje i dezavantaje pentru ambele variante.
Echipele de evaluare externe vor avea adesea o expertiz specializat
mai mare i pot fi vzute ca fiind independente, lucru care poate fi
important pentru credibilitatea evalurii. Evaluatorii interni vor fi mai
familiarizai cu cerinele instituionale i de management i pot avea acces
mai uor la informaii i persoane cheie. Cu toate acestea, ei ar putea s
fie considerai ca nefiind independeni, sau ca neavnd expertiza
necesar. n parte, acest lucru este legat de deciziile privind dezvoltarea
capacitii de evaluare n cadrul administraiilor publice. Unele instituii au
un angajament serios pe termen lung legat de capacitatea de evaluare
intern localizat n uniti specializate. Cnd aceste lucruri sunt separate
clar de managementul operaional, ele pot depi preocuprile legate de
independena lor.
Exist un numr de abordari structurale pentru a se asigura independena
evaluatorilor interni de managerii de program. O abordare este s
localizeze funcia de evaluare ntr-un departament organizaional separat
de exemplu, preferabil n departamentul pentru planificare sau strategie
dect n cel de operaiuni. O alt opiune este s se asigure c nivele
superioare de management, separate att de operaiuni, ct i de

54

Echipele interne
i externe pentru fiecare
exist
avantajele

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


evaluare, sunt implicate n continuare n implementarea recomandrilor i
concluziilor evalurii. Acest lucru poate fi o form de contracarare a
oricrei tendine de a ignora rapoartele de evaluare, de exemplu, prin
meninerea mpreun a tuturor prilor responsabile de implementarea
recomandrilor evalurii.
Cu toate acestea, independena nu este doar o chestiune structural.
Dezvoltarea unui statut de independen printre evaluatorii interni (i
sprijinind un statut similar printre evaluatorii externi) poate fi o modalitate
important pentru a asigura independena n fapt. Mai mult, dezvoltnd o
cultur de evaluare n unitile administrative relevante, caracterizat prin
spirit critic i deschis ctre date i informaii noi i idei pentru mbuntire,
se poate consolida astfel independena funciei de evaluare.
Pot exista logici diferite adecvate pentru diferitele etape ale evalurii i ale
ciclului programului. Sunt preferate resursele interne pentru contribuii
formative de evaluare sau pentru evaluri ex-ante, ns pentru evaluarea
ex-post a impactelor i rezultatelor se recomand resursele externe.
Scrierea Termenilor de Referin
Termenii de Referin (TdR) reprezint documentul care servete ca baz
a relaiei contractuale dintre contractorul unei evaluari i echipa
responsabil pentru realizarea evalurii. Promovarea Termenilor de
Referin este un pas vital atunci cnd evaluarea trebuie s fie realizat
de ctre consultani (extern). TdR sunt tot att de importani i atunci cnd
o parte din evaluare este ndeplinit intern. TdR pot face referire att la
operaiunea de evaluare n ansamblu (cnd este ncredinat unei singure
echipe), ct i la o parte din activitile de cercetare planificate n proiectul
de evaluare (analiza n detaliu a ntrebrii evaluative).
TdR ar trebui s fie succini (tipic 5-10 pagini), suplimentai dac este
necesar prin anexe administrative. Un coninut model pentru TdR este
prezentat n Diagrama 2.3.
Diagrama 2.3 Prezentarea standard a termenilor de referin
Cadrul de reglementare
Domeniul evalurii
Utilizatorii i actorii principali ai studiului
ntrebri evaluative i de cercetare
Cunotine, date disponibile
Metode sau tehnici principale pentru a fi folosite
Program
Buget indicativ
Calificrile necesare pentru echipa de evaluare
Structura propunerii
Reguli de aplicare i criteriile de judecat

1. Cadrul de reglementare

55

Termenii de
Referin
prezinta baza
desemnrii

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


Cadrul legal, contractual i instituional pentru un program trebuie s fie
declarat. Acesta include, de exemplu, reglementrile autoritilor naionale
sau ale Uniunii Europene. Dac o evaluare este obligatorie i solicitat
legal, sau este contractat deoarece managerii de program o consider ca
fiind important, aceste informaii trebuie s fie specificate clar.
TdR ar trebui s specifice cine a iniiat proiectul de evaluare i, cnd este
relevant, cine a fost implicat n formularea rezumatului evaluarii. Motivele
i inteniile pentru contractarea evalurii ar trebui s fie de asemenea
declarate. De exemplu: intenia este o schimbare a direciei politice?
Dac da, de ce? Exist intenia s se modifice procedurile de
implementare? Exist intenia s se realoce fonduri?
2. Domeniul evalurii
Am discutat deja despre importana definirii domeniului evalurii. TdR ar
trebui s clarifice proiectul/programul/politica/tema care urmeaz a fi
evaluat, perioada luat n consideraie, momentul n politica/ciclul
programului la care evaluarea este pornit, i zona geografic de referin
pentru studiu.
3. Utilizatorii i actorii principali ai studiului
Am prezentat deja importana folosirii evalurii i a faptului c utilizatorii
trebuie s fie identificai la etapele iniiale ale planificrii. De aceea, este
important s se includ declaraii despre modul n care rezultatele
evalurii vor fi folosite n TdR. Dac se va implica utilizatorul, de exemplu
ntr-un Comitet Director, acest lucru ar trebui s fie de asemenea
menionat.
4. ntrebrile evaluative i de cercetare
Am prezentat deja faptul c diferite ntrebri evaluative i de cercetare pot
fi abordate (descriptiv, cauzal, critic, prescriptiv sau normativ) i c pot fi
folosite diferite criterii n formularea judecilor de evaluare.
Este important s se exprime ntrebrile evaluative, dar este de asemenea
important s se limiteze numrul ntrebrilor pe care evaluarea
intenioneaz s le pun. Concentrarea evalurii asupra unei liste limitate
de ntrebri care sunt relevante pentru contractor asigur un control mai
bun al calitii.
5. Cunotine disponibile
TdR ar trebui s conin o revizuire a situaiei curente de cunotine
despre program i a efectelor sale. Acesta va include extrase sau referine
din documentele de programare, liste ale analizelor i ale evalurilor
anterioare cu extrase relevante, o descriere a sistemului de monitorizare
n lucru, i diferitele rapoarte i baze de date disponibile de la serviciile
care administreaz intervenia.
Acest inventar este relevant pentru echipele de evaluare pentru a ajusta
metodele propuse.
6. Metode sau tehnici principale care vor fi folosite

56

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II

Fiecare evaluare va avea metodele sale proprii, particulare, relevante


pentru domeniu i coninut. n general, nu este o bun practic s se
specifice metodele i abordrile, care ar trebui s fie propuse de ctre cei
care urmeaz s realizeze evaluarea. Pentru autoritatea contractant este
prioritar s menioneze cerinele n termeni de realizri imediate, de
exemplu, rspunsuri la ntrebri cheie. Ei pot sau nu pot specifica metode
particulare consecvente cu inteniile lor, de exemplu, nevoia pentru un
studiu al beneficiarilor.
n general, alegerea este fcut pentru a pstra flexibilitate suficient
astfel nct s permit celor care rspund la TdR s se diferenieze n
termeni de relevan i claritate a propunerilor lor metodologice. Acest
lucru este important n special n faza de selecie, deoarece analiza
calitilor metodologice a propunerilor este un pas crucial n selectarea
evaluatorului potrivit.
Cnd este posibil din punct de vedere administrativ, cel mai bine este s
se determine bugetul (vezi mai jos) i s se descrie doar liniile principale
ale metodei n TdR, i apoi s se selecteze echipa care propune cea mai
bun metod. Cei care selecteaz echipa vor avea nevoie s aib
capacitatea s judece calitatea metodologic a licitaiei.
7. Program
Programul evalurii ar trebui s fie stabilit n funcie de diferite
constrngeri, n special cele cu privire la posibila folosire a rezultatelor
evalurii sau la programul procesului de decizie. De asemenea, este
necesar s se integreze termenele limit principale, generate de proceduri
ale anunurilor pentru licitaii i de fazele colectrii datelor primare.
Recomandarea este s se defineasc n TdR ntreaga durat a exerciiului
i s se aloce prima perioad de obicei ntre 10-20% din durata ntregii
evaluri pentru planificarea detaliat a lucrrii. Aceast faz ar trebui s
fie ncheiat printr-un Raport Iniial n care proiectarea activitilor,
precum i programul detaliat vor fi prezentate. De asemenea, este bine s
se imagineze diferitele rezultate imediate ale exerciiului, i printre ele, ar
trebui s se fac referin specific la depunerea primei versiuni a
raportului final, permindu-se destul timp pentru colectarea de sugestii cu
privire la schimbri i amendamente nainte de ncheierea contractului de
evaluare.
8. Buget indicativ
O practic bun este s se sugereze un buget indicativ i, apoi s se lase
candidailor s propun ce ar putea ei s asigure pentru bugetul
disponibil. Acest lucru permite s fie fcute analize estimative privind
eficiena alocrii. n plus, asigur contractanilor evaluarii un control mai
mare asupra cheltuielilor. O alternativ la aceast abordare ierarhizat
este s li se permit candidailor s vin cu estimarile lor proprii bazate pe
sarcinile pe care ei le vd ca fiind necesare. n general, candidaii ar trebui
s fie ncurajai s mpart costurile estimate n categorii de cheltuieli,
incluznd de exemplu, colectarea datelor, pregtirea raportului, munca de
teren etc.
9. Calificri necesare echipei

57

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II

TdR ar trebui s specifice un numr de cerine privind echipa de evaluare.


Acestea ar trebui s includ: abiliti metodologice necesare, experiena
anterioar ntr-o munc similar de evaluare, cunotine privind contextul
regional i instituional, pregtire profesional i expertiza disciplinar i
abilitatea de a administra i a furniza evaluarea la timp.
Independena echipei de evaluare
Am prezentat deja importana independenei n termeni de credibilitate.
Acest lucru poate fi asigurat prin ncredinarea evalurii unei echipe
externe. Este de asemenea util:
- s se fac aranjamentele de management care vor susine independena
acelor evaluatori alei;
- s se solicite confirmare c nu exist conflict de interese n cadrul
echipei poteniale.
Aceste cerine ar trebui declarate n TdR.
n acelai timp, ar trebui s se descrie i modul n care evaluatorii vor
putea avea acces la personalul cheie din cadrul programului i al
managementului su i la informaiile pe care ei le vor solicita pentru
munca lor. (Aspecte legate de independena evaluatorului sunt discutate
mai detaliat mai jos).
Profilul echipei de evaluare
n domeniul Fondurilor Structurale, din ce n ce mai multe organizaii sunt
prezente pe piaa evalurii, incluznd firme de consultan locale,
naionale sau internaionale. Sectorul comercial nseamn majoritatea
pieei, dei centrele de cercetare universitare au de asemenea o
contribuie semnificativ.
Opiunea pentru o firm de consultan sau un departament universitar
poate avea implicaii cu privire la abordare i, astfel, asupra rezultatelor
evalurii. Profesionitii din domeniul universitar au avantajul de a fi
percepui ca fiind independeni i foarte credibili datorit cerinelor proprii
instituionale i profesionale. Pe de alt parte, firmele private sunt adesea
mai prompte i mult mai preocupate de ndeplinirea cerinelor
contractantului.
Alegerea general ar trebui s depind mai puin de originile instituionale
ale echipei de evaluare i mai mult de competenele necesare, de
exemplu expertiza, abilitile i cunotinele lor anterioare. Candidailor ar
trebui s li se solicite s indice modul n care diferitele experiene, abiliti
i experiena din cadrul echipei vor fi integrate i modul n care membrii
echipei vor fi ncurajai s lucreze mpreun.
10. Structura Propunerii
Pentru a facilita decizia i pentru a asigura o ghidare a aplicanilor
poteniali, TdR ar trebui s specifice cum trebuie s fie structurat
propunerea, indicnd dac este posibil numrul maxim de pagini pentru
fiecare seciune a documentului.
11. Regulile de depunere i criteriile de decizie

58

Alegerea
evaluatorilor pe
baza abilitilor,
expertizei i
cunotinelor lor
anterioare.

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


Licitaia ar trebui s specific: termenul limit, modurile de transmitere
(pota, fax, e-mail), pe ce durat vor rmne valabile ofertele , etc. Ar
trebui s indice de asemenea criteriile conform crora propunerile vor fi
judecate. TdR ar trebui s menioneze de exemplu, n puncte procentuale,
importana relativ care se va acorda:

calitii abordrii metodologice


calificrilor i experienei anterioare a echipei
preului.

Bineneles, este important c aceste criterii de selecie s fie aplicate


sistematic o dat ce propunerile sunt primite.
2.2 IMPLEMENTAREA I ADMINISTRAREA EVALURILOR
Alegerea evaluatorilor potrivii
Procesul de selectare a evaluatorilor trebuie s fie transparent. TdR foarte
buni reprezint modalitatea optim pentru a atinge aceasta int, la care
se adaug folosirea unui comitet formal de selecie. Acesta ar trebui s
cuprind nu numai reprezentani ai persoanelor responsabile cu
evaluarea, dar i un expert independent i, cnd este posibil,
reprezentani ai utilizatorilor poteniali i actuali ai evalurii.

ntocmirea cu
atenie a
Termenilor de
Referin i un
comitet de
selecie
Membrii comitetului de selecie ar trebui s aib judecile proprii asupra echilibrat ajut
licitaiilor, asupra criteriilor date n TdR. Judecile ar trebui s fie ca procesul de
combinate. Criteriile cuprind n mod normal: calitatea metodei de abordare selecie s fie
transparent
propuse, calitatea i experiena echipei de evaluare i preul.
Analizarea calitii metodei propuse
Corespondena abordrii cu metodele propuse pentru a rspunde
ntrebrilor puse n TdR ar trebui s fie central n selecia licitaiei
preferate. Comitetul de selecie poate asigura acest lucru prin verificarea
fiecrei oferte n funcie de punctele din Diagrama 2.4.

59

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


Diagrama 2.4 Analiza calitii metodei abordrii ntr-o propunere
Pentru fiecare ntrebare evaluativa
ntrebarea 1 ntrebarea 2

...

Propunerea echipei candidate:


Include aceasta colectarea unor
informatii suficient relevante?

++

Are la baza tehnici riguros analitice?

Poate clarifica criteriile de evaluare


ntr-o maniera impartiala?

+/-

Poate produce constatari credibile?

A fost nteleasa bine importanta


ntrebarilor respective?

Metoda ar
trebui s fie
potrivit
ntrebrilor de
evaluare
implicate

++

Mai presus de orice trebuie amintit c analizele independente asupra


calitii metodei propuse sunt calitative i nu cantitative. Acestea sunt
analize care trebuie s fie fcute de persoane cu experien. Multe dintre
aspectele pentru care trebuie s fie fcut analiza independent sunt de
asemenea calitative. De exemplu, dimensiunea unui studiu i/sau un
numr de studii de caz poate fi mai puin important comparativ cu calitatea
procesului prin care este extras sau prin care este identificat studiul de
caz.
Analiza calificrilor i experienei anterioare a echipei
Calificrile i experiena anterioar a echipei sunt ntotdeauna importante,
n special, dac metodele propuse sunt experimentale sau nu ndeplinesc
complet specificaiile din TdR. S-ar putea spune c evaluarea este
standard i/sau TdR sunt foarte precii cu privire la ceea ce trebuie fcut;
calitatea personalului i preul sunt singurele aspecte care conteaz cu
adevrat. Cnd procesul de licitaie cere candidailor s propun
metodologia pe care ei o consider potrivit pentru sarcin, problema este
c se acord prea mult atenie originalitii abordrii i nu ndeajuns
capacitii candidailor de a livra ceea ce ei au promis.

Capacitatea de
a presta
evaluarea este
covritoare

Capacitile echipei trebuie s fie potrivite cu metodologia propus pentru


a se evita problemele care apar n timp ce evaluarea este implementat.
Acest fapt ar putea s-i discrimineze pe cei noi intrai pe pia, ceea ce
face mult mai dificil crearea i/sau meninerea pieelor competitive.
O modalitate folositoare de a analiza o echip propus este s se cear
s se vad exemple anterioare ale muncii lor. Acest lucru poate fi susinut
n continuare prin a se cere referine de la clienii anteriori ai evalurii
de exemplu, persoane numite care pot fi consultate.
n final, este ntotdeauna bine s se acorde atenie nu numai prezenei n
echip a personalului de nalt calificare, dar i timpului pe care sunt
pregtii s-l aloce sarcinii. Deoarece evalurile necesit timp, munca de
teren nu trebuie preluat de ctre personalul cel mai calificat. . Persoanele
60

Bazndu-ne
analizele pe
ceea ce s-a
nregistrat
anterior poate

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


cu experien trebuie s aloce timp i pentru supervizarea echipei. Este discrimina noii
util dac echipa propus aduce probe care s susin faptul c anterior intrai pe piaa
membrii echipei au lucrat bine mpreun.
de evaluare
Analizarea preului
Analizarea preului propus pentru servicii este un aspect important al
procesului de selectare, dar nu ar trebui s fie supraestimat. Ca metod
empiric, pentru orice evaluri care nu sunt n ntregime de rutin, criteriul
financiar nu ar trebui s depeasc 20-25% din analiza total.
Un al doilea aspect care trebuie precizat este c nu numai preul total ar
trebui s fie luat n consideraie, dar i costul unitii unei zile de lucru
pentru diferitele categorii de personal angajat. De exemplu, dac 80% din
preul total este absorbit de personalul junior la, s spunem, o rat zilnic
sczut, atunci meritele acestui lucru pot fi comparate cu o situaie n care
50% din lucrare este realizat de ctre cercetatori calificai/experimentai
muncind pentru dublul acestei rate zilnice.

Costurile
evalurii ar
trebui s fie
doar un element
n decizie

n unele ri, pentru a se evita cursa pentru cea mai ieftin ofert, preul
este judecat nu n termeni absolui, ci n legtur cu media propus de
ctre echipele care oferteaz pentru lucrare. n acest caz, dac o ofert
este excepional de sczut, ofertantului ar putea s i se solicite s
explice cum crede c va putea realiza evaluarea n pofida bugetului redus.
Administrarea procesului de evaluare
Dup nceperea studiului de evaluare autoritatea contractant are tendina
de a menine echipa de evaluare la distan, deoarece exist
convingerea c interaciunea redus asigur independena echipei de Minimizarea
evaluare.
contactului
dintre
Independena echipei, de fapt, depinde de un set mult mai complex de contractant i
factori dect de simpla reducere a contactelor cu clientul. Cea mai bun echipa de
garanie a independenei este poziia tiinific i profesional a echipei evaluare nu va
selectate. Existena unei piee mari, apariia de standarde profesionale i asigura
etice i crearea unei comuniti implicate n evaluare sunt dimensiuni independena
evalurii
structurale relevante, care n final susin independena.
Membrii comisiei care administreaz evalurile i managerii de program
trebuie s fie contieni c exist un numr de factori continui care pot
submina independena evaluatorilor.

61

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II

Factori care influeneaz independena evaluatorilor


Orice evaluare necesit existena independenei evaluatorului fa de
obiectul evalurii. Chiar i n autoevaluare, cei care sunt implicai n
implementarea interveniilor trebuie s aib un anumit grad de
independen, chiar dac sunt sau nu asistai n acel proces de ctre
evaluatori externi. n mod normal, crescnd nivelul de independen al
evaluatorului fa de obiectul evalurii va crete credibilitatea constatrilor
evalurii. n toate circumstanele, riscul conflictelor de interese trebuie s
fie minimizat i, unde este posibil, eliminat. Cteodat, acest lucru este
realizat prin declaraii formale din partea evaluatorilor i a potenialilor
evaluatori privind absena conflictelor de interese.
Cu toate acestea, evaluatorii sunt rareori pe deplin independeni de
obiectele de evaluare, iar evaluarea nu este niciodat complet obiectiv.
Evaluatorii vor fi supui unei game ntregi de influene. ntr-adevar,
angajamentul evaluatorului pentru intele interveniei poate crete calitatea
constatrilor evalurii i ansele ca rezultatele s conduc la o dezvoltare
socio-economic mbuntit.
Civa factori influeneaz independena evaluatorului i nu toi trebuie
evitai; cteodat, influenele externe asupra evalurii n desfurare pot
aduce beneficii:

Evaluatorii tind s fie comptimitori cu obiectivele dezvoltrii socioeconomice ale interveniilor. S-ar putea ca ei s locuiasc n teritoriul
unde a fost implementat intervenia aflat n evaluare, sau au fost
alei, n parte, datorit empatiei lor fa de grupul int al interveniei
luat n consideraie. Adesea evaluatorii sunt selectai datorit
cunotinelor lor substaniale cu privire la tema sau zona politicii
relevante, contactelor, precum i experienei lor n evaluare.

Evaluatorii, n general, doresc s fie cunoscui i s aib influen.


Activitatea de evaluare este n mod normal att sumativ ct i
formativ, iar echilibrul dintre cele dou se poate schimba uor n
timpul implementrii demersului de evaluare. Dac cei care
contracteaz evaluarea se confrunt cu o nou alegere de politic,
poate c ei doresc ca TdR s fie schimbai, sau pot s cear
schimbarea lor ca urmare a solicitrii de informaii iniiale de la
evaluator. Fiecare rezultat de evaluare poate ridica probleme serioase
care nu au fost prevzute i poate identifica nevoia pentru schimbri
radicale n intervenia propus sau deja n lucru.

Interpretarea probelor i a datelor colectate depinde de nelegerea


felului n care lumea funcioneaz. Evaluatorul va avea opiniile sale
proprii a priori asupra consecinelor diferitelor tipuri de intervenii
construite prin combinarea experienei directe, a formaiei sale
profesionale i a valorilor personale. n rapoartele finale i cnd se
justific o metod propus, aceste opinii, experiene i valori a priori
trebuie s fie fcute explicite.

Evaluatorul este, firete, pltit pentru serviciul su. n majoritatea


cazurilor cei care contracteaz evaluarea au responsabilitatea parial
sau deplin pentru interveniile care sunt examinate. n unele cazuri,

62

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


evaluarea este o cerin a unei tere pri i poate exista tentaia unei
nelegeri ntre parteneri i evaluatori. Evaluarea de succes necesit un
grad nalt de ncredere, care poate fi ntrit de standarde i coduri de
etic pentru evaluatori, descrise ntr-o alt parte a MANUALULUI, i un
interes real din partea contractantului fa de constatrile evalurii i
fa de opiniile evaluatorului.

Evaluarea dezvoltrii socio-economice nu are loc niciodat ntr-un


mediu politic neutru. Teritoriile sau grupurile int care au primit
prioritate poate c doresc s o pstreze, iar succesul interveniilor
anterioare poate fi un factor important pentru accesul viitor la resurse.
Poate exista rivalitate ntre cei responsabili pentru diferite intervenii.
Cei care contracteaz evaluarea sunt adesea sub presiune pentru a
furniza rezultate imediate ale programului i a proba realizrile.

Varietatea rolurilor evalurii i a circumstanelor n care are loc va afecta


gradul de independen care poate fi atins. Cnd evaluatorul furnizeaz n
principal realizri imediate ce in de cercetare i colecteaz indicii pentru
evaluare, gradul su de independen poate fi sporit. Totui, chiar i n
aceste circumstane, alegerea ntrebrilor i metoda adresrii lor poate
condiiona independena constatrilor. Cnd evaluarea este ntreprins
pentru inspecie sau pentru cvasi audit, independena evaluatorului tinde
s fie mai mare. Cnd evaluatorii lucreaz n strns cooperare cu cei
care pregtesc interveniile, rolul evaluatorului a fost caracterizat ca acela
al unui prieten critic. Acest lucru se ntmpl adesea n evaluarea ex-ante
sau cnd se fac studii de fezabilitate, dar nu numai. Asemenea evaluri
chiar dac au menirea s ofere sprijin, trebuie s arate dificultile i
punctele slabe n analizele care susin intervenii n perspectiv. Cnd
intervenia este de tip pilot sau experimental, adevrata independen
poate fi dificil de realizat. n acest caz intervenia este relativ restrns i
complex, dar implic diferite pri care probabil lucreaz mpreun pentru
prima oar i evaluatorul poate fi att animator i catalizator pentru
consens, ct i observator imparial. Foarte adesea, lucrarea de evaluare
implic o combinare de revizuiri i studii de caz, ultimele putnd fi folosite
pentru a construi argumente. Selectarea cazurilor i a indiciilor poate
reduce imparialitatea. Oricnd evaluatorul se poate constitui ntr-un canal
de feed-back ntre actorii de la diferite nivele ale guvernului unde exist o
nevoie particular pentru contientizarea standardelor profesionale i etice
att ntre evaluatori, ct i ntre parteneri.
Interaciunea dintre contractant, parteneri i evaluator
Exist un numr de motive datorit crora managementul unei evaluri
necesit o interaciune continu i semnificativ ntre toi partenerii
implicai (inclusiv echipa de evaluare n sine).
O prima faz n timpul creia echipa testeaz i rafineaz justificarea
declarat pentru evaluare prin consultare cu prile potenial interesate
este de obicei recomandabil, mai ales n exerciiile de evaluare pe
termen mediu, ex-post sau tematice.
O faz de iniiere sau de nceput va avea de obicei ca scop s specifice
metodele i planul de lucru ntr-un mod mai detaliat dect a fost posibil n
etapa propunerii. Echipa de evaluare va putea de obicei s propun o
abordare operaional detaliat numai dup un prim studiu al domeniului

63

de fapt,
legaturile
strnse ntre
pri sunt

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


i o analiz a datelor disponibile. Aceast parte fundamental a proiectrii preferate
evalurii trebuie s fie mprtit i convenit cu contractantul i cu
ceilali actori relevani.
Cadrul 2.5 Evaluarea ex-ante n Republica Ceh
n contextul evalurii ex-ante a Planului Naional de Dezvoltare din Republica Ceh, s-a
remarcat c recomandrile echipei de evaluare s-au dovedit a fi mult mai rapid acceptate,
dac ele erau sugerate n etapele iniiale ale ntocmirii documentelor de programare.
Acest lucru implic faptul c evaluarea a fost perceput ca fiind mult mai util cnd
parteneriatele erau stabilite i n orice caz, munca evaluatorilor a avut multe caracteristici
care de obicei sunt asociate cu asistena tehnic.
Chiar dac exerciiul de evaluare este direct, contextul politicii externe se
schimb adesea ntr-un mod rapid. De aceea, este de folos s se asigure
legtura nu numai cu membrii Comitetului Director, dar, de asemenea, i
cu cei responsabili pentru elaborarea politicilor. Prilejul de a implica,
oricnd este posibil i chiar indirect, nivelul strategic de management
este astfel un alt motiv pentru care procesul trebuie s fie interactiv.
Un mecanism simplu este s se specifice frecvena ntlnirilor Comitetului
Director chiar n TdR. Un minimum de dou ntlniri este obinuit la
nceputul procesului i la aprobarea primei versiuni a raportului final.
Este important s existe o anumit perioad de timp ntre selecia echipei
de evaluare i nceperea lucrrii. n particular, cnd selecia a implicat un
anun pentru ofertani, este nerealist din partea contractorului s se
atepte ca echipa ctigtoare s poat s lucreze din ziua urmatoare
celei n care s-a luat decizia. Date fiind necunoscutele din jurul alegerii
contractorului, majoritatea aplicanilor vor avea nevoie de cteva
sptmni pentru a planifica i strnge echipa care va face de fapt munca.
Exist cel puin dou moduri n care aceast flexibilitate poate fi garantat:

s se ntrzie semnarea contractului, i, astfel, data de ncepere a


lucrrii;
s fie planificat o perioad adecvat, realist pentru Raportul Initial.

Rolul Raportului iniial


Raportul initial este un document care prezint:

principalii actori identificai;


cele mai relevante ntrebri de evaluare (elaborate i posibil
reformulate);
metodele care urmeaz s fie utilizate;
un plan de lucru detaliat cu privire la diviziunea muncii ntre membrii
echipei;
programul (finalizat) pentru lucrare, inclusiv diferitele repere temporale
importante; i
realizrile imediate intermediare i finale.

Acest document trebuie s fie discutat i convenit cu Comitetul Director, n


prima ntlnire de la nceputul lucrrii, i ulterior s fie actualizat n mod
continuu. El va reprezenta, pe ntreaga durat a exerciiului, punctul
principal de referin al procesului de asigurare a calitii (a se vedea mai
64

O abordare
interactiv
poate fi
asigurat prin
ntlniri
regulate ale
Comitetului
Director.
Raportul Iniial
asigur punctul
principal de
referin pentru

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


jos), deoarece el prezint n detaliu ceea ce se poate atepta de la asigurarea
evaluare, datele la care diferite activiti vor fi realizate, i procesul prin calitii
care rapoartele de evaluare vor fi produse.
Rapoartele Interimare i Finale
n unele evaluri, n special cele care dureaz mai mult, exist un raport
interimar, precum i unul iniial. Acest lucru permite mprtirea primelor
constatri i asigur un prilej pentru a concentra etapele ulterioare ale
unei evaluri cnd constatrile de nceput o impun. Acest lucru este
important, n special, cnd evalurile sunt preconizate pentru a informa
sau consilia managementul de program. n cazul Fondurilor Structurale,
aceast etap intermediar este adesea inclus n evaluarea interimar.
Acest fapt accentueaz importana conectrii evalurilor interimare cu
cele ex-post. Evalurile n curs de desfurare i care surprind schimbri
de-a lungul timpului asigur feed-back managerilor de program i celor
care elaboreaz politici prin intermediul rapoartelor interimare.
Versiunea iniial a unui rapoart final are o funcie similar de ghidare, n
special dac este solicitat din timp. El are mai curnd rolul de a ghida
versiunea final a raportului de evaluare dect programul n sine. Trebuie
menionat faptul c pentru meninerea independenei, comitetele de
conducere care primesc versiunea iniial a rapoartului final ar trebui s se
concentreze pe aspecte legate de acurateea i conformitatea cu
ateptrile dect s ncerce s ghiceasc sau s influeneze concluziile
evalurii.
Comitetul Director
Precum am vazut, existena unui organism precum Comitetul Director este
o parte important a procesului prin care evalurile programelor de
dezvoltare socio-economice sunt administrate.
Experiena Fondurilor Structurale arat avantajul implicrii celor mai
importani actori, i n particular a celor mai relevani parteneri instituionali
sau ai actorilor-cheie a cror cooperare este necesar pentru a determina
cele mai bune rezultate ale programului. Avantajele unui Comitet Director
general sunt prezentate n Cadrul 2.6.
Csua 2.6 Avantajele unui Comitet Director general
nfiinarea unui Comitet Director de evaluare cuprinznd diferii actori n program
garanteaz:

O mai bun acceptare a evalurii de ctre cei evaluai, prin crearea relaiilor de
ncredere;

Acces mai uor la informaii i o nelegere mai bun a faptelor i evenimentelor care
au avut loc cnd programul a fost iniiat;

Ocazii de nvare pentru cei implicai, ca rezultat al interaciunilor produse n cadrul


Comitetului Director;

Interpretrile i recomandrile care iau n consideraie toate punctele de vedere


importante;

Diseminarea concluziilor i asimilarea a recomandrilor mult mai rapid i informal; i

O probabilitate mai mare c recomandrile i concluziile vor conduce la aciune i vor

65

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


avea i o continuare.
n general, Comitetul Director ar trebui s includ patru tipuri de
reprezentani:

Managementul strategic al interveniei - acesta este reprezentat de


autoritile finanatoare, partea de politic a administraiei i, unde este
adecvat, diferite nivele ale guvernului. O abordare pe mai multe nivele
pentru implicarea managementului strategic n Comitetul Director este
foarte important, deoarece programele devin tot mai complexe;
Managementul operaional al programului este reprezentat de cei ale
cror activiti sunt evaluate, dei pentru a pstra imparialitatea
Comitetului de Conducere, managementul operaional este de obicei
reprezentat de manageri experimentai, detaai de prima linie a
managementului de zi cu zi. Chiar i aa, este o sarcin important a
preedinilor Comitetelor s se asigure c nici un membru, inclusiv
managerii operaionali, nu ncearc s influeneze constatrile evalurii
sau s ignore indiciile furnizate de evaluare;
Partenerii sociali - de exemplu, reprezentanii celor crora programul
le afecteaz cel mai mult interesele. Printre acetia pot fi incluse nu
numai asociaiile profesionale, dar i organisme instituionale
responsabile de aspecte specifice, orizontale precum mediul,
oportuniti egale, turism i protecia consumatorului, etc.
Experii - acetia sunt persoanele care au cunotine fie substaniale
fie metodologice, care pot fi de folos pentru definirea ntrebrilor de
evaluare sau interpretarea rezultatelor. Prezena experilor
independeni n Comitetul Director poate fi foarte important n
furnizarea de informaii folositoare ctre echipa de evaluare i pentru a
dirija dezbaterea ctre leciile mai generale, care pot fi i ar trebui s
fie inspirate de evaluare.

Principalul rol al Comitetului Director este s asigure o calitate i o utilitate


ridicat a evalurii. Acest lucru va implica facilitarea muncii evaluatorilor
de exemplu, prin asigurarea accesului la informaii i contacte, i prin
elaborarea ntrebrilor de evaluare i a aspectelor cheie despre care ei
apreciaz c ar trebui s fie informai. Comitetul Director nu ar trebui s
ncerce s influeneze evaluatorii pentru a omite anumite concluzii sau s
ajung la concluzii pe care membrii Comitetului le-ar prefera i care nu
sunt susinute de evaluare. Comitetul Director ar trebui, de asemenea, s
supravegheze procesul de comunicare a constatrilor evalurii.
Administrarea comunicrii n prcesul de evaluare
Comunicarea este o parte important a procesului de evaluare. Este de
preferat ca aciunile de comunicare s fie constante, fiind un prilej pentru
dialog i pentru acumularea cunoaterii rezultat din evaluare, dect s
se depun eforturile de comunicare ntr-un exerciiu mare de diseminare
dup ce un raport final este ncheiat. De aceea comunicarea ar trebui s
includ:

mbuntirea contientizrii asupra evalurii aflat n desfurare,


asigurarea feed-back-ului asupra constatrilor intermediare,
coordonarea i transmiterea feed-back-ului asupra primelor versiuni
ale rapoartelor i ale realizrilor imediate (de ex. instrumentele de
colectare a datelor),
66

Comitetul de
Conducere ar
trebui s
acopere o
gam de
interese

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II

comunicarea constatrilor i a concluziilor evalurii.

mbuntirea contientizrii asupra evalurii aflat n desfurare


O dat ce echipa de evaluare a fost angajat, actorilor trebuie s li se
furnizeze informaii cu privire la program i process. Perioada iniial ar
trebui s fie folosit ca un prilej att pentru a explica abordarea planificat,
ct i pentru a colecta opiniile cu privire la utilitatea ntrebrilor de
evaluare i a succesului demersului propus. n plus, fa de informaia
formal furnizat actorilor, probabil prin comitetul de conducere, trebuie
transmise informaii generale publicului i beneficiarilor posibil n forma
comunicatelor de pres sau a informaii ncrcate pe siteuri web pentru a
pregti terenul pentru evaluare.

Creterea
contientizrii
cu privire la
evaluri

Furnizarea feed-back-ului asupra constatrilor intermediare


Comunicrile cu privire la constatrile intermediare prezint provocri
majore. Pe de alt parte, actorii probabil c au un interes n constatrile
iniiale, n special dac ei estimeaz c raportul final de evaluare va fi
critic. n acelai timp, echipa de evaluare poate fi ezitant n legtur cu
concluziile majore deduse i preocupat de soliditatea probelor care stau
la baza observaiilor lor. Ei pot percepe constatrile interimare ca pe o
necesitate birocratic, dei acest lucru ar fi de evitat (nu este un fapt
neobinuit ca rapoartele interimare s atrag pli intermediare). Este cel
mai bine dac n Raportul iniial se includ informaii cu privire la domeniul
i coninutul constatrilor interimare i la modul (metoda i audiena
vizat) n care ele vor fi circulate. Absena Raportului Interimar formal este
de evitat. Existena Raportului Interimar previne criticismul care ar putea fi
cauzat de constatrile unei evaluri pariale sau fr substan. Cel mai
bine, constatrile interimare pot furniza feed-back cu privire la proces i
implementare (de ex., s sugereze schimbri n procedur) i poate ajuta
la creterea angajrii actorilor i al acelora implicai att n programe, ct
i n evaluare. Astfel de constatri exprimate ca probleme sau indicii
problematice pot servi nvrii din evaluare.

Constatrile
iniiale
contribuie la
nvare

Coordonarea i transmiterea feed-back-ului asupra primelor versiuni ale


rapoartelor i ale constatrilor
Producerea primei versiuni a raportului final este adesea o etap dificil
att pentru evaluatori, ct i pentru actori. Ceea ce a fost anterior o
anticipare abstract a rezultatelor acum devine real i cteodat
amenintor sau dezamgitor. Actorii, n special, aceia cu responsabiliti
de management de program pot fi tentai s discrediteze constatrile care
nu le sunt pe plac. Pe de alt parte, evaluatorii pot construi argumente
bazndu-se pe indicii limitate sau pot s nu acorde importana cuvenit
importului politic pe care ei l furnizeaz, n special n etapa primei
versiuni. Producerea unui raport final care s fie acceptabil pentru echipa
de evaluare i pentru autoritatea contractant care s fie respectat de
ctre actorii care au fost angajai n proces poate fi o provocare major
care necesit destul timp. Urmtoarele sugestii pot facilita procesul:

structura raportului ar trebui s fie convenit ct mai devreme posibil;


comitetul Director ar trebui s fie cadrul principal pentru discutarea
versiunii iniiale;
autoritatea contractant ar trebui s evite tentaia s influeneze

67

Producerea
raportului care
este acceptabil
pentru echipa
de evaluare,
pentru
autoritatea
contractant i
pentru actori

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II

excesiv formularea concluziilor i recomandrilor; ar fi de preferat s


cear echipei de evaluare s-i justifice concluziile i recomandrile lor
pe baza indiciilor prezentate;
Ar trebui alocat timp suficient pentru comentarii scrise;
Autoritatea de management ar trebui s i asume responsabilitatea
pentru circularea raportului i colectarea feed-back-ului.

Comunicarea constatrilor evalurii


Munca de evaluare nu are nici o consecin dac constatrile nu sunt
comunicate. Principala form de comunicare este un raport scris. Este
evident faptul c mijloacele de comunicare variaz n funcie de tipul
audienei, ns cu toate acestea, exist un numr de practici recomandate
Evaluarea este
ce pot fi luate n considerare, astfel:
inutil fr
Raportul ar trebui s fie scris clar i concis. O sut de pagini, care s comunicarea
cuprind un rezumat executiv, sunt n mod normal suficiente. Evidena constatrilor
detaliat evaluativ, precum studii de caz i analiza cantitativ ar trebui
s fie prezentate n anexe sau s fie disponibile separat.
Raportul ar trebui s includ un rezumat executiv de 5 -10 pagini,
scrise ntr-un stil adecvat pentru cei care elaboreaz politicile.
Legturile dintre concluzii i analiza evidenei ar trebui s fie clare.
ntocmirea raportului ar trebui s indice baza pentru observaiile
fcute: indiciile evalurii sau o combinaie ntre indicii i opinii ale
evaluatorilor.
Raportul ar trebui s includ o descriere i o analiz a metodei folosite
care este detaliat suficient i prezentat ntr-o manier critic pentru a
permite cititorului s judece soliditatea evidenelor, informnd asupra
concluziilor.
Ar trebui utilizate tabele i diagrame care pot mbunti prezentarea
constatrilor.
Ar trebui menionate referine cu privire la bunele practici extrase
interveniile utilizate ca argumente, dar, n ansamblu, rapoartele de
evaluare nu ar trebui s se transforme n colecii de bune practici.
Presiunea asupra evaluatorilor s produc poveti cu tiri bune este
adesea contraproductiv; asemenea rezultate sunt vzute cu
suspiciune de ctre public i de cei care elaboreaz politicile.
Recomandrile privind aciunile ce urmeaz s fie ntreprinse aa cum
rezult din evaluare trebuie s fie clare.
Canalele pentru comunicarea constatrilor evalurii astfel nct acestea
s ajung la utilizatori
Responsabilii cu contractarea i preluarea evalurii ar trebui s se asigure
c rezultatele sunt comunicate i folosite. Identificarea cu atenie a
utilizatorilor poteniali, ncepnd cu cei care elaboreaz politici, cu Ar trebui
beneficiarii, i ajungnd pn la publicul general, trebuie s fie identificate ncercate
metode de
i alese cele mai potrivite canale de comunicare.
distribuire
Rapoartele de evaluare sunt n mod normal publicate din ce n ce mai mult accesibile
pe internet. Rapoartele scrise ar trebui s includ de asemenea mai multe
rezultate populare pentru a fi pregtite s fie preluate de mass-media.
Multe programe produc buletinele lor proprii i acestea asigur un alt prilej
pentru diseminare. Prezentrile verbale n faa Comitetului Director i ali
actori (de ex. n ateliere de lucru specializate) sunt de asemenea

68

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


folositoare.
Managementul calitii i controlul calitii
Analiza calitii unei evaluri, ca parte integrant a unui proces de
evaluare, este fundamental. ntr-adevar, o evaluare care nu ntrunete
standarde minime de calitate poate s induc n eroare factorii de decizie
i managerii de proiect.
Cu toate acestea, analiza calitii evalurii este un process complex i
dificil. Evalurile realizate n contextul programelor i politicilor de
dezvoltare socio-economic sunt foarte diferite una de alta pentru a
Analiza calitii
permite existena ctorva reguli simple care s poat garanta calitatea.
evalurii este
complex, dar
n general putem afirma c, n asamblu, calitatea este condiionat de
n general,
prezena a trei aspecte distincte, dar corelate:
este legat de
planificarea i
calitatea fazei planificrii i proiectrii, inclusiv a contractrii evaluarii;
proiectarea,
calitatea implementrii evalurii n sine;
implementarea
calitatea sistemului de monitorizare i a datelor disponibile.
i calitatea
datelor
Aceste aspecte sunt corelate n sensul c o performan slab a
evaluatorului poate deriva din slaba calitate a datelor i/sau din defectele
fazei de planificare i proiectare. Din pcate, cei care sunt implicai n
aceste trei seturi de activiti sunt diferii, i adesea chiar i scopurile lor,
precum i criteriile lor de calitate, sunt de asemenea diferite. De exemplu,
sistemul de monitorizare proiectat pentru managementul de zi cu zi al
programului nu produce neaprat datele necesare pentru o evaluare a
impactelor.
Mai mult, aceste aspecte pot fi vzute din dou puncte de vedere diferite.
n primul rnd, calitatea poate fi considerat o caracteristic a procesului
prin care activitile de evaluare sunt realizate. Analiza calitii poate
include: modul n care autoritatea contractant dezvolt decizia de a trece
la o evaluare, definete domeniul acesteia i resursele disponibile. Acest
lucru poate fi analizat pentru a nelege dac procedurile urmate au fost
corespunztoare pentru alocarea diferitelor responsabiliti, dac
contribuia diferiilor actori a fost luat n consideraie, etc. Acelai lucru se
ntmpl pentru realizarea evalurii, analiznd modul de administrare a
interaciunii dintre echip i contractor, sau modul n care au fost fcute
verificrile pentru a avea garania c datele colectate au fost tratate
adecvat, etc. De asemenea, poate fi analizat i organizarea procesului
Calitatea se
de monitorizare.
refer la
n al doilea rnd, calitatea poate fi considerat o caracteristic a procesele i
produselor procesului de evaluare. Astfel, se poate analiza TdR n produsele
conformitate cu criteriile pe care noi deja le-am scris. Poate fi analizat evalurii
calitatea rapoartelor intermediare i finale de evaluare pentru a vedea
dac ele ntrunesc nite criterii de baz de bun practic profesional, i
dac datele sunt suficiente cantitativ i suficient de sigure pentru a
garanta analize independente temeinice.
n teorie, cele doua aspecte procesul i produsul sunt legate: un
proces bun ar trebui s genereze un produs bun i, reversul este de

69

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


asemenea adevarat, n sensul c un produs bun ar trebui s fie rezultatul
unui proces de producie suficient de bun.
Colecia MEANS (1999) remarc:
Nu exist vreun sistem de certificare profesional, niciunde
n lume, care instituionalizeaz regulile i criteriile de
calitate. Sunt propuse grile disparate de criterii, bazate pe
modele de evaluare elaborate de autori diferii, dar nu
exist un consens n acest domeniu. Mai mult, natura
criteriilor menionate nu apare ntotdeauna clar, dac
facem o ncercare pentru a le pune n practic.
n ultimii ani situaia s-a mai mbuntit. n particular, precum prezint
Cadrul 2.7., acum se obinuiete tot mai mult s se ncerce a se defini
criteriile de bun practic n evaluare. Acestea au fost elaborate de
organisme internaionale (precum OECD), Administraii Naionale (de ex.,
Departamentul Italian pentru Economie i Finane), sau asociaii
profesionale precum societi i asociaii naionale de evaluare. Multe
dintre acestea continu eforturile iniiale din USA, inclusiv ale Asociaiei
Americane de Evaluare AAE): Principii de ghidare pentru Evaluatori
(1892) i Comitete Mixte pe Standarde pentru Evaluarea Educaional.
Standarde de Evaluare de Program (1994).
Cadrul 2.7 furnizeaz o informare transversal privind cteva standarde i
coduri curente de evaluare. Ele se mpart n cteva categorii. Majoritatea,
n special acelea care deriv din Standardele Mixte Americane precum
Societatea de Evaluare German (DeGEval) i Liniile Directoare Africane
de Evaluare, sunt direcionate n principal ctre comportamentul tehnic al
evaluatorilor, de exemplu, modul cum este adunat informaia i cum sunt
prezentate concluziile. (Distincia dintre liniile directoare i standardele
mai stringente i ambiioase este de asemenea instructiv). O alt
categorie, ale crei rezultate Canadiene i Australasiatice i, ntr-o
anumit msur, ale Societii Britanice de Evaluare, sunt exemple care
se preocup mai mult de coduri etice de practic dect de practica tehnic
a evalurii. Dar din nou, acest lucru privete, n principal, eticile
evaluatorilor dect cele ale altor actori implicai. Mai recent, a aprut o
noua categorie de linii directoare. Aceasta este direcionat mai mult
ctre administraii i ctre cei care contracteaz evalurile dect ctre
evaluatori. Exemple din acestea pot fi gasite la OECD (linii directoare
PUMA i DAC) i, cel mai recent, la Comisia European.
n pofida creterii domeniului de linii directoare, standarde i coduri cu
privire la calitatea n evaluare, nu exist n prezent o declaraie comun
care s aib o recunoatere universal.
Cadrul 2.7 Linii directoare de standarde i Coduri Etice
USA Standarde de Program de Evaluare (1994) Comitetul Mixt pe Standarde pentru
Evaluarea Educaional, Standarde de Program de Evaluare
http://www.wmich.edu/evalctr/jc/PGMSTNDS-SUM.htm
Deutsche Gesellschaft fr Evaluation (DeGEval): Standarde pentru Evaluare (2001)
http://www.degeval.de/standards/index.htm

70

Standardele de
bun practic
au fost
dezvoltate in
anii receni

Multe au fost
dezvoltate de
ctre societi
de evaluare
unele sunt
preocupate
mai mult de
etic dect de
practica
tehnic

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


Societatea canadian de evaluare (SC) Linii directoare n materie de etic /
http://www.evaluationcanada.ca/
Switzerland: SEVAL Standarde de Evaluare
http://www.seval.ch/de/documents/seval_Standards_2001_dt.pdf
Linii Directoare Africane de Evaluare 2000:
http://www.geocities.com/afreval/documents/aeg.htm
Asociaia American de Evaluare (AEA), Principii de Ghidare pentru Evaluatori
http://www.eval.org/EvaluationDocuments/aeaprin6.html
Societatea Australasiatic de Evaluare (AES), Linii Directoare pentru Comportamentul Etic
al Evaluatorilor
http://www.aes.asn.au/ethics_guidelines-1.pdf
Linii directoare de bun practic n Marea Britanie
http://www.evaluation.org.uk/ukes_new/Pub_library/GuidanceGoodPractice.doc
Linii directoare de cea mai bun practic/ best practice PUMA
http://appli1.oecd.org/puma/bpi/bpisite.nsf/pages/Evaluation
Linii directoare ale Trezoreriei din Italia
http://www.dps.tesoro.it/documentazione/docs/all/Criteri_qualita_sistema_nazionale_valuta
zione_maggio2002.pdf

Dei nu exist nc un consens n legtur cu toate componentele


sistemului de asigurare a calitii pentru evaluare, a nceput s se
manifeste o tendin de schimbare n aceast direcie pornit de la o
focalizare iniial pe controlul calitii de exemplu, modaliti de analiz a Asigurarea
calitii rapoartelor/rezultatelor. Aceast schimbare a fost susinut de un calitii i
studiu recent al Comisiei Europene asupra folosirii evalurii (Cadrul 2.8).
controlul
calitii
Cadrul 2.8 Extras din cercetarea UE asupra folosirii evalurii
[Studiul]..tinde s sprijine valoarea standardelor incluzive care reunesc interesele
contractanilor de evaluare, ale evaluatorilor i ale cetenilorStandardele de Evaluare
europene mai largi (instrumentale i etice), aa cum sunt considerate de Societatea
European de Evaluare i alte cteva societi naionale europene de evaluare, ar putea
completa orientarea ctre standardele dezvoltate de ctre Comisia European i unele
Administraii Naionale (Folosirea Evalurii n Serviciile Comisiei, octombrie 2002).
Cadrul 2.9 identific att controlul calitii, ct i criteriile de asigurare a
calitii. Amndou sunt necesare ca mijloace de judecare a rapoartelor
evalurii i a rezultatelor. n mod normal, persoana responsabil cu
administrarea evalurii din cadrul autoritii contractante ar deveni
responsabil pentru aplicarea criteriilor de control al calitii. n mod ideal,
performana cu privire la criteriile de asigurare a calitii trebuie s fie
susinut de opiniile membrilor Comitetului Director, ali actori, echipa de
evaluare i cei responsabili pentru administrarea evalurii n numele
autoritii contractante. Comitetul Director ar trebui s asigure ct mai

71

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


devreme posibil criteriile pentru desemnarea evalurii i este n mod
normal, cel mai bine poziionat s fac analiza de ansamblu la finalizarea
lucrrii. Cu toate acestea, pentru asigurarea calitii care se refer la
proces, consultarea cu ali actori, care nu sunt neaparat reprezentai ntrun comitet director, va fi necesar. Pentru controlul calitii, consultarea cu
experi sau persoane de referin externe poate fi de folos.
Este nevoie s precizm c aplicarea controlului calitii/ criteriu de
coninut i asigurarea calitii/criteriu de proces sunt preluate pentru
diferite motive. Controlul calitii coninutului raportului ofer asigurri c
lucrarea a fost condus corespunztor i c putem avea ncredere n
concluziile sale. Asigurarea calitii procesului de evaluare va contribui
mai mult la nvarea despre managementul evalurii, i va asigura indicii
care ar trebui s mbunteasc managementul altor evaluri. Controlul
calitii i criteriile de asigurare a calitii sunt prezentate n Cadrul 2.9.
Csua 2.9 Analiza independent a rapoartelor de evaluare i a rezultatelor acestora
Controlul calitii:
Criteriul de produs

Asigurarea calitii:
Criteriul de proces

ntrunirea nevoilor conform cu TdR

Obiective coerente i
evaluabile

Domeniu i acoperire relevant

Termeni de referin bine


ntocmii

Design i metode solide

Un proces de licitaie i de
selecie solid

Fidelitatea datelor

Dialog eficace i feed-back


pe parcusrul ntregului
process de evaluare

Analize temeinice

Informaii adecvate
Resurse disponibile

Rezultate credibile bazate pe analiz i pe date

Management i coordonare
bun din partea echipei de
evaluare

Concluzii impariale lipsite de orice influen i Diseminare eficace a


demonstrnd o analiz temeinic
rapoartelor/rezultatelor ctre
Comitetul Director i
managerii
politicii/programului

72

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II

Raport clar, cu rezumat executiv i cu datele Diseminare eficace ctre


care l susin prezentate n anexe
actorii implicai
Desemnarea presoanei/persoanelor ar trebui s fie responsabil(e) cu
controlul calitii i cu procedura de asigurare a calitii variaz n funcie
de contextul instituional. n programele sectoriale naionale, acest lucru ar
putea fi o responsabilitate a guvernului central; n programe de dezvoltare
local, responsabilitatea aparine actorilor locali. Metodele de aplicare vor
fi variate - cteodat o gril poate fi completat de persoane cheie i
agregat, dar n alte ocazii un atelier de lucru sau o conferin care s
vizeze consensul poate asigura cele mai echilibrate analize independente.
Controlul calitii criteriul de rezultat (produs)
ntrunirea nevoilor
A rspuns evaluarea in mod satisfctor ntrebrilor incluse n TdR?
Asigur raportul informaii suplimentare care ar putea fi eseniale pentru
contractant? Mai specific:
A fost interpretat i analizat modul n care obiectivele programului au
evoluat?
Acoper raportul ntregul program? Dac nu, este selecia justificat n
ceea ce privete prioritile declarate de contractant n TdR i ulterior?
Furnizeaz evaluarea feed-back folositor pentru managerii de
Rspunznd la
program?
ntrebrile
Include lecii asupra succeselor i eecurilor care pot fi de interes
puse n
pentru alte programme, regiuni sau ri?
Termenii de
Referin
Pentru evaluri ex-post este important s se verifice dac evaluarea a
ajuns s ating un echilibru rezonabil ntre urmtoarele dou cerine
contradictorii: obinerea rapid de informaii pentru alimentarea noului
ciclu de program i evitarea emiterii de concluzii nainte ca toate
impacturile s fie observate.

Domeniu relevant
Domeniul unei evaluari trebuie s acopere ntrebri care sunt relevante
din punctul de vedere al interveniei.
Pentru a se verifica relevana domeniului unei evaluri, n primul rnd este
Rspunznd
necesar s se verifice dac aspectele eseniale ale programului au fost
ntrebrilor
descrise bine i dac problemele i succesele n implementarea
care sunt
programului au fost clarificate corespunzator.
relevante
pentru
n al doilea rnd, deoarece rezultatele i impacturile programului trebuie
caracteristicile
s fie analizate pentru a se judeca msura n care obiectivele programului
eseniale ale
au fost ndeplinite, este necesar s se verifice dac ele au fost incluse n
programului
evaluare. Este de asemenea necesar s se verifice dac evaluarea nu a
omis alte rezultate sau impacturi poteniale sau viitoare, precum i orice
efecte i rezultate neateptate, dar semnificative, care pot exista.
n final, domeniul evalurii depinde de inta programului care poate fi

73

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


definit n termeni de zone geografice eligibile sau grupuri int
nelocalizate (de exemplu, omeri pe termen lung). De aceea, este
necesar s se verifice dac:

Limitele domeniului, n termeni de zone sau grupuri sociale, sunt


definite n conformitate cu logica interveniei;
Domeniul include zone periferice sau grupuri ne-eligibile care probabil
c vor fi afectate de interveniile evaluate;
n cele din urm, dac evaluarea ia n consideraie doar programul
evaluat sau include interaciunile sale cu alte programe europene sau
naionale.

Design solid
Acest criteriu se refer la calitile tehnice ale evalurii. Alegerile
metodologice trebuie s derive din ntrebrile evaluative. Mai mult dect
att, evaluarea trebuie s foloseasc ct mai bine cercetarea i analizele
Alegeri
existente. Trei tipuri de ntrebri trebuie s fie puse:
metodologice
Au fost colectate i folosite cum trebuie cunotinele relevante?
corespunztoa
Sunt justificate construirea metodei i alegerea instrumentelor pentru a re
rspunde corespunztor ntrebrilor evaluative?
Au fost alese corespunztor situaiile de referin (contrafactuale sau
similare) pentru a se face comparaii valabile?
Orice raport de evaluare trebuie s cuprind o descriere a metodei folosite
i s defineasc n mod clar sursele datelor. n mod similar, limitele
metodei i instrumentelor folosite trebuie s fie descrise clar. Este necesar
s se verifice dac:

metoda este descris ndeajuns de detaliat pentru a fi judecat


calitatea;
valabilitatea datelor colectate i a instrumentelor folosite este clar
indicat;
datele disponibile corespund instrumentelor folosite.

Deoarece o analiz cauzal a efectelor este cea mai important ntrebare


n evalurile ex-post, metoda folosit pentru a analiza aceste relaii
cauzale reprezint prioritatea n acest tip de evaluare. Este necesar s se
verifice dac evaluarea analizeaz corespunztor relaiile cauz-efect
pentru cele mai eseniale ntrebri.
Date sigure
Evaluatorii folosesc datele existente (date secundare) din sistemul de
monitorizare i din alte surse de informaii, sau date primare pe care ei leau colectat pentru evaluare. n ultimul caz, metodele folosite pentru a
colecta i procesa datele (alegerea i aplicarea instrumentelor folosite
pentru acest scop) sunt factori foarte importani n coeficientul de
siguran i valabilitatea rezultatelor.
Pentru a analiza coeficientul de siguran al datelor folosite, este necesar Sursele i
metodele
s se examineze dac:
furnizeaz
sursele disponibile de informaii au fost identificate i sigurana acestor date sigure

74

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II

date a fost verificat;


sursele de informaii luate din sistemul de monitorizare i studii
anterioare au fost folosite n mod optim;
tehnicile folosite pentru a colecta datele alese au fost finalizate i
potrivite pentru a rspunde ntrebrilor evaluative.

Dac colectarea datelor a folosit tehnici cantitative sau calitative sau o


combinaie a amndurora, este necesar s se constate dac:

amestecul de date calitative i cantitative este potrivit pentru o analiz


valid a interveniei;
"populaiile" folosite pentru colectarea datelor au fost definite corect;
eantioanele i/sau studiile de caz au fost selectate n funcie de
criteriile stabilite;
tehnicile de colectare a datelor principale au fost implementate cu
instrumente corespunztoare i ntr-un asemenea mod pentru a
garanta un grad adecvat de fidelitate i validitate a rezultatelor.

Analize temeinice
Analizele cantitative cuprind analize ale datelor n form de tabele sau
orice alt form de analiz statistic. Analizele calitative cuprind
comparaii sistematice i interpretarea surselor de informaii n forma
referinelor comparate. n ambele cazuri, este necesar s se constate
dac metodele de analiz folosite sunt relevante n ceea ce privete tipul
datelor colectate, i dac analiza a fost realizat n conformitate cu
instruciunile din manualele tehnice relevante.
n cazul dezvoltrii socio-economice relaiile cauz-efect sunt complexe i
de aceea constituie o provocare particular pentru evaluare. Este necesar
s se verifice:

Analizele
cantitative
i
dac relaiile cauz-efect ce explic intervenia sunt suficient de
calitative care
explicite i relevante, n aa fel nct obiectul analizei poate fi focalizat,
fundamenteaz
i n ce msur analiza folosete tehnici corespunzatoare.

concluziile
sunt temeinice
Pentru acest motiv o comparaie nainte dup, sau cnd nu exist
grupuri similare, o comparaie ntre beneficiari i un grup de control, este
recomandat. n primul caz, aceast comparaie nainte dup trebuie s
fie realizat corespunztor, altfel trebuie s se stabileasc dac ea ar fi
fost posibil. n ultimul caz, analiza comparativ trebuie s se poat baza
pe colectarea datelor din cadrul grupurilor similare sau de control.

Rezultate credibile
Credibilitatea rezultatelor este definit aici prin faptul c ele au urmat n
mod logic, i sunt justificate de analiza datelor i interpretrilor bazate pe
ipoteze explanatorii prezentate cu atenie. Validitatea rezultatelor trebuie
s fie satisfctoare. Acest lucru nseamn c echilibrul dintre validitatea
intern (absena influenei tehnice n colectarea i procesarea datelor) i
validitatea extern (reprezentativitatea rezultatelor) trebuie s fie
justificabil. De asemenea, este necesar s se verifice dac rezultatele
analizei au fost produse ntr-un mod echilibrat i cu fidelitate.
Nevoia de a realiza analize n profunzime ale prilor programului prin
studii de caz prezint probleme de extrapolare la ntregul program n

75

Rezultatele
care
sunt
justificate de
eviden

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


ansamblu. n acest context, este necesar s se verifice:

dac ipotezele interpretative i extrapolrile sunt justificate, i dac


limitele validitii au fost definite;
dac selecia cazurilor i a eantioanelor face posibil s se
generalizeze constatrile.

Concluzii impariale
Concluziile includ sugestii i cteodat chiar recomandri care sunt mai
mult dect rezultate. Dac rezultatele sunt tehnice i pot fi analizate fr
un risc prea mare n ceea ce privete imparialitatea, concluziile i, a
fortiori, recomandrile sunt emise avnd la baz judeci de valoare.
Calitatea analizei independente este astfel decisiv.
Pentru a rspunde la ntrebarea Sunt concluziile corecte, detaate de
consideraii personale sau partizane, i ndeajuns de detaliate pentru a fi
implementate n mod concret? este necesar s se verifice dac:
elementele pe care se bazeaz concluziile sunt clare,
concluziile sunt operaionale i suficient de explicite pentru a fi
implementate,
ntrebarile controversate sunt prezentate ntr-un mod corect i Concluziile
sunt mai mult
echilibrat.
dect rezultate
ntrebrile cheie precum relevana, eficacitatea i eficiena programului
trebuie s fie abordate n cadrul evalurii i trebuie s se rspund la ele
n mod corespunztor. Raportul de evaluare trebuie s prezinte de
asemenea justeea bugetului programului, att global ct i n termeni de
alocare intern pe diferite axe i msuri.

ntrebrile eseniale precum valoarea adaugat a programului i progresul


fcut n termeni de inte transversale precum coeziunea, subsidiaritatea,
buna guvernare, dezvoltarea durabil i ansele egale trebuie s fie
studiate. n cazul exerciiilor ex-ante, concluziile trebuie s fie formulate n
aa fel nct s alimenteze procesul de negociere a programului evaluat.
Raportul ar trebui s fac posibil mbuntirea evaluabilitii
programului.
Raport clar
Rezultatele evalurii pot fi diseminate i comunicate actorilor implicai n
scris sau verbal. Raportul final este doar unul din mijloacele de diseminare
a rezultatelor evalurii, ca urmare, o comunicare constant a rezultatelor
este dorit. Lizibilitatea raportului va depinde de calitatea prezentrii
rezultatelor i limitelor raportului. Este necesar s se verifice dac:

Claritatea
raportul a fost scris clar i este prezentat n mod logic;
sunt folosite concepte specializate numai cnd este absolut necesar i raportrii
ele sunt clar definite;
prezentarea, tabelele i graficele sporesc lizibilitatea i parcurgerea
raportului;
limitele evalurii, n ceea ce privete domeniul, metodele i concluziile,
sunt clar prezentate;
n multe cazuri numai rezumatul raportului este citit, de aceea

76

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


concluziile principale i recomandrile trebuie prezentate ntr-o
manier echilibrat i imparial. Trebuie s fie uor de citit, fr a fi
nevoie s se fac referire la restul raportului.
Criteriul asigurrii calitii
Urmtorul set de criterii se refer la ntregul proces i context al evalurii:
asigurarea calitii este de preferat controlului calitii. Acesta va permite
acelora care analizeaz calitatea s neleag i ce ar putea conta ca
aspecte pozitive i negative ale rezultatelor evalurii, ct i s preia lecii
care ar putea s fie aplicate n viitor pentru a se mbunti calitatea
evalurilor viitoare.
Obiective coerente i evaluabile
Coerena obiectivelor programului, msura n care ele sunt specifice,
legate de intervenii, nu sunt contradictorii etc. a fost discutat mai
devreme. Am artat de asemenea i faptul c folosirea modelelor logice, a
teoriei programului i a teoriei schimbrii sunt modaliti folositoare de
clarificare a obiectivelor programului i a logicii interveniei n etapele sale
iniiale, nainte de lansarea evalurii. n etapa de asigurare a calitii
trebuiesc analizate i rezultatele acestui proces de nceput. Ct de
departe au ajuns evaluatorii care au lucrat cu un program coerent n
termeni de obiective i intervenii. Au existat dificulti de evaluare care au
rezultat din faptul c obiectivele au fost prost articulate sau din alte
probleme de evaluabilitate?
Termeni de referin bine redactai
Termenii de referin bine ntocmii conduc la evaluri eficiente. ntr-o
anumit msur, este posibil ca la momentul n care ei sunt redactai s
se analizeze adecvarea lor. O privire retrospectiv poate fi de asemenea
util deoarece devine mai uor s se identifice ce ar fi de folos s fie
inclus n TdR. Acesta este un exerciiu important de nvare care
contribuie la mbuntirea calitii viitorilor TdR.
TdR slabi sau incomplei pot determina utilizarea necorespunztoare a
resurselor de ctre evaluatori. De asemenea, ar putea duce la alte efecte
negative. O consecin comun este cnd lacune din TdR devin evidente
n timpul unei evalurii iar contractorul face eforturi s redirecioneze
evaluarea aflat la mijlocul implementrii, sau solicit realizri
suplimentare care nu au fost planificate sau bugetate.
Procesul de selecie printr-o licitaie bun
A fost procesul de selecie bine condus ? Aceasta este att o ntrebare
procedural, ct i o problem de substan. n mod procedural, n timpul
seleciei ar trebui fcut o analiz prin aplicarea sistematic a criteriilor
relevante. Un proces de asigurare a calitii analizeaz dac a fost luat
decizia corect. De exemplu, a fost luat o decizie n favoarea unei firme
bine cunoscute, dar timpul angajrii personalului cheie a fost inadecvat. A
fost metoda prea inexact specificat? Sau a fost favorizat o metod
experimental de risc nalt i acest lucru a contat pentru problemele care
au aprut mai trziu?

77

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


Dialog eficient i feed-back pe durata ntregului proces de evaluare
Pstrarea direciei unei evaluri, furnizarea feed-back-ului i asigurarea
unui cadru pentru actorii implicai n care s nvee prin dialog unul de la
cellalt i de la evaluatori, este o premis recunoscut pentru calitate n
evaluare. Aceasta este n parte o ntrebare legat de cadrul care s-ar
nfiina pentru acest scop (un Comitet Director, sau ntlniri specifice de
informare i ateliere de lucru, sesiuni de informare pentru politicienii locali
i cei care elaboreaz politicile). ntrebarea n acest caz ar trebui s fie
urmtoarea: au fost implicai toi actorii i publicul care trebuie ?
Scopul acestor ntlniri este de a facilita dialogul i feed-back-ul. S-au
folosit cum trebuie ntlnirile Comitetului Director ? Au fost agendele
adecvate? Au considerat actorii aceste ntlniri ca fiind productive; i-au
ajutat la dobndirea unei nelegeri mai bune a interveniei evaluate? Au
contribuit la mbuntirea calitii i utilitii evalurii ?
Resurse adecvate de informaii disponibile
Evaluatorii au nevoie de informaii. Capitolul 4 al acestui MANUAL
accentueaz importana validitii datelor i a sistemelor de monitorizare.
Fr resurse adecvate de informaii este dificil pentru evaluatori s lucreze
bine. De aceea, o analiz a acurateei informaiei i sistemelor de
monitorizare trebuie s fie fcut. Adesea sistemele de monitorizare pun
accentul pe nevoile finanatorilor. Acetia din urm trebuie s fie capabili
s ajute managerii de program, iar evaluarea relev de obicei msura n
care se ntmpl acest lucru. Evaluatorii vor avea de asemenea nevoie s
redacteze date administrative secundare, adunate adesea pentru alte
scopuri de ctre administraiile locale, regionale i naionale.
Exist multe informaii care nu se regsesc n rapoarte, dar care sunt
relevante pentru evaluare i care pot fi aflate din discuii directe cu
persoane cheie n implementarea interveniei. Aceast informaie
contextual i calitativ este important nu numai pentru a nelege
programul, dar i pentru a interpreta multe date formale.
n ansamblu, pentru a aprecia calitatea procesului i a contextului evalurii
trebuie s se fac o analiz n primul rnd cu privire la existena
informaiei, i n al doilea rnd, referitoare la gradul de acces la aceasta.
De exemplu, n unele programe pot fi date disponibile s spunem
venituri ale forei de munc la nivel local sau procese verbale ale
comitetelor de management ale unor proiecte specifice sau sub-programe,
dar acestea sunt dificil de accesat. Se poate ca cei care au informaia s
refuze s o furnizeze evaluatorilor, probabil datorit unor relaii proaste cu
contractantul sau cu administraia central de care aparin. Judecile
asupra disponibilitii informaiei i a datelor pentru evaluatori poate n
sine s furnizeze date despre situaia actual de parteneriat i cooperare
ntre agenii.
Managementul i coordonarea bun a echipei de evaluare
Orict de bine planificat i orict de convigtor ar fi planul de lucru i
Raportul iniial, toate evalurile trebuie s fie executate n mod
corespunztor. Echipele de evaluare trebuie s urmeze planuri i s fie
capabile s se adapteze la evenimente neateptate care fac planurile, sau

78

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


pri din acestea, redundante sau inutile. Echipele trebuie s fie pstrate
mpreun i diferitele componente de lucru trebuie s fie coordonate, iar
realizrile lor, integrate. Relaiile cu contractantul evalurii, cu managerii
de program, cu o gam larg de persoane care ofer informaii utile
pentru evaluare, cu domenii, instituii, grupuri i asociaii implicate trebuie
s fie administrate.
Aceste aspecte de management sunt, n principal, n responsabilitatea
echipei de evaluare i a managerilor si. Cu toate acestea, exist
elemente care sunt mprtite cu managerii de program i aceia care
sunt responsabili pentru contractarea evalurii. De exemplu, modul n care
rspunde sistemul de contractare la cereri adresate de echipa de evaluare
de a se adapta un plan de lucru fcut anterior, nu mai este doar sub
controlul echipei de evaluare.
Diseminarea eficient a rapoartelor/rezultatelor ctre Comitetul Director i
ctre managerii de politic/program
Diseminarea raportului este o alt responsabilitate mprit. Diseminarea
depinde doar parial de capacitatea echipei de evaluare de a produce
rezultate de calitate ridicat i bine ntocmite. (Acest lucru este acoperit n
termenii controlului calitii de mai sus.) De asemenea, necesit i o
contientizare a valorii i oportunitilor pentru diseminare n cadrul
echipei de evaluare. Exist, de exemplu, o diferen mare ntre evaluatorii
care fac un efort minim, n raport cu contractul, de rafinare a feed-backului i aceia care consider ca fiind responsabilitatea lor s asigure feedback ad-hoc, cnd apar noi probleme sau cnd aspecte cheie trebuie s
fie rezolvate.
Acest tip de diseminare necesit o bun cunoatere a nevoilor
informaionale i a intereselor actorilor cheie. Cteodat, rezultatele
evalurii trebuie s fie ajustate pentru a ntruni interese foarte diferite. De
exemplu, managerii de program vor avea o perspectiv diferit fa de
cea a IMM-urilor locale chiar dac ei vor mprti anumite interese n
comun.
Diseminarea eficient ctre actorii implicai
Rapoartele trebuie s fie diseminate, dac ele vor fi un prilej de nvare
pentru organizaii i agenii. Alte grupuri comerciale, informale i
societatea civil au i ele un interes pentru constatrile evalurii poate n
calitate de contribuabili, electorat local sau beneficiari poteniali ai unui
program i ai interveniilor sale. Un proces de evaluare nu ar trebui s fie
considerat ca fiind complet pn cnd un program de diseminare nu a
avut loc. Cerinele generale pentru diseminare ar trebui s fie semnalate
n TdR. Cu toate acestea, nu toat responsabilitatea aparine
evaluatorilor. Managerii de program i cei care contracteaz evaluri ar
trebui s fie responsabili pentru diseminare ctre actorii implicai, inclusiv
ctre publicul larg.
Analiza sintetic
Analiza sintetic recapituleaz toate criteriile de calitate de mai sus. Este Calificarea i
dificil s se recomande vreo prioritate specific pentru diferite criterii, contextualizare
deoarece importana lor variaz de la o situaie la alta.
a criteriilor de

79

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


calitate
Fig. 2.10 indic o gril pentru controlul calitii raportului de evaluare. Fig.
2.11 furnizeaz o gril cu privire la asigurarea calitii.
n ambele cazuri, este folosit o scal n cinci trepte. Aceasta pornete de
la pozitiv (n care foarte pozitiv este la unul din capete) pn la negativ
(n care foarte negativ se afl la cellalt capt). Deci, exist dou
posibiliti pozitive i dou posbiliti negative i un punct de mijloc n care
bilanul judecii este nesigur.

80

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


Fig. 2.10 Grila pentru analiza calitii unui raport de evaluare
V rugm apreciai raportul de evaluare
considernd analizele dvs. independente ,
referitoare la ct de pozitiv sau negativ
ntrunete el fiecare criteriu specificat mai jos:

Foarte pozitiv

1. ntrunirea nevoilor: Raportul de evaluare


abordeaz adecvat solicitrile informaionale
formulate de ctre contractor i corespunde n
aceast privin cu termenii de referin:
2.
Domeniu relevant: Scopul programului,

Foarte
negativ

9. Raport clar: Raportul descrie contextul i


scopul, precum i organizarea i rezultatele
programului ntr-o asemenea manier nct
informaia furnizat este neleas uor:

10. Recomandri de folos: Raportul furnizeaz


recomandri care sunt de folos actorilor implicai i
sunt ndeajuns de detaliate pentru a fi
implementate:

Lund n consideraie constrngerile contextuale


pe care le suport evaluarea, raportul de evaluare
este considerat a fi:

rezultatele sale, impacturile, interaciunile cu alte


politici i efectele neateptate au fost studiate cu
atenie:
3. Proces deschis: prile interesate att
partenerii programului, ct i ceilali actori au fost
implicai n proiectarea evalurii i n discutarea
rezultatelor pentru a se lua n consideraie
punctele lor de vedere diferite:
4. Soliditatea designului: Proiectarea evalurii a
fost potrivit i adecvat pentru obinerea
rezultatelor (innd cont de limitele de validitate) a
fost nevoie s rspund la principalele ntrebri
evaluative:
5. Fidelitatea datelor:
datele primare i
secundare colectate sunt potrivite i de ncredere
n raport cu folosirea preconizat:
6. Analiza temeinic: Datele cantitative i
calitative au fost analizate n conformitate cu
conveniile stabilite, i n moduri corespunztoare
pentru a rspunde corect ntrebrilor de evaluare:
7. Rezultate credibile: Rezultatele sunt logice i
justificate de analiza datelor i de interpretri i
ipoteze potrivite:
8. Concluzii impariale: Concluziile sunt justificate
i neinfluenate:

81

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II

Fig. 2.11 Grila pentru analiza calitii procesului de evaluare


V rugm apreciai procesul de evaluare
considernd analizele dvs. independente,
referitoare la ct de pozitiv sau negativ
ntrunete el fiecare criteriu specificat mai jos:

Foarte
negativ

Foarte pozitiv

1. Obiective i Program coerente: Obiectivele


programului sunt coerente i programul a fost
posibil s fie evaluat:

2. Termeni adecvai de Referin: TdR au fost


redactai bine, s-au dovedit a fi de folos i nu a fost
necesar s fie revizuii:

3. Selecia ofertelor: Aceasta a fost bine condus


i ofertantul ales a fost capabil s asigure un
standard bun al evalurii:

4. Dialog i Feedback eficient: Au fost create un


cadru cuprinztor i un proces incluziv pentru a
asigura feed-back i oportuniti de dialog cu
contractorul i managerii, care s mbunteasc
calitatea evalurii:

5. Informaii adecvate: Sistemele de monitorizare


i de date au existat, au fost puse la dispoziie de
ctre administraii i parteneri fiind uor de accesat:

6. Management bun: Echipa de evaluare a fost


bine coordonat i susinut de ctre managerii de
program:

7.
Diseminare eficient ctre contractor:
Rezultatele evalurii au fost diseminate ctre
contractor, inclusiv printre membrii Comitetului
Director i la diferite niveluri manageriale ale
programului care au rspuns corespunztor cu
feed-back /comentarii la timp:

8. Diseminare eficient ctre actorii-cheie


implicai:
Rezultatele au fost diseminate
corespunztor ctre toi actorii implicai i au fost
orientate astfel nct s constituie un prilej de
nvare:

82

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


2.3 FOLOSIREA CONSTATRILOR EVALURII I MANAGEMENTUL
CUNOATERII
Realizarea evalurii i asigurarea calitii sale se justific numai dac
aceasta conduce la folosirea constatrilor evalurii i contribuie la
mbuntirea cunoaterii printre aceia care au fost cei mai capabili s
utilizeze evaluarea (ca proces sau ca rezultat).
Exist cel puin trei moduri prin care evaluarea poate fi folosit.

Evalurile individuale pot fi folosite direct sau ntr-o manier


instrumental prin care rezultatele, constatrile, concluziile i
recomandrile sunt utilizate. n practic acest lucru este neobinuit, i
cnd se ntmpl, tinde s aib loc numai parial.
Mai des ntlnite sunt situaiile n care cteva evaluri sau evaluri
individuale combinate cu alte evidene i opinii sunt folosite cumulativ
pentru a furniza baza informaional unor dezbateri i a influena factorii
de decizie. Evaluarea stimuleaz n felul acesta procesul i coninutul
dezbaterii, provoac i contra-provoac pentru a evidenia i furniza
interpretri.
Chiar i cnd rezultatele evalurii nu sunt folosite, procesul de iniiere i
reflectare asupra evalurii poate fi folosit datorit ocaziilor de a schimba
informaii, clarifica raionamente i dezvolta un cadru de dialog.

83

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


Msura folosirii evalurii i impactul su sunt influenate numeroi factori,
cum ar fi de exemplu:

Aranjamentele organizaionale pentru diseminare - timpul i resursele


disponibile pentru diseminare i gradul n care procesul este condus de
cei care sunt responsabili cu lucrarea, influeneaz nelegerea,
comunicarea i folosirea constatrilor.
Calitatea lucrrii de evaluare - cnd standardele evalurii sunt ridicate,
rezultatele nu pot fi eliminate uor.
Implicarea actorilor n etape ale ciclului de evaluare alturi de evaluatori
i administratori - acest lucru este esenial pentru a pregtirea folosirii
evalurii.
Implicarea managerilor de vrf i a directorilor - aceasta sporete
probabilitatea ca politica i alocarea resurselor, precum i practica s fie
influenate de constatrile evalurii.
Crearea unei modaliti de urmrire a aplicrii sistematice a concluziilor
evalurii. Acest proces atrage atenia asupra situaiilor n care au existat
constatri ale evalurii i nu au fost folosite i reduce tendina de repetare
a greelilor. Acest lucru nu se petrece n mod obinuit.
Aranjamentele instituionale pentru realizarea evalurii - nu exist modele
perfecte. Constatrile evalurii probabil c vor fi folosite de factorii de
decizie, de cei care sunt implicai n planificarea i proiectarea
interveniilor, i de cei implicai operaional. Tendina ctre separarea
organizaional a evalurii, existena unor funcii operaionale i de
politic pot duce la o sporire a independenei evalurii mbuntit i ca
urmare la creterea calitii ei. Preocuprile de natur politic i
operaional pot, de exemplu, s accentueze asupra a ceea ce poate fi
realizat prin evaluare. Pe de alt parte, accentuarea managementului
evalurii limiteaz folosirea evalurii. (Aranjamentele instituionale sunt
discutate mai departe n Capitolul 3).

Este rezonabil s concluzionm c crearea unei culturi de evaluare este


esenial pentru nvarea organizaional. Componentele cheie ale unei
culturi de evaluare cuprind: proiectarea i implementarea interveniilor ntr-o
manier care s faciliteze evaluarea ulterioar, o apreciere a tipului i a
dimensiunilor scopului evalurii, o recunoatere a limitelor evalurii i a
faptului c evaluarea poate s genereze interpretri i a necesitii de a
combina indicii de tip cantitativ cu cele calitative, precum i o recunoatere a
diferiilor utilizatori ai evalurii.

84

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II

2.4 REGULI DE BAZ


1. Planificatorii programului ar trebui s introduc n ciclul programului ct
mai devreme competene de evaluare, ceea ce poate contribui la clarificarea
obiectivelor i a logicii interveniei programelor. Aceast activitate, implic
competene de evaluare dar este diferit de activitile de intergrare a
evalurii. Integrarea se produce atunci cnd evaluarea este inclus nc din
etapa de concepere i de planificare a programului. Acest lucru poate face ca
evaluarea ulterioar s se desfoare mai uor i cu mai mult succes.
Pentru acest scop pot fi utilizate tehnici variate precum analiza capacitii de
evaluare i pregtirea analizei teoriei programului . n general, pentru a se
asigura independena evalurii principale, ar fi cel mai bine s se foloseasc
echipe de evaluare sau resurse diferite pentru aceast lucrare de planificare
a programului, fa de resursele pentru evaluarea principal.
2. Evaluatorii ar trebui i ei la rndul lor s fac o analiz a evaluabilitii
atunci cnd ncep evaluarea. ntr-o anumit msur, acest lucru poate s se
suprapun sau s se repete cu ceea ce a avut loc deja n etapa planificrii
programului. Scopul este ns diferit, i anume de a furniza un plan de
evaluare fezabil i se de a clarifica modul n care vor fi folosite rezultatele
evalurii. Aceasta asigur compatibilitatea cu ateptrile generale ale
evaluatorilor, conform crora ei ar trebui s fie preocupai de modul n care
rezultatele, concluziile i recomandrile lor sunt folosite nc din etapa iniial
a muncii lor.
3. Actorii-cheie, managerii de program i cei care elaboreaz politicile,
beneficiarii poteniali i partenerii ar trebui s fie implicai n evaluare ct mai
devreme posibil, cnd este posibil. Acest lucru va asigura c proiectarea i
planul evalurii vor include i prioritile lor, dar i faptul c i vor asuma
rezultatele evalurii i utilizarea lor ulterioar. Selectivitatea este totui
necesar n stabilirea actorilor care vor avea influena determinant asupra
agendei de evaluare pentru a se pstra focalizarea i a face evaluarea
posibil. Prioritile prea multe sau prea ambiioase trebuie reconsiderate de
inteniile i logica programului n acelai timp evaluarea rmnnd deschis
ctre analizarea de consecine neateptate, n special pentru beneficiarii
propui.
4. Evalurile trebuie s fie coordonate activ, dar s rspund rapid la
schimbrile care pot interveni. Acest lucru nseamn faptul c autoritile
contractante sunt contiente de alegerile ce trebuie fcute de-a lungul
timpului i c se vor asigura c evaluatorii primesc suficient sprijin, acces la
informaii, inclusiv n ceea ce privete schimbrile n politic i de context.
Responsabilii de contractarea evalurii i managerii de program sunt
persoanele cele mai potrivite pentru a administra evaluarea, pentru c ei vor
fi contieni de originea i raiunea evalurii respective.

85

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


5. De regul, criteriile evalurii, nsemnnd raionamentele n baza crora se
realizeaz o apreciere pozitiv sau negativ a progresului unei intervenii, se
extrag din obiectivele acesteia. De asemenea, este important s se includ
un set mai mare de criterii care deriv din nevoile sociale. De exemplu, este
acest program de folos i i ajut pe cei pentru care a fost fcut ? Sprijin
acesta echitatea sau nu ? Este programul compatibil cu alte iniiative de
politic? i, este implementat ntr-o manier eficient i legitim? Pstrarea
acestei perspective largi asigur c, cel putin pentru ceea ce au ei de fcut,
evaluatorii sunt capabili s adopte o poziie detaat de logica programului i
s adopte o perspectiv critic asupra a ceea ce programul ncearc s
realizeze i cum face acest lucru.
6. Importana ntrebrilor de evaluare n proiectarea evalurii nu poate fi
exagerat. Altfel tentaia este s se adune cantiti mari de date i s se
produc indicatori sofisticai din punct de vedere tehnic care aduc o
contribuie mic practicii sau politicii. Exist, bineneles, o problem n
analizarea ntrebrilor de evaluare n sensul c ele trebuie s fie formulate
astfel nct s se poat rspund la ele. Aceasta este o chestiune de ordin
tehnic iar n aceast parte a MANUALULUI am oferit sugestii despre modul
corespunztor de formulare a ntrebrilor, exist totui omniprezenta
preocupare pentru utilitate. Recomandarea este s fie puse acele ntrebri pe
care acotrii-cheie s le considere de folos, nsemnnd nu doar folosirea
instrumental a evalurii pe care o fac managerii. Noi vorbim de asemenea
despre utilizri pe care cetenii i grupurile societii civile le pot gsi
evalurii n susinerea proceselor democratice i de responsabilizare.
7. Am detaliat ntr-o oarecare msur coninutul i forma unor Termeni de
Referin ideali pentru o evaluare. Aceasta privete n general proiectarea i
alegerile care pot fi fcute n etapa proiectrii care pot influena calitatea i
direcia ntregii evaluri. Astfel, este important s nu fie utilizat un cadru
standard cu paragrafe redactate nainte. Mai degrab ar trebui recunoscut c
definirea domeniului, clarificarea utilizatorilor evalurii i deciderea abilitilor
necesare pentru o echip de evaluare sunt printre cele mai importante decizii
care sunt luate n timpul unei evaluri.
8. Se obinuiete ca folosirea evalurii s fie privit ca fiind limitat la
aciuni care vor urma recomandrilor i rapoartelor finale. Se nelege acum
c folosirea evalurii poate fi promovat i are loc pe ntreaga durat a
evalurii. Aa-numita folosire a procesului sau a dialogului ar trebui s
implice actorii-cheie n raionamentele evaluative nc de la inceput. Exist
chiar i evaluri n care concluziile i recomandrile sunt respinse, dar actorii,
n special actorii principali implicai n Comitetul Director, fr doar i poate
gsesc evaluarea ca fiind de folos. i poate ajuta pe ei s-i clarifice
nelegerea asupra programului i s gseasca idei inovative pentru
mbuntirea programului. Acest proces continuu de comunicare asigur un
context particular pentru diseminarea rapoartelor de evaluare i constatrilor.
Promovarea dialogului n timpul unei evaluri va face ca atunci cnd actorii
primesc rapoartele, ei s fie mai bine pregtii i mai receptivi.

86

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul II


9. Este adesea mai uor pentru managerii de program i cei care
contracteaz o evaluare s emit judeci cu privire la calitatea evalurii abia
cnd apar rezultatele evalurii i cnd este prezentat raportul. Cu toate
acestea, procesul de control al calitii asigur cteva oportuniti pentru
nvare i pentru mbuntirea modului n care evaluarea n sine este
administrat. O perspectiv a asigurrii calitii, a modului n care a fost
susinut n aceast parte a MANUALULUI, furnizeaz un context n care se
explic punctele tari i punctele slabe ale rezultatelor evalurii. De
asemenea, ofer prilejul celor care contracteaz evaluri s nvee cum s
mbunteasc evalurile n viitor.
10. Modului n care vor fi folosite rezultatele evalurii ar trebui s i se acorde
atenie ntr-o etap iniial. Unele modaliti de utilizare vor deriva direct din
constatrile i recomandrile evalurii. Evaluri individuale pot fi de
asemenea de ajutor, combinate cu alte evidene pentru a fundamenta
dezbaterile. Procesul de evaluare poate aduce beneficii n ceea ce privete
structurarea procesului de reflectare instituional. O atenie sporit asupra
factorilor care influeneaz folosirea evalurii va maximiza contribuia sa.

87

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III


CAPITOLUL 3 DEZVOLTAREA CAPACITILOR NECESARE
EVALURILOR SOCIO-ECONOMICE
Cel de-al treilea capitol al acestui MANUAL abordeaz una dintre
precondiiile de baz ale dezvoltrii socio-economice, i anume aceea de
a dobndi i de a dezvolta capacitatea necesar realizrii evalurilor.
Acesta debuteaz prin a defini capacitatea de evaluare i a discuta
importana ei. Urmeaz apoi o trecere n revist a activitilor care trebuie
luate n considerare n vederea ntririi capacitii de evaluare incluznd
totodat diferite strategii care s-au dovedit a fi deosebit de eficiente n
diferite contexte la nivel naional. Capacitatea de evaluare este discutat
att din punct de vedere al cererii ct i din punct de vedere al ofertei:
pe de o parte avnd n vedere necesitatea administraiilor de a solicita, a
angaja i a utiliza evaluri, iar pe de alt parte, necesitatea de a avea n
permanen oameni, competene i instituii disponibile care pot rspunde
unor asemenea solicitri. Punctul de plecare n cadrul acestui capitol al
MANUALULUI l constituie necesitatea realizrii unui management al
sectorului public la nivel naional, dar care s recunoasc n acelai timp
rolul important al unor administraii descentralizate, al managerilor de
programe de la nivel local i al societii civile incluznd aici consultani,
universiti, comuniti locale i sectorul privat. Cuprinsul acestui capitol al
MANUALULUI are ca suport una din crile de fundamentare care include
studii de caz ale modului n care diferite ri i-au ntrit capacitatea de
evaluare de-a lungul timpului.
3.1 Capacitatea de evaluare reprezint o parte component a
capacitii instituionale
Acest MANUAL a schiat deja o imagine destul de ambiioas a ceea ce
se ateapt de la procesul de evaluare, a felului n care ar trebui organizat
acesta i a modului de producere a rezultatelor.
n cadrul Capitolului 2, de exemplu, au fost puse la dispoziia
administraiei care angajeaz evaluri ndrumri cu privire la modul n
care se poate proiecta sau implementa o evaluare. Acest lucru presupune
ns c vor fi disponibile capacitile instituionale i administrative
asociate acestora i care sunt necesare. Pentru a servi scopului acestui
MANUAL, capacitatea instituional este definit de o manier general,
astfel nct s includ legislaia n vigoare (de ex. legislaia cu privire la
gradul de ocupare sau de intermediere pe piaa muncii), consideraii de
ordin normativ (de ex. legate de a asigura anse egale pentru femei i
brbai sau de a garanta o competiie deschis), acte de natur
guvernamental (de ex. legate de responsabiizare sau de divizarea
responsabilitii ntre diferite nivele guvernamentale i societatea civil)
ct i structurile organizaionale i administrative (de exemplu, modul n
care ministerele sunt structurate i finanate)3 n aceast parte a
MANUALULUI, accentul este pus pe modul n care o astfel de capacitate
poate fi creat astfel nct ambiiile realizrii unor evaluri care pot
contribui la dezvoltarea socio-economic s devin realitate practic.
Capacitatea nu poate fi creat peste noapte, sau fr nici un fel de
costuri. Cu toate acestea, beneficiile poteniale care deriv din evaluare
3
A se vedea totodat Sporirea capacitii instituionale i administrative, n cadrul manualului surs 1: Teme i
domenii ale politicilor socio-economice, asociat acestui MANUAL

88

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III


sunt suficient de ridicate pentru a justifica investiia iniial, ct i costurile
adiionale necesare unui proces continuu de inovare, att n ceea ce
privete procesul evalurii, ct i n ceea ce privete rezultatele ei.
Dezvoltarea unei capaciti necesit timp, iar sistemele necesare nu pot fi
amplasate n cadrul unui singur moment n timp. Acestea necesit un
proces de dezvoltare durabil, pe termen lung, pentru a putea oferi
beneficii sustenabile.
Dezvoltarea unei capaciti de evaluare trebuie s reprezinte o
preocupare comun circumscris unei politici comunitare mai largi. Cei
responsabili pentru politici i programe trebuie s fie n primul rnd
convini de necesitatea evalurii. n acelai timp, cu toate c sprijinul lor
este unul esenial, nu trebuie s li se permit actorilor-cheie s acapareze
ntreg procesul de evaluare. Aa cum a fost evideniat adesea pe
parcursul acestui MANUAL, autonomia reprezint un aspect esenial n
evaluare. Pentru nceput, aceasta i include pe aceia care administreaz i
contracteaz evaluri, pe cei care au un anumit interes n rezultatele
evalurii la nivelul politicilor socio-economice sau al programelor, ct i pe
cei care realizeaz evaluri. Totui, evaluarea nu reprezint un proces de
sine-stttor ea necesit un cadru instituional adecvat i trebuie
totodat s fie integrat n cadrul unor aranjamente instituionale specifice.
n mod special, capacitatea instituiilor publice de a conduce evaluri
reprezint doar o parte din cerinele mai vaste pe care un stat trebuie s le
ndeplineasc pentru a rspunde cerinelor economice i sociale ale
perioadei contemporane. ntr-adevr, capacitatea de evaluare este
adesea cea mai dezvoltat n acele sectoare n care evaluarea a fost
perceput ca parte integrant a unui program mult mai larg de inovare sau
modernizare a sectorului public.
Necesitatea construirii unei capaciti instituionale i administrative este
considerat adesea un obiectiv transversal implicit al politicilor socioeconomice, dar care n ultima perioad tinde s devin un obiectiv din ce
n ce mai explicit. Acest obiectiv rezult n urma a dou imperative:
1.
Acela de a depi ineficienele administraiilor publice organizate
dup o structur tradiional, prin trecerea ctre o abordare de
management al sectorului publicbazat pe analizarea celor mai bune
practici manageriale, nu doar din cadrul sectorului public, ci i lund n
calcul lecii nvate de la organizaii de succes private i nonprofit.
Multe dintre limitrile gradului de eficien al instituiilor sectorului public
sunt reflectate foarte bine de aa-numita micare a Noului Management
al Sectorului Public, care advoc proiecte de reform, modernizare,
descentralizare i privatizare, ntre alte soluii propuse pentru realizarea
unui management adecvat al sectorului public. NMSP are ca obiective
mbuntirea rezultatelor finale, a procesului de furnizare a rezultatelor
de orice natur i a eficienei alocrilor. (Acest lucru este de asemenea
descris n detaliu n cadrul articolului la care am fcut deja referire, din
cadrul Crii 1.
2.
Acela de a depi distana perceput i gradul de separare al
instituiilor publice fa de societate n general, contribuind astfel la a face
procesul de elaborare al politicilor socio-economice mai deschis la
contribuii din partea actorilor-cheie din afar, a reprezentanilor societii
civile i a cetenilor (dndu-se astfel o direcie global ctre o guvernare
democratic).

89

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III

Rspndirea practicii evalurii poate aduce contribuii concomitent,


ambelor imperative:

n primul rnd, identificarea celor mai bune alternative, dar i


analizarea capacitii programelor aflate n derulare, finalizate
planificate pentru perioada viitoare de a-i atinge obiectivele de o
manier eficient. Acest aspect a fost identificat n cadrul
capitolului al doilea al acestui manual ca fiind o contribuie
important adus de evaluare, care poate deveni un instrument
deosebit de util n modernizarea sectorului public concretizat n
reducerea costurilor i ntr-o operativitate sporit n ce privete
oferirea rspunsurilor la problemele cetenilor.

n al doilea rnd, deschiderea cutiei negre administrative pentru a


putea fi analizat de actori-cheie din afar, dar i luarea n
considerare a intereselor actorilor-cheie i ale cetenilor (de
exemplu, prin includerea grupurilor din cadrul societii civile n
cadrul comitetelor directoare, prin consultri ce privesc rezultatele
i concluziile evalurii) reprezint o real integrare a principiilor de
guvernare democratic4. Necesitatea evalurii sistematice a
programelor publice sporete ncrederea acordat de ctre
ceteni guvernului, contribuind la dezvoltarea i ntreinerea
capitalului social. Aa cum teoriile de dezvoltare socio-economic
din perioada contemporan rmn puternic bazate pe o mobilizare
a resurselor i a potenialului la nivel teritorial (endogen), astfel de
creteri ale capitalului social ajut la promovarea unei dezvoltri
socio-economice sustenabile.

3.2 Cum poate fi descris capacitatea de evaluare?


Capacitatea de evaluare prezint multiple faete i trebuie localizat la
diferite nivele care se sprijin reciproc. Spre exemplificare, exist un:

Nivel individual constnd n aptitudinile i competenele necesare


Nivel organizaional al cadrului i al structurilor manageriale
Nivel inter-organizaional, acionnd ca o punte de legtur ntre
administraiile publice i organizaiile private prin intermediul unor
reele, proceduri i parteneriate
Nivel societal care integreaz gndirea evaluativ n cadrul
societii civile - incluznd aici organizaiile profesionale -, dar i n
cadrul sectorului public.

n cadrul tuturor acestor nivele, exist factori instituionali - regulamente,


legi, resurse, norme etc., care evideniaz n mod necesar contextul i
mecanismele la nivel organizaional.
Exist numeroi indicatori ai capacitii de evaluare cel mai des
ntlnite fiind aranjamentele care pot fi amplasate de o asemenea manier
nct un sistem de evaluare s devin sustenabil. A ncerca s introducem
toate aceste aranjamente n acelai timp se poate dovedi a nu fi fezabil,
totui o situaie ideal merit a fi descris astfel nct s permit
realizarea unei strategii de implementare planificate. n cadrul unei
4

Grupul de lucru PUMA avnd ca obiectiv mbuntirea relaiilor dintre Guvern i ceteni (1999-2001).

90

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III


asemenea situaii ideale, ne-am putea atepta s ntlnim cteva din
urmtoarele tipuri de situaii - dei urmtoarele exemple nu pot fi
considerate exhaustive sau acoperind ntreaga sfer a evalurii:
La nivel individual:
exist persoane n cadrul guvernului care posed experien i
aptitudini n evaluare, iar acest aspect este sprijinit i luat n
considerare permanent printr-un proces de recrutare, calificare i
dezvoltare profesional adecvat;
exist resurse destinate procesului de pregtire i calificare
profesori, cursuri de calificare, diplome disponibile n interiorul
rii sau la nivel regional, adesea oferite de ctre universiti,
centre de calificare particulare i corpuri profesionale i deschise
att practicienilor, ct i celor care solicit evaluri.
La nivel organizaional:
rezultatele evalurii sunt integrate n procesul de adoptare a
deciziilor n deciziile asupra alegerii anumitor alternative politice,
a celor mai bune moduri de implementare i de obinere a
rezultatelor i n identificarea leciilor referitoare la strategiile care
i-au dovedit eficiena;
managerii privesc evaluarea c pe o resurs important care i va
ajuta s-i mbunteasc performana i modul de administrare
a rezultatelor;
este necesar un flux regulat de evaluri care acoper o sfer larg
de politici i programe este solicitat;
exist proceduri de verificare menite s asigure verificarea
rigurozitii n preluarea i implementarea recomandrilor evalurii,
acolo unde acest lucru este fezabil;
exist proceduri menite s colecteze rezultatele evalurii i leciile
nvate din evaluare, astfel nct managerii de programe i
politicienii s aib la dispoziie o arhiv eficient i o memorie
organizaional.
La nivel inter-organizaional:
exist o coordonare - prin intermediul unei reele de uniti sau
funcii de evaluare - menit s asigure suficient consisten
modului n care evalurile sunt contractate, administrate i
executate n cadrul guvernului, i n cele din urm n cadrul
sectorului public;
exist cerine pentru ca evalurile s aib loc ca parte integrant a
legislaiei, a politicilor deja articulate sau a activitilor de
reglementare (de ex. revizuiri
ale comisiilor de audit sau
parlamentare);
exist o pia bine-definit, cu reguli clare, astfel nct potenialii
furnizori de evaluare s se poat organiza astfel nct aceasta s
le permit s rspund clienilor, s finalizeze proiectele de
evaluare la timp, s dezvolte expertiz sectorial i tehnic dar i
s neleag prioritile clienilor de politici socio-economice i de
programe;
exist o cultur a evalurii care acord o importan deosebit
standardelor profesionale, autonomiei, nvrii din experiena
acumulat i politicilor socio-economice bazate pe probe.

91

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III


La nivel societal:
un dialog deschis i sistematic este meninut ntre politicieni i
specialitii n evaluare, astfel nct s permit identificarea i
analizarea prioritilor evalurii;
exist o comunitate a practicienilor n evaluare, ai crei membrii
fie pot lucra pentru universiti, firme de consultan, fie pot fi
practicieni sau consultani independeni dar care urmresc un
obiectiv comun i au standarde comune;
exist asociaii de evaluare, care reunesc pe cei care solicit
evaluri, pe cei care le realizeaz sau le folosesc, i care dezvolt
permanent o cultur de evaluare, ajut la rspndirea practicilor
de succes i garanteaz autonomia funciilor evalurii i a
practicienilor si;
exist o contientizare cu privire la activitatea de evaluare i
rezultatele acesteia, astfel nct evalurile vor fi n mod sistematic
folosite de diferii actori-cheie (n parlamente, societatea civil etc.)
pentru a sprijini principiile de responsabilizare i transparen.
3.3 Dezvoltarea capacitii de evaluare
n anumite ri, capacitatea de evaluare evolueaz n mod organic ntr-un
interval de timp. Acesta a fost cazul n ri precum Marea Britanie, Olanda
i Suedia. n majoritatea rilor, exist totui necesitatea unei strategii i a
unui plan n cazul n care capacitatea de evaluare trebuie s devin
funcional ntr-o perioad de timp bine definit. Aceasta a fost situaia n
majoritatea noilor state membre ale Uniunii Europene. Exist multe decizii
cheie, de natur strategic ce trebuie adoptate n momentul nceperii
dezvoltrii capacitii de evaluare. Printre cele mai importante se numr
urmtoarele:

arhitectura - localizarea i structurarea funciilor evalurii i


coordonarea acestora;
sprijinirea cererii de evaluare - existena cererii pentru evaluare
eficace i bine structurat;
sprijinirea ofertei de evaluare - existena aptitudinilor i a
competenelor necesare, dar i a sprijinului organizaional adecvat;
instituionalizarea evalurilor - integrarea evalurii n cadrul
sistemelor de decizie politic i totodat n cadrul unui sistem
politic mai larg.

Caseta 3.1 Capacitatea de evaluare n Lituania


Lituania avea o experien de evaluare limitat nainte de aderare i o capacitate limitat
de evaluare a fondurilor structurale. Strategia aleas a fost aceea de a plasa ntreaga
responsabilitate de evaluare n sarcina Ministerului de Finane, i, n acelai timp, de a-i
implica pe toi actorii cheie ntr-un Grup de Management al evalurii. A fost angajat un
consoriu de consultani strini i locali pentru realizarea unui proiect de dezvoltare a
capacitii evaluative.
ntre msurile care au urmat se numr:
- o conferin naional despre evaluare organizat cu scopul de a crete gradul
de contientizare,
- pregtirea n domeniul evalurii a funcionarilor publici i a experilor,
92

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III


- pregatirea de ghiduri i documente metodologice.
Sursa: Prezentare de conferin, Directorul Departamentului de Management al
Programelor UE Ministerul de Finane, Lituania

Arhitectura sistemelor de evaluare


Este deosebit de important ca cei responsabili pentru dezvoltarea
capacitii de evaluare s fie contieni de faptul c ceea ce ei dezvolt
reprezint un sistem n cadrul cruia numeroase elemente vor interaciona
i se vor sprijini reciproc. Aceste elemente vor include spre exemplu,
uniti sau divizii din interiorul departamentelor sau inter-departamentale,
proceduri i protocoale, politici legate de personal sau de resurse umane,
sisteme de tehnologie informaional etc. n asemenea circumstane,
trebuie s fie existe o strategie personalizat, aflat n responsabilitatea
unei instituii guvernamentale. De obicei, dreptul de proprietate, cel puin
n fazele de nceput ale dezvoltrii capacitii de evaluare, revine unei
anumite uniti de la nivelul central-guvernamental. Aceasta poate fi un
departament de planificare, o trezorerie naional, un departament de
coordonare, cabinetul primului ministru sau un departament responsabil
de fondurile structurale ale UE.
Dou arhitecturi principale au fost mai des ntlnite n stadiul incipient al
dezvoltrii capacitii de evaluare:

Unitatea sau o funcie central de evaluare, care, nc de la


nceput, este asociat unei reele compuse din alte uniti care au
la baz programe, fie de la nivel ministerial, fie de nivel sectorial.
Unitatea central funcioneaz ca o organizaie umbrel, n
cadrul creia sunt stabilite procedurile de baz, ndrumrile i
protocoalele de intermediere public i de angajare a evalurilor.
O dat ce un sistem este stabilit, unitatea central continu s
dein o poziie cheie ns i alte uniti capt din ce n ce mai
mult o importan egal i ncep s i apere prioritile proprii n
cadrul reelei.
Unitatea central care este localizat n cadrul unui departament
i va concentra activitatea n cadrul acestuia. Cu toate acestea,
este de dorit ca o dat ce o astfel de unitate a fost stabilit, ea s
ajute la propagarea modelului care a fost testat i care s-a dovedit
a fi un succes. O asemenea propagare poate fi formalizat n
acelai mod n care a fost decis la nivel central nfiinarea n toate
ministerele a unitilor de evaluare. n mod alternativ, poate fi ales
un proces de natur mai puin formal: rspndirea practicilor
eficiente sau ncurajarea proceselor de imitare.

Caseta 3.2 Coordonarea Proceselor de evaluare n Romnia


Autoritatea de Management a Evalurii din Romnia prezint un numr de sarcini cheie,
n cadrul crora se includ:
s prezideze i s activeze ca Secretariat al grupului de lucru
al Autoritii de Management al Evalurii,
s coordoneze i s administreze procesele de evaluare n

93

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III

interiorul unui cadru naional,


s conceap schema unei strategii naionale de evaluare.

Sursa: Interviuri cu autoritile romne


Exist avantaje i riscuri asociate ambelor abordri. O unitate sau o
funcie de evaluare la nivel central trebuie s realizeze un echilibru stabil
ntre a asigura dezvoltarea unui sistem coerent pe de o parte, i a evita o
centralizare excesiv, pe de alt parte. De asemenea trebuie meninut un
echilibru ntre a adapta sistemele la circumstanele locale i a asigura n
mod simultan consistena procesului n ansamblu. O centralizare n cadrul
unui minister coordonator poate risca s submineze asumarea
responsabilitii, dar i sprijinul acordat procesului de evaluare de ctre
diferite alte nivele guvernamentale, de sectorul public sau de diferii ali
actori-cheie. O publicaie recent a Bncii Mondiale sugereaz faptul c
acest lucru a avut deja loc n cteva state: centralizarea a condus la o
utilizare pe scar relativ redus a evalurii n domenii din afara celor de
interes strict guvernamental. Pe de alt parte, un nivel de descentralizare
mult prea mare cum ar fi spre exemplu structuri de coordonare diferite
pentru diferite programe, politici sau teritorii, induce riscul de a avea un
proces lipsit de coeren.
A conferi responsabilitatea stadiilor incipiente ale dezvoltrii capacitii de
evaluare unui aa-numit minister pilot / de prob, implic riscul apariiei
des ntlnitelor enclave inovaionale. Localizarea dezvoltrii procesului de
evaluare, n unele cazuri poate s se adapteze foarte bine unui anumit
mediu politico-social, i astfel poate deveni inflexibil i dificil de transferat.
Acest aspect a reprezentat o adevrat problem n cteva state membre
ale UE, care au fcut investiii importante n dezvoltarea capacitii de
evaluare n cadrul Fondurilor Structurale, dar crora le-a fost extrem de
dificil s extind apoi sistemele i practicile de evaluare pentru a putea fi
folosite i n cadrul altor programe finanate la nivel naional. Au existat de
asemenea i cazuri n care statele aflate n curs de aderare au adaptat
sistemele lor de evaluare la cerinele PHARE (programe de pre-aderare i
de tranziie), i care apoi au ntmpinat dificulti n transferarea
modelelor, competenelor i structurilor instituionale pentru a fi aplicate n
cadrul Fondurilor Structurale. Aa cum arat i cazul Irlandei (a se vedea
cartea de fundamentare corespunztoare ct i cadrul de mai jos, nu
reprezint un lucru ieit din comun ca unitile de evaluare s aib iniial
atribuii doar la nivelul programelor finanate de UE, i abia dup aceea s
fie extinse i la programe finanate la nivelul trezoreriilor naionale.
Cadrul 3.3 Experiena evalurilor intermediare din Irlanda
n Irlanda, ntre 1992 i 1995, au fost create Unitatea de Evaluare a Programelor ESF,
Unitatea de Evaluare Industrial i Unitatea de Evaluare Agricol avnd un statut
independent. Majoritatea managerilor i civa dintre evaluatorii unitilor provin de
asemenea din cadrul unor departamente guvernamentale sau al unor agenii asociate, i
deci cunosc foarte bine sistemul. Acest grad de apropiere ridicat a facilitat accesul la
informaie i n general unitile s-au putut bucura de acces liber la informaiile din cadrul
departamentelor. Lund n considerare aspecte legate de evaluare intern sau evaluare
extern, se poate spune c unitile reprezint o form hibrid care ncearc s
reuneasc elemente ale ambelor forme de evaluare. Unitile au fost n special
responsabile pentru derularea unei evaluri de tip intermediar, n cadrul creia accentul

94

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III


principal a fost pus pe aspecte legate de modul de administrare al programelor.
Sursa: Studiul de caz din Irlanda, discutat n Cartea 3 Dezvoltarea capacitilor
evalutive
O dat ce un sistem de evaluare este pus n aplicare, exist n continuare
o serie de opiuni legate de localizare i structur. De exemplu, unele
ministere sau agenii publice i pot concentra eforturile de evaluare n
cadrul unitii centrale proprii, n timp ce altele se pot baza pe reele
interne cuprinznd unul sau doi specialiti n cadrul unui aa-numit nod
central i ali specialiti dispersai de-a lungul a diferite departamente,
uniti sau divizii de politici socio-economice. Un astfel de exemplu l
constituie o reea de consilieri de evaluare cte una pentru fiecare
program operaional al Fondurilor Structurale - dar coordonate de-a lungul
tuturor programelor operaionale de ctre o unitate central sau o unitate
similar.
Dac se dorete ca evaluarea s devin o funcie util i valorificabil n
cadrul sectorului public, este necesar c ea s reflecte arhitectura
guvernamental existent n ara respectiv. De exemplu, dac anumite
structuri regionale sau federale sunt importante, atunci evaluarea va trebui
i ea integrat acestor structuri guvernamentale de nivel regional i local.
Dei uneori acesta nu va reprezenta locul n care evaluarea va fi n primul
rnd localizat, totui noile sisteme de evaluare trebuie proiectate de la
nceput lund n considerare i modul n care aplicarea lor poate fi
generalizat.
3.4 Consolidarea cererii de evaluare
Sursa cererii de evaluare la nivel guvernamental
Cererea pentru evaluare, primul impuls care acioneaz asupra procesului
de dezvoltare a capacitii, poate proveni n principal din surse interne i
externe. n cadrul multor ri europene i n special n cele din interiorul
UE, regulamentele Fondurilor Structurale au furnizat un prim impuls prin
urmare cererea a fost la nceput una de natur extern. Acesta a fost
cazul rilor din sudul Europei, precum Grecia, Italia i Portugalia, i este
de asemenea cazul celor mai multe dintre noile state membre. Aceast
cerere de natur extern reprezint parial o component a
responsabilitilor instituiilor europene, obligate la rndul lor s dea
dovad de responsabilizare. Comisia European prezint obligaii fa de
statele membre, Consiliul i Parlamentul European trebuie s se asigure
c resursele monetare disponibile pentru dezvoltarea social-economic
sunt cheltuite n mod eficient i c obiectivele de atingere a unei mai bune
coeziuni de natur economic i social sunt atinse. Deoarece aceleai
guverne care pun la dispoziie resursele financiare reprezint de
asemenea i principalii beneficiari ai acestor resurse, este un lucru absolut
normal ca evaluarea s fie lsat, cel puin parial, n responsabilitatea lor
n loc s fie realizat la nivel European. Cereri similare de evaluri externe
reprezint un lucru des ntlnit n dezvoltarea la nivel internaional.
Finaatorii, fie c este vorba de ri individuale sau de agenii multilaterale
precum UE, bnci internaionale (Banca Mondial, BERD) sau chiar i
agenii ale Naiunilor Unite, toi solicit ca beneficiarii fondurilor s poat
demonstra c au folosit banii eficient.

95

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III

Pe lng argumantul responsabilizrii, actorii externi care iniiaz cereri


pentru evaluare sunt de asemenea interesai de eficien, practici de
succes i de eficiena alocrilor de exemplu, ei vor fi interesai att de
procesul de nvare, ct i de procesul de responsabilizare. Cu toate
acestea, o asemenea motivare este mai puternic atunci cnd stimulul
pentru evaluare este unul de natur intern.
Muli dintre cei care au nceput o dezvoltare a capacitii de evaluare din
motive interne, au fcut acest lucru ca parte a unui angajament n
vederea realizrii unui sector public eficace, eficient, transparent i perfect
responsabil. Procesul de evaluare n ri precum Canada, Olanda, Suedia
i Marea Britanie nu a nceput pe baza unor cereri de natur extern.
Dimpotriv, cererea de evaluare a fost creat de valuri succesive de
reforme care au avut loc n cadrul sectorului public care au ca scop
mbuntirea managementului i a eficienei - dar i de noi valene
acordate procesului de guvernare. Acest aspect a fost de asemenea
valabil n cazul fazelor incipiente ale reformei sectorului public n Australia,
reform condus mai ales de o filosofie bazat pe rezultate filosofie
reflectat totodat de accentele puse pe evaluare i pe folosirea acesteia.
Cadrul 3.4 Sprijinirea capacitii de evaluare n Australia

O serie de reforme ale managementului sectorului public au fost implementate n primii


ani ai noii guvernri. Un aspect al acestor reforme l-a constituit dorina de a lsa
administrarea n sarcina managerilor, prin derogarea de atribuii i de responsabiliti
reflectnd astfel filosofia conform creia managerii din cadrul sectorului public ar fi
puternic ncurajai s-i mbunteasc performanele n cazul n care li se acord o
autonomie sporit i potenialul de a-i administra departamentele avnd mai puin
control sau imixtiuni din partea ageniilor centrale. Un alt aspect al reformei a constat n
a-i determina pe manageri s administreze, iar acest scop a fost mult mai direct
influenat de presiuni bugetare puternice.
Dezvoltarea Sistemului de Evaluare Australian, Keith MacKay,
Banca Mondial- ECD Working Paper 1998
Acest lucru nu nseamn c evalurile interne nu pot fi uneori
externalizate. Chiar i atunci cnd fora mobilizatoare care st la baza
evalurii provine din interiorul granielor unui stat, totui, un anumit grad
de control de la nivel extern reprezint un aspect des ntlnit. Acest
control poate lua diferite forme:

Parlamente, la nivel naional, regional sau local, care caut s


responsabilizeze guvernele pentru o implementare eficace i
eficient a deciziilor adoptate;
Curile de Audit i instituii similare, care doresc s i extind rolul
lor de la simpla verificare a legalitii i control financiar la a include
totodat i noiuni de eficacitate, eficien, i valorificarea
resurselor monetare;
Un ministru de finane care s solicite rapoarte de la
departamentele care au beneficiat de alocri bugetare;
Un guvern la nivel central care s finaneze activitile sau s

96

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III


deroge aceste atribuii unor autoriti la nivele subordonate, i s
solicite n mod expres, ca o condiie esenial, ca acestea din urm
s introduc evaluarea n practicile lor i/sau s fie deschise unui
anumit grad de monitorizare extern.
Dac stimulul iniiator al evalurii este n ntregime de natur extern (sau
externalizat de ctre departamente sau agenii guvernamentale la nivelul
unor instituii de monitorizare naionale) atunci baza dezvoltrii capacitii
de evaluare este adesea fragil. Trebuie s existe o recunoatere la nivel
intern a faptului c evaluarea reprezint mult mai mult dect o simpl
obligaie, pentru ca cererea de evaluare s fie solid. Acesta reprezint
un principiu central n cadrul dezbaterilor legate de necesitatea existenei
unei fore de reglementare sau legislative n spatele evalurii. Exist opinii
care susin c fr o cerere de natur legislativ clar, sprijinit totodat
de mecanisme adecvate, evaluarea nu poate fi luat n serios. Pe de alt
parte, exist de asemenea un argument puternic conform cruia, o
reglementare lipsit de o schimbare la nivel cultural, managerial i
administrativ nu va fi eficient. Vom avea de-a face cu o respectare
impus a regulilor, i nu cu o adoptare a noilor reguli pornit din iniiative
proprii sau provenit din natura procesului ca atare.
Cadrul 3.5 Cultura de evaluare n Olanda

O lecie care poate fi nvat din experiena Olandei este aceea c, pentru ca o cultur
de evaluare s se dezvolte n interiorul unei ri este important ca motivarea pentru a
derula i a utiliza evaluarea s provin n cea mai mare parte din exterior. Motivaia
intern a guvernului olandez de a mbunti politicile publice, sprijinit de noiuni de
credibilitate i eficien a costurilor managementului public, poate fi privit ntr-adevr ca
un factor important pentru succesul relativ n introducerea i utilizarea modelelor de
management bazate pe rezultate.
Sursa: Studiu de caz - Olanda
Cartea 3 Dezvoltarea capacitilor evalutive
Exist un numr de cauze datorit crora sistemele bazate exclusiv pe
reguli i regulamente ar putea s nu funcioneze:

Ele depind pentru o implementare eficient i de existena


anumitor sanciuni. Cu toate acestea, abilitatea i dorina de a
impune sanciuni ale autoritilor politice relevante, fie c este
vorba de Comisia European, guvernele centrale ale statelor
membre sau autoriti de nivel local sau regional sunt adesea
limitate. Aceste limitri pot proveni att din consideraii de ordin
politic ct i din cele legate de capacitatea legislativ sau
administrativ;
Ca un aspect corelat cu limitarea posibilitilor de sancionare,
cerinele de evaluare sunt luate mai puin n serios iar procesele i
documentele de evaluare tind s primeasc o importan mai
sczut chiar din partea acelora care le-au prescris;
Managerii preocupai de responsabilitile lor de zi cu zi vor
minimiza timpul acordat evalurii dac aceasta nu se dovedete a
fi direct relevant i util activitii lor. Este puin probabil ca

97

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III


evalurile proiectate cu scopul explicit de a servi necesitilor unor
organisme din exterior s fie relevante sau utile.
Implicaiile acestui ultim aspect sunt majore. Sprijinirea unei cereri pentru
evaluare solicit mai nti mobilizarea unei coaliii largi de actori-cheie
interni, incluznd manageri i politicieni. Nu poate fi n mod simplu creat
de ctre unul sau doi promotori n evaluare sau prin luarea unei decizii de
a pune bazele unei mici uniti centrale. O dat ce o asemenea coaliie a
fost stabilit, pot fi apoi dezvoltate proceduri i politici care vor veni n
sprijinul cererii iniiale. Multe dintre activitile specifice identificate n
cadrul Capitolului al-doilea al acestui MANUAL, n legtur cu solicitarea
i modul de administrare al evalurilor i dovedesc relevana mai ales
ntr-un astfel de context. Stabilirea procedurilor de consultare cu politicieni
i manageri n vederea proiectrii unui Plan anual de evaluare sau a
altor termeni de referin specifici, reunirea unor comitete de control i
monitorizare, revizuirea calitii rapoartelor de evaluare, toate acestea pot
genera cerere secundar pentru evaluare. Cu toate acestea, cel mai
important impuls va veni din partea procesului de integrare a evalurii n
cadrul practicilor de rutin ale ageniilor publice sau ale ministerelor din
cadrul guvernului. Aceasta va fi discutat pe larg n continuare, n cadrul
seciunii Instituionalizarea evalurii.
Societatea civil ca surs a cererii pentru evaluare
Un sistem de evaluare sustenabil nu poate fi lsat la latidudinea
guvernelor sau a sectorului public. Societatea civil poate de asemenea
solicita evaluri. Sprijinirea evalurii este adesea considerat un proces
naional de tip centralizat sau chiar un proces supranaional.
Responsabilizarea i procesul de nvare au loc att la nivelul
politicienilor, ct i la nivelul altor actori de la nivele inferioare, care
trebuie s respecte politicile comunitare. n termenii gndirii politice
contemporane, aceast abordare de tip centralizat este una relativ
anacronic. Participarea, implicarea activ, responsabilizarea i
transparena, toate acestea cer ca actorii societii civile s fie ei nii
implicai n procesul de realizare al politicilor publice i de furnizare a
serviciilor, i s mpart mpreun cu guvernul, o parte a responsabilitii
pentru sporirea eficienei i a capacitii de a rspunde prompt diferitelor
nevoi. Dezvoltarea capacitii de evaluare trebuie s includ actorii
societii civile dac evaluarea are ntr-adevr n vedere i respect logica
i valorile reformei sectorului public. Aceasta poate fi realizat prin
consultri publice, prin analizarea resurselor necesare realizrii prioritilor
unui plan anual de evaluare i, aa cum a fost anterior sugerat - s
asigure o reprezentare pe scar larg a intereselor n faa comitetelor de
monitorizare i a grupurilor consultative.
Un exemplu interesant n cadrul UE este regiunea Basc din Spania unde a fost realizat o ncercare deliberat de dezvoltare a proceselor de
evaluare, n baz evalurilor Planului de dezvoltare durabil n mediul
rural (din cadrul Fondurilor Structurale Europene) cu scopul de a adopta
un model de evaluare participativ.
Cadrul 3.6 Capacitatea de evaluare participativ

98

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III


Evaluarea ar trebui, n primul rnd, s reprezinte o practic util pentru cei responsabili
de administrarea unui program; cu toate acestea, ea ar trebui totodat s ofere aceleai
funcii tuturor potenialilor beneficiari i colectivitilor afectate de rezultatele sale:
beneficiari, instituii sociale, asociaii civile etc. Privit dintr-o asemenea perspectiv,
evaluarea devine un exerciiu menit s rspund necesitilor de informare ale agenilor
sociali, mergnd pn la a promova participarea lor activ n cadrul procesului de
evaluare.
Sursa: Diez, Malagon i Izquierdo
Citnd o clasificare a capacitilor evaluative realizat de Eureval - Lyon,
autorii sugereaz c un asemenea tip de evaluare este caracteristic unui
stadiu dezvoltat al evalurii.
Cadrul 3.7 Societatea civil i cererea pentru evaluare
[Evaluarea] a nceput s reprezinte un act social i politic, iar concluziile sale fac obiectul
a numeroase dezbateri publice (utilitatea politic a evalurii). Obiectivul este acela de a
furniza publicului larg informaii cu privire la eficacitatea folosirii resurselor financiare
publice de ctre administraie. n acest context, evaluarea devine un instrument n cadrul
procesului democratic menit s informeze cetenii, s sporeasc responsabilizarea i s
faciliteze obinerea unei aprobri la nivel social pentru interveniile statului. ntre rile n
care dezvoltarea evalurilor a atins un asemenea stadiu se numr Danemarca, Olanda,
Suedia i Marea Britanie.
Sursa: Diez, Malagon i Izquierdo, bazndu-se pe o tipologie dezvoltat de Eureval Lyon ca parte a Programului MEANS
n rile la care ne-am referit este aproape cert faptul c evaluarea este
condus n primul rnd ca rspuns la cererile de natur intern, n mult
mai mare msur dect cu scopul de a rspunde cerinelor de
responsabilizarea provenite de la nivel extern (de ex. cele ale UE) i c
aceste procese de evaluare sunt adesea ante-detaliate sau cel puin
dezvoltate n mod independent fa de regulamentele Fondurilor
Structurale i ale altor sisteme de evaluare asociate. Cu toate acestea,
aspectul cel mai surprinztor este acela al naturii descentralizate, multistratificate a evalurii, reflectnd realitile unei guvernri bazate pe mai
multe nivele.
n Marea Britanie, spre exemplu, a devenit aproape firesc a complementa
evalurile politicilor sociale efectuate la nivel naional cu evaluri locale,
menite s analizeze nu numai aspecte care in de descentralizarea
proceselor de aplicare i implementare a evalurii, ci i de a rspunde la
ntrebri de evaluare care pot servi intereselor beneficiarilor de politici i
programe, comunitilor locale, organizaiilor non-guvernamentale ct i
actorilor politici de la nivel naional. (Biott i Cook,2000). Actorii societii
civile, o dat mobilizai, devin de asemenea o surs a cererii de evaluare,
n cazul n care ei pot identifica n interiorul procesului poteniale beneficii.
3.5 Oferta n cadrul procesului de evaluare : Condiii i tradiii iniiale
Orict de puternic ar fi cererea pentru evaluare, rspunsul, dar i viteza
acestui rspuns la cererea existent, va depinde de resursele,
competenele i instituiile pre-existente. Aa cum a fost deja parial

99

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III


discutat, acesta va fi un aspect al ofertei intermediare, ncadrat n
interiorul rutinei guvernamentale i administrative. Dar, la un nivel mai
nalt, va depinde de competenele, resursele i instituiile din afara
sistemului de management public i administrativ.
Nu exist o singur modalitate de a mbunti oferta de evaluare. Trei
abordri sunt destul de des ntlnite:

a dezvolta relaii cu instituii educaionale, n special cu universiti;


a dezvolta i a sprijini o comunitate de consultani independeni;
a sprijini dezvoltarea unei comuniti profesionale n domeniul
evalurii.

Legturile cu sectorul educaional, de pregtire i calificare i cu cel


universitar
Instituiile educaionale i mai ales cu cele universitare sunt deosebit de
importante n ceea ce privete oferta de servicii de evaluare din dou
motive. n primul rnd, universitile reprezint n numeroase ri spaiul n
care putem localiza programele educaionale i de calificare necesare
pentru a dezvolta competenele i cunotinele de evaluare. n al doilea
rnd, foarte muli dintre cei care lucreaz deja n instituiile educaionale
posed deja multe dintre cunotinele necesare legate de cercetare
economico-social, colectare i analiz de date, de redactare i de
rapoarte cunotine att de necesare evaluatorilor. Cu toate acestea,
perspectivele educaionale i de cercetare trebuie s fie suplimentate de o
serie de alte metode, teorii i practici pentru a deveni cu adevrat utile
procesului de evaluare.
Stabilirea unei relaii de colaborare cu universiti i alte instituii
educaionale poate servi de asemenea la stimularea ofertei de programe
destinate pregtirii i calificrii, la continuarea studiilor i la crearea unuia
sau a mai multor centre de excelen n cercetare (n ceea ce privete
dezvoltarea regional sau managementul public) capabile s faciliteze
rspndirea cunotinelor. Cursurile pot fi direcionate ctre o serie de
grupuri int, de exemplu: studenii absolveni ai facultilor de sociologie
i economie, specialitii n tiine politice i regionale i specialiti n
dezvoltarea socio-economic. n funcie de grupul int, ar putea fi extrem
de util s se realizeze diferite cursuri noi de specializare sau s fie
integrate module de evaluare unor cursuri deja existente (de ex. teorii i
metode de dezvoltare socio-economic n cadrul programei formale a
economitilor, inginerilor, sociologilor, planificatorilor). Aspecte specifice,
relevante domeniului dezvoltrii socio-economice (de ex. prioriti
transversale precum o societate informaional, anse egale pentru femei
i brbai .a.m.d) ar trebui de asemenea incluse n cadrul acestor
programe.
n planificarea programelor de formare este deosebit de important
recunoaterea aspectelor practice ale procesului de evaluare din domeniul
socio-economic. A lucra ntr-un mediu cae presupune relaionarea cu
clieni i contracte, a aprecia ceea ce poate avea o utilitate maxim pentru
managerii de programe, a planifica i a sprijini dezvoltarea unui
management de echip, confruntarea cu multiple interese, adesea
contradictorii, reprezint aspecte mult mai ntlnite n procesele de
evaluare dect n mediul academic. Competenele practicienilor sunt la fel
de necesare ca i cunotinele academice. Acest aspect poate fi realizat
100

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III


prin includerea, n cadrul unor programe universitare care pun mai puin
accentul pe predare efectiv, spre exemplu a unor laboratoare, seminarii
de calificare, lecii inute de ctre practicieni, ore de practic efectuate n
compania unor consultani n evaluare, vizite de studiu la instituii
administrative responsabile de dezvoltarea socio-economic etc.
n anumite ri, exist o tradiie ca universitile i institutele independente
s fie angajate n mod activ n cercetarea referitoare la politicile i
practicile din domeniul evalurii. n asemenea ri, va exista o adevrat
baz de competene care va putea fi transformat ntr-o cretere a ofertei
de evaluatori ntr-un termen relativ scurt. Cu toate acestea, chiar i n
asemenea ri, acest lucru poate solicita schimbri la nivel cultural n
rndul celor care sunt obinuii cu un ritm i un stil de cercetare academic.
n asemenea cazuri, creterea nregistrat n oferta de evaluare va
necesita un anumit timp pentru a se mobiliza, ncepnd probabil prin
sporirea interesului pentru laboratoare i seminarii i continund apoi prin
exemple specifice, la scar redus, care le vor permite evaluatorilor
poteniali s testeze noi modaliti de a lucra ntr-un mediu al politicilor
socio-economice.
Consultanii independeni: ncurajarea noilor ofertani n procesul de
evaluare
n multe dintre domeniile de evaluare putem vorbi de o aa-numit pia
internaional a evalurii. Acest aspect este de asemenea valabil n cazul
evalurilor din domeniul dezvoltrii socio-economice. Firmele de
consultan mari, de nivel internaional, sunt obinuite s liciteze pentru
lucrri de evaluare n diferite ri, nu doar acolo unde este situat sediul lor
general. De aceea, este un lucru absolut comun ca muli dintre debutanii
pieelor de evaluare internaionale s provin din rndul acestor firme de
consultan internaionale. Ei posed potenialul de a importa experien
specific de ordin politic la nivel internaional, ct i experien legat de
modul de lucru cu politicienii i managerii de programe. Cu toate acestea,
se consider important dezvoltarea unui sector de consultan n
evaluare intern format din consultani la nivel local, familiarizai cu
instituiile naionale, politicile i limba vorbit n ara respectiv. Desigur,
firmele de consultan internaional vor recruta adesea consultani din
ara respectiv, ncurajndu-se astfel un schimb internaional, uneori chiar
i n cadrul unei singure echipe de evaluare. O astfel de combinaie poate
reprezenta o metod eficient de transfer de competene i de rspndire
a cunotinelor. Acesta reprezint un aspect unanim recunoscut n
domeniul evalurii. De exemplu, n programele de dezvoltare
internaionale reprezint adesea o cerin ca echipa de evaluare s
includ experi din cele dou emisfere: nordic i sudic. Aceast
practic a fost de asemenea ncurajat de UE prin noiunea mai larg a
acordurilor bilaterale dintre UE-15 i noile state membre, reflectat mai
precis prin structura bazat pe parteneriate la nivel internaional ale
echipelor de evaluare, n special n cazul evalurilor la nivel multinaional,
regional sau sectorial.
Cadrul 3.8 Dezvoltarea capacitii de evaluare n Republica Ceh
n Republica Ceh, o baz de expertiz exista cel puin la nivelul comunitii academice,
care putea fi utilizat pentru evaluare. Cu toate acestea, nu exist companii cehe
specializate n a oferi programe de evaluare, oferta companiilor strine era prea scump,

101

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III


iar cunoaterea mediului intern era inadecvat. n sfera practic multe instituii naionale
aveau experien n pregtirea planurilor, programelor, a metodologiei i n schiarea
politicilor menite s sprijine dezvoltarea socio-economic. Acestea includeau Planul
Naional de Dezvoltare i programe operaionale. Aceast experien practic dintr-o
sfer conex a evalurii reprezint un aspect deosebit de util pentru lansarea procesului
de dezvoltare a capacitii de evaluare. Date fiind costurile destul de ridicate ale
evalurilor, necesitatea unei cunoateri a mediului socio-politic ceh, ct i cerinele
referitoare la dezvoltarea capaciti de evaluare n Republica Ceh, n procesul de
angajare a evaluatorilor externi pentru realizarea evalurilor ex-ante, a fost acordat
prioritate furnizorilor naionali. n ceea ce privete evaluarea, aceti furnizori naionali
erau relativ nou-intrai n domeniu, comparativ cu concurenii strini, ale cror servicii
ns nu puteau fi folosite, n principal deoarece erau mult prea costisitoare i nu
dovedeau o suficient nelegere a mediului socio-politic ceh. n diferite cazuri,
companiile cehe angajate s realizeze evaluri au apelat la un expert strin pentru a
sprijini procesul de punere n practic a evalurii i pentru a asigura respectarea
standardelor europene. Aceste consorii au ndeplinit ceea ce se atepta de la ele prin
intermediul activitilor practice desfurate. Un rezultat pozitiv poate fi considerat acela
c operaiunile conduse de ctre companii pur naionale, care nu au ncorporat specialiti
din afar, au produs n mare msur aceleai rezultate.
SURSA: Cadrul comunitar de sprijin al evalurii n Republica Ceh: Mario Hladek, David
Grolig (i Eva Pisova Directorul Unitii de Evaluare) Praga, Septembrie 2004
Unii dintre noii consultani vor proveni sau vor lucra parial n mediul
universitar, n timp ce alii nu. Aceasta reprezint de altfel o trstur a
noii abordri a managementului public, iar aceasta va fi asociat cu
crearea unui numr de noi piee deschise serviciilor de consultan. ntr-o
anumit msur, promovarea unui sector de consultan independent va
avea beneficii nsemnate i nu numai pentru procesul de evaluare.
Exist diferite abordri menite s ncurajeze apariia furnizorilor de servicii
de evaluare la nivel naional. ntre acestea se includ:

Angajarea unor evaluri care s pun accent pe crearea de


consorii sau parteneriate care s includ obligatoriu i consultani
locali;
Ierarhizarea contractelor de evaluare, astfel nct evalurile cu un
risc relativ sczut s poat fi realizate de ctre actorii naionali nouintrai pe piaa evalurilor;
Garantarea faptului c cerinele de intermediere i financiare
asociate licitaiilor pentru evaluare nu sunt mult prea restrictive
(rspunsuri cerute n perioade foarte scurte de timp, garanii
bancare sau un numr de ani n care conturile s fi fost auditate);
Accentuarea criteriilor de natur tehnic sau bazate pe competene
n mai mare msur dect a procedurilor administrative cu care
consultanii mai puin experimentai ar putea s nu fie nc foarte
familiarizai;
Organizarea unor edine scurte menite s rspund ntrebrilor
potenialilor consultani i s ncurajeze licitaiile ntr-un mediu
competitiv;
Sprijinirea crerii de reele n special n rndul consultanilor n
evaluare din regiuni mai izolate, astfel nct s se ncurajeze
dezvoltarea spiritului de echip, formarea de consorii , reele i
asociaii profesionale (a se vedea n continuare);

102

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III

Recunoaterea de ctre cei care solicit evaluri c este necesar


un management mai bun al noilor furnizori, pentru a mbunti
procesul de achiziii i a furniza astfel informaii mai eficiente
consultanilor.

O comunitate de evaluatori profesioniti


Este n interesul celor care angajeaz i efectueaz evaluri s i
deruleze activitile ntr-un mediu care pune accent pe standarde de
calitate. Aceasta este de fapt ceea ce se nelege prin evaluare descris
ca profesie. Standardele profesionale sunt eseniale pentru ca evaluatorii
s poat avea credibilitate i s li se acorde autonomia necesar de ctre
cei care solicit i folosesc rezultatele evalurii. Aceasta este cu
precdere adevrat n faa diferitelor i, adeseori, puternicelor conflicte de
interese din cadrul proceselor de evaluare a programelor i politicilor
socio-economice. Muli evaluatori au fost adesea confruntai cu diferite
ncercri de a interveni n modul n care o evaluare este condus. Aceasta
poate avea diferite forme:

TdR dezechilibrat;
influene nefavorabile asupra procesului de evaluare din partea
acelora care sunt responsabili de modul n care programul este
evaluat (de ex. Autoritatea Managerial a Fondurilor Structurale);
ncercri de selectare a unei echipe de evaluare care s-i includ
pe aceia care pot da rspunsuri favorabile;
presiuni pentru a reformula rezultatele i concluziile astfel nct
acestea s fie mai puin critice i mai acceptabile pentru actorii
cheie principali;
furnizarea de date limitate sau care au fost deliberat selectate
pentru a conduce la anumite concluzii.

n realitate, nu este n interesul nimnui ca astfel de lucruri s aib loc.


Pentru o administraie modern, beneficiile unei evaluri impariale i de
ncredere depesc cu mult beneficiile aparente ale unor rapoarte sigure
i lipsite de provocri. Totui, acest aspect devine clar doar ca urmare a
dezvoltrii unei adevrate culturi de evaluare.
Standardele profesionale din domeniul evalurii includ de obicei un
angajament ntre evaluatori i cei care solicit evaluri, conform cruia se
oblig s:

foloseasc cele mai bune/adecvate metode;


i dezvolte i mbunteasc tehnicile;
ia n considerare interesele actorilor cheie i ale clienilor, inclusiv
pe cele ale managerilor de programe;
abordeze independent, imparial i sincer dovezile colectate;
existe un comportament etic fa de toate prile implicate:
contractani, cei care pun la dispoziie informaii i date, poteniali
beneficiari ai politicilor i programelor.

Exist o serie de surse de suport profesional i independen. Acestea


includ:

103

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III

o cultur de evaluare care sprijin norme de conduit profesional;


respectarea autonomiei de ctre cei care solicit evaluri;
norme etice n jurul crora s existe un consens i care sunt prin
urmare recunoscute i rspndite pe scar larg;
instituii independente n cadrul crora evaluatorii lucreaz i care
pot da verdictelor lor credibilitate sporit, oferindu-le totodat i
sprijinul necesar pentru a putea face fa presiunilor externe;
proces educativ, de pregtire i calificare, ct i o dezvoltare
profesional de calitate superioar;
asociaii i societi profesionale care reunesc pe toi cei implicai
n cadrul Comunitii de Evaluare- n interiorul creia pot fi
mprtite experiene i pot fi discutate probleme de natur
practic;
dezvoltarea i aplicarea unor standarde de calitate pentru
practicieni i pentru cei care solicit evaluri, precum i cele
discutate n Capitolul 2 al acestui MANUAL.

Cadrul 3.9 Standarde de Evaluare

[Acest studiu]..tinde s vin n sprijinul valorificrii unor standarde generale, care au n


vedere interesele celor care solicit evaluarea, ale evaluatorilor i ale cetenilor.
Standarde de evaluare la scar larg, la nivel european (instrumentale i etice), aa cum
sunt ele discutate de ctre Societatea European de Evaluare i de ctre alte cteva
societi naionale de evaluare europene, pot fi considerate complementare micrii
ndreptate spre standardele dezvoltate de ctre Comisia European i de alte
administraii naionale.
Utilizarea evalurii n cadrul Serviciilor Comisiei Europene - DG Buget octombrie 2002

n practic, multe dintre atributele eseniale ale unei comuniti de


evaluare profesionale pot fi ncurajate sub egida unei societi naionale
de evaluare sau a unor asociaiiInformaii n legtur cu societi regionale
i naionale de evaluare sunt disponibile pe diferite site-uri internaionale
de evaluare - a se vedea n special IOCE i IDEAS). Acestea, n mod
obinuit, reunesc oameni din cadrul unor instituii diferite (instituii
academice, administraii publice, centre de cercetare i societi de
consultan), care posed expertize n domenii diferite (sociologi,
economiti, specialiti n planificare, specialiti n tiine politice, n
pedagogie) i diferite domenii de specializare (servicii sociale, educaie,
cercetare-dezvoltare i bineneles dezvoltare socio-economic). Astfel de
societi au devenit larg rspndite pe teritoriul european n ultima
perioad (a se vedea cadrul 3.10 de mai jos care meioneaz cteva
dintre societile de evaluare europene cele mai cunoscute). Aceste
societi ofer oportunitatea schimbului reciproc de idei, discutrii
problemelor comune n afara cadrului unor contracte de evaluare
specifice, rspndirii bunelor practici i facilitrii apariiei unor standarde i
coduri etice comune. Aa cum am menionat deja n cadrul primului
capitol al acestui MANUAL, cele mai multe dintre standardele i codurile
de etic aprute n perioada recent au fost derivate din activitatea de
evaluare desfurat de asociaii i societi profesionale.

104

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III

Cadrul 3.10 Lista Societilor i Asociaiilor de Evaluare

Societatea European de Evaluare: http://www.europeanevaluation.org/


Societatea de Evaluare din Danemarca: http://www.danskevalueringsselskab.dk/
Societatea de Evaluare din Finlanda: http://www.finnishevaluationsociety.net/
Societatea de Evaluare din Frana: http://www.sfe.asso.fr/
Societatea de Evaluare din Germania: http://www.degeval.de/
Societatea de Evaluare din Italia: http://www.valutazioneitaliana.it/
Societatea de Evaluare din Spania: http://www.idr.es/idr_n/index_intro.html
Societatea de Evaluare din Marea Britanie: http://www.evaluation.org.uk/
3.6 Instituionalizarea procesului de evaluare
O mare parte a acestui manual a avut c principal preocupare iniierea
procesului de creare a unei capaciti de evaluare i argumentarea
faptului c acest aspect este important att pentru dezvoltarea socioeconomic, dar i pentru un management performant al sectorului public.
Instituionalizarea va avea n vedere cu precdere procesul de integrare i
de consolidare a evalurii n cadrul instituiilor sectorului public. Acest
aspect implic n general, extinderea evalurii pe scar larg n cadrul
sectorului public, i o integrare mai puternic a proceselor de evaluare i
utilizarea lor n cadrul etapelor de creare a politicilor i de administrare a
programelor.
Cadrul 3.11 Definirea procesului de instituionalizare

Instituionalizarea n evaluare este adesea neleas att ca regulament ct i ca


proces. n opinia lui Boyle, Lemaire i Rist, ea reprezint regulile, procedurile i
structurile organizaionale n conformitate cu care evalurile politicilor publice sunt
realizate, ct i procesul de legitimizare prin intermediul cruia practica de evaluare
devine n mod formal parte component a procesului de adoptare a deciziilor de la nivel
guvernamental.
Construirea unei capaciti de Evaluare Efective, Boyle i Lemaire (Eds) Transaction
Publishers 1999
Este foarte probabil ca introducerea evalurii la nceput s fie concentrat
la un anumit nivel guvernamental la nivelul unui singur minister sau set
de programe. Extinderea evalurii conduce totodat la rspndirea
practicilor de evaluare i la nivelul altor ministere sau programe, dar i la
nivelul altor instituii. n cadrul unor sisteme de evaluare bine dezvoltate,
evalurile sunt utilizate de ctre instituiile de audit de la nivel naional i
de ctre parlamente, de ministere, legislatori i de managerii de programe.
Integrarea evalurii la un nivel mai nalt n procesul de realizare al
politicilor socio-economice i de administrare a programelor va implica n
mod teoretic:

planificare combinat a politicilor i a evalurii prin intermediul


ciclurilor anuale de consultare i de prioritizare din cadrul ageniilor

105

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III

publice; aceasta va rezulta n planuri anuale i departamentale


care includ procese de evaluare;
verificare sistematic a rezultatelor evalurii i a recomandrilor,
astfel nct s devin dificil pentru managerii de nivel mediu s
ignore rezultatele evalurii - acetia sunt obligai, cel puin, s
declare motivele pentru care urmeaz sau nu considere
recomandrile stabilite de evaluare;
impuls pozitiv pentru manageri n vederea utilizrii rezultatelor
evalurii, modificrii programelor i a direciei acestora n cazul n
care acest lucru este necesar;
crearea unor forumuri n care politicienii, managerii i
administratorii procesului de evaluare se ntlnesc cu scopul de a
discuta rezultatele evalurii i leciile nvate n urma acestui
proces;
extinderea evalurii de-a lungul etapelor ciclului de formare al
politicilor socio-economice pornind de la opiunea identificrii, pn
la etapele de planificare, programare, implementare i
reprogramare

Cadrul 3.12 Planificarea extinderii i integrrii evalurii n Romnia


n Romnia, procesul de aderare a fcut ca eforturile de evaluare s fie iniial
concentrate asupra stadiilor de finanare, planificare i proiectare a noilor politici i
programe europene. Eforturile au fost mai nti concentrate pe programele PHARE i pe
pregtirea pentru Fondurile Structurale. Cu toate acestea, au fost elaborate planuri
pentru dezvoltarea unei culturi de evaluare, care s fie relevant pentru toate
programele Fondurilor Structurale finanate de UE. Ministerul de coordonare de la nivel
central a dirijat n paralel un program de modernizare i reform n cadrul tuturor
celorlalte ministere. Acest aspect a fost legat i de elaborarea unor planuri pentru o
eventual extindere a evalurii la programe i politici finanate la nivel naional.
Sursa: interviuri purtate de autor cu oficialiti romne
Crearea unei culturi de evaluare reprezint o fraz menit s sugereze
faptul c un sistem de evaluare bine dezvoltat reprezint mai mult dect
un simplu angajament de natur structural. De exemplu:

exist un angajament fa de un proces continuu de nvare i de


mbuntire;
exist o dorin de evitare a unei politici de cutare a vinovailor,
deoarece aceasta descurajeaz procesul de nvare;
politicienii sunt devotai unor politici bazate pe indicii clare, ntr-un
mod generalizat i de o manier ambiioas;
exist de asemenea un angajament fa de excelen, standarde
ridicate i perfecionare continu;
evaluarea este utilizat ca element component al unei tendine
ndreptat spre transparen i responsabiliti multiple fa de
ceteni, dar fa de ministere i parlamente. Guvernul i sectorul
public sunt dedicate unei adaptri continue n scopul de a deveni o
organizaie care nva.

106

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III

Cadrul 3.13 Aprecierea procesului de dezvoltare al capacitii de evaluare

Autorii unei comparaii internaionale a capacitilor de evaluare au utilizat urmtoarele


nou criterii pentru aprecierea gradului de dezvoltare al acesteia:
1. Evaluarea are loc n diferite domenii politice.
2. Exist o ofert de evaluatori la nivel naional, provenii din diverse discipline.
3. Exist un discurs la nivel naional cu privire la evaluare.
4. Exist organizaii profesionale de evaluatori.
5. Exist un grad de instituionalizare al evalurii n cadrul guvernului.
6. Exist un grad de instituionalizare al evalurii n cadrul parlamentului .
7. Exist numeroase instituii ai cror evaluatori desfoar lucrri de evaluare n cadrul
fiecrui tip de domeniu al politicilor socio-economice.
8. Exist o funcie a evalurii n cadrul unei instituii de audit de la nivel naional.
9. Exist un echilibru ntre evalurile care apreciaz rezultatele pe termen lung i cele
care apreciaz rezultatele cantitative i procesele.
Atlas International de Evaluare, Editori Furubo, Rist and Sandahl, Transaction
Publishers, 2002
Canada este vzut pe scar larg ca o ar care a realizat cu succes
instituionalizarea proceselor de evaluare n cadrul managementului
sectorului public i n cadrul sistemului de adoptare a politicilor socioeconomice la nivel federal (naional). n ansamblu, responsabilitatea
coordonrii evalurii este sarcina Trezoreriei Publice Canadiene, care:
trebuie s ofere o direcie la nivel central evalurii n cadrul Guvernului
canadian, iar n acest scop trebuie:
s pun bazele unui centru de excelen care s ofere o
conducere adecvat, ndrumri i sprijin procesului de punere n
practic a evalurii;
s utilizeze rezultatele evalurii n cadrul proceselor de adoptare a
deciziilor la nivel central, acolo unde acest lucru se impune;
s stabileasc standarde i norme;
s monitorizeze capacitatea de evaluare n interiorul guvernului. 5
Trsturile caracteristice ale politicii de evaluare canadiene se refer la
faptul c:

se bazeaz puternic pe transferarea responsabilitilor pentru a


derula i utiliza evaluri la nivelul departamentelor (ministerelor) i
la nivelul managerilor din cadrul acestor departamente;
pune accent n special pe un management bazat pe rezultate ca o
component cheie a managementului sectorului public acest
lucru fiind diferit fa de un accent pus n mod special pe
analizarea rspunderii pentru rezultatele anterioare, dei principiul
responsabilizrii va fi i el avut n vedere.

A se vedea declaraia politic: http://www.tbs-sct.gc.c/pubs_pol/dcgpubs/TBM_161/ep-pe1_e.asp#_Toc505657338

107

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III

Caseta 3.14 Fragmente din cadrul politicii de evaluare : Trezoreria public a Canadei
Politica se bazeaz pe trei principii fundamentale:
n primul rnd, pe faptul c a obine rezultate i a raporta cu acuratee
aceste rezultate reprezint o responsabilitate principal a managerilor
serviciilor publice;
n al doilea rnd, pe faptul c o evaluare riguroas i obiectiv reprezint
un instrument important n a-i ajuta pe manageri n administrarea
rezultatelor; i
n al treilea rnd, departamentele, cu sprijinul Secretariatului Trezoreriei
Publice, dein responsabilitatea de a asigura rigurozitatea i disciplina
proceselor de evaluare desfurate sub jurisdicia lor.
Managementul rezultatelor
Managementul rezultatelor reprezint o responsabilitate de prim
importan a managerilor serviciilor publice managerii trebuie s fie
rspunztori de performanele lor n faa unui management de nivel
superior, a ministerelor, parlamentului, i n faa cetenilor canadieni.
Evaluarea ca instrument de management
Evaluarea opereaz ntr-un mediu complex care implic un parteneriat cu
alte organizaii la nivel federal, cu alte nivele guvernamentale, cu sectorul
privat i cu organizaii nonprofit. n plus, deoarece procesul de aplicare a
programelor este transferat i n cadrul altor jurisdicii, evaluarea politicilor
socio-economice capt o importan sporit. Evaluarea ar trebui s
contribuie la mbuntirea politicilor socio-economice, a fazelor de
aplicare i proiectare a programelor. n acest context, departamentele ar
trebui s integreze disciplina procesului de evaluare n cadrul ciclului de
via al managementului politicilor, programelor, iniiativelor, astfel nct:
s contribuie la dezvoltarea unui management bazat pe rezultate i
la crearea unui cadru pentru rspundere democratic n raport cu
politici, programe i iniiative noi sau revizuite;
s pun bazele unor practici de monitorizare a performanelor
proceselor aflate n derulare i s evalueze aspecte legate de
implementarea i administrarea politicilor, programelor, iniiativelor,
inclusiv a celor aplicate n cadrul unor angajamente de parteneriat
(evaluri formative sau intermediare);
s evalueze aspecte ce in de relevana, rezultatele i de eficiena
cheltuielilor efectuate.6
O serie de instrumente de diagnosticare au fost create pentru aprecierea
gradului de instituionalizare al evalurii i pentru a oferi ndrumri asupra
modului n care aceasta poate fi sprijinit. n Lituania spre exemplu,
tipologiile OECD au fost adaptate pentru a
aprecia gradul de
instituionalizare al evalurii. n cadrul factorilor considerai de Nakrosis i
de ali colegi de la Institutul de Management i Politici Publice se includ:

planificarea n timp a evalurii aplicarea evalurii trebuie fcut


la toate stadiile de dezvoltare a politicilor socio-economice;
gradul de centralizare;
localizarea evaluatorilor intern sau extern;
integrarea evalurii n cadrul proceselor de adoptare a deciziilor.

http://www.tbs-sct.gc.c/pubs_pol/dcgpubs/tbm_161/ep-pe-PR_e.asp?printable=True

108

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III


O asemenea aplicare a standardelor permite identificarea punctelor forte
i a celor slabe, precum i planificarea unor mbuntiri pe parcurs.
Banca Mondial a produs un cadru menit s contribuie la aprecierea
diferitelor opiuni disponibile n diferite circumstane. Premisa de la care se
pornete este aceea c situaiile, condiiile iniiale disponibile pentru
dezvoltarea capacitii de evaluare variaz de la o administraie la alta. n
unele cazuri cererea, n special cea format pe plan intern, va fi mai
puternic, n timp ce n altele va fi mai slab. La fel, oferta,
disponibilitatea competenelor i a reelelor instituionale capabile s
mobilizeze aceste competene, va fi n unele cazuri n mai mare msur
capabil s rspund cererilor de evaluare dect n alte cazuri. Oricare ar
fi echilibrul ntre cerere i ofert, exist strategii adecvate ce pot fi
adoptate n vederea reflectrii circumstanelor existente. Tabelul preluat
dintr-un raport al Bncii Mondiale999) schieaz pe scurt cteva dintre
aceste opiuni.
Instituionalizarea evalurii reprezint un proces continuu care, n decursul
timpului, trebuie integrat altor instrumente de planificare i de apreciere a
rezultatelor (de ex., aprecieri ale impactului cauzat, tehnici de planificare a
proiectelor) i alte canale pentru identificarea, rspndirea i
implementarea practicilor de succes (de ex., consultare public,
descentralizare la nivelul actorilor cheie locali).
n acelai timp, trebuie s enunm cteva dintre barierele poteniale cu
care se poate confrunta procesul de instituionalizare al evalurii ce nu pot
fi ignorate:

n primul rnd, aa cum a fost evideniat n cadrul acestui capitol al


MANUALULUI, evaluarea are o influen mai mare atunci cnd
este considerat parte integrant a dezvoltrii instituionale i a
reformei din cadrul sectorului public; n cazul n care schimbrile la
nivel mai larg, de ordin organizaional i cultural, nu sunt realizate
n paralel, acest lucru va conduce la dificulti n instituionalizarea
procesului de evaluare;
n al doilea rnd, un proces de instituionalizare coerent solicit
att resurse financiare ct i umane; instituionalizarea poate fi
subminat n cazul n care exist investiii insuficiente n
dezvoltarea competenelor specialitilor, a unitilor de evaluare,
dar i n sisteme de management adecvate;
n al treilea rnd, un angajament politic la nivel nalt este deosebit
de important pentru procesul de instituionalizare al evalurii, n
special n cazul n care un proces necesit, n mod inevitabil, mai
mult timp, ct i faze de dezvoltare intermediare. Modificri de
direcie survenite n momentul schimbrii din funcie a angajailor
publici sau a minitrilor pot constitui de asemenea o barier major
n procesul dezvoltrii capacitii de evaluare.

Aa cum am procedat i n cadrul celorlalte capitole ale MANUALULUI,


leciile cheie sunt schiate n continuare, sub denumirea de reguli de
baz, pentru a fi utilizate de cei interesai n sprijinirea dezvoltrii
capacitii de evaluare.

109

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III

3.7 Reguli de baz


1. Evaluarea este mult mai util, dar i mai utilizat, n momentul n care
este integrat ca funcie n cadrul structurilor administrative i a sistemelor
instituionale, care caut n acelai timp s includ n structurile lor i
actori ai societii civile. Aceasta este de fapt ceea ce se nelege prin
capacitatea de evaluare.
2. Capacitatea de evaluare se poate dezvolta n mod organic, n timp, dar
n majoritatea contextelor naionale i internaionale ea trebuie s fie
planificat, introdus intenionat i finanat n mod adecvat.
3. Principiul de independen i imparialitate reprezint un principiu
esenial n construirea funciilor procesului de evaluare, date fiind
interesele variate care pot influena att procesul de derulare al evalurii
ct i concluziile acestuia.
4. Capacitatea de evaluare cuprinde elemente la nivel individual,
organizaional, inter-organizational, societal, menite s se sprijine
reciproc. Capacitatea de evaluare ar trebui proiectat ca un sistem.
5. Activitatea de evaluare trebuie coordonat n interiorul ageniilor publice
i al ministerelor astfel nct s asigure coerena i s furnizeze o baz
solid care s favorizeze dezvoltarea competenelor i a profesiei de
evaluator. n acelai timp, trebuie s existe un grad suficient de flexibilitate
n procedurile evalurii i o abordare deschis spre adaptare continu la
caracteristicile specifice ale politicilor, programelor i teritoriilor.
6. Capacitatea de evaluare poate debuta prin a pune accent doar pe
anumite programe specifice spre exemplu, cele finanate de UE sau cele
desfurate la nivelul anumitor structuri guvernamentale (de ex.
ministerele), dar ea trebuie proiectat astfel nct activitatea de evaluare
s poat fi extins i s includ spre exemplu programe finanate la nivel
naional sau regional, dar i activiti derulate la nivelul central
guvernamental.
7. Evaluarea trebuie configurat astfel nct s rspund necesitilor
proceselor reale de adoptare a deciziilor i ale managementului, procese
care vor mbunti eficiena i eficacitatea activitilor publice i vor
produce beneficii concrete att pentru ceteni ct i pentru actorii cheie
implicai n proces. Dei evaluarea va fi cu siguran util pentru a
rspunde necesitilor externe de rspundere democratic, ea nu trebuie
considerat ca fiind n primul rnd o obligaie de la nivel extern.
8. Includerea societii civile i a principiului participrii n cadrul evalurii,
fie c acesta are loc prin consultri sau prin reprezentare direct, va
ncuraja diferite grupuri de interese (de ex. reprezentani ai comunitii,
grupuri profesionale, sectorul privat) s solicite i s utilizeze evaluarea, ei
beneficiind astfel de o consolidare a responsabilizrii, o cretere a
transparenei i o rennoire a capitalului social.
9. Capacitatea de evaluare trebuie s acorde importan i laturii ofertei
prin promovarea unei comuniti de practicieni competeni i profesioniti
i a instituiilor, reelelor i pieelor care se vor preocupa de calitatea

110

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III


lucrrilor de evaluare licitate i derulate.
10. n rndul celor mai importante caracteristici ale unei comuniti de
evaluare profesionale se includ: programe educative i de calificare pentru
evaluatori, standarde de calitate i coduri etice aprobate i mprtite att
de cei care contracteaz, ct i de cei care aplic procesele de evaluare incluznd aici specialiti i consultani din mediul academic.
11. Aceste trsturi ale laturii ofertei sunt adesea cel mai bine dezvoltate
n cadrul societilor de evaluare naionale, care trebuie s fie deschise
spre a primi noi membri i devotate utilizrii unor standarde de calitate
superioare.

Diagrama 3.15: Schiarea ctorva din opiunile de dezvoltare a capacitii de evaluare

111

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul III


Cererea
Puternic

Puternic

Slab

sprijinirea evalurii politicilor, programelor i


proiectelor
stabilirea de legturi ntre evaluare, planificare
strategic, alocarea resurselor i buget
utilizarea experilor angajai pentru evaluarea
politicilor socio-economice
sprijinirea procesului de evaluare la nivel
legislativ (parlament)
publicarea rezultatelor evalurii
organizarea
i
sistematizarea
funciilor
evalurii

generalizarea metodelor i practicilor


evalurii
sprijinirea proiectelor i programelor de
evaluare aflate n derulare
participarea la procesul de evaluare a
ageniilor finanate din surse externe
sprijinirea dezvoltrii profesionale n
domeniul evalurii
sprijinirea institutelor de cercetare n
realizarea evalurilor
integrarea evalurilor n cadrul reformelor
n derulare ale managementului sectorului
public
integrarea evalurilor n cadrul reformelor
managementului
cheltuielilor
publice
(sistemului bugetar)
construirea unei reele de evaluare n
interiorul guvernului i la nivel regional
organizarea unor seminarii de dezvoltare a
capacitii de evaluare pentru oficialii
publici, n vederea facilitrii atingerii
consensului
regularizarea procesului de evaluare prin
norme de ordin legislativ

Oferta

Slab

sprijinirea sistemelor financiare i de informare


(monitorizare)
generalizarea leciilor nvate i a bunelor
practici rezultate din evaluare
stabilirea unor comisii pentru evaluarea
proiectelor i programelor importante
pregtirea i utilizarea organizaiilor din
sectorul privat din domeniul evalurii
sprijin acordat de sistemul universitar n
pregtirea n domeniul evalurii, inclusiv prin
scurte cursuri i seminarii
oferirea de asisten tehnic ageniilor
guvernamentale
construirea unei reele de evaluare n cadrul
guvernului
dezvoltarea unor angajamente bilaterale cu
guverne din regiune
promovarea evalurii de ctre ONG-uri
introducerea standardelor de evaluare
promovarea unor vizite de studiu la guvernele
altor state
stabilirea de aranjamente bilaterale cu alte
guverne

112

elaborarea de decizii i solicitri cu privire


la evaluri sistematice n cadrul cabinetelor
ministeriale
consolidarea proceselor de audit i
responsabilizare
realizarea unor evaluri n parteneriat cu
ageniile finanatoare
promovarea
leciilor nvate din
experiena naional i internaional
sprijinirea programelor educative n
domeniul evalurii n interiorul instituiilor
educaionale
promovarea unor colaborri interstatale n
evaluare
sporirea contientizrii proceselor de
adoptare a deciziilor
ncurajarea ONG-urilor s realizeze studii
pentru a colecta opiniile cetenilor
ncurajarea mass-mediei de a face publice
informaii cu privire la performanele
guvernamentale

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


CAPITOLUL 4 ALEGEREA METODELOR, A TEHNICILOR I A
INDICATORILOR. UTILIZAREA INDICIILOR N EVALUARE
Acest capitol al MANUALULUI prezint metodele i tehnicile care se
utilizeaz n evaluarea dezvoltrii socio-economice. Ele sunt prezentate n
detaliu n Cartea 2. n capitolul 2 al MANUALULUI, proiectarea procesului
de evaluare a fost abordat doar n termeni generali. n cele ce urmeaz
vom prezenta alegerile care trebuie fcute cu privire la categoriile extinse
de msuri, precum i la tehnicile specifice, din cadrul acestor categorii.
Aplicarea metodelor i a tehnicilor genereaz n mod inevitabil ntrebri
legate de sursele de date i de dovezile concrete pe care evaluatorii
trebuie s se axeze n desfurarea activitii lor. n cazul de fa, aceste
surse de dovezi sunt prezentate nu numai din perspectiva modului n care
pot fi analizate, ci i n ceea ce privete felul n care pot fi localizate sau
chiar create, acolo unde nu existau nainte. Prima parte a acestui capitol
prezint contextul n care se fac alegerile legate de metode i tehnici,
menioneaz demarcaia uneori oarecum vag ntre datele calitative i
cele cantitative, precum i modurile de obinere i utilizare a dovezilor
concrete. Seciunile urmtoare cuprind informaii despre:
metodele i tehnicile aplicabile diferitor tipuri de intervenii socioeconomice, fiind incluse principalele prioriti tematice i variatele
domenii de politic public;
metodele i tehnicile utilizate n diferite scopuri ale evalurii
(planificare, responsabilizare, implementare, producere de cunoatere,
consolidare instituional);
metodele i tehnicile aplicabile n diferite programe i faze ale politicii
publice, de la formularea acesteia i pn la impacturile produse;
metodele i tehnicile aplicate n diferite stadii ale procesului de
evaluare (v. i Cartea 2);
obinerea i folosirea datelor cu diverse caracteristici n procesul de
evaluare;
crearea indicatorilor i a sistemelor de indicatori;
utilizarea indicatorilor pentru a mbunti managementul.
4.1 FACTORI CARE INFLUENEAZ ALEGEREA METODELOR, A
TEHNICILOR, A DATELOR I A DOVEZILOR
Alegerea metodelor i a tehnicilor
Dup cum am precizat n Capitolul 2 i n Capitolul 3 al acestui MANUAL,
exist multe decizii care trebuie luate n faza de proiectare a evalurilor.
La acest nivel trebuie s fie consultai actorii-cheie, s fie elaborat logica
programului, s fie identificate ntrebrile, s fie alese criteriile i s fie
analizat posibilitatea de evaluare a ceea ce este propus. Deci, alegerea
metodelor i a tehnicilor face parte dintr-o serie de activiti interconectate.
Figura 4.1 poziioneaz alegerea metodelor i tehnicilor ntr-un context
mai larg.

113

Alegerea
tehnicilor
depinde de
scop, obiect,
ncadrare n
timp i acces
la date

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV

Caseta 4.1 Alegerea metodelor, ntr-un context mai larg

Caracteristicile
Programului

Stadiul
Programului

Disponibilitatea
Datelor

Prioriti de Politic
Public i Strategie

ntrebrile
Evalurii

Modalitatea de
Cercetare

Prioritile
Actorilor-cheie

Stadiul
Evalurii

Analiza
Evaluabilitii

Alegerea Metodelor

Alegerea Tehnicilor

Aceast parte a MANUALULUI acoper multe dintre csuele din figura de


mai sus, aceasta fiind singura posibilitate identificat pentru a avea o
imagine de ansamblu asupra tuturor factorilor relevani atunci cnd are loc
alegerea metodelor i a tehnicilor.
Metodele decurg din modelul evalurii sau din modalitatea de cercetare
aleas: ele trebuie s rspund unor anumite tipuri de ntrebri i trebuie
s fie selectate numai dac sunt capabile s fac acest lucru. Faptul
acesta poate prea evident, dar una dintre problemele des ntlnite n
practica evalurii este tendina evaluatorilor i a contractanilor de avea o
preferin pentru anumite metode, indiferent dac ele sunt adecvate sau
nu n ceea ce privete capacitatea lor de a genera rspunsuri la ntrebrile
formulate. S-a menionat n Capitolul 3 c o practic folositoare pentru cei
care contracteaz evaluarea, este s acorde evaluatorilor posibilitatea de
a specifica metoda de abordare preferat de ei, i, ntr-adevr, pentru
fazele incipiente ale evalurii, s permit elaborarea unui Raport iniial de
activitate care s treac n revist i s descrie modelul, metoda, tehnicile,

114

Metodele i
tehnicile
decurg din
ntrebrile i
din modelul
evalurii

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


modul de colectare a datelor, etc. Din pcate ns, aceast flexibilitate nu
este permis ntotdeauna. Nu n ultimul rnd, trebuie menionat faptul c
acest capitol pornete de la premisa c evaluatorii vor fi preocupai de
alegerea celor mai potrivite metode i tehnici i c respectivii contractani
ai evalurii vor fi informai pentru a nelege ce metode se potrivesc
fiecrui obiectiv n parte.
Odat ales un proiect general de evaluare, opiunea pentru metode i
tehnici specifice trebuie nc s in seama de realitile aferente politicii
publice i programului, dar i de o multitudine de ali factori contextuali. De
exemplu:

Forma de intervenie socio-economic am artat n Capitolul 1 c


particularitile unui obiect al evalurii, n cazul de fa o intervenie
n domeniul dezvoltrii socio-economice, reprezint factori
determinani n modul de proiectare evalurii. (Acest factor este
discutat n continuare, n seciunea 4.2)

Scopul evalurii - dup cum am menionat n Capitolul 1, evalurile


pot avea diferite scopuri, ncepnd cu responsabilizarea i mergnd
pn la mbuntirea managementului i explicarea a ceea ce
funcioneaz i n ce circumstane. Aceste scopuri diferite, nsoite de
formele distincte de cercetare, au de asemenea implicaii pentru
metodele i tehnicile alese. (Acest factor este luat n considerare mai
departe, n seciunea 4.3)

Fazele diferite ale programului / politicii publice - exist diverse cerine


pentru evaluare, la un stadiu incipient - ex-ante, la un stadiu
intermediar, cnd programul se afl deja n derulare, i la un stadiu
ex-post, cnd programul a fost deja ncheiat. Fiecare din aceste faze
poate s impun alegerea unor metode i tehnici distincte. (Acest
factor este considerat mai departe n seciunea 4.4)

Stadiile diferite ale procesului de evaluare - n cadrul unei singure


evaluri va fi necesar s se proiecteze, s se obin date, s se
analizeze constatrile i s se elaboreze concluzii. Fiecare dintre
aceste activiti va fi asociat unor metode i tehnici specifice. (Acest
factor este dezbtut n continuare n seciunea 4.5)

Aceasta nu nseamn ca va exista o corelaie perfect ntre


circumstanele i contextele diferite cu care vor avea de-a face evaluatorii.
Cu toate acestea, exist grupuri de metode i tehnici asociate contextelor
menionate mai sus, care pot servi drept orientare pentru evaluatori i
pentru cei care contacteaz evaluarea.
Sunt necesare dou precizri importante:

Toate metodele i tehnicile au avantaje i dezavantaje; de multe ori,


ele sunt utilizate n circumstane care sunt departe de a fi ideale
pentru aplicarea lor. Pentru orice activitate de evaluare, tehnicile ar
trebui alese i aplicate n aa fel nct virtuile acestora s poat fi
exploatate i limitele recunoscute, i reduse ca impact asupra
rezultatelor.

Pstrnd ideea de mai sus, soluia optim este o aplicare combinat


a metodelor, ca parte a fiecrei sarcini de evaluare. Concentrarea pe

115

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


o singur metod sau tehnic este o abordare mai slab dect
obinerea unei perspective multiple (ntlnit uneori sub denumirea de
triangulare).
Cantitativ sau calitativ: o dezbatere fals?
Distincia dintre metodele cantitative i cele calitative, ntre tehnicile
cantitative i calitative, precum i ntre datele cantitative i calitative se
face pornind de la nivelul simului comun. n realitate, aceast demarcaie
nu este att de clar precum pare. Cnd aprecierile calitative sunt clasate
i adunate, ele devin cantitative: 50% dintre cei intervievai au afirmat c
au obinut beneficii de pe urma programului. ntr-adevr, fundamentele
multor evaluri cantitative sunt calitative. Unele analize ale nregistrrilor
administrative vor necesita de multe ori judeci calitative, privind, de
exemplu, modul de clasificare a ntreprinderilor mari, mici i mijlocii.
Anchetele potale agreg datele calitative ntr-un mod asemntor.
(Referitor la date, acest argument va fi reluat n continuare, n seciunea
4.6)
Cu toate acestea, nu trebuie subestimat rigoarea, adesea ncorporat n
protocoale i proceduri analitice acceptate la scar larg, care este cerut
atunci cnd informaiile iniiale calitative sunt convertite n rezultate
cantitative. Acesta este motivul pentru care eantionarea, semnificaia
statistic i distincia ntre diferitele tipuri de date de msur printre
multe alte convenii sunt indispensabile unei evaluri cantitative
veritabile.

Distincia
dintre cantitativ
si calitativ
poate deveni
neclar

O alt neclaritate legat de demarcaia dintre metodele cantitative i


calitative, apare atunci cnd se ncearc s se fac distincia dintre
metodele de colectare a datelor i de analiz a acestora. Chiar dac
informaiile colectate sunt calitative - de exemplu, interviuri, chestionare i
observaii ele pot fi analizate cantitativ. Spre exemplu, multe modele
statistice folosesc ca resurse informaiile colectate prin intermediul
interviurilor. n ceea ce privete analizele cantitative, ele pot fi pe deplin
nelese numai dup formularea interpretrilor calitative a semnificaiilor
rezultatelor.
Dezvoltarea socio-economic n context european este de obicei de
natur inductiv (plecnd de la particular la general), deoarece se
utilizeaz o combinaie de intervenii concepute n funcie de nevoile
specifice ale teritoriilor sau sectoarelor, intervenii greu de descris n
categorii standard. Acest lucru impune o limit evalurilor cantitative, care
ncearc s furnizeze simple uniti de msur comparabile (de regul
indicatori) sau nregistrri ale rezultatelor i efectelor. Aplicarea
indicatorilor sau a altor uniti de msur nu va putea conduce la
realizarea de comparaii ntre programe locale i sectoriale att de
diverse. Datorit naturii puternic contextualizate a dezvoltrii socioeconomice, cele mai eficace metode cantitative vor fi modelele i tehnicile
statistice care recunosc importana contextului. De exemplu, acestea
trebuie s aleag ca baz de comparaie un cadru care va fi analizat din
punct de vedere temporal (de ex. acelai teritoriu n 2002 i apoi n 2006),
i un cadru care va fi analizat din punct de vedere regional (sau probabil
mpreun cu alte uniti teritoriale corespondente). Asemenea tehnici
care iau n general forma modelelor predictive, a modelelor
macroeconomice sau a analizelor multivariate a efectelor ar trebui s

116

Statisticile
trebuie
adaptate
diverselor
contexte ale
dezvoltrii
socioeconomice

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


aib capacitatea de a analiza diferenele dintre rezultatele reale i cele
ateptate ale dezvoltrii. Ele trebuie s poat rspunde unor ntrebri de
tipul: exist diferene n tendinele nregistrate de-a lungul timpului n
ocuparea forei de munc sau n productivitatea firmelor, n zonele
abordate de programe, fa de alte zone comparabile? Folosirea datelor
comparabile este de asemenea important n msurarea efectelor de
transfer: cnd efectele pozitive dintr-un context au fost obinute n
detrimentul unui alt context. Spre exemplu: se poate ca dezvoltarea unui
teritoriu s fi absorbit pur i simplu inovaia, creterea economic i noile
oportuniti pentru grupurile marginalizate, existente pe teritoriile vecine?
Pe scurt, punctele forte ale evalurii cantitative, se datoreaz faptului c:
Permite elaborarea unor raionamente agregate. Cei implicai n
formularea politicilor publice vor s tie dac o politic sau un program
este funcional(). Rezultatele agregate vor furniza informaii care s stea
la baza unor raionamente precum: a crescut gradul de ocupare al forei
de munc n locaiile vizate de, s spunem, 100 de programe? Chiar i
aa, msurtorile agregate nu vor putea s demonstreze dac programele
sau anumite aspecte ale acestora, au determinat aceste schimbri.
Permite modelarea explicativ i predictiv. Diverse tehnici statistice i de
modelare sofisticate sunt folositoare n evaluare mai ales pentru c ele
explic i previzioneaz dei mai rar se ntmpl s stabileasc i tiparul
cauzal care st la baza diferenelor existente. Prin urmare, metodele
experimentale i modelele macroeconomice se sprijin pe date cantitative
dar, dup cum am precizat anterior, metodele care sunt n general
potrivite sunt cele care in cont de context.
Ofer o scurt descriere, care furnizeaz informaiile necesare analizei
calitative care urmeaz. Pe baza msurrii desciptive agregat la nivel
global, se poate realiza identificarea sub-categoriilor i a cazurilor
neateptate. Acest fapt conduce ctre o a doua etap de studiu,
reprezentat adesea printr-o analiz calitativ.
Permite efectuarea unor estimri de anvergur i de scar. Cnd sunt
disponibile date adecvate (vezi seciunea 4.6 pentru definiia datelor sub
forma de propori), evaluarea cantitativ permite efectuarea unor calcule
referitoare la schimbrile nregistrate ca urmare a unei intervenii. Acest
lucru este important mai ales atunci cnd trebuie fcute raionamente
pentru a se afla dac beneficiile sunt pe msura costurilor, a resurselor.
Permite stabilirea unui grad de comparaie ntre scenarii. Cei implicai n
formularea politicilor publice trebuie s neleag dac exist diferite grade
de eficacitate n domeniile de intervenie. Comparaiile de baz devin mai
uor de realizat dac pot fi cuantificate cu toate c n dezvoltarea socioeconomic sunt posibile doar forme slabe de cuantificare, dac ele nu
sunt sprijinite de analize i modelri statistice.
Permite evaluarea mai corect a anumitor intervenii. Cele mai eficace
evaluri cantitative ale dezvoltrii socio-economice se concentreaz de
cele mai multe ori pe anumite intervenii, care sunt privite separat, i nu
din perspectiva mai larg (care presupune intervenii multiple), a
procesului de dezvoltare. Prin urmare, evalurile cantitative ale

117

Avantajele si
limitele
metodelor
cantitative

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


stimulentelor acordate firmelor sau interveniilor pe piaa muncii, vor
produce rezultate concludente privitoare la efectele acestor intervenii.
Permite realizarea unei analize n timp a tendinelor. Msurtorile
cantitative realizate n timp prin culegerea constant a unor indicatori
standard ajut la monitorizarea schimbrilor survenite i nlesnesc
urmrirea procesului de dezvoltare.
Unele metode i tehnici sunt mai degrab calitative, sau cel puin asociate
cu colectarea datelor calitative. Interviurile, observaiile participative sau
studiile etnografice, consemnri individuale, analiza de discurs i de
coninut a textelor, descrierile n detaliu ale contextului local menite s
comunice o stare de spirit sau o atitudine toate s-ar ncadra n aceast
categorie. Pe lng acestea, se regsesc metodele compuse, cum sunt
de exemplu, studiile de caz, care tind s se foloseasc de majoritatea
tehnicilor specifice menionate mai sus. n acest capitol al MANUALULUI,
se fac referiri la multe dintre aceste metode calitative, subiectul fiind
dezbtut mai pe larg n Cartea 2. Cu toate astea, logica de maxim
importan n alegerea metodelor nu este presupusa supremaie a unei
tehnici sau alta, ci conformitatea acesteia cu obiectivul ales - ceea ce
tehnicile pot realiza.
Metodele calitative de culegere i analiz a datelor prezint importan
pentru dezvoltarea socio-economic, deoarece:

Suntem interesai de procese subtile. Calitatea oportunitilor de


angajare, experiena discriminrii, nclinaia nspre inovare, eficacitatea
parteneriatelor toate acestea sunt fenomene subtile, calitative, care
trebuie surprinse prin metode la fel de rafinate.

Suntem interesai de contexte. Acest fapt presupune o multitudine de


factori diferii geografia, istoria, cultura, structurile economice,
grupurile sociale, aranjamentele instituionale, climatul, practicile n
ocuparea forei de munc, experienele din trecut referitoare la
dezvoltare, etc.- iar felul n care aceti factori interacioneaz n cadre
diferite ale dezvoltrii poate fi descris doar n termeni calitativi. n
aceeai ordine de idei, ntregul proces de dezvoltare trebuie ncadrat
n context, mai ales dac se urmrete nvarea unor lecii care s
devin transferabile.

De ce au
metodele
calitative un
cuvnt de spus
n evaluarea
dezvoltrii
Suntem interesai de raionamente. Acestea pot fi raionamentele
socioactorilor-cheie, a cror logic de intervenie i ale cror teorii de
economice
program se doresc a fi provocate/obinute de ctre evaluatori. Sau pot
fi raionamentele i experienele beneficiarilor vizai de procesul de
dezvoltare socio-economic.

Suntem interesai de nelegeri inductive (de la particular la general).


Acestea pot s includ ambiiile de dezvoltare ale actorilor beneficiari
(firme mici, autoriti municipale, asociaii profesionale) i de
ateptrile i experienele populaiei locale, ntr-un cadru local de
dezvoltare. Asemenea informaii inductive sunt dificil de integrat n
categorii deductive (de la general la particular), fiind necesare
cunotine extrem de variate i de natur calitativ.

Suntem interesai de explicarea tiparelor cauzale. Pentru a replica


experiene i a trage nvminte din procesul de dezvoltare, trebuie s

118

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


nelegem ceea ce se ntmpl n cutia neagr, s gndim dincolo de
resurse i realizri imediate. Dac procedm altfel, s-ar putea s tim
ceea ce funcioneaz, dar nu i cum funcioneaz. Pentru a se ajunge
la acest nivel de nelegere, este nevoie de analize detaliate, care sunt
adesea calitative.

Suntem interesai de impacturile asupra diferitor grupuri. Programele


au de multe ori impacturi distincte asupra diferitelor grupuri sau
diferiilor beneficiari vizai. mprirea populaiilor agregate n grupuri
adesea de dimensiuni destul de reduse, permite investigarea acestor
impacturi difereniate.

Suntem interesai de categoriile inovatoare. Dup cum s-a menionat


n Capitolul 2, dezvoltarea devine uneori incert deoarece ncearc s
fac ceva nou. Numai prin examinarea detaliilor specifice cu privire la
ceea ce se ntmpl ntr-un proces de dezvoltare evaluatorii vor putea
s identifice categorile pe care trebuie s-i concentreze analiza.
Chiar dac evaluarea folosete pn la urm metode cantitative, este
nevoie mai nti de un stadiu de explorare timpuriu, care s clarifice
categoriile relevante.

Obinerea i utilizarea datelor i a indiciilor


Dup cum am artat i n Capitolul 1 al MANUALULUI, evaluatorii au
multe puncte de vedere diferite, referitoare la natura indiciilor i la ceea ce
poate constitui un indiciu concludent. Cei care cred n relevana
observaiilor obiective (de ex. pozitivitii), vor avea o alt viziune asupra
datelor i dovezilor dect cei care sunt preocupai mai mult de modul n
care percepiile i teoria pot influena observaiile (de ex. constructivitii).
n acest MANUAL adoptm o abordare pragmatic. Ne-am asumat deja
preferina pentru un cadru de referin realist care acord importan
observaiilor, investigaiilor i msurtorilor empirice atunci cnd acestea
se justific, dar se concentreaz i asupra diferitelor contexte n care se
manifest. Totodat, ne-am asumat n anumite circumstane i importana
gndirii constructiviste mai ales n cazurile de excluziune social i
dezvoltare inductiv, atunci cnd trebuie s se acorde prioritate
experienei, intereselor i raionamentelor participanilor la program. Nu
am renunat ns n totalitate nici la unele idei care aparin gndirii i
cercetrii pozitiviste, cu accentul lor pe cercetarea sistematic i pe
interpretarea atent a dovezilor.
Oamenii de tiin prefer s foloseasc termenul date, ns deseori se
fac distincii ntre acestea, de exemplu: materia prim utilizat n
investigaii, i informaiile care trebuie procesate pentru a se dovedi
folositoare. Obinerea informaiilor este urmtorul pas ctre rafinarea lor
ntr-o form care s poat servi drept referin sau care s fie ndeajuns
de concludent pentru a fi luat n serios de ctre utilizatori precum cei
implicai n formularea politicilor publice i managerii de program.
n aceast parte a MANUALULUI se iau n discuie i diverse probleme
legate de indicii i date. Evaluatorii n mod special, folosesc tipuri foarte
diferite de date. Unele date sunt pre-existente evalurilor i provin din
surse administrative (de ex. registrele birourilor publice locale pentru
ocuparea forei de munc sau pentru ncasarea taxelor dintr-o anumit
zon). Un program, prin activitile sale de monitorizare, va genera i alte

119

Indiferent de
filosofia
adoptat,
trebuie
pstrat o
atitudine
pragmatic cu
privire la date

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


surse de date (calitatea sistemelor de monitorizare care in de
responsabilitatea managerilor de program, este ntr-adevr vital pentru
succesul unei evaluri). Totui, unele date trebuie s fie furnizate chiar de
ctre evaluatori, lundu-se msuri precum modificarea sistemelor de
monitorizare, intervievarea managerilor ntreprinderilor mici i mijlocii
locale sau analizarea coninutului articolelor din reviste de specialitate.
Calitatea multor evaluri ar putea fi mbuntit dac s-ar acorda mai
mult atenie utilizrii tuturor surselor de date aflate la dispoziie. Cu toate
acestea, cei care administreaz programe i formuleaz politici, trebuie s
fie contieni de obligaia lor de a pune la punct i de a face disponibile
surse de date care se pot dovedi utile pentru evaluatori. Acest lucru nu
trebuie amnat pn n momentul n care evaluarea este contractat.
Dup cum s-a sugerat i n Capitolul 2, elaborarea unor sisteme de date
de baz trebuie s fac parte din procesul de planificare al programelor, la
fel ca i evalurile.

Atenia
acordat
surselor de
date
mbuntete
calitatea
evalurilor

4.2 METODE I TEHNICI PENTRU EVALUAREA DIFERITELOR TIPURI


DE INTERVENII SOCIO-ECONOMICE
n capitolul 1 al MANUALULUI, au fost menionate cteva dintre
caracteristicile generale ale programelor de dezvoltare socio-economic,
precum i contextul politicii comunitare. La nivel european exist diferite
tipuri de intervenii socio-economice, care au implicaii n alegerea
metodelor i tehnicilor. Aceasta nu sugereaz c ar exista o corelaie
imediat i direct ntre fiecare tehnic i fiecare tip de intervenie n parte.
Nu n ultimul rnd, se ntlnesc frecvent anumite asocieri ntre metode i
tipuri de intervenii.
Printre tipurile cele mai cunoscute de intervenii se regsesc:
Interveniile tematice

Prioritile de sector sau de politic public

Dezvoltarea local i teritorial.

Evaluarea prioritilor tematice


Un anumit tip de intervenie, caracteristic dezvoltrii socio-economice i
des ntlnit n domeniul Fondurilor Structurale europene, este descris
ca o prioritate tematic. Acest lucru se ntmpl atunci cnd exist o
strategie cuprinztoare, care urmeaz s fie direcionat spre un set de
intervenii.
Evaluarea temelor presupune agregarea indiciilor rezultate n urma
multor intervenii specifice, pentru a nelege modurile n care sunt
urmrite prioritile strategice. Acest fapt poate s includ elaborarea unor
indicatori care urmeaz s fie aplicai anumitor conjuncturi. De cele mai
multe ori ns, este greu de gsit indicatori sugestivi care s se
potriveasc unor circumstane separate. Este posibil prin urmare, ca
asemenea evaluri tematice s caute msuri diferite n conjuncturi diferite
i apoi s analizeze calitativ rezultatele obinute pn n acel moment.
Analizele calitative referitoare la msura n care strategiile tematice sunt n
conformitate cu criteriile politice sunt i ele folositoare: se au n vedere,
spre exemplu anchetele asupra beneficiarilor, interviurile actorilor-cheie i
studiile de caz ale schimbrilor observate.
Exemple de asemenea prioriti tematice n cadrul actualei conjuncturi a

120

Simpla
adunare a
rezultatelor
tematice care
aparin mai
multor
programe, este
dificil

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


Fondurilor Structurale includ:

anse egale. Aceast prioritate este n general conceput n termeni


de anse egale pentru femei i brbai, dar ea este aplicat din ce n
ce mai mult i n alte domenii ale discriminrii sau inegalitii, cum sunt
cele care privesc persoanele cu dizabiliti sau alte grupuri minoritare,
inclusiv comunitile etnice i refugiaii. Metodele potrivite unei
asemenea arii tematice sunt de regul diferite la nivel macro i micro.
S considerm, de exemplu circumstanele de angajare a femeilor. La
un nivel macro, se vor fi utiliza n mod normal tehnici cantitative,
pentru a ilustra progresul nregistrat de femei pe piaa muncii, cum ar
fi, n termeni de participare (procentele femeilor active pe piaa
muncii), nivelul salariilor, nivelul omajului, etc. Asemenea metode pot
include anchete potale, analiza datelor administrative din registrele
birourilor de ocupare a forei de munc i re-analiza anchetelor asupra
angajatorilor privind ratele salariale, atunci cnd ele sunt disponibile.
Anumite aspecte ale experienei pieei muncii vor trebui totui
abordate n termeni calitativi. De exemplu, atunci cnd sunt luate n
calcul condiiile de munc, interviurile cu oamenii angajai metodele
calitative reprezint o completare necesar a altor metode de
anchetare mai agregate. La nivel micro, analiza experienei
persoanelor discriminate pe piaa muncii sau a msurii n care viaa
profesional i cea de familie sunt (sau nu) n echilibru, va presupune
metode calitative, cum sunt interviurile, studiile de caz, focus-grupurile, etc. Aceasta este singura modalitate prin care pot fi descrise n
mod adecvat prerile celor care au fost victime ale discriminrii

ntrirea capacitii administrative i teritoriaIe. Dup cum s-a precizat


n Capitolul 3 al MANUALULUI, capacitatea instituional i
administrativ reprezint un aspect important, nu numai pentru
capacitatea de evaluare, ci i pentru felul n care sectorul public i
statul rspund noilor cerine de responsabilizare i transparen. n
cadrul dezvoltrii socio-economice, am artat deja c parteneriatele
reprezint o caracteristic general a modalitii de derulare a unui
program. Prin urmare, o alt prioritate tematic este evaluarea
modului de adaptare a instituiilor i administraiilor i a eficacitii
aranjamentelor parteneriale. Cu toate c rezultatele diverselor instituii
i administraii pot fi monitorizate prin indicatori de performan i
eficien, acestea sunt sugestive numai dac sunt contextualizate n
descrieri detaliate ale cadrului organizaional. Acest lucru presupune
utilizarea metodelor descriptive de teren cum sunt studiile de caz,
tehnicile observaionale, interviuri, analize documentare (precum
analiza proceselor verbale ale edinelor sau a organigramelor).

Dezvoltarea durabil Aceast prioritate este comun unei teme care


se regsete practic n orice domeniu de politic public, vizeaz muli
factori aflai n interaciune i impune prin urmare, utilizarea unor
multiple metode i tehnici n orice evaluare. Se poate s fie avute n
vedere i tehnici economice, cum ar fi analiza cost-beneficiu, modelul
alocrii resurselor i consecinele acestora. Ultima evaluare tematic a
dezvoltrii durabile i a Fondurilor Structurale a folosit un numr mare
de studii de caz pentru a testa modelul Four Capitals al dezvoltrii
durabile i pentru a investiga implicaiile pe care le are acesta ca
tehnic de analiz i planificare. O rspundere important este
atribuit deciziei de expert a evaluatorilor care au o pregtire

121

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


corespunztoare n domeniul dezvoltrii durabile, precum i
competene de evaluare adecvate. Dat fiind faptul c n dezvoltarea
durabil accentul este pus pe consecinele care vor afecta generaiile
viitoare, utilizarea unor metodele prospective, aa cum este metoda
Delphi (o tehnic prin care experii sunt consultai cu privire la modul
lor de abordare a problemei) sau metoda Foresight, este cu precdere
indicat. Mai nainte am identificat categoria prospectiv ca fiind o
clas sau o modalitate de investigaie important n studiile de
cercetare i evaluare. Dezvoltarea durabil este un bun exemplu de
domeniu n care acest tip de cercetare este relevant. Cu toate
acestea, scopul absolut a ceea ce poate s cuprind dezvoltarea
durabil, ridic probleme deja cunoscute de agregare i sintez. Cum
se poate identifica un compozit sau indicator descriptiv care s rezume
ceea ce a fost deja obinut ca urmare a mai multor intervenii diferite?
Aceasta este o dilem des ntlnit i n alte arii tematice mai vaste.

Promovarea includerii sociale. Dup cum am menionat n Capitolul 1


al acestui MANUAL, reducerea disparitilor din cadrul UE a devenit o
tem intens abordat de politic european. Acest aspect a fost
consolidat n urma Summit-ului de la Lisabona, fiind sugestiv
exemplificat n Strategia European pentru Ocuparea Forei de Munc,
strategie care se axeaz pe includerea social i pe o mai mare
coeziune social. Pentru msurarea i controlul coeziunii sociale, se
utilizeaz n mod curent game largi de metode, precum stabilirea
obiectivelor, i tehnici specifice, precum indicatorii. Acestea sunt
utilizate n Planurile Naionale de Aciune privind Includerea Social i
n rapoartele asociate, pe care statele membre le pregtesc ncepnd
cu 2001. i aceste documente cuprind metode calitative i
participative. Dup cum am precizat i atunci cnd ne-am referit la
cazul anselor egale, opiniile beneficiarilor vizai de interveniile menite
s previn excluderea social, reprezint elementul cheie n obinerea
succesului. Interviurile, anchetele, focus-grupurile, studiile de caz i
tehnicile de observaie, sunt toate relevante la acest nivel micro.

Societatea informaional. Dup Summit-ul de la Lisabona, urmat de


Summit-ul de la Stockholm, dezvoltarea unei societi informaionale i
a unei economii bazat pe cunoatere, ncepe s fie privit ca o
problem fundamental, n ceea ce privete att competitivitatea
european, ct i coeziunea social. Prin urmare, aceast tem este
urmrit n prezent n multe aspecte ale dezvoltrii socio-economice n
Europa. n domeniile n care se pune n discuie competiia european,
o practic des ntlnit este compararea cu alte zone ale lumii, n
special America de Nord i Japonia. Acolo unde sunt planificate
anumite intervenii, asemenea celor incluse n iniiativele eEuropa, se
folosesc n mod curent metode explicative care ncearc s ilustreze
efectele de dinainte i de dup manifestarea interveniei. Cu toate
acestea, aria de cuprindere a interveniilor n domeniul societii
informaionale este extrem de extins. Ea include intervenii la nivel de
infrastructur, educaie, telemedicin i acces la tehnologie pentru
grupurile dezavantajate. Acest aspect nu ridic prin urmare nicio
problem atipic de agregare i sintez. Provocarea n acest caz, ca
dealtfel i n alte arii tematice, este gsirea unor modaliti de adunare
a mai multor intervenii pentru a oferi informaii referitoare la ceea ce sa realizat. Indicatorii compozii vin n ntmpinarea acestei provocri,
dei ei sunt adesea criticai c realizeaz comparaii asimetrice

122

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


(adun mere cu pere). n mod alternativ, evaluatorii pot segmenta
tema n arii specifice de intervenie, urmnd s msoare ceea ce s-a
realizat n segmentele respective i s ofere o apreciere calitativ
asupra progresului de ansamblu nregistrat.
Prioritile sectoriale i de politic public
S-a precizat n Capitolul 1 al acestui MANUAL c anumite abordri ale
evalurii tind s fie asociate cu anumite domenii de politic public. Acest
lucru se aplic n mod egal i alegerii metodelor i tehnicilor. Din multe
puncte de vedere, aceast asociere deriv din natura domeniului politic
vizat. n agricultur, n UE, evaluarea impacturilor regimurilor de subvenii
asupra produciei ar constitui o abordare tipic, ce nu va fi ntlnit atunci
cnd se evalueaz interveniile asupra resurselor umane. n acest ultim
caz, sunt relevante metodele de msurare a acumulrii de capital uman i
impacturile asupra pieei muncii. Pn la un punct, anumite metode i
tehnici sunt corect asociate unor domenii politice specifice. De exemplu:

Evaluarea interveniilor n domeniul transporturilor poate s ia n


considerare investiiile n infrastructur pentru care analiza cost
beneficiu i alte tehnici care modeleaz sau descriu efectele diferitor
alocri de resurse, se dovedesc a fi convenabile. Utilizarea sistemelor
de transport poate fi cel mai bine acoperit prin analiza registrelor
administrative pstrate de ctre autoritile de transport sau de ctre
ali prestatori de astfel de servicii. Satisfacia resimit de cltori, pe
de alt parte, poate fi captat mai degrab prin anchete asupra unor
eantioane de utilizatori ai acestui serviciu.

Evaluarea justiiei penale i a interveniilor referitoare la drepturile


omului (dup cum s-a prevzut n diverse politici aflate pe agenda
Comisiei post-Tampere, intitulat sugestiv Dreptate, libertate i
siguran) va tinde s urmreasc schimbrile n efectele produse dea lungul timpului (de ex. n fenomene precum migraia i n problema
refugiailor) analiznd date adiministrative i desfurnd anchete
asupra cetenilor din UE, dar i din ri tere (de ex. asupra victimelor
poteniale a traficului de fiine umane).

Evaluarea politicilor din domeniul pieei active a muncii i a


interveniilor n educaie i formare, se folosete de anchete asupra
beneficiarilor i de studii de tip panel care por urmri att impacturile
pe termen lung ct i cele pe termen scurt ale programelor. Evalurile
ce in de aceste domenii de politic public utilizeaz frecvent i
metode experimentale.

Evaluarea interveniilor privind administrarea mediului nconjurtor i a


energiei - i aici este posibil utilizarea analizelor cost-beneficiu, mai
ales n faza efecturii investiiilor. n acest domeniu se regsesc din
nou acele conflicte ntre prioriti diferite, care trebuie ns echilibrate,
cum ar fi de exemplu beneficiile asupra mediului nconjurtor fa de
cele asupra ocuprii forei de munc. Descrierea i msurarea unor
asemenea echilibre ntre dou prioriti opuse, s-ar realiza n mod
normal prin intermediul a ceea ce numim analiza impacturilor asupra
mediului nconjurtor. Deoarece multe aspecte ale politicii mediului
nconjurtor prezint o puternic dimensiune internaional (obiectivele

123

Metodele de
evaluare
trebuie s
corespund
domeniilor de
politic public
evaluate

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


Naiunilor Unite i cele de la Kyoto), o practic des ntlnit este
realizarea de comparaii cu aceste standarde internaionale care sunt
luate ca reper.
n Cartea 1 este descris o gam mai larg de prioriti i teme de politic
public, lundu-se n considerare cele mai des utilizate tipuri de date, de
indicatori i de metode de evaluare. Nu n ultimul rnd, este necesar
repetarea recomandrii formulat n Capitolul 1 al acestui MANUAL.
Evaluatorii care activeaz intens n arii specifice ale politicii publice cum ar
fi - mediu nconjurtor, resurse umane, tiin i tehnologie, justiie i
criminalitate au tendina de a deveni fideli numai anumitor metode i
tehnici. Acest lucru se poate ntmpla din motive ntemeiate, ca atunci
cnd acest ataament deriv din natura coninutului politicii respective.
Chiar i aa, motivul pentru care se ajunge n aceast situaie deriv din
faptul c evaluatorii lucreaz exclusiv ntr-un domeniu al politicii publice,
alturi de ali civa colegi care activeaz n acelai domeniu, avnd
tendina de a se izola de comunitatea mai mare de evaluatori i de a
ignora seturi de metode care le-ar putea fi de folos, dar care nu le sunt
familiare.

Este important
ca evaluatorii
s nu se
limiteze la
metodele
folosite ntr-un
singur
domeniu de
politic public

Dezvoltarea local i teritorial


Dezvoltarea socio-economic a avut dintotdeauna o accentuat
dimensiune teritorial. De-a lungul ultimilor ani, dezvoltarea economic
(influenat, dup cum am vzut n Capitolul 1 al acestui MANUAL, de
teoriile Noii Geografii Economice), a fost considerat un factor din ce n ce
mai important n realizarea potenialului socio-economic.
Metodele econometrice de regul nu se folosesc n evaluarea dezvoltrii
socio-economice, datorit mai ales faptului c interveniile i programele
tind s utilizeze o proporie relativ sczut de resurse nete, majoritatea
resurselor fiind de alt natur (pli prin transfer, alte programe, etc)
Modelele econometrice se folosesc atunci cnd programele acoper un
teritoriu ntreg i numai n cazul n care sunt ndeplinite urmtoarele
criterii:

Tehnicile
econometrice
fondurile cheltuite n cadrul de lucru al programului sunt semnificative
se aplic
n raport cu economia teritoriului avut n vedere;
atunci cnd au
loc intervenii
teritoriul trebuie s fie ndeajuns de mare (o ar sau o regiune ntins)
de anvergur
sau de nchis (o insul) pentru ca funcionarea economiei sale s fie
considerat izolat.

Odat ndeplinite aceste condiii, echipa de evaluare se poate folosi de o


serie de tehnici mprumutate din domeniul economiei regionale sau din
macroeconomie. Acestea includ:

Analiza shift and share - care presupune proiectarea tendinelor


economiei naionale asupra economiei unei regiuni. Aceast tehnic
se utilizeaz n estimarea unei situaii n absena politicii. Prin
compararea aceleai situaii dar n prezena politicii, se poate evalua
impactul global al programului.

Modelul input-output i alte modele econometrice - care se aplic

124

Analiza Shiftshare i
modelul input
output pot fi
aplicate

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


pentru a simula dezvoltarea economic a unei regiuni. Aceste tehnici
sunt n general premergtoare unor dou tipuri de supoziii (cu sau
fr program) i pot furniza o estimare general a impacturilor
macroeconomice probabile.
Atunci cnd evaluarea vizeaz intervenii cu o arie de cuprindere mai bine
definit, se poate elabora o analiz n profunzime a legturilor cauzale
ntre intervenie i efectele sale. n acest context se pot aplica mai multe
tehnici:

Analiza de varian, analiza factorial i cea de tip cluster se aplic


pentru reliefarea asemnrilor i deosebirilor din cadrul unui eantion
de observaii, pentru a crea tipologii, i pentru a identifica factori
exogeni asociai producerii impacturilor.

Ancheta Delphi a fost conceput pentru estimarea


este potrivit evalurilor ex-ante care se bazeaz pe
Aceast tehnic mobilizeaz i analizeaz date
interveniilor venite din partea experilor. Ea
asemntoare panelului de experi, o tehnic ce
asemenea la analiza datelor.

impacturilor. Ea
date secundare.
prin intermediul
Interveniile cu
este, aadar,
un coninut
se preteaz de
bine definit se
pot folosi de
tehnici de
Grupurile comparative sunt utilizate n estimarea efectelor nete, prin
analiz
evidenierea diferenei dintre un grup de beneficiari i un grup de
cantitativ
nonbeneficiari.

Analiza regresiilor se aplic pentru a se estima efectele nete i pentru


a se determina dac legturile cauzale dintre intervenie i efectele
sale sunt semnificative din punct de vedere statistic.

Studiile de caz, interviurile de grup i observaia participativ sunt


tehnici pentru observaie, dar ele pot fi folosite n mod flexibil n analiza
de coninut i n compararea i analiza datelor. Astfel, efectele (care
sunt ordonate, de la cele minime la cele maxime) pot fi estimate prin
intermediul unor studii de caz elaborate asupra unei selecii de
intervenii de la nivel de proiect.

Deoarece dezvoltarea local deriv din potenialul, capacitatea i din


nevoile locale, evaluarea sa se preteaz n special la metodele
participative care solicit prioritile, atitudinile i comportamentele
actorilorcheie i cetenilor locali. n aceste contexte ale dezvoltrii
locale, implicarea activ n evaluare a actorilor-cheie locali inclusiv n
evalurile participative, n auto-evaluri i n evaluri prin mputernicire
se dovedete cea mai util. Aceste abordri sunt ndeaproape aliniate
strategiilor de dezvoltare comunitare, ele nsele fiind uneori angajate n
contexte ale dezvoltrii locale. Bineneles, analiza situaiei socioeconomice de baz va fi supus seriei uzuale de analize economice i
statistice. n plus, comparaiile ntre zone, care sunt uneori preferate (de
ex. raportarea la bune practici), impun utilizarea de standarde i
msurtori cunoscute pentru a analiza rezultatele i efectele.
Dezvoltarea local n special, este de multe ori neleas ca un proces
care, de-a lungul timpului, trece prin mai multe stadii, i n care urmrile
fiecrui stadiu afecteaz stadiile urmtoare. Din acest motiv, metodele de

125

Metodele
participative
corespund
caracterului
inductiv al
programelor
de dezvoltare
local

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


evaluare bazate pe proces, care urmresc dezvoltarea de-a lungul
timpului, sunt cu precdere folositoare. Aceste metode pot, de exemplu,
s includ: urmrirea n timp a incidentelor critice, ncurajarea rezidenilor
locali s in jurnale, crearea unor studii panel (anchete longitudinale
asupra acelorai respondeni) care sunt re-convocate n faze diferite ale
procesului de dezvoltare i ale recenziilor de evaluare ntocmite de actoriicheie (v. Evaluarea Local, Studii de Caz, Abordri Participative).
Una dintre caracteristicile dezvoltrii locale i teritoriale este reprezentat
de importana acordat interaciunii dintre mai muli factori diferii, care
contribuie la procesul de dezvoltare sau, dimpotriv, sunt responsabili
pentru subdezvoltare. Din aceste motive, evalurile dezvoltrii locale i
teritoriale trebuie s includ metode care identific, descriu i msoar
interaciunile ntre diferitele intervenii i contribuiile relative ale acestora,
precum i sinergiile ce iau natere ca urmare a interveniilor. Dei acest
lucru poate fi obinut prin utilizarea indicatorilor, este necesar i o
elaborare a modelelor care s descrie relaia dintre diferii factori i diferite
intervenii.
4.3 METODE I TEHNICI PENTRU DIFERITE SCOPURI ALE
EVALURII
Un alt set de consideraii care trebuie s furnizeze informaii n procesul
alegerii metodelor i tehnicilor, sunt scopurile diferite ale evalurii, care au
fost deja identificate n Capitolul 1 al acestui MANUAL. Scopurile sunt:

Planificarea/eficiena furnizeaz o justificare pentru politic/program


i indic dac resursele sunt angajate eficient

Responsabilizarea demonstreaz gradul de atingere a obiectivelor


unui program i ct de bine s-au utilizat resursele.

Implementarea se refer la mbuntirea performanei programelor


i a eficacitii modului n care acestea se deruleaz i sunt
administrate.

Producerea de cunoatere se refer la mbuntirea nelegerii a


ceea ce funcioneaz i n ce circumstane, precum i a modului n
care msuri i intervenii diferite pot deveni mai eficace.

Consolidarea instituional i a reelelor se refer la mbuntirea i


dezvoltarea capacitii n rndul participanilor la program, a reelelor i
a instituiilor utilizate de acetia.

Pn la un anumit punct, acestor scopuri distincte le pot fi asociate


metode i tehnici specifice. De exemplu:
Cu privire la planificare i eficien, metodele au n vedere n primul rnd
alocarea resurselor i eficiena economic. Forme variate ale analizei
impacturilor se vor dovedi corespunztoare n acest caz, la fel ca i
diferite forme ale analizei cost-beneficiu. n termeni mai generali de
management, tehnicile bazate pe obiectiv, cum sunt cele caracteristice
abordrilor tip matrice logic, vor fi de asemenea utilizate. Un set de
metode i tehnici din aceast categorie sunt descrise n Cartea 2. Printre
acestea se numr, de exemplu, analiza input-output i analiza de

126

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


eficien.
Cu privire la responsabilizare, metodele presupun n primul rnd
aprecierea performanei n funcie de un standard sau un obiectiv i
aplicarea criteriilor relevante n obinerea succesului i a performanei. n
forma cea mai direct, ele sunt asemntoare cu activitatea desfurat
n mod obinuit de auditori. Comparaiile cu standardele stabilite pot fi
realizate n mai multe feluri. Spre exemplu, indicatorii pot fi ntrebuinai
pentru a compara rezultatele reale cu ateptrile. Comparaiile pot fi
fcute i cu exemple externe, prin raportare la bune practici. Acolo unde
comparaiile externe se dovedesc dificile, cum este deseori cazul n
lumea dependent de context a dezvoltrii socio-economice, comparaiile
pot fi fcute dup modelul nainte i dup, artnd schimbrile aprute n
timp. n general, evalurile care se refer n linii mari la responsabilizare,
vor avea tendina s pun accentul pe msuri financiare i monetare i pe
tehnici cantitative. Cu toate acestea, nu se ntmpl ntotdeauna la fel, din
simplul motiv c cei implicai n formularea politicilor publice consider c
le este mai de ajutor s dein materiale ilustrative i descrieri calitative
ale efectelor dezvoltrii, pentru a sprijini descrieri mai abstracte n termeni
de finane sau de bani n sine.
Cu privire la implementare, metodele tipice vor ncerca s descrie procese
i efecte provizorii, cu scopul de a oferi feed-back-ul necesar celor
responsabili cu implementarea programelor. Multe din aceste metode i
tehnici au la baz informaii din mediul organizaional sau al studiilor
politice. Se pot face comparaii ntre performanele nregistrate de diferite
uniti administrative, spre exemplu, progresul nregistrat de diferite
regiuni sau municipaliti este mai mare, sau mai mic? Studiile de caz ale
aranjamentelor organizaionale i parteneriale vor servi la nelegerea
punctelor tari i a punctelor slabe aferente diverselor abordri de
implementare. De multe ori, aceste tipuri de metode vor implica aanumitele metode i tehnici de evaluare formative. Acestea vor plasa o
rspundere particular asupra evaluatorilor, care vor trebui s ofere feedback n aa fel nct el s fie folositor i s ajute managerii de program s
transforme concluziile i recomandrile rezultate din evaluare n aciuni
concrete.
Cu privire la producerea de cunoatere, metodele vor fi foarte apropiate
celor utilizate de cercettori. Ele vor presupune rigoare, reprezentativitate
i atenta interpretare a constatrilor, mai ales acolo unde acestea ar putea
fi inconsistente. De regul, n scopul furnizrii de cunoatere, evaluatorii
vor dori s rspund la ntrebarea: ce d rezultate? Dintr-o perspectiv
pozitivist, acesta ar fi un domeniu n care metodele experimentale pot fi
considerate relevante. n ciuda acestui fapt, natura divers i inductiv a
interveniilor socio-economice, modul n care acestea sunt combinate n
configuraii specifice sau diferitele teritorii i contexte n care au loc
programele, face dificil aplicarea experimentelor uzuale, cu excepia unor
circumstane neobinuite. Din acest motiv, gndirea realist, cu accentul
su pe influena contextului asupra efectelor, a devenit mai des ntlnit n
aceste evaluri. Se ridic aici o ntrebare mai complex: ce d rezultate,
pentru cine, cum i n ce circumstane? Metodele i tehnicile
corespunztoare vor include n general comparaia ntre diferite cazuri
selectate spre a demonstra intervenii i contexte alternative. Asemenea
comparaii pot avea la baz studii de caz, baze de date care structureaz
configuraii de tip intervenie/ efect/ context, sau alte tehnici care au

127

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


capacitatea de a surprinde i de a descrie aceste aspecte variate ale
dezvoltrii socio-economice.
n cadrul comunitii de evaluare, este n mare msur acceptat faptul c
obinerea cunoaterii concludente este rareori urmarea unei singure
evaluri. Din acest motiv, exist un interes crescut pentru realizarea unor
studii de sintez i a unor tipuri variate de meta-analize care s pun s
fac o legtur ntre constatrile tuturor evalurilor aflate la dispoziie. Pe
msur ce producerea de cunoatere a cptat o importan sporit n
angajamentul celor implicai n formularea politicilor publice de a elabora
politici bazate pe evidene, s-a rspndit utilizarea unor tipuri variate de
meta-analize. Aceast form de analiz devine mai puternic dac, n
momentul proiectrii evalurii care urmeaz s fie cuprins n metaanaliz, se stabilesc anumite structuri comune i se extrag cteva date
standard din toate cazurile.
Cu privire la consolidarea instituional i a reelelor, se recunoate acum
n mare msur c evalurile nu sunt realizate pentru a rspunde exclusiv
nevoilor managerilor de program sau ale finaatorilor, ele trebuie s fie
recunoscute i de un grup numeros de actori-cheie. n plus, desfurarea
eficace a programelor depinde de multe ori de capacitile instituiilor i
organizaiilor din care provin aceti actori-cheie, precum i de reelele mai
vaste ale societii civile. Foarte frecvent, metodele care ar putea
corespunde acestor contexte sunt cele participative: concentrarea pe
colaborarea strns ntre evaluatori i instituiile i reelele implicate.
Aceste abordri participative vor fi importante nu doar n formularea
ntrebrilor evalurii, ci i n generarea datelor i n utilizarea acestor
rezultate ale evalurilor. De exemplu, ntr-o comunitate n care exist
multe interese i probabil o lips a viziunilor mprtite, este posibil ca
evaluatorii s fie obligai s lucreze cu reprezentanii comunitii pentru a
se ajunge la un consens, dac rezultatele evalurii urmeaz s fie folosite.
Abordrile privind consolidarea instituional i a reelelor pot fi realizate
ntr-un mod mult mai direct. De exemplu, se pot ntreprinde studii
referitoare la capacitatea administrativ a organizaiilor partenere, cu
scopul de a le sprijini n adoptarea unor procese de management i
sisteme de informaii mai adecvate.
4.4 METODE I TEHNICI APLICABILE N DIFERITE STADII ALE
PROGRAMELOR/POLITICILOR
Importana ciclului temporal al programelor i politicilor, a reprezentat una
din temele dezbtute n acest MANUAL. n cadrul Fondurilor structurale
europene, tema aceasta este materializat n evalurile ex-ante,
intermediare i ex-post. n afar de aceste categorii specifice, stadiile
fundamentale ale unui program, ncepnd cu formularea politicii i
proiectarea programului, i pn la implementare i generarea concluziilor
i a rezultatelor, impun anumite cerine pentru realizarea unor evaluri.
n faza de formulare, se pune accent pe identificarea nevoilor i pe
clarificarea obiectivelor.
n faza de proiectare, se urmrete identificarea interveniilor
corespunztoare i a aranjamentelor organizaionale de management
capabile de a le duce la bun sfrit.
n faza de implementare, accentul va fi pus pe procesele de feed-back, pe

128

Cunotinele
de ncredere
provin din
acumularea
realizat de-a
lungul
evalurilor
individuale

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


efectele intermediare i pe oferirea feed-back-ului astfel nct s sprijine
procesului de nvare.
n faza de generarea a concluziilor i a rezultatelor, se pune accent pe
efectele i impacturile asupra beneficiarilor vizai sau a teritoriilor avute n
vedere, n raport cu inteniile (spre exemplu, cele derivate din obiective)
precum i cu consecinele neintenionate.
Formularea: identificarea nevoilor i a prioritilor
Dezvoltarea socio-economic pornete n general de la dou perspective
o perspectiv pozitiv legat de potenialul de dezvoltare i una
negativ, referitoare la nevoile i problemele ce urmeaz s fie abordate.
Metodele vor trebui s descrie circumstane de baz, probabil n
comparaie cu circumstanele existente n alte domenii eligibile pentru
dezvoltare. Va fi necesar aplicarea unor tehnici precum raportarea la un
model de practic, analiza datelor administrative legate de nivelurile
veniturilor, calificri, participarea pe piaa muncii i caracteristicile pieei
(cum ar fi, proporia activitii economice care are ca obiect realizarea de
exporturi n afara regiunii). Analizele economice ale profilului teritoriului
sau regiunii se pot dovedi folositoare nu doar n identificarea decalajelor
existente ntre anumite activiti. Ele pot fi folosite i n identificarea
zonelor unde exist potenial pentru desfurarea de noi activiti, mai
ales atunci cnd baza de comparaie este un teritoriu sau o regiune care
are cteva trsturi similare cu locul n care este planificat dezvoltarea.
Modele statistice i macroeconomice mai sofisticate vor realiza i ele
comparaii cu diferite contexte comparabile (teritorii, sectoare similare din
alte ri), care vor putea fi utilizate n scopuri explicative n stadii mai trzii
ale dezvoltrii.
Dat fiind importana actorilor-cheie n planificarea i derularea
programelor de dezvoltare socio-economic, metodele care pot implica
actorii-cheie nc de la un stadiu timpuriu, vor fi binevenite. Acestea pot
varia de la metodele consultative i participative focus-grup-uri, sondaje
de opinie locale, ntlniri publice etc. pn la tehnici mai formale precum
analiza SWOT, ntreprins cu grupuri diferite de actori-cheie pentru a le
stimula nelegerea a ceea ce poate fi schimbat i care sunt avantajele.
Cu toate c mare parte din coninutul procesului de stabilire a prioritilor
va proveni din sistemul politic, exist i metode care pot fi ntrebuinate
pentru aprofundarea nelegerii a ceea ce trebuie luat n calcul, cum sunt,
de exemplu, trasarea problemelor sau a conceptelor, eventual realizarea
unei diagrame conceptuale care pot constitui o baz pentru identificarea,
gruparea i ordonarea interveniilor posibile n funcie de prioriti.
Modelarea: intervenii i organizare
n general, formularea politicilor i a programelor face necesar
identificarea circumstanelor iniiale a scopurilor i a obiectivelor urmrite.
Cu toate acestea, nu sunt specificate legturile din lanul care leag
circumstanele actuale cu situaia viitoare dorit. Acest lucru se ntmpl
la nivelul de proiectare. Elaborarea unor teorii de program sau a unor
modelelor logice aferente programelor socio-economice, care s arate
lanurile de implementri asociate interveniilor specifice, este o modalitate

129

Metode
economice,
statistice,
calitative i
participative

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


folositoare de a conecta circumstanele de la care se pornete cu
obiectivele pe termen mai lung. Utilizarea unor astfel de modele poate fi
suplimentat prin alte tehnici, cum ar fi analiza evaluabililitii, tehnici care
merg dincolo de matricele logice, implicnd activ managerii de program i
pe cei care formuleaz politici publice ntr-o analiz a fezabilitii
obiectivelor proiectate.
Rolul jucat de muli actori-cheie inclusiv de cetenii locali n
desfurarea programelor de dezvoltare socio-economic, trebuie din nou
contientizat. Din aceast cauz se obinuiete combinarea procesului de
proiectare a programului cu aplicarea de metode participative, care pot i
ele s contribuie la modelarea unor faze ulterioare n cadrul unei evaluri.
O abordare posibil este implicarea activ a unor grupuri de actoricheie,
acetia urmnd s formuleze propriile lor teorii cu privire la program i nu
s se bazeze pe ceea ce au ntreprins cei implicai n elaborarea politicilor
publice. Unele forme de elaborare a teoriilor, cum este abordarea
cunoscut sub numele de teoria schimbrii, sunt menite s fie
participative i s stimuleze nelegerile i teoriile implicite ale actorilorcheie n calitate de persoane active, i nu de simpli primitori ai resurselor
programului.
Tehnicile de evaluare trebuie s fie aplicate mai degrab la nivel
programatic, dect ca intervenii individuale. De exemplu, tehnicile de
analiz a proiectului, inclusiv analiza cost-beneficiu, pot fi utilizate pentru a
oferi informaii folositoare n efectuarea alegerilor dintre diferite intervenii
care urmresc ndeplinirea aceluiai obiectiv. Se poate dovedi eficace i
analiza echilibrului dintre diferite msuri i intervenii aflate n contradicie.
De exemplu, capacitatea profesional mbuntit a managerilor i poate
determina s prseasc respectiva zon i nu s se ncadreze ntr-un loc
de munc pe plan local, fiind astfel subminat obiectivul de dezvoltare a
resurselor umane pentru ntreprinderile mici i mijlocii locale.
n acest stadiu se pot realiza i studii de sintez a mecanismului de
implementare anterior. Spre exemplu, se cunosc mecanisme
organizaionale i administrative adecvate rezultate din intervenii
anterioare? Care sunt cele mai eficace structuri ale procesului de luare a
deciziilor i ale parteneriatului? Cele mai bune rspunsuri la acest tip de
ntrebri sunt date de cele mai multe ori de studii de caz comparative i de
recenzii ale evalurilor existente.
Implementarea: feed-back i efecte intermediare
De-a lungul implementrii unui program, exist nevoia de feed-back,
pentru ca managerii s poat identifica problemele i s ia msuri pentru
remedierea lor. Sistemele de monitorizare vor oferi o mare parte din acest
feed-back. Chiar i aa, sistemele de monitorizare n sine pot ajuta la
identificarea domeniilor problematice, care necesit o investigaie mai
atent. De exemplu, dificulti n nceperea anumitor proiecte i, de aici,
sub-utilizarea bugetelor, sau retragerea sprijinului oferit pn n acel
moment de un grup important de actori-cheie, pot aduce o justificare
pentru aceste tipuri de activiti de evaluare.
Atunci cnd inovaia planificat este n mod special experimental sau
inovativ, o urmrire mai n detaliu a procesului de implementare este pe
deplin justificat. Asemenea activiti de evaluare formativ pot s

130

Evalurile
formative pot
urmri
programele
inovative de-a
lungul timpului

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


presupun utilizarea unor tehnici precum observaia participativ, care va
trebui s fie consolidat de un feed-back sistematic. La acest stadiu al
procesului, feed-back-ul poate fi binevenit, dar poate fi i destul de
incomod. Pentru ca acest feed-back s fie gestionat ntr-o manier
constructiv, sunt necesare diverse tipuri de capaciti de comunicare i
consultare. Acest tip de evaluare poate pretinde diferite capaciti din
partea managerilor de program; spre exemplu, este posibil s fie necesar
ca ei s realizeze auto-evaluri, ca etap a ntregului proces de evaluare.
Sistemele de monitorizare vor urmri i efectele imediate. Presupunnd
c matricele logice i teoriile programului au fost temeinic formulate nc
din faza de proiectare, trebuie s existe i modele care s descrie
evenimentele importante avute n vedere n diferite stadii. n acest proces
de urmrire se pot utiliza indicatori.
Concluzii/ rezultate: efecte i impacturi
Cei implicai n formularea politicilor publice - din motive de
responsabilizare, precum i actorii-cheie - ghidai de propriile nevoi i
interese, vd n evaluare o surs de informaii privind efectele i
impacturile produse n finalul ciclului de program. Metodele de evaluare
vor ncerca s compare ceea ce a s-a obinut cu ceea ce s-a urmrit de la
bun nceput, i situaiile finale cu cele iniiale. O gam variat de metode
include:

anchetele asupra beneficiarilor vizai,


modele econometrice sau statistice care demonstreaz schimbrile
intervenite n performana economic n comparaie cu rezultatele
anticipate (probabil prin compararea tendinelor dintr-un context al
dezvoltrii cu cele din alte contexte i prin aplicarea unor modele
concepute la nceputul ciclului de dezvoltare), i
indicatori ce au la baz date contextuale sau administrative, puse la
dispoziie de ctre autoritile publice.

Mai ales n programele de dezvoltare local, dimensiunea participativ va


reprezenta o parte important a metodelor de evaluare. Aceast stare de
fapt nu folosete doar la a face remarcate opiniile beneficiarilor, ci i la
includerea opiniilor reprezentanilor grupurilor locale, cetenilor,
asociaiilor cu caracter comercial etc., care pot avea propriile preri
referitoare la succesul programelor. n cele din urm, aprecierile lor, alturi
de metodele de auto-evaluare, sunt cele care conteaz, dat fiind
orientarea inductiv, de la particular la general, a acestor programe, i nu
raionamentele bazate pe criterii mai abstracte ale evaluatorilor sau ale
celor implicai n elaborarea politicilor publice.
4.5 METODE I TEHNICI APLICABILE DIFERITELOR STADII ALE
PROCESULUI DE EVALUARE
Evalurile se desfoar de-a lungul mai multor stadii. Acestea de regul
includ:

Focalizarea i structurarea activitii de evaluare


Obinerea i analizarea informaiilor
Furnizarea de informaii necesare efecturii unor judeci evaluative
Comunicarea constatrilor evalurii.

131

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV

Cartea 2 prezint metodele i tehnicile aferente acestor categorii.


Focalizarea i structurarea
n stadiul incipient al unei evaluri apare nevoia de stabilire a coninutului
i de structurare a activitii. Analizele evaluabilitii realizate la acest
stadiu pot, de exemplu, s ajute la structurarea sau definirea n continuare
a ntrebrilor evalurii i la identificarea datelor necesare pentru a
rspunde la aceste ntrebri. Din moment ce o mare parte a evalurii
depinde de criterii, procesul de clarificare al acestora are loc de asemenea
n faza de structurare. Care va fi, de exemplu, un criteriu acceptabil n
reducerea excluziunii sociale, sau care este nivelul de cretere al cotei de
pia dorit de firmele locale, a cror competitivitate trebuie s sporeasc?
Este posibil ca n acest stadiu al evalurii s se stabileasc sistemele de
indicatori (acest fapt este detaliat mai jos). Cu toate astea, procesul
focalizrii indicatorilor relevani va identifica i tipurile de date i dovezi
disponibile. Tipurile de metode i tehnici aplicabile n acest stadiu provin
mai mult din procesul de planificare a proiectului dect din evaluarea n
sine. Exist ns anumite metode i tehnici, precum studiile de caz,
analizele de reea (tip reea), consultarea actorilor-cheie, trasarea
conceptelor sau a problemelor, care sunt la fel de relevante. Scopul
oricreia dintre aceste tehnici este de a se asigura c resursele evalurii
sunt folosite corespunztor i de a decide unde trebuie concentrate aceste
resurse. De exemplu, interveniile pot fi multiple i beneficiarii numeroi.
Decizia care trebuie luat la acest nivel este legat de alegerea centrului
de interes aferent fazei principale a evalurii. La acest stadiu se vor
concepe de asemenea i instrumente specifice, cum sunt, chestionarele,
anchetele i protocoalele destinate analizei statistice.
Obinerea i analizarea informaiilor
Menionarea sursei de provenien a informaiilor relevante este o parte
esenial a activitilor de stabilire a coninutului evalurii. Ea este
conectat cu procesul de analizare a informaiilor deoarece analiza i
culegerea datelor trebuie s fie privite n strns legtur. Gama tehnicilor
analitice este i ea variat i cuprinde:

Anchetele Delphi - pot fi utilizate n estimarea impacturilor prin


implicarea unor panele de experi care s aplice propriul raionament
datelor existente;
Modelele statistice - pot fi utilizate n estimarea impacturilor baznduse pe diferite tipuri de date administrative sau macroeconomice;
Materialul obinut prin interviuri - poate fi analizat utilizndu-se
programe computerizate destinate analizei textului;
Analiza de regresii - poate fi folosit pentru estimarea importanei i a
soliditii relaiei dintre intervenii i efectele observate;
Analiza de coninut - se poate aplica unor tipuri diferite de materiale
calitative, inclusiv celor rezultate ca urmare a interviurilor, a
observaiilor participative i a studiilor de caz;
Analiza factorial - poate fi utilizat n analiza datelor obinute de pe
urma chestionarelor, cu scopul de a identifica modele i tipologii.

n general, un principiu demn de urmat n colectarea i analizarea

132

Analizele de
evaluabilitate
vor ajuta n
structurare

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


informaiilor, este asigurarea c datele culese sunt ct se poate de
relevante pentru sursa sau fenomenele n cauz. De exemplu, observarea
curent i nregistrrile imediate ale cheltuielilor sunt preferate
msurtorilor agregate. n mod similar, analizele nu trebuie s opereze
transformri fundamentale ale coninutului i formei datelor primare
colectate. Implicaiile acestor principii sugereaz c analizele directe sunt
n general preferate analizelor sofisticate din punct de vedere tehnic. Un
exemplu particular in termenii analizei de date ar fi avantajele obinerii
concluziilor din analiza variabilellor pentru care datele directe sunt
disponibile comparativ cu obinerea de concluzii pornind de la factorii care
se bazeaz pe mai multe combinari si manipulari ale acelor date.
Furnizarea de informaii necesare efecturii unor judeci evaluative
Formularea de judeci reprezint o parte important a activitii de
evaluare. Acest proces poate fi facilitat n rarele circumstane n care se
specific n avans standardele sau criteriile. Cu toate astea, n cadrul
programelor complexe, cum sunt cele ce in de interveniile n dezvoltarea
socio-economic, judecile trebuie fcute chiar i atunci cnd criteriile nu
sunt definite clar sau cnd datele disponibile sunt deschise interpretrilor.
Trebuie subliniat faptul c, n majoritatea cazurilor, formularea judecilor
nu este o chestiune de natur tehnic. Ea const n analizarea indiciilor, n
aplicarea raionamentelor bazate pe experien sau pe cunoatere tacit,
greu de explicat. Mai mult, raionamentele n evaluare sunt de obicei
bazate pe judeci de valoare. Ele necesit cu precdere aplicarea unor
valori i mai puin aplicarea unor tehnici. n acest fel ns, se creeaz
oportuniti pentru anumite tipuri de sprijin tehnic destinat judecilor
evaluative. De exemplu:

Panelele de experi pot fi utilizate n formularea unor judeci sintetice


de-a lungul unor pri diferite ale programului, n care atingerea
consensului pe baza informaiilor disponibile se dovedete a fi dificil;
Analiza multicriterial poate fi aplicat n proiectele n care exist mai
multe criterii care pot fi utilizate n formularea unei aprecieri;
Analizele impacturilor de mai multe tipuri (de ex. analiza impactului
asupra mediului nconjurtor, analiza impactului asupra discriminrii de
gen) pot fi folosite att n faza de rezultat, ct i n faza de proiectare a
unui program.

Elaborarea
unor judeci
nu ine numai
de tehnici
chiar dac ele
pot fi utile

n circumstane specifice pot fi utilizate i alte instrumente, precum analiza


cost-beneficiu, analiza eficacitii cheltuielilor efectuate i diferite modele
statistice. De regul ns, aceste modele furnizeaz mai degrab
argumente necesare judecilor dect judeci n sine. n cele din urm va
trebui adaugat o valoare informaiilor puse la dispoziie de aceste tehnici.
Comunicarea constatrilor evalurii
Tehnicile i metodele de comunicare a constatrilor evalurii se
concentreaz mai mult pe reguli de baz profesionale dect pe tehnici n
sine. De exemplu, cu privire la ntocmirea rapoartelor, comunicarea
constatrilor va putea fi mbuntit dac:

exist un rezumat introductiv clar, care nu este mai lung de 10 pagini;


rapoartele sunt scurte i concentrate pe concluziile i constatrile

133

Comunicarea
presupune
cunotine
tacite, reguli
de baz i
experien

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV

principale, la care se anexeaz material adiional;


se acord o atenie deosebit includerii i indicrii precise a dovezilor
ce vin n sprijinul concluziilor i recomandrilor;
stilul i vocabularul raportului sunt accesibile unei audiene largi, care
i include pe cei implicai n formularea politicilor publice i pe
managerii de program;
definiia termenilor tehnici i a abrevierilor va putea fi gsit ntr-un
glosar, n cazul n care se impune folosirea acestora;
se include un scurt rezumat al metodelor utilizate i al motivelor pentru
care acestea au fost alese;
se prezint contextul politic, pentru asigurarea faptului c cei care
particip la formularea politicilor publice sunt contieni de relevana
dovezilor furnizate.

Exist o serie de tehnici prin care pot fi reprezentate n mod accesibil date
cantitative complexe. Cele clasice ar fi tabelele i graficele. Diamantele
multidimensionale sau diagramele-pianjen cum sunt uneori denumite, pot
fi o modalitate de a prezenta asemenea date unui public larg, neiniiat.
Tehnologia informaiilor faciliteaz de asemenea utilizarea unor noi forme
de reprezentare grafic, inclusiv a datelor Sistemelor de Informaie
Geografic (SIG ) i a expunerilor tridimensionale. Atunci cnd n raport
se folosesc date cantitative, este important ca acestea s fie prezentate
ntr-o manier accesibil i atractiv graficele circulare, graficele
colorate i diagramele sunt ntotdeauna preferate unei pagini pline de
cifre.
Dat fiind accentul pus pe programele de natur inductiv i pe
comunicarea cu diveri actori-cheie, trebuie considerate i alte suporturi
media care s vin n completarea rapoartelor scrise: pentru
mbuntirea comunicrii i creterea accesibilitii datelor evalurii se
pot utiliza i comunicate de pres, fotografii, secvene video, comunicaii
prin Internet i panouri de informare.

134

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


4.6 OBINEREA I UTILIZAREA DATELOR N EVALUARE
Toate datele sunt produse
Evaluatorii i fundamenteaz activitatea pe ceea ce de regul numim
date: materia prim care, odat colectat, urmeaz a fi organizat,
descris, grupat, analizat i prelucrat prin metode i tehnici variate.
Deseori se fac distincii ntre datele primare generate ca o consecin
direct a programului sau a interveniei, i datele secundare generate
n alte scopuri i care erau deja existente n momentul demarrii
programului sau interveniei. Sursele de date secundare pot include, spre
exemplu:

surse statistice, cum ar fi statisticile naionale i regionale EUROSTAT


i alte date stocate de DG REGIO;

rapoarte anuale ntocmite de autoritile de dezvoltare sau de


Datele primare
asociaiile angajatorilor;
i secundare
registre administrative ale ageniilor publice de ocupare a forei de
munc, de ncasare a taxelor, date legate de calificare i formare
profesional.

Niciuna dintre aceste date nu se obine fr un efort considerabil, iar


evaluatorii trebuie s cunoasc modul de constituire a datelor secundare
nainte de a le folosi. Ce eantioane au fost folosite, cum au fost definite
efectele, care este orizontul de timp acoperit, care este unitatea analizei?
Numai prin considerarea acestor ntrebri, se poate aprecia dac datele
respective sunt folositoare ntr-o anumit evaluare. De exemplu, unitatea
geografic pentru care au fost colectate date administrative i statistice,
se poate deseori s nu corespund ariei programului de dezvoltare socioeconomic n cauz.
Este mai uor pentru un evaluator s neleag proveniena datelor
primare. Acestea pot s includ:

datele de monitorizare furnizate de un program, ca parte a obligaiilor


de raportare ctre finanator;

datele de folosin care provin din utilizarea serviciilor, a fondurilor


sau a facilitilor oferite de program;

datele colectate de ctre evaluatori din teren unde sunt implementate


proiectele de dezvoltare, provenite de la beneficiarii vizai prin
anchete asupra beneficiarilor, colectarea opiniilor celor ce folosesc
consultana furnizat prin proiect, focus-grup-uri i consultarea
actorilor-cheie.

Cu toate astea, nici n cazul de fa datele nu sunt complete. Colectarea


lor a presupus i aplicarea protocoalelor i a tehnicilor care pot specifica
n ce scop pot fi folosite. Difereniaz datele de folosin ntre tipurile de
utilizatori? Sunt informaiile de monitorizare limitate la date financiare? Ct
de reprezentative sunt eantioanele de beneficiari?
Deoarece toate datele sunt procesate, ele fiind rezultatul deciziilor luate n

135

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


timpul colectrii, evaluatorii trebuie s cunoasc aceste decizii, mai ales
dac ele au fost fcute de persoane tere, cum este n cazul datelor
secundare. Acest lucru nu este ntotdeauna uor, dar este necesar. Cu
privire la datele primare care sunt generate sau se afl n strns
legtur cu un anumit program i procesul su de evaluare echipa de
evaluare este mai n msur s cunoasc motivele acestei decizii. Chiar i
cnd s-a fcut o distincie ntre formele de date care sunt furnizate direct
de evaluare i cele generate de program spre exemplu prin activitatea
sa de monitorizare, asupra creia echipa de evaluare exercit un control
mai redus. Atunci cnd datele sunt colectate direct de echipa de evaluare,
avantajele, limitele, aria de cuprindere i relevana trebuie gndite n
raport cu analizele ce urmeaz a fi realizate i cu tipurile de argumente
care vor fi sprijinite de datele respective.
Acesta este nc un motiv pentru conceperea cu atenie a evalurii nc
din stadiul de proiectare. Procesul de colectare a datelor trebuie conceput
n conexiune cu activitatea de alegere a metodelor pentru analiz.
Accesarea datelor o activitate planificat
Interveniile multiple, care implic mai muli parteneri, presupun c datele
referitoare la orice program vor fi stocate n locuri diferite. Simpla indicare
a acestor locuri i a datelor aflate la dispoziie, reprezint o sarcin
serioas. Negocierea i ajungerea la un acord asupra termenilor n care
datele vor fi furnizate sau puse la dispoziie pot fi mai complexe. Datele
administrative n special, pot face obiectul unor reguli de confidenialitate
sau de protecie a datelor. n unele cazuri, datele administrative pot fi
fcute publice numai dup eliminarea elementelor de identificare (nume i
coduri potale). Chiar i atunci cnd acest fapt nu ridic o problem,
instituiile administrative pot deveni uneori puin dispuse s ofere accesul
la sursele lor de informaii. ntotdeauna trebuie s se aloce timp procesului
de negociere a accesului la date.

Obinerea
accesului la
date poate fi
dificil

Uneori procesul de accesare a surselor de date n sine poate genera date


folositoare unei evaluri. De exemplu, dorina partenerilor de a mprti
informaiile poate fi privit ca un indicator al coerenei i soliditii
parteneriatului. Pe de alt parte, refuzul constant de a mprti
cunotinele, spre exemplu, sugereaz faptul c parteneriatul este
caracterizat printr-un nivel sczut de ncredere.
Chiar i atunci cnd evaluatorii sunt direct implicai n generarea datelor
cum se ntmpl n cazul multor surse de date secundare, problemele de
acces persist i trebuie s fie abordate cu atenie. Exemple de probleme
de acces includ:
Asigurarea unor niveluri ridicate a ratelor de rspuns n anchetele pe baz
de eantioane. n procesul evalurii se ntlnesc de multe ori niveluri
sczute ale ratei de rspuns, ceea ce poate slbi dovezile pe care se
fundamenteaz concluziile i raionamentele. Exist mai multe moduri de
a mbunti ratele de rspuns, de exemplu:
- comunicarea clar (posibil n presa local sau de comer) a scopului
evalurii n general, i a anchetelor n particular;
- elaborarea instrumentelor de anchet ntr-un limbaj simplu, non-tehnic;

136

Exist
modaliti de
remediere a
problemelor
privind accesul
la date

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


- alocarea de timp unor activiti complementare scrisori de re-amintire,
telefoane, re-utilizarea dup un timp a instrumentelor anchetei n relaie cu
non-respondenii cunoscui.
Obinerea accesului la grupurile dezavantajate. Aa numitele grupuri greu
de accesat se pot dovedi indispensabile ntr-o evaluare. Asemenea
grupuri pot fi nencreztoare n aciunile oficiale, ceea ce constituie o
problem pentru evaluare. Pentru a pre-ntmpina aceste probleme se pot
ntreprinde urmtoarele:
-

stabilirea de legturi cu membri de seam ai comunitii, astfel


nct ei s pledeze pentru evaluare;
elaborarea instrumentelor n limbi diferite (atunci cnd se folosesc
limbile minoritilor) sau n formate multiple utilizarea alfabetului
Braille sau a casetelor audio, pentru cei cu dizabiliti;
angajarea de for de munc de pe plan local, din cadrul acestor
grupuri, pentru a colecta informaii, derula focus-grup-uri i pentru
a explica procesul de evaluare n cadrul propriilor reele.

Beneficiarii i actoriicheie care doresc s obin ceva de pe urma


evalurii. Un motiv important pentru absena cooperrii sau pentru o
cooperare lipsit de orice entuziasm este impresia c cei care sunt
rugai s coopereze nu vor obine niciun beneficiu de pe urma acestui
exerciiu. Acest aspect poate fi combtut, sau cel puin minimalizat dac:
-

exist o implicare adecvat a beneficiarilor i a actorilor-cheie n


stadiile generale de proiectare a evalurii i n profilarea i
utilizarea instrumentelor specifice; acest lucru i va asigura de
exemplu pe managerii ntreprinderilor mici i mijlocii c ntrebrile
formulate de ei vor fi incluse pe agenda evalurii, ceea ce i va
determina s aprecieze relevana evalurii;
se ofer garanii c cei care coopereaz vor primi feed-back, care
ar putea fi: un raport fcut public, o scrisoare de feed-back care s
conin un rezumat introductiv, sau o invitaie la o ntlnire de feedback, odat evaluarea ncheiat.

Calitatea datelor, dorina de a coopera a membrilor importani a


comunitii, a actorilor-cheie i a beneficiarilor, va reprezenta un aspect
determinant n evaluare, privit ca ntreg. De aceea trebuie s se acorde o
atenie sporit acestui aspect, iar planificarea abordrii lui trebuie s
devin parte integrant n procesul de culegere a datelor i de alegere a
metodelor.
Date cantitative i calitative
Am accentuat deja importana fundamentrii activitii pe o serie ntreag
de metode i tehnici de evaluare, inclusiv pe cele care sunt att cantitative
ct i calitative. n continuare, vom prezenta cteva dintre caracteristicile
datelor, referitoare la diferenierea lor n date calitative i date cantitative.
n primul rnd, se recomand o reluare a importanei distinciei care se
face ntre datele colectate i cele analizate. Dup cum deja am menionat,
practic toate datele trebuie produse i procesate pentru a deveni
utilizabile. Reamintim i faptul c ceea ce iniial este informaie calitativ,

137

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


se poate transforma n informaie cantitativ, ca urmare a aplicrii
diferitelor metode de analiz. Cu toate acestea, chiar i atunci cnd au
fost deja aplicate diverse metode de analiz, vor exista nc diferene,
legate de aceast dat de caracteristicile i relevana datelor cantitative.
Aa-numitele date cantitative pot lua diferite forme, ca de exemplu:

Pot fi un mod de descriere a categoriilor. Datele nominale nu au o


valoare numeric, numerele fiind mai degrab folosite pentru a se
distinge ntre categorii variate. Astfel, patru grupuri diferite de
ntreprinderi mici i mijlocii se pot diferenia ntre ele n funcie de, spre
exemplu, sectorul n care opereaz, dac sunt etichetate ca Grupul 1,
2, 3 i 4.
Datele ordinale, n cadrul crora se cunoate, cu aproximaie, dac
unele elemente sunt mai mari sau mai mici fa de altele, sunt mai
reprezentative n ceea ce privete determinarea cantitativ. Spre
exemplu, unele firme pot s creasc i altele s intre n declin, iar
acest aspect poate constitui o surs de date, chiar dac nu se verific
sau nu exist acces la diferenele exacte dintre nivelurile creterii i al
declinului nregistrate de fiecare firm.
O form i mai precis de determinare cantitativ are loc atunci cnd
diferenele relative pot fi plasate pe o scal, a crei intervale sunt
cunoscute. Diverse sisteme de notare, de ordonare, sau elemente
legate de chestionare, se pot conforma acestui tip de determinare
cantitativ. Spre exemplu, un expert poate nota impacturile unui
proiect asupra mediului nconjurtor pe o scal de la -3 la +3, sau un
respondent la chestionar poate fi invitat s se poziioneze pe o scal a
satisfaciei de la 1 la 5. Cu toate c aceste forme de cuantificare sunt
mai puternice dect cele descrise anterior, ele sunt slabe n termeni de
posibiliti numerice i de calculare.
Datele sub form de proporii sunt cea mai avansat form de
determinare cantitativ. Acestea apar cnd pe scal exist un punct
zero cunoscut. Prin urmare, nu mai avem de-a face cu serii inventate
de intervale, ci mai degrab cu ceva care se poate msura n mod
independent. Valorile monetare, profilurile de vrst ale populaiei,
fluxurile de export i indicii de productivitate bazai pe nregistrri
anuale ale rezultatelor, reprezint exemple de date sub form de
proporii. La acestea ne referim de obicei atunci cnd vorbim de date
cantitative chiar dac ele sunt mai rar ntlnite n evaluare dect se
estimeaz.

Raiunea pentru aceast descriere oarecum tehnic a avantajelor datelor


cantitative de diferite intensiti, este de a preciza c, n dezvoltarea socioeconomic, majoritatea aa-ziselor date cantitative sunt, de fapt, relativ
imprecise, slabe. Reduceri ale nivelului de excluziune social,
mbuntirile aduse calitii resurselor umane i diversificarea economiei
rurale vor depinde n general de date categoriale (tipologii), ordinale i de
interval. Asemenea msuri nu pot fi considerate ca fiind obiective sau
ndeajuns de reprezentative, aa cum se presupune uneori despre datele
cantitative. Vor exista ns unele tipuri de date cum ar fi de exemplu,
datele referitoare la competitivitatea firmelor locale sau la participarea pe
piaa muncii, care vor face obiectul unor analize mai riguroase ce se
folosesc de ceea ce am descris mai sus ca date sub form de proporii.
ns, asemenea niveluri de rigurozitate vor fi mai puin ntlnite n

138

Datele
cantitative pot
fi de intensiti
diferite

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


majoritatea evalurilor din acest domeniu.
Dup cum sugereaz i diferenierile de mai sus, datele
cantitative/calitative vor fi cel mai bine nelese ca fiind dispuse pe o scal,
de la cele mai cantitative i pn la cele mai calitative. Din mai multe
puncte de vedere, datele de categorii i ordinale pot fi considerate relativ
calitative. Datele care pot fi privite ca pur date calitative, sunt extrem de
O scal de la
diverse, constnd probabil din exemple i relatri unice, posibil de descris
cantitativ la
doar prin luarea fiecrui caz n parte. Un studiu de caz i o experien din
calitativ
viaa real care au fost constituite fr nicio comparaie sau o categorisire
premergtoare, pot fi conforme cu un asemenea ideal. ns, de ndat ce
se culeg diverse elemente ale acestor cazuri sau biografii, devine posibil
acelai proces de categorizare, dup cum s-a descris mai sus, sub
denumirea de date cantitative.
n termeni calitativi, datele pot fi comparate i astfel analizate n cele din
urm din mai multe perspective. Realizarea unei categorizri pe o scal
este cea mai potrivit atunci cnd se analizeaz o serie de fenomene
interconectate. De exemplu, un numr de indivizi, un eantion de firme
sau de gospodrii. Cu toate acestea, cnd se au n vedere exemple
particulare sau unice, cum este cazul anumitor comuniti rurale sau
anumitor sectoare manufacturiere, comparaiile se fac de obicei n timp
(msuri luate nainte i dup) sau n relaie cu anumite standarde sau
criterii externe.
Finalitatea acestei prezentri este de a elimina distincia ntre datele
calitative i cele cantitative. Diferena este ns mai evident dac se face
un demers analitic. Viziunile i prerile oamenilor pot fi unice i calitative
sau tipizate ntr-o clasificare mai cuprinztoare, dar datele ce reprezint
materia prim rmn la fel. Problema n cazul de fa se refer la felul n
care aceste date brute sunt procesate pentru a servi la analiz. Datele
cantitative se folosesc mai mult atunci cnd este necesar o agregare sau
o generalizare, iar cele calitative atunci cnd se cere o descriere a
complexitii i a detaliilor mai amnunite ale unei experiene. Alegerea
ntre asemenea strategii trebui s se bazeze, n cele din urm, pe
ntrebrile la care ncearc s rspund o evaluare. Anchetele privitoare
la satisfacia beneficiarilor i evalurile participative n rndul grupurilor
dezavantajate vor folosi n mod diferit de datele de opinie.
4.7 CREAREA INDICATORILOR I A SISTEMELOR DE INDICATORI
Definiia i caracteristicile unui indicator
Prin definiie, un indicator folosete la msurarea unui obiectiv ce urmeaz
a fi atins, a unei resurse ce urmeaz a fi mobilizat, a unui efect ce va
trebui obinut, a unui nivel calitativ sau a unei variabile contextuale. Un
indicator furnizeaz informaii cantitative, cu rolul de a-i ajuta pe actorii
implicai n interveniile publice s comunice, s negocieze i s ia decizii.
n cadrul de lucru al evalurii, cei mai importani indicatori sunt cei
referitori la criteriile privind succesul interveniilor publice.

Indicatorii
msoar
obiective,
efecte, calitate
i context

Indicatorii ar
Pentru a se dovedi folositori, este de preferat ca indicatorii s aib trebui s fie
corelai cu
urmtoarele caracteristici:
scopurile
Definirea indicatorului fie n strns legtur cu un scop, obiectiv sau politicii publice,

139

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV

el al politicii publice. (ntr-adevr, indicatorii sunt cei mai folositori


atunci cnd obiectivele se specific sub form de inte sau repere de
urmat, care se folosesc de definirea unui indicator)
Indicatorul se calculeaz n mod regulat. Obinerea de informaii sub
form serii temporale, n care definirea precis a indicatorului este
adecvat, poate fi de ajutor. n mod ideal, informaia trebuie s fie
disponibil nc dinaintea adoptrii sau implementrii unei intervenii.
Chiar i aa, interveniile n sine pot impune colectarea de noi date.
Este msurat n mod independent. Este de preferat ca informaia s fie
colectat de cei care nu sunt direct responsabili de intervenia sau
legislaia n cauz.
Msurarea se bazeaz pe date de ncredere (cu fidelitate nalt).

msurate n
mod regulat,
independent i
credibil

n practic, indicatorii rareori reflect toate aceste caracteristici, i este


posibil s fie nevoie ca obinerea dovezilor s se fac dintr-o varietate de
surse disparate, care includ:

resursele i ncadrarea n timp a procesului de programare;


resurse secundare;
surse primare, inclusiv anchetele actorilor-cheie;
informaii administrative.

Indicatorii
folosesc
informaii din
diferite surse

O mare parte din aceste informaii se poate s fi fost colectat pentru alte
scopuri dect pentru realizarea unei evaluri.
Un indicator cuantific un element considerat relevant pentru activitatea
de monitorizare i de evaluare din cadrul unui program. De exemplu:
1200 dintre cei aflai n omaj pe termen lung, au participat la sesiuni de
formare finanate de program sau 75% dintre participanii la instruire sau declarat satisfcui sau foarte satisfcui.
Un indicator bun trebuie s ofere informaii simple, care pot fi uor
comunicate i nelese att de cel care l furnizeaz, ct i de utilizator.
Totui, aceast calitate a indicatorilor este necesar, dar nu i suficient.
n continuare sunt prezentate cteva exemple de indicatori care sunt uor
de neles: rata de absorbie bugetar, procentul firmelor locale care au
beneficiat de asisten, numrul de locuri de munc nete create i
numrul omerilor din zona eligibil.

Un indicator
cuantific,
trebuie s fie
uor de
comunicat i
de neles

Un indicator poate nregistra mai multe valori de-a lungul timpului. Rata
omajului, de pild, poate avea la nceputul programului o valoare diferit
de o alta, nregistrat n timpul implementrii programului, .a.m.d.
Variaiile n timp ale acestor valori constituie tendinele.
Tipuri de indicatori
Exist mai multe tipuri de indicatori7 n funcie de:

Exist mai
multe tipologii
de indicatori.
variabile, indicatorii pot fi: complei, pariali, compleci;
modul de procesare al informaiei, indicatorii pot fi: elementari, derivai Indicatorii de
resurse, de
i compui;
gradul de comparabilitate al informaiilor exist indicatori: specifici, realizri

7
Aceste tipologii corespund celor din documentul Common Guidelines for Monitoring and Evaluation (Comisia
European, 1995, Luxembourg: OPOCE).

140

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV

generici i indicatori-cheie;
aria de cuprindere a informaiei, indicatorii sunt: de context i de
program;
fazele n care se poate afla programul exist indicatori de resurse,
indicatori ai realizrilor imediate, indicatori de rezultat i indicatori de
impact;
criteriile evalurii, indicatorii sunt: de relevan, de eficien, de
eficacitate i de performan;
modul de cuantificare i de domeniul de utilizare, exist: indicatori de
monitorizare i indicatori de evaluare.

imediate
(ieiri), de
rezultat, de
impact i de
context
sunt cei mai
utili n
programele
socioeconomice

Tipologia cea mai util n programele socio-economice este cea care face
distincia ntre indicatorii de resurse, indicatorii ai realizrilor imediate
(ieiri), indicatorii de rezultat i indicatorii de impact. O categorie la fel de
folositoare sunt indicatorii contextuali, care de multe ori sunt identici cu
indicatorii de impact.
Indicatorii de resurse ofer informaii despre mijloacele financiare,
umane, materiale, organizaionale sau regulatorii, utilizate n
implementarea programelor. Resursele in de responsabilitatea comun a
autoritilor financiare care realizeaz alocarea acestora, i a operatorilor
care implementeaz intervenia. Majoritatea indicatorilor de resurse sunt
determinai cantitativ de sistemul de monitorizare. Exemple de astfel de
indicatori cuprind: bugetul total (cantitatea de resurse); absorbia bugetar
anual (rata de absorbie a resurselor); procentul sub/supra utilizrii
fondurilor; procentul finanrii europene n totalul finanrii publice;
numrul de angajai care lucreaz la implementarea programului; numrul
organizaiilor implicate n implementare.

Indicatorii de
resurse
surprind inputurile dintr-un
program

Indicatori ai realizrilor imediate (ieirilor) reflect ceea ce s-a produs


ca urmare a activitii desfurate de program. Mai precis, se consider
realizare imediat tot ceea ce se obine de pe urma cheltuielilor publice.
Realizrile imediate in de rspunderea exclusiv a operatorilor, care
trebuie s raporteze pe marginea lor prin intermediul sistemului de
monitorizare. Exemple de indicatori de realizri imediate cuprind: kilometrii
de drum construii, rata de progres a construciei unui drum, hectare
reabilitate de teren urban dezafectat, capacitatea sistemelor de purificare
construite, numrul participanilor la sesiunile de formare finanate de
program i procentul de formri a cror calitate este certificat.

Indicatorii de
rezultate
imediate
msoar ceea
ce s-a produs

Indicatorii de rezultat ilustreaz avantajele imediate ale programului


(sau, n mod excepional, dezavantajele) obinute de beneficiarii direci.
Un avantaj este imediat dac se manifest ct timp beneficiarul se afl n
contact direct cu programul. Rezultatele pot fi observate n ntregime
atunci cnd operatorul a ncheiat deja activitatea i a ncetat plile.
Indicatorii de
Indicatorii de rezultat sunt foarte familiari operatorilor, prin urmare ei sunt
rezultat
de regul cuantificai n mod exhaustiv pe parcursul monitorizrii.
msoar
avantajele
Indicatorii de rezultat ofer informaii despre schimbrile produse care i
resimite de
vizeaz pe beneficiarii direci, cum ar fi, spre exemplu, timpul economisit
beneficiari
de cei care folosesc un anumit drum; tarife reduse pentru apeluri
telefonice; calificrile obinute de cei care au luat parte la formare; noile
activiti turistice desfurate de un fermier; utilizarea unei noi capaciti
productive create de o anumit firm; i satisfacia firmelor care au primit
servicii de consultan.

141

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV

Rezultatele pot fi determinate cantitativ doar n momentul n care


beneficiarii primesc sprijin sau servicii prestate n cadrul programului. Se
pot face fie msurtori directe (de ex. prin numrarea celor care iau parte
la o instruire), fie beneficiarii direci sunt rugai s declare avantajele
obinute (de ex. prin intermediul unui chestionar oferit spre completare la
sfritul unei sesiuni de consultan).
Indicatorii de impact reflect consecinele unui program, dincolo de
interaciunile directe i imediate cu beneficiarii. O categorie iniial de
impacturi concentreaz acele consecine asupra beneficiarilor direci ai
programului care apar sau care dureaz pn la un termen mediu
(impacturi specifice), de exemplu: traficul nregistrat pe un drum la un an
dup ce a fost dat n folosin; rata de plasare pe piaa muncii a
participailor la formare profesional, calculat dup 12 luni; locurile de
munc sustenabile create ntr-o fabric ce a fost construit cu sprijin
acordat de program i rata de supravieuire a afacerilor pornite prin
fructificarea spijinului venit din partea programului. Unele impacturi nu pot Indicatorii de
fi anticipate (evenimentele care au loc pe lng rezultatele intenionate), impact
iar indicatori pentru asemenea impacturi neateptate sunt creai foarte rar. msoar
consecinele
O a doua categorie de impacturi const n totalitatea consecinelor care interveniei.
afecteaz, pe termen scurt i mediu, persoane sau organizaii care nu
sunt beneficiari direci. Aceste impacturi pot fi asemntoare (de ex.
mbuntirea calitii vieii n rndul oamenilor care locuiesc n
vecintatea unui teren industrial dezafectat, ulterior reabilitat; ameliorarea
calitii plajelor situate lng un nou sistem de purificare). Pe de alt
parte, impacturile se pot extinde, afectnd i persoane sau organizaii fr
nicio legtur cu proiectul, aa cum se ntmpl n cazul impacturilor
macroeconomice.
Mecanismul de propagare al impacturilor poate fi mprit n dou
categorii: efecte de pia (de ex. impacturile resimite de furnizorii sau de
subcontractanii firmelor care beneficiaz de asisten) i efecte care nu
sunt n legtur cu piaa (de ex. impactul pozitiv generat de mbuntirea
imaginii unei regiuni sau impactul negativ pe care l poate avea prin
deteriorarea mediului nconjurtor). Deoarece efectele independente de
pia, sau externalitile, nu se reflect n sistemul de preuri pe care
actorii socio-economici individuali i fundamenteaz n mare msur
deciziile personale i deoarece aceste decizii manifest consecine
economice pentru ali actori, luarea n considerare a acestor efecte n
contextul unui program public se poate dovedi n mod special extrem de
folositoare.
Dat fiind decalajul lor temporal sau natura lor indirect, impacturile nu pot
fi cunoscute operatorilor pe parcursul administrrii zilnice a programului.
Drept consecin, indicatorii de impact se cuantific numai din timp n
timp, n general n timpul procesului de evaluare. O modalitate de a stabili
impacturile este realizarea unei anchete n rndul beneficiarilor, de
exemplu la un an dup ce au ieit din program. ntrebrile puse pot fi
referitoare la fapte (de ex. cte locuri de munc au fost create de cnd s-a
obinut sprijinul?) sau la opinii (de ex. cte locuri de munc s-ar fi pierdut
dac nu s-ar fi acordat sprijinul?).

142

Impacturile
sunt obinute
prin efecte de
pia i efecte
care nu au
legtur cu
piaa. Ele au
tendina s se
contureze abia
dup ce
programul s-a
ncheiat.

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


Utilizarea indicatorilor n evaluare
Indicatorii ndeplinesc o serie de roluri folositoare n evaluare. Utilizarea
lor se ntlnete n evaluarea programelor, mai ales acolo unde obiectivele
sunt clar exprimate n termeni operaionali. Folosirea indicatorilor este n
general o parte a activitii de evaluare. Pentru a fi posibil emiterea unor
concluzii evaluative, informaia furnizat trebuie s fie interpretat cu
atenie i din perspectiva altor indicii. Indicatorii pot contribui la evaluarea
Indicatorii ajut
programelor socio-economice n mai multe feluri:
la informarea
Analiza scorurilor indicatorilor poate fi utilizat pentru a veni n sprijinul judecilor
evaluative n
unei argumentri n favoarea interveniei i a alocrii resurselor
Indicatorii pot fi folosii n compararea resurselor i a realizrilor mai multe
moduri
imediate cu scopul de a msura eficiena
Indicatorii pot fi utilizai pentru a compara efectele reale cu ateptrile,
n scopul analizei eficacitii
Indicatorii pot fi folosii pentru raporta resursele relativ la impacturi,
facilitnd astfel analiza valorii (valorii adugate) a interveniei
Indicatorii se pot utiliza pentru a identifica ceea ce s-ar fi ntmplat n
absena iniiativei, politicii sau legislaiei.
Sistemul de indicatori i ciclul de program
Indicatorii sunt folosii la nceputul ciclului de program pentru a facilita
definirea teritoriilor eligibile pentru acordarea de asisten, a analiza
contextului regional, a diagnostica problemele economice i sociale care
vor fi abordate i a analiza nevoile pe care programul trebuie s le
ntruneasc. La acest nivel, indicatori precum rata omajului sau
disparitile existente ntre infrastructuri joac un rol decisiv.
Alegerea i validarea strategiei de intervenie constituie o a doua etap n
cadrul ciclului de program. n acest stadiu, cei care se ocup de
proiectarea programului trebuie s defineasc precis i s cuantifice
obiectivele. Indicatorii depind de cuantificare i sunt foarte folositori n
clarificarea obiectivelor. Cadrul 4.2 ofer un exemplu.

Indicatorii pot
evidenia
problemele i
dezavantajele
care urmeaz
a fi abordate
Indicatorii
trebuie s fie
determinai
cantitativ i s
se refere la
obiective clare

Cadrul 4.2 Definirea indicatorilor poate clarifica obiectivele


Strategiile pentru sprijinirea competitivitii ntreprinderilor mici i mijlocii includ adesea
furnizarea de servicii de consultan. Obiectivele unor asemenea metode pot fi exprimate
prin numrul iniiativelor antreprenoriale care vor beneficia de anumite tipuri de servicii de
consultan. Indicatorul folosete nu doar la cuantificarea obiectivelor, ci i la definirea
serviciului ateptat. De exemplu, definirea serviciilor primite de o ntreprindere mic sau
mijlocie ar putea include doar servicii consistente de consultan, care s cuprind de
exemplu, mai mult de 5 zile de consultan.
Odat definit i adoptat, programul este implementat. Monitorizarea i
evaluarea lui se realizeaz n mod continuu i la un stadiu intermediar. La
acest nivel, indicatorii sunt indispensabili n transmiterea ntr-o form
simpl i condensat a informaiei cerute de managerii de program. n
mod obinuit, indicatorii servesc la monitorizarea ritmului n care sunt
cheltuite bugetele, a msurii n care se respect ncadrarea n timp, a
proporiei din populaia eligibil care a beneficiat efectiv de pe urma

143

Indicatorii sunt
o modalitate
de a rezuma
progresul
nregistrat de
programe

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


programului, rata satisfaciei resimite de beneficiari, numrul de locuri de
munc create.
Ciclul de programare se ncheie cu o evaluare ex-post, una din
principalele sale funcii fiind cea de a raporta asupra rezultatelor
programului i asupra msurii n care obiectivele au fost realizate.
Utilizarea indicatorilor este ndeosebi recomandat la acest nivel, mai ales
att timp ct ea permite comunicarea unor informaii simple care pot fi de
ndat nelese de un public mai larg, de exemplu costurile suportate pe
loc de munc creat sau rata de plasare asistat a omerilor.

Indicatorii ajut
la identificarea
factorilor la
care oamenii
se pot raporta

Indicatorii pentru programe integrate


Majoritatea programelor socio-economice adopt strategii integrate, altfel
spus, ele ncearc s rezolve toate problemele care afecteaz un teritoriu
dat utilizeaz i toate instrumentele disponibile pentru a interveni pe acel
teritoriu. Aceast caracteristic induce o multiplicare a nevoilor pentru
folosirea indicatorilor, care ar putea duce la confuzie dac programele nu
ar fi intens structurate. Programele finanate din Fondurile Structurale
europene sunt de regul structurate pe trei niveluri:

nivelul programului general, la care se refer obiectivul global, cum ar


fi, de exemplu, dezvoltarea economic sau ocuparea forei de munc.
Acest nivel const ntr-un numr redus de axe prioritare (mai puin de
ase) care mpart obiectivul global n principalele sale dimensiuni
strategice;
nivelul msurilor ntreprinse (de la una la mai multe duzini), care
corespunde unitii principale de management al programului. Fiecare
msur are propriul aparat de management. (Aciuni care corespund
pn i celei mai mici componente omogene din program din
moment ce fiecare aciune grupeaz proiecte similare sunt vzute la
acelai nivel cu msurile);
nivelul de proiect (pot fi uneori i cteva sute de proiecte), care este
unitatea de implementare a programului, din moment ce fiecare proiect
reprezint un punct de articulare ntre program i beneficiarii si.

Aspecte organizaionale: implicarea utilizatorilor i a celor care furnizeaz


informaii
Un sistem de indicatori are mai multe anse de funcionare atunci cnd
furnizorii i utilizatorii informaiei au fost implicai n crearea acestuia. Pe
de alt parte, un grup nchis de specialiti va avea tendina de a construi
un sistem costisitor, ideal din punct de vedere tehnic, dar care ar putea s
nu funcioneze ntr-o manier satisfctoare.
n ceea ce-i privete pe utilizatori, trebuie s li se asigure un sprijin explicit
din partea autoritii de management a programului. Se recomand n
acest caz, crearea unui grup de viitori utilizatori ai sistemului care s fie
nsrcinat cu definirea indicatorilor. Componena acestui grup nu va fi mult
diferit de cea a grupului care trebuie s realizeze evaluarea.
n acest caz ar trebui desemnat o echip care s acorde sprijin grupului
i s desfoare activitatea de secretariat. De obicei, membrii echipei sunt
din cadrul autoritii de conducere a programului. Ei trebuie s dein
resursele umane i financiare cerute. Echipa trebuie, n mod special, s
se asigure c sistemul de indicatori ce reflect n mod clar obiectivele

144

Implicarea
furnizorilor i a
utilizatorilor
poate
mbunti
alegerea
indicatorilor

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


programului i faciliteaz compararea. Este de preferat ca aceeai echip
care se ocup de crearea indicatorilor s fie responsabil i de
implementarea sistemului.
Publicul poate fi i el implicat n proiectarea sistemului de indicatori. Un
exemplu de implicare a beneficiarilor n alegerea indicatorilor, dintr-o
experien american (regiunea Benton Harbour, vezi cadrul 4.3), a
nceput cu o serie de focus-grup-uri n care au fost cooptai reprezentani
ai ntreprinderilor regionale. Activitatea acestor grupuri a fcut posibil
selectarea indicatorilor i sensibilizarea publicului n legtur cu acest
proces.

Unii indicatori
vor atrage
atenia
publicului mai
mult dect alii

Cadrul 4.3 Implicarea beneficiarilor n alegerea indicatorilor


Autoritile politice din regiunea Benton Harbor (SUA) au stabilit un sistem de indicatori de
context cu intenia de a analiza dezvoltarea economic a regiunii metropolitane din
Berrien. Elementele-cheie n descrierea dezvoltrii economice au avut la baz o serie de
interviuri n cadrul unor focus-grup-uri care n care au fost cooptai antreprenorii cunoscui
ai regiunii. Indicatorii alei au fost, de exemplu:
- Pentru ilustrarea accesului la capital uman calificat: cheltuielile pentru educaie per copil;
proporia elev-student; rata abandonului colar.
- Pentru reflectarea creterii i diversificrii economiei: venitul pe cap de locuitor; gradul de
ocupare a forei de munc n sectorul industrial; valoarea adugat n sectorul comercial;
indicele diversitii sectoriale; rata ocuprii forei de munc n ntreprinderile mici i mijlocii;
valoarea i numrul reedinelor care au primit autorizaii de construcie.
- Pentru ilustrarea calitii vieii: costul vieii (calculat relativ), rata infraciunilor asupra
proprietii i persoanelor .
Erickcek G.A. (1996)
The Benton Harbor Area Benchmarking Data System, Michigan: Institutul WE Upjohn

Principalii furnizori de informaie sunt operatorii care implementeaz


programul pe teren. Participarea lor poate asigura pragmatism sistemului
deoarece ei sunt familiarizi cu posibilitile i limitele practice ale
procesului de colectare a datelor.

Cooptarea operatorilor n testul preliminar al sistemului de indicatori este


de asemenea recomandat. Procedura indicat ncepe cu selectarea
ctorva operatori voluntari care vor participa la proiectarea sistemului.
Aceti voluntari trebuie s reprezinte toate componentele programului. Ei
ajut n alegerea indicatorilor, n definirea acestora i n planificarea
procesului de colectare a informaiilor. Ei i exprim nevoile n termeni de
feed-back al informaiilor (frecvena i forma informaiei pe care acetia o
primesc napoi). Testul cuprinde o determinare cantitativ iniial a tuturor
indicatorilor, care este realizat de operatorii voluntari. Durata normal a
acestui test este de un an. n funcie de concluziile testului i n urma
introducerii modificrilor necesare, sistemul va fi validat. Se stabilesc clar
definiiile i procedurile de colectare a datelor i de restituire, dup care se
elaboreaz un manual.

145

Cei care ofer


informaii vor
cunoate
limitele
procesului de
colectare a
datelor

Indicatorii ar
trebui iniial
orientai,
nainte de a fi
implementai

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


Informaia referitoare la context se obine din statistici. Este indicat deci
angajarea n activitatea de proiectare a sistemului a unui expert care s
aib cunotine recente i complete cu privire la datele statistice care pot fi
exploatate. n funcie de caz, expertul poate fi din cadrul unui institut sau a
unei universiti cu profil statistic, sau, dac este posibil, din cadrul
instituiei care deruleaz programul.

Datele
statistice
trebuie s fie
susinute de
opinia unui
expert

Selecia celor mai relevani indicatori


Fiecare actor din cadrul programului are propriile responsabiliti, propriile
arii n care ia decizii i, prin urmare, propriile nevoi de informaii. Ca
urmare, nu toi indicatorii sunt folositori la toate nivelurile. Dimpotriv, se
accept n general ca fiecare actor s cear un raport operativ cu un
numr redus de indicatori, selectai ca fiind cei mai relevani n relaie cu
natura deciziilor ce trebuie s fie luate. S-a artat c, ntr-o situaie n care
se cere luarea unei decizii, o persoan nu poate lua n considerare mai
mult de aproximativ zece indicatori odat. 8 Atunci cnd exist prea muli
indicatori, decidenii sunt asaltai de un exces de informaii.

Concentrarea
pe un numr
redus de
indicatori
(pn la 10)
ajut n
procesul de
luare a
deciziilor

Eterogenitatea programelor
Experiena Fondurilor structurale a artat c este dificil alegerea unor
indicatori care s fie absolut necesari pentru monitorizarea i evaluarea
unui program. Deoarece programele sunt multisectoriale i iau n calcul
mai multe obiective, exist tendina de a se dori o msurare
atotcuprinztoare i de a se proiecta sisteme de indicatori att de
greoaie, nct este imposibil s devin funcionale.

De multe ori se
msoar doar
cei mai
relevani
indicatori

n practic, o asemenea cantitate imens de informaii este imposibil de


produs i de utilizat n mod regulat. De exemplu, propunerea iniial
pentru desfurarea unui program al Fondurilor structurale n Burgundia
(Frana), cuprindea mai mult de 200 de indicatori. n final, au fost
Numrul
cuantificai doar aproximativ 50 dintre acetia.
indicatorilor
n mai multe regiuni europene, evalurile au artat ca doar civa poate fi redus
indicatori sunt de ajuns pentru a ntruni nevoia de informaie a autoritilor prin selectarea
care desfoar programul (cum se ntmpl n cazul Irlandei de Nord, indicatorilor
vezi cadrul 4.4). Acest fapt nu nseamn totui c este posibil s nu se generici i prin
mai cear indicatori adiionali pentru a ndeplini nevoile de informaie ale gruparea
acestora
operatorilor.
O abordare pentru limitarea mrimii sistemelor de indicatori, fr a se
pierde ns informaii relevante, o reprezint identificarea indicatorilor
generici sau gruparea indicatorilor n funcie de categoria de beneficiari.
Cadrul 4.4 Recomandare a unei evaluri: reducei numrul indicatorilor de la 330 la
62
Un program socio-economic finanat din Fondurile Structurale europene s-a desfurat n
Irlanda de Nord ntre anul 1994 i 1999. Evaluarea intermediar a acestui program a fost
realizat prin sintetizarea a ase evaluri separate a unor sub-programe. Proiectanii
8

Innes de Neufville (1994)

146

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


programului au ales 330 de indicatori pentru monitorizare. Aceti indicatori au fost grupai
ntr-o singur baz de date care s-a dovedit dificil de utilizat i care a creat probleme de
utilizare i disponibilitate a informaiilor. Aceste probleme au redus considerabil utilitatea
indicatorilor. Echipa de evaluare a fcut urmtoarele recomandri:
Alegerea unui numr de indicatori de context, situai ntre indicatorii macroeconomici i
cei de sub-program. Aceti indicatori, concepui s reflecte impactul global al programului,
sunt mprii n trei categorii: cretere economic, coeziune intern i coeziune extern.
Alegerea unui numr mic de indicatori de program prin limitarea lor la principalele
rezultate i impacturi;
Delegarea cuantificrii i utilizrii altor indicatori operatorilor.
n acest fel, mrimea sistemului ar fi redus la 52 indicatori aflai n relaie direct cu
principalele obiective ale programului. Recomandrile au fost aplicate cu succes.
Colin Stutt Consulting, (1997)
Northern Ireland Single Programme 1994-99; Mid Term Review External Evaluation
Sugestii pentru limitarea mrimii sistemului de indicatori
Sugestiile pentru limitarea mrimii sistemului de indicatori se bazeaz n
general pe utilizarea indicatorilor generici sau pe gruparea indicatorilor n
funcie de categoria de beneficiari. Un sistem mai restrns limiteaz
culegerea i circulaia informaiei la elementele eseniale la nivel de
program. Pe de alt parte, aceasta nseamn c progresul i rezultatele
fiecrei aciuni nu vor fi monitorizate ntr-o manier detaliat i
centralizat. nseamn de asemenea c sistemul se axeaz mai puin pe
deciziile pe care le iau operatorii, i mai mult pe cele luate de autoritile
de management ale programului.
Gsirea indicatorilor generici de impact
Indicatorii de impact sunt indispensabili n evaluare, dar sunt dificil de
proiectat i cuantificat. n afar de numrul locurilor de munc create,
indicatorii generici de impact sunt foarte rar ntlnii n documentele de
programare (cteva exemple sunt prezentate n Cadrul 4.5)

147

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


Cadrul 4.5 Exemple de indicatori generici de impact
Aciuni

Grupuri de impacturi

Indicatori generici

Investiii n sectorul industrial


Modernizarea industriilor
meteugreri

Diversificare
sectorial

Valoarea adugat generat


n sectoarele aflate n cretere

Capital de risc pentru IMM-uri


Internaionalizarea
IMM-urilor
Numrul inovaiilor n cadrul
uniilor asistate economic

Inovaie
Dezvoltarea tehnologic
a ntreprinderilor

Colecia MEANS a dezvoltat o metod pentru crearea indicatorilor generici


de impact, care cuprindea urmtorii pai:
Evaluatorii adun principalele documente referitoare la program
(documentul de programare, recenzii, rapoarte privind progresul
nregistrat, brouri) i identific toate frazele care descriu obiectivele,
performana i impacturile ateptate sau reale.
Dintre citatele culese din documente, evaluatorul le selecteaz pe cele
referitoare la impacturi.
Se organizeaz unul sau mai multe seminarii la care vor lua parte
managerii de program i operatorii. Pe parcursul acestor seminarii,
participanii vor completa lista de impacturi i le vor grupa n categorii.
Exist dou tehnici care pot facilita aceast activitate: trasarea
impacturilor i metoda Metaplan.
Participanii la seminar identific mpreun semnificaia fiecrei
categorii de impacturi, dau nume acestor categorii i aleg indicatorii
corespunztori fiecreia dintre acestea. Ei urmresc ca aceti
indicatori s fie generici, adic s poat fi aplicai n numeroase aciuni
ntreprinse n cadrul programului.
Analizarea calitii sistemului de indicatori
Utilizarea indicatorilor va deveni mult mai eficient dac se aduce o
mbuntire constant calitii acestora. Evaluarea are un rol important n
analiza calitii sistemelor de indicatori i n indicarea modurilor de
mbuntire a acestora. Cu toate c nu exist o metod standard pentru
acest tip de control al calitii, se propune o abordare bazat pe
urmtoarele criterii, care se mpart n dou grupuri: criteriile de calitate
care se aplic fiecrui indicator i criteriile de calitate care se aplic
ntregului sistem.
Criteriile de calitate aplicabile fiecrui indicator
Primul criteriu de calitate pentru un indicator este capacitatea acestuia de Utilitatea i

148

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


a fi determinat cantitativ la intervale regulate. Uneori, unul sau mai muli
indicatori menionai n documentele de programare nu au fost niciodat
cuantificai i, drept consecin, ei nu pot oferi informaii pentru evaluare.
nainte de toate, trebuie s se ia n considerare accesul la date care s
fac posibil cuantificarea. Indicatorii de monitorizare ar trebui determinai
cantitativ la fiecare ntlnire pentru monitorizare, adic, la fiecare 6 pn la
12 luni. Indicatorii de evaluare sunt cuantificai mai rar, de obicei anual,
sau odat la 3 pn la 6 ani.
Odat ce un indicator a fost cuantificat, poate s dureze mai multe luni
sau chiar ani pn cnd informaia poate fi cu adevrat folosit n
monitorizare i evaluare. Acest fapt este valabil n special pentru anumii
indicatori de context, preluai din publicaii statistice. Actualitatea
informaiei este un criteriu important al calitii. Uneori statisticile se
public la 2 sau 3 ani dup culegerea datelor.

calitatea unui
indicator
depinde de:
disponibilitatea
datelor;
sensibilitatea
la intervenie;
soliditate i
credibilitate;
comparabilitat
e;
normativitate;
sens i
validitate

Atunci cnd se evalueaz efectele programului, indicatorii alei trebuie s


fie n aa fel nct programul s fie capabil s aduc modificri n valoarea
indicatorului. Capacitatea interveniilor de a influena valoarea unui
indicator este cunoscut sub numele de sensibilitate. n cazul unei
intervenii care sprijin exporturile, spre exemplu, cifra de afaceri
nregistrat de firmele care au beneficiat de asisten nu este un indicator
ndeajuns de sensibil. Un indicator mai potrivit ar fi cifra de afaceri
realizat n urma contactrii de noi clieni, ca urmare a spijinului oferit de
program.
Rezultatele la care se ajunge prin aplicarea indicatorilor, trebuie s fie
solide i credibile. Fidelitatea indicatorilor tinde s se aplice faptelor i
cifrelor i poate fi definit prin faptul c aceeai msurtoare, realizat de
doi indivizi diferii, n condiii identice, va conduce la aceeai valoare a
indicatorului. n cazurile n care indicatorii sunt cuantificai pe baza
ntrebrilor puse de ctre o persoan altei persoane, fidelitatea nu mai Credibilitate
poat fi definit att de mecanic, chiar dac investigaiile trebuie s fie
credibile. Credibilitatea tinde s depind de soliditatea metodei aplicate,
cu toate c independena i reputaia unei echipe de evaluare pot fi de
asemenea importante.
Utilitatea unui indicator depinde foarte mult de msura n care acesta
permite realizarea de comparaii interne, ntre diferite msuri ale
Comparabilitat
programului, sau de comparaii externe, inter-regionale. Comparabilitatea
e
unui indicator este, n consecin, un criteriu al calitii.
Normativitatea este un alt criteriu de calitate al unui indicator. Indicatorii
trebuie s se refere la efecte care pot fi considerate satisfctoare sau nu.
Indicatorii trebuie s evite ambiguitatea. Orice valoare a unui indicator
trebuie prin urmare s fie comparat cu o norma, ca de exemplu: obiective Normativitate
care se cer atinse; norme care urmeaz a fi ntrecute; media european
care trebuie obinut.
Un indicator bun trebuie s fie neles de toi cei care l folosesc.
Semnificaia indicatorului trebuie s fie aceeai att din perspectiva celor
care iau decizii i a publicului, ct i din cea a managerilor de program. Ea
Validitate
trebuie s reflecte cu acuratee conceptul care urmeaz a fi msurat.
Aceast proprietate este uneori menionat sub numele de validitate.

149

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


Aceste criterii s-au aplicat n analiza indicatorilor din documentul unui
program desfurat n sectorul transporturilor din Portugalia, n perioada
1994-1999.
Criteriile de calitate aplicabile ntregului sistem de indicatori
Recomandm urmtoarele criterii pentru analiza sistemului de indicatori:

Indicatorii selectai trebuie s acopere o mare parte din msurile


programului. Acoperirea ar trebui s fie egal cu / mai mare dect trei
sferturi din cheltuielile planificate.
Sistemul trebuie s prezinte un echilibru stabil ntre indicatori ce
aparin unor categorii diferite. Indicatorii de rezultat i de impact, n
special, trebuie s dein cea mai mare pondere.
Sistemul de indicatori trebuie s fie simplu. Criteriul de selecie cere s
se fie respectat capacitatea managerilor de program de a absorbi
informaia. Drept consecin, informaia trebuie s se limiteze la doar
civa indicatori.
Relevana sistemului implic faptul c indicatorii sunt elaborai n
primul rnd pentru acele msuri i teme care prezint implicaii
semnificative n procesul de luare a deciziilor. De exemplu, msurile
pentru care se aloc un buget mare; msuri inovative; teme
considerate strategice.

Foarte frecvent, stabilirea indicatorilor nu va ncepe de la zero, i, cnd


este posibil, sistemele i indicatorii trebuie s fie n acord cu cei care sunt
deja operaionali. De exemplu, indicatorii utilizai n monitorizarea
Fondurilor Structurale ar trebui s fie compatibili cu cei folosii pentru
monitorizarea Strategiei Europene pentru Ocuparea Forei de Munc i a
Strategiei pentru Incluziune Social .

Utilizarea indicatorilor pentru a face comparaii ntre programe


Utilizarea indicatorilor cu scopul de a face comparaii valide ntre
programe este important, dar ntotdeauna dificil. Aceasta se datoreaz
unor factori variai, cum ar fi diversitatea interveniilor din cadrul
programului, diversitatea contextelor regionale sau incompatibilitatea
definiiilor. De exemplu, n funcie de regiune sau program, se poate
realiza o eviden a excursiilor turistice monitoriznd numrul vizitelor sau
al nopilor de cazare; numrul participanilor la formare poate fi evideniat
prin analiza prezenei la sesiunile de formare sau prin numrul orelor de
curs oferite; protecia mediului nconjurtor poate fi msurat prin numrul
de proiecte, de amplasamente asupra crora s-a intervenit sau prin
numrul de hectare protejate.
Comparabilitatea trebuie avut n vedere i obinut prin schimburile
realizate ntre managerii din diferite regiuni sau ri. Programul
INTERREG a oferit numeroase prilejuri pentru tipul acesta de comparaii.
(vezi cadrul 4.6)

150

Sistemele de
indicatori
trebuie s
ofere
acoperire,
echilibru,
selectivitate i
relevan.

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


Cadrul 4.6 Cooperarea n scopul generrii comparaiilor transnaionale
n regiunile Pays-de-la-Loire (Frana) i Emilie-Romagne (Italia), ntre 1997 i 1998, au
avut loc ntlniri bilaterale pentru a se discuta despre activitatea de evaluare din domeniul
turismului rural. Pe parcursul a dou seminarii de dou zile, regiunile au analizat propriile
aciuni referitoare la subiectul dezbtut i au definit mpreun o diagram logic a
rezultatelor imediate, a rezultatelor pe termen mai lung i a impacturilor. S-au propus
indicatori comuni, pentru a face posibil realizarea unor comparaii interregionale.
Comparabilitatea este adesea uor de obinut i mai folositoare la toate
nivelurile, dac este rezultatul unui efort coordonat la un nivel geografic
mai extins. Aceast abordare prezint avantajul multiplicrii posibilitilor
pentru comparaii, permind n acelai timp o agregare a indicatorilor la
nivel regional i naional. Biroul Scoian a creat o serie de indicatori
standard, aplicabili unui numr de apte programe derulate pe teritoriul
Scoiei (vezi Cadrul 4.7). Cu toate c se ocup n principal de indicatorii
contextuali, i mai puin de evaluare, Auditul Urban ofer drept exemplu
un caz n care au fost depuse eforturi pentru obinerea comparabilitii.
Cadrul 4.7 Un set de indicatori standard pentru mai multe programe
n cadrul de lucru privind monitorizarea i evaluarea a apte programe co-finanate de
Uniunea European, Biroul Scoian a elaborat o serie de indicatori standard. O parte dintre
aceti indicatori se refer la rata de context a ocuprii forei de munc, a omajului, a
productivitii, a nivelului mediu al venitului, etc. Unii indicatori de realizri imediate i de
rezultat au fost de asemenea standardizai, dup cum se poate observa n exemplele
urmtoare, aplicabile n cazul msurilor de infrastructur pentru ntreprinderi.
Cldiri construite (noi)
Cldiri renovate
Dezvoltarea unor noi amplasamente
mbuntirea amplasamentelor existente
Acces nou/mbuntit la drumuri
Zona de suprafa pentru care s-au construit
sau mbuntit aceste ci de acces
Rata de ocupare a noilor cldiri
Numrul de spaii de formare create

metri ptrai
metri ptrai
hectare
hectare
kilometri
hectare
procent nregistrat dup un an
procent nregistrat dup trei ani
numr

Pentru a se obine un nivel ridicat al comparabilitii, managerii de program din Scoia au


organizat mai multe ntlniri la care au participat reprezentani ai tuturor programelor.
Standardizarea a fost rezultatul unui proces ndelungat de dezbatere colectiv.
Comunicarea public
Sistemele de indicatori trebuie s se dovedeasc folositoare n procesul
de luare a deciziilor. Ele sunt importante i din raiuni de responsabilizare
fa de, spre exemplu, Parlamentul European, parlamente naionale,
reprezentani alei regionali sau locali, parteneri socio-economici,
jurnaliti, i, prin intermediul acestora, fa de ceteni sau contribuabili.
Dac sistemele de indicatori servesc drept fundament pentru comunicarea

151

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


public, este necesar selectarea, cuantificarea i publicarea unui numr
redus de indicatori care pot fi uor de neles de ctre un public neiniiat.
Publicarea unor asemenea indicatori ntr-o recenzie anual, spre
exemplu, este n mod obinuit organizat sub forma unor tabele nsoite
de comentarii. Informaii mai detaliate pot fi puse la dispoziie i printr-un
observator deschis publicului sau printr-un sistem de consultaii prin
Internet.
n definirea acestor indicatori accesibili publicului, trebuie s se acorde
prioritate indicatorilor generici (aplicabili mai multor msuri distincte din
cadrul aceluiai program) i indicatorilor standard (care permit
comparaiile ntre programe care se deruleaz n regiuni i ri diferite).
Mai mult, aceti indicatori trebuie s fie nelei de toi partenerii, fr a fi
nevoie de o explicaie laborioas i fr a se face vreo interpretare greit
a nelesului acestora.
Propuneri pentru indicatori-cheie, accesibili publicului
Cadrul 4.8 propune o serie de indicatori care pot fi utilizai ca indicatoricheie accesibili publicului. Lista nu este nici nchis, nici stabil, nici nu
are caracter de ndrumare i se limiteaz la indicatorii de program.
Indicatorii au fost notai cu scoruri de la *** la *, n ordine descresctoare a
interesului. Indicatorii se refer la: resurse (intrri), realizri imediate
(ieiri), rezultate i impacturi.
Cadrul 4.8 Propuneri pentru indicatori-cheie: Resurse
Interes
**
*
*
***
**
**
*
*

Indicator
Resurse umane
Angajarea temporar a forei de munc n cadrul firmelor care preiau
activiti n timpul implementrii (locuri de munc x ani)
Numrul operatorilor (organizaii publice i private responsabile pentru
acordarea de asisten beneficiarilor)
Numrul consilierilor (FTE) mobilizai n activitatea de consiliere a
beneficiarilor
Resurse financiare
Rata de absorbie bugetar (% din fondurile alocate)
% proiecte (n termeni financiari) de pe urma cruia beneficiaz
femeile
% proiecte (n termeni financiari) n cadrul pieelor/sectoarelor care
nregistreaz o cretere rapid
% din buget alocat msurilor de mbuntire a condiiilor de mediu
% proiecte (n termeni financiari) care vizeaz zonele cele mai
dezavantajate

Realizri imediate
Interes
***
**
**

Indicator
Progresul lucrrilor
Gradul de atingere a obiectului (% din obiectiv)
Conformitatea cu durata proiectului
Capacitatea lucrrilor ncheiate
Numrul conexiunilor poteniale (a firmelor / gospodriilor) la reele de
152

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV

**
**
*
*
**
***
***
***
***
**

servicii de baz
Activitatea de atragere i de selectare desfurat de operatori
Rata de selecie (% proiecte acceptate din totalul proiectelor eligibile)
Rata de acoperire: % din populaia int, care a participat (sau trebuia
s participe) la program.
% din beneficiari care fac parte din grupurile prioritare (de ex. omeri pe
termen lung, cei ce abandoneaz de timpuriu coala)
% din beneficiari situai n zonele cele mai dezavantajate
% din beneficiari care activeaz n pieele/sectoarele aflate n cretere
rapid
% femeilor n totalul beneficiarilor
% IMM-urilor n totalul beneficiarilor
Servicii finanate de program
Numrul beneficiarilor individuali care au primit consiliere, servicii,
formare.
Numrul unitilor economice (ntreprinderi, ferme, ferme de pescuit,
profesioniti n turism, posesori de nave) care au beneficiat de servicii,
consiliere, formare.
Numrul de ore de formare / consiliere oferite beneficiarilor

Rezultate
Interese
*
**
**

Indicator
Satisfacia beneficiarilor
Rata de satisfacie (% beneficiarilor care s-au declarat satisfcui sau
foarte satisfcui)
Avantaje pentru beneficiari
Viteza medie ntre principalele centre economice
Investiii facilitate pentru beneficiari
Efectul de levier (cheltuielile din sectorul privat realizate n contrapartid
la sprijinul financiar primit)

Impacturi
Interes
**
*
***
***
**
*

Indicator
Succes sustenabil
Rata de plasament (de ex.: % beneficiarilor individuali care au un loc de
munc dup 12 luni, incluznd % celor care au un loc de munc stabil,
pe termen lung).
Rata de supravieuire (de ex : % unitilor economice asistate care sunt
nc active dup 12, pn la 36 luni)
Impactul perceput de beneficiari
Valoarea adugat generat (de ex.: sub form de euro /an/angajat
dup 12 luni)
Locurile de munc create sau pstrate (de ex.: echivalentul locurilor de
munc cu norm ntreag dup 12 luni)
Impactul perceput n totalitate n zona respectiv
Atractivitatea rezidenial (exp: % locuitorilor care doresc s rmn n
zon)
Impactul indirect
Efectele de antrenare regional (ex. % firmelor locale care se numr
printre furnizorii firmelor asistate, dup 12 luni)

153

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV

4.8 UTILIZAREA INDICATORILOR N SCOPUL MBUNTIRII


MANAGEMENTULUI
Un numrul crescnd de sisteme de indicatori este elaborat n scopuI
unui management al performanei. Aceste sisteme sunt o form a
Noului Management Public care pune accentul pe rezultate i impacturi
obinute, spre deosebire de formele mai vechi ale managementului, care
se bazau pe alocarea resurselor i pe controlul realizrilor imediate.
Managementul performanei, preferabil managementului resurselor
n spiritul managementului performanei, operatorii au o mai mare
autonomie n utilizarea resurselor proprii. n schimb, ei se dedic unor
obiective mai clare, precum rezultatele i impacturile care trebuie
obinute. Ei trebuie s-i msoare performana pentru a se auto-evalua i
pentru a nainta rapoarte periodice. Acest nou echilibru ntre
descentralizare i msurarea performanei st la baza multor progrese
nregistrate n administraia public.
n multe regiuni europene, cultura administrativ a rmas neclintit n
faa descentralizrii i a managementului performanei, iar elaborarea
indicatorilor de rezultat i de impact, n general se consider a fi dificil.
Managerii de program sunt mai familiarizai cu indicatorii de resurse i de
realizri imediate. n ciuda acestui fapt, schimbrile culturale au loc ncet,
dar sigur n anumite ri, sub presiunea exercitat de reformele
administrative iniiate de guvernele naionale. Activitatea de monitorizare
i evaluare a programelor co-finanate de Uniunea European a
reprezentat un factor care a ncurajat managementul performanei, n
ceea ce privete rezultatele i impacturile.
Interpretarea i compararea indicatorilor
Exist situaii n care indicatorii sunt explicii, dar acestea sunt excepii.
n general, indicatorii trebuie s fie interpretai printr-o comparaie
relevant sau printr-un eec. ntr-un exemplu ilustrat mai jos, comparaia Comparaie:
ntre trei indicatori a artat c formarea finanat din fondurile europene situaia iniial i
nu a influenat omajul structural, dup cum era de ateptat (vezi Cadrul cea actual
4.9)
Caseta 4.9 Compararea mai multor indicatori pentru a ilustra un fenomen
n cadrul de lucru al evalurii intermediare a Fondului Social European n regiunile
Obiectivului 1 din Italia, ISFOL (Unitatea Naional de Evaluare a Fondurilor Sociale
Europene Italia) a adunat i a interpretat o serie de indicatori de monitorizare. n
anumite cazuri, comparaiile dintre aceti indicatori au dus la concluzii clare i
incontestabile. De exemplu, acea parte a programului care vine n sprijinul omerilor pe
termen lung poate fi msurat prin intermediul a trei indicatori:
- cheltuielile planificate pentru omerii pe termen lung: 18% din cheltuielile totale
planificate
- fondurile alocate omerilor pe termen lung: 11% din totalul fondurilor alocate
- fondurile cheltuite pentru omerii pe termen lung: 8% din totalul fondurilor cheltuite.

154

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


Comparaia ntre aceste trei valori reflect n mod clar faptul c omerii pe termen lung
au fost descalificai la fiecare pas al implementrii programului. Din consultarea tabelului
de indicatori i observarea izolat a acestor valori, informaia ar fi nesemnificativ. Pentru
a identifica problema legat de lipsa de adresabilitate pentru omerii pe termen lung, a
fost nevoie de o mprire a acestor trei indicatori n funcie de durata omajului pentru
beneficiarii direci, i de o comparaie ntre sub-categorile rezultate, realizat de ISFOL.
Atunci cnd este posibil, este folositoare realizarea unei comparaii ntre
indicatorii de program (de ex., numrul de omeri care au beneficiat de
formare) i indicatorii de context corespunztori (de ex., numrul
omerilor din regiune). Acest tip de informaie poate fi prezentat ntr-o
manier concis, prin folosirea unor indicatori derivai care exprim
realizrile imediate sau efectele programului sub form de procente
aplicate indicatorului de context (vezi Caseta 4.10).
Cadrul 4.10 CSF (Obiectiv 1) 1989-93 Comparaia ntre indicatorii de program i
de context - Spania
Date nregistrate Date sub form de procent
Numrul liniilor telefonice
digitale

239 800

6 % din liniile digitale instalate n


Spania n acea perioad

20

91 % din Universitile situate n


regiunile Obiectiv 1

Crearea i mbuntirea
terenurilor irigate (n ha)

34 236

1.5 % din suprafeele irigate n


regiunile Obiectiv 1

Numrul fermelor
modernizate

107 000

4.8 % din fermele existente n


Spania (1992)

Numrul fermierilor
nceptori care au
beneficiat de subvenii

11 000

0.5 % din fermele existente n


Spania (1992)

Universiti finanate

Numrul participanilor la
formri

2 693 000

17.7 % din populaia activ din


Spania

Pentru a fi folositori n evaluare, indicatorii trebuie utilizai n legtur cu


constatrile calitative. Pentru a interpreta indicatorii, este necesar
luarea n considerare a contextului ca ntreg, a factorilor care faciliteaz
Comparaie:
sau mpiedic performana programului, a argumentelor programului i a
program i
procesului de implementare.
context
Una dintre tehnici const n constituirea unui panel de experi, care s
examineze elementele combinate, cantitative i calitative ale situaiei i
s interpreteze performana msurilor. (vezi Cadrul 4.11)
Cadrul 4.11 Panele de experi analizeaz performana Centrului de Cercetare
Universitar
Panele de experi sunt utilizate deja n evaluarea centrelor universitare de cercetare din
Marea Britanie. Activitatea tuturor centrelor de cercetare din Marea Britanie este
monitorizat cantitativ i evaluat periodic de panele de experi. n evaluarea pe care o
155

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


realizeaz, experii iau n calcul indicatori (de ex. numrul de publicaii), dar i elemente
pur calitative (de ex. calitatea celor mai bune patru publicaii ale fiecrui centru de
cercetare). Evaluarea rezult ntr-o clasificare a echipelor de cercetare (pe o scal de la
1 la 5). Alocarea fondurilor publice va fi direct determinat de aceast clasificare. (Bone
& Carter, (1997).
De multe ori, interpretarea indicatorilor face uz de comparaiile dintre
performanele a dou intervenii. Acest tip de comparaie se refer n
primul rnd la indicatori de eficien cum sunt: costul formrii per
participant, costul per loc de munc creat, costul unei gospodrii
racordat la sistemul de canalizare. Cu toate acestea, comparaiile nu Comparaie: o
sunt ntotdeauna acceptabile pentru operatorii i managerii de program. intervenie cu
Comparaiile de performan, n special, vor aprea ca nedrepte pentru alta
managerii care i desfoar activitatea n contexte mai dificile. Pentru a
face comparaiile acceptabile, se impune o rafinare considerabil a
procedurilor de realizare a acestora, astfel nct s se in cont i de
provocrile suplimentare generate de interveniile desfurate n medii
mai problematice.
n cadrul 4.12 este prezentat, cu titlu de exemplu, un mod de tratare a
acestei probleme n domeniul educaiei. Tehnica const n reconstruirea,
pentru fiecare intervenie care va face obiectul unei comparaii, a unui
grup de mai multe intervenii similare implementate n alte regiuni, dintrun mediu cu grad de dificultate asemntor. Comparaiile au fost fcute
cu media interveniilor din acest grup de referin.
Cadrul 4.12 Exemple de comparaii de performan acceptate de operatori
Comparaia ntre performanele nregistrate de organizaiile care furnizeaz servicii de
formare se confrunt cu faptul c diferitele categorii de public care particip la formare,
nu au aceleai probleme. Cu civa ani n urm, o echip de evaluare a trebuit s
compare 133 de organizaii de formare din state diferite de pe teritoriul SUA. Echipa s-a
hotrt s compare fiecare organizaie cu un grup de referin format din alte 14
organizaii asemntoare din punct de vedere al caracteristicilor publicului recrutat
(nivelul de srcie, limba matern, nivelul de educaie al prinilor, apartenena la un
grup minoritar, etc). Pentru a alctui aceste grupuri standard, evaluarea s-a folosit de o
analiz a factorilor i de panele de experi. La sfritul evalurii, comparaiile de
performan au fost fr discuie acceptate.
Henry et al. (1992)
Evitarea efectelor adverse ale indicatorilor
Teama de a provoca efecte adverse constituie deseori o piedic n
utilizarea indicatorilor. Exist mai multe tipuri de efecte adverse:
Efectul de selectare eronat (desmntnire)
Indicatorii pot
Convergena nspre medie
Efecte neanticipate n care rezultatele sunt subordonate scorurilor provoca
comportamente
indicatorilor.
perverse
Efectele de selectare eronat (de smntnire) pot avea loc atunci cnd
performana organizaiilor de formare i de prestri de servicii n
domeniul ocuprii forei de munc, este msurat prin rata de plasare a
beneficiarilor. n scopul obinerii unei rate de plasare mai bune pentru

156

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


beneficiarii lor, este n interesul organizaiilor s selecteze ca beneficiari
ai interveniei persoane aflate n cele mai bune situaii posibile, care
ntrunesc totodat i criteriile de eligibilitate. Ca urmare, operatorii au
tendina de a de a alege doar spuma, de a smntni beneficiarii direci,
favorizndu-i pe cei care au o mai mare capacitate de angajare. Acest
efect este de nedorit, din moment ce el are drept consecin
concentrarea asistenei asupra celor care au mai puin nevoie de ea.
n cadrul 4.13 este ilustrat un exemplu referitor la felul n care indicatorii
pot duce la o scdere a diferenelor, printr-o convergen la medie.
Un indicator poate s ncurajeze i comportamente avnd drept rezultat
o performan sub standarde. Aceasta se ntmpl atunci cnd
indicatorul recompenseaz rezultate nedorite, sau cnd sistemul face ca
operatorii s-i concentreze activitatea pe indicator i mai puin pe
rezultat.
Cadrul 4.13 Efecte adverse ale unui sistem de indicatori ai managementului
performanei: convergena ctre medie, n avantaj fa de convergen spre
excelen
Sistemul de indicatori al Comisiei Britanice de Audit organizeaz cuantificarea a
aproximativ dou sute de indicatori de realizri imediate i de rezultate n domeniul
serviciilor oferite de municipaliti. Indicatorii sunt comparabili de la un ora la altul i sunt
publicai anual n presa local. Sistemul creeaz o impresie puternic despre un ora,
atunci cnd unul din servicii este prestat necorespunztor. Drept rezultat, multe
municipaliti au crescut bugetul alocat serviciilor cu cea mai sczut performan, n
sperana de a crete standardele. n aceste cazuri, resursele financiare au fost de multe
ori preluate din bugetul celor mai eficace servicii. Folosirea indicatorilor a generat prin
urmare, o reducere a diferenelor prin convergena ctre medie. Acest fapt a constituit un
efect advers deoarece se spera ca indicatorii s genereze o performan convergent
ctre excelen.
Efectele adverse apar n mod inevitabil dup doi sau trei ani de
funcionare a sistemului de indicatori, indiferent de ct de bine a fost De-a lungul
proiectat acesta. n general, aceste efecte de nedorit nu pot fi anticipate. timpului,
efectele adverse
Apariia probabil a efectelor adverse nu trebuie s reprezinte un pot fi inevitabile,
argument pentru refuzul msurrii performanei. Minimalizarea efectelor dar nu sunt un
adverse este posibil fie prin mbuntirea indicatorului care creeaz argument
probleme, sau prin elaborarea de ctre panele de experi a unei mpotriva
proceduri de interpretare a indicatorului. n concluzie, trebuie s se msurrii
acorde o atenie sporit apariiei efectelor adverse i s se fac corecii performanei
n sistem atunci cnd aceste efecte apar.
Crearea stimulentelor pentru performan
Exist mai multe moduri de a utiliza indicatorii pentru a aduce o Indicatori pot fi
utilizai pentru a
mbuntire n performana operatorilor. Acestea includ:
mbunti
Operatorii cu performan slab primesc asisten tehnic specific performana
pentru a fi ajutai s progreseze. Dac situaia nu se mbuntete, atunci cnd sunt

157

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV

se restricioneaz bugetul. Aceast metod funcioneaz dup nsoii de


principiul c nu greeala trebuie penalizat, ci incapacitatea de a stimulente
corecta greelile.
Operatorilor care nregistreaz cea mai bun performan li se
acord o mai mare autonomie i sunt controlai mai puin.
Operatorii care nregistreaz cea mai bun performan beneficiaz
de sprijin pentru prezentarea propriilor efecte i rezultate imediate
publicului larg.
Operatorii care nu s-au ridicat la nlimea ateptrilor sunt
descalificai din procedurile de selecie a proiectelor viitoare (un
exemplu n acest sens este prezentat n Cadrul 4.14)
Operatorii cu cea mai bun performan primesc fonduri
suplimentare.

Caseta 4.14 Selecia proiectelor pe criterii de eficien


n cadrul de lucru al programului privind Obiectivul 2, desfurat n perioada 1989-93 n
regiunea Pays-de-la-Loire (Frana), aciunile Fondului Social European au fost
coordonate de Consiliul Regional. Serviciile din cadrul Consiliului Regional au aplicat
pentru managementul FSE, o metod de selecie a proiectelor utilizat i n activitile
lor de formare. Metoda se bazeaz pe managementul performanei i funcioneaz
astfel:
Organizaiile de formare care completeaz prima lor aplicaie pentru obinerea de
fonduri, se supun unor proceduri de selecie mai puin severe, pe baza calitii proiectelor
lor. Acest mecanism de selecie se aplic n mod excepional, deoarece aplicaiile
primare sunt rare.
Organizaiile care primesc deja asisten i care aplic pentru o nou subvenie (aplicaii
secundare), se ncadreaz n mecanismul de selecie normal a proiectelor. Prin aceast
procedur obinuit, fondurile se acord mai nti organizaiilor cu cea mai bun rat de
plasare. Sistemul de monitorizare oblig toate organizaiile care ofer formare
subvenionat s nainteze Consiliului Regional o evaluare a ratei de plasare a
participanilor la formri, calculat dup ase luni.
Efectul acestui mecanism este de a favoriza acele organizaii care se dedic cel mai mult
nevoilor firmelor i care au cele mai bune impacturi.
Utilitatea unui sistem de indicatori
Diagrama 4.15 este un rezumat al principalelor explicaii furnizate
anterior. Ea prezint un set de supoziii, adesea implicite, care se fac
atunci cnd se creeaz un sistem de indicatori cu scopul de a mbunti
performana programului.

158

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


Diagrama 4.15 Un sistem de indicatori
Sistemul de indicatori
este construit

Sistemul furnizeaz
informaia dorit

Sistemul reflect
obiectivele i le face mai
clare

Iinformaia este
interpretat corect
Informaia este folosit
pentru a oferi stimulente
n vederea unei
performane mai bune

Informaia este
mprtit publicului

Se vegheaz asupra
efectelor perverse

Managerii iau decizii mai


bune

Performana programului
se mbuntete

Cetenii i pot face o


prere proprie

Prezentarea accentueaz faptul c primul pas nu este chiar construirea


unui sistem de indicatori. Cel puin ali ase pai sunt urmai nainte ca
sistemul s fie cu adevrat util.
4.9 REGULI DE BAZ
1. Alegerea metodelor i a tehnicilor deriv direct din tipul de
ntrebri ce se doresc a fi puse, iar aceste ntrebri fac parte
dintr-un exerciiu extins de proiectare care presupune consultarea
actorilor-cheie i analiza caracteristicilor programului. Alegerea
mai nti a metodelor i tehnicilor, urmat de ncercarea de a le
adapta ntrebrilor pentru care nu au fost n mod special alese
cocepute, va genera ntotdeauna probleme. Tehnicile alese
trebuie s reflecte scopul i interesul general al evalurii.
2. Majoritatea tehnicilor prezint avantaje i dezavantaje; acestea
trebuie recunoscute, i, acolo unde este posibil, este necesar
aplicarea simultan a mai multor tehnici diferite, n vederea
consolidrii analizei i credibilitii rezultatelor i a concluziilor
evalurii.

159

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


3. Datorit caracterului distinctiv al dezvoltrii socio-economice
(natura inductiv, utilizarea unor combinaii diferite de intervenii
concepute pe msura nevoilor teritoriale i sectoriale) este dificil
msurarea i compararea efectelor obinute n contextele
programelor de dezvoltare socio-economic. Aceasta nu
nseamn c msurtorile, cuantificarea i statistica nu sunt
relevante. Ele pot reprezenta instrumente puternice cnd
comparaiile sunt fcute la nivel de program de dezvoltare i nu
se ncearc alturarea unor contexte imposibil de comparat.
4. Metodele i tehnicile calitative sunt n mod special adecvate
dezvoltrii socio-economice, datorit mai ales subtilitii i naturii
holistice a demersului, dar i diferenelor ntre contexte, care
trebuie s fie descrise ntr-o manier calitativ. Caracterul
participativ al dezvoltrii locale avnd ca fundament potenialul
i ambiia actorilor-cheie i ale cetenilor locali se potrivete
foarte bine att cu metodele calitative i cu cele participative.
5. Prioritile tematice, care sunt foarte frecvent ntlnite n
programele europene, creeaz adevrate dificulti evaluatorilor.
Dat fiind faptul c cei implicai n formularea politicilor publice vor
s afle ce succes vor nregistra politicile lor, luate ca ntreg, exist
de multe ori presiunea de a agrega rezultate i de a gsi o
modalitate comun de descriere i chiar de msurare a
fenomenelor care au loc. De cele mai multe ori, acest lucru nu
poate fi realizat. Uneori funcioneaz doar descrierile calitative.
Se cere o atenie sporit, pentru a nu se ajunge n situaia de a
aduna mere cu pere.
6. Exist de multe ori controverse ntre a alege evaluatori care sunt
specializai ntr-un anumit domeniu de politic public sau care
au capaciti de evaluare mai generice. n mod ideal, ntr-o
echip de evaluare, se ncearc mbinarea ambelor seturi de
cunotine i experiene. Contractanii trebuie s fie contieni de
pericolul angajrii unor evaluatori care i-au desfurat activitatea
profesional ntr-un singur domeniu specializat i care au folosit
un set limitat de metode i tehnici. Acesta este nc un argument
n favoarea verificrii echilibrului ntre abiliti n interiorul echipei
de evaluare.
7. Este important s se fac o distincie ntre metodele i tehnicile
de colectare a datelor, cele de analizare a acestora, i cele de
informare a judecilor evaluative. Unul dintre motivele pentru
care aceast distincie nu este ntotdeauna fcut, rezid n
faptul c cei care ntreprind evaluri sunt preocupai mai mult de
un stadiu al procesului dect de altul. i n acest caz trebuie s
existe un echilibru. Investiiile n metode sofisticate de colectare a
datelor se vor dovedi inutile dac analiza datelor se face ntr-o
manier simplist.
8. Datele nu sunt niciodat pure i nici nu vin de la sine, ele trebuie
s fie produse. Din acest motiv, evaluatorii trebuie s cunoasc
proveniena datelor i deciziile care au fost luate pe parcursul
producerii lor. n cele din urm, puterea argumentelor i a
concluziilor, depinde n mare msur de soliditatea i

160

MANUALUL pentru Evaluarea Dezvoltrii Socio-Economice: Capitolul IV


caracteristicile datelor folosite.
9. Un aspect important referitor la calitate n procesul evalurii
datelor deriv din felul n care au fost accesate aceste date i din
modalitatea de negociere a accesului. n programele de
dezvoltare socio-economic mai ales, exist o multitudine de
probleme care trebuie rezolvate. Parteneri diferii trebuie s fie
dispui s mprteasc informaii, grupurile excluse sunt
nencreztori n evaluare care e vzut ca un alt exemplu de
comportament oficial i trebuie cooptai n aceast problem.
Toi actorii-cheie trebuie s fie convini c vor avea ceva de
obinut de pe urma evalurii, nainte de a face disponibil orice
informaie pe care o dein. Investirea n asemenea procese de
negociere va avea un impact pozitiv asupra calitii i asupra
evalurii ca ntreg.
10. Deosebirea cantitativ/calitativ este exagerat. Datele sunt de
multe ori elemente ale aceleai scale, ncepnd prin a fi calitative
i devenind cantitative n urma procesului de analiz. Formele
mai slabe de date cantitative (de ex. categorizarea sau
ordonarea) se disting foarte puin de datele calitative. Ceea ce
este cu adevrat necesar atunci cnd se evalueaz programe de
dezvoltare socio-economic, este ca datele calitative s poat
surprinde subtiliti, experiene personale i judeci i ca datele
cantitative s fie capabile s ofere scurte treceri n revist, de
exemplu s realizeze agregarea rezultatelor unei intervenii i s
asigure o perspectiv comparativ.
11. Indicatorii bine concepui i sistemele de monitorizare sunt de
mare ajutor procesului de evaluare. De multe ori, evaluatorii
depind de sisteme de monitorizare bazate pe indicatori. Dac
acestea nu sunt puse la punct mai devreme n cadrul ciclului de
proiectare a programului, crearea ulterioar a unor sisteme de
monitorizare de acest tip poate deveni imposibil.
12. Sistemele de indicatori supra-elaborate pot fi neproductive. n
pofida faptului c n programele multisectoriale i care urmresc
obiective multiple exist tentaia de a se msura tot, ea trebuie
nlturat cu fermitate. Msurarea a tot ceea se poate msura
poate fi costisitoare, iar rezultatele dificil de folosit.
13. Indicatorii sunt adesea ntrebuinai n scopuri de management i
responsabilizare. Reutilizarea acelor indicatori care au fost
elaborai pentru a servi n mod special acestor scopuri, ca parte a
unei evaluri, este de multe ori dificil. Poate exista prea mult
presiune pentru modelarea pozitiv a informaiei, sau, pentru
elaborarea unui mesaj pozitiv. Pe de alt parte, ntr-o cultura
dezvoltat a managementului performanei, aceste tipuri de
indicatori pot ajuta la mbuntirea coninutului programului,
precum i a managementului. Aceasta pare s fie situaia n
cteva ri n care rezerva de performan a fost n mod pozitiv
ncorporat n programe din cadrul Fondurilor Structurale
Europene.

161

Manualul pentru Evaluarea Dezvoltarii Socio-Economice : Anexe


Anexa A: Principalele stadii ale evalurii
Evaluarea ex-ante
Evaluarea ex-ante are loc la nceputul ciclului de evaluare, nainte de adoptarea programului.
Aceasta form de evaluare ajut la asigurarea faptului c programul final este ct se poate
de relevant i coerent. Concluziile evalurii urmeaz s fie integrate n program n momentul
n care se iau deciziile.
Evaluarea ex-ante se concentreaz n primul rnd pe analiza punctelor tari, a punctelor slabe
i a potenialului Statului Membru, a regiunii sau a sectorului n cauz. n urma acestei
evaluri, autoritile implicate pot stabili dac problemele de dezvoltare au fost diagnosticate
corect, dac strategia i obiectivele propuse sunt relevante, dac exist vreo discrepan
ntre politicile si recomandrile Comunitii Europene, dac impacturile ateptate sunt
realiste, i aa mai departe. n acelai timp, evaluarea ex-ante furnizeaz fundamentele
necesare monitorizrii precum i evalurilor viitoare, prin stabilirea unor obiective explicite, i,
acolo unde este posibil, a unor obiective cuantificabile. Ea ajut la stabilirea criteriilor de
selecie pentru alegerea proiectelor, asigurnd totodat respectarea prioritilor Comunitii.
n cele din urm, ea ajut la asigurarea transparenei deciziilor, oferind o explicaie clar a
alegerilor fcute i a efectelor ateptate.
Evalurile ex-ante se realizeaz n momentul n care autoritile publice sunt implicate n
discuii si negocieri privind viitorul program. Prin urmare, ele sunt supuse unor constrngeri
importante: presiunea termenelor-limit, formularea inexacta a programului propus, care
urmeaz a fi evaluat, amendamente aduse acestei propuneri pe parcursul activitii, cerina
de confidenialitate, etc. Echipa de evaluare va trebui deci s fie capabil s intervin n mod
flexibil, rapid i s poat aplica tehnici pentru analiza nevoilor i pentru simularea efectelor
socio-economice.
Evaluarea Intermediar
Evaluarea intermediar are loc n timpul celei de-a doua faze a ciclului de programare, mai
exact, o dat cu implementarea interveniilor.
n funcie de concluziile evalurii intermediare, se pot face ajustri n timpul derulrii ciclului
de program. Aceast evaluare analizeaz ntr-o manier critic rezultatele imediate, tangibile
i efectele interveniilor realizate. De asemenea, n cadrul acestei evaluri, se analizeaz
managementul financiar al programului precum i calitatea monitorizrii i a implementrii.
Evaluarea arat cum i dac inteniile primare au fost duse la bun sfrit i, acolo unde este
relevant, verific dac schimbrile de facto au fost ntreprinse n conformitate cu obiectivele
iniiale. Prin comparaie cu situaia iniial, evaluarea intermediar pune n eviden
schimbrile n contextul economic i social general i stabilete dac obiectivele rmn
relevante. n acelai timp, evaluarea analizeaz dac evoluia prioritilor i a politicilor
comunitare ridic vreo problem privind coerena, ajut la pregtirea ajustrilor, a
reprogramrii i la argumentarea acestora ntr-o manier transparent.
Evaluarea intermediar se bazeaz ntr-o mare msur pe informaii furnizate de sistemul de
monitorizare, dar i pe evaluarea ex-ante, pe informaii privind contextul i evoluia acestuia.
n general, ea const n exerciii scurte i complete care se concentreaz n principal pe
rezultatele programului evaluat, fr a se ncerca o analiz n profunzime a impacturilor
viitoare, care nu au avut nc timp s se manifeste. Este totui posibil i de recomandat s
se fac referin la evalurile n detaliu sau tematice ale programelor deja implementate,
atunci cnd asemenea analize exist. Evaluarea intermediar este de natur formativ,
altfel spus, ea ofer un feed-back direct programului, contribuind la mbuntirea acestuia n
ceea ce privete managementul.

Manualul pentru Evaluarea Dezvoltarii Socio-Economice : Anexe


Evaluarea ex-post
Evaluarea ex-post recapituleaz i analizeaz ntregul program, axndu-se pe impacturile
produse. Scopul evalurii este acela de a rspunde pentru utilizarea resurselor, de a raporta
n ceea ce privete eficacitatea si eficiena interveniilor i msura n care efectele ateptate
au fost nregistrate. Se concentreaz pe factori de reuit sau eec i pe sustenabilitatea
rezultatelor i a impacturilor. Se ncearc prin intermediul acestei evaluri obinerea unor
concluzii care s poat fi generalizate i aplicate altor programe sau regiuni.
n mod ideal, rezultatele acestei evaluri trebuie s fie disponibile n momentul n care este
planificat urmtorul program, i anume, cu cel puin un an naintea de sfritul programului.
Cu toate acestea, evaluarea ex-post care vizaeaz impacturile ce urmeaz s se produc, ar
trebui s se fac la doi sau trei ani dup ncheierea perioadei alocate programului. Pn s
treac tot acest timp, este adesea cerut o trecere n revist provizorie, care va fi realizat
cu puin timp nainte de finalizarea ciclului de program, mpreun cu evaluarea ex-ante a
urmtorului ciclu.
Analiza impacturilor este ntotdeauna un exerciiu de anvergur, dac este executat
sistematic. Prin urmare, evalurile ex-post tind s includ anchete pe teren i s se deruleze
pe parcursul unor lungi perioade de timp, cuprinse ntre doisprezece i optsprezece luni.
Ciclurile succesive de program
Succesiunea a trei faze de evaluare n cicluri succesive d natere unor suprapuneri care
trebuie s fie organizate ct mai eficient posibil, pentru a se evita orice eventual dublare a
muncii. Principiul de baz const n combinarea activitii de evaluare din cadrul unui
program cu utilizarea concluziilor obinute n urma evalurii programului precedent.
Continuitatea relativ a aciunilor programate de la o perioad la alta, face posibil folosirea
concluziilor din trecutul apropiat, cu scopul de a analiza relevana noilor msuri propuse.
Urmtoarea diagram arat ca interaciunile ntre activitile de evaluare realizate n faze
diferite ale mai multor programe succesive sunt posibile.
Box A.1 Articularea ciclurilor de programare a evalurilor

Programe

(1)

(2)

(3)

Rezultate,
impacturi

Evaluare

intermediara (1)
ex ante (2)

Observatii

ex post (1)
intermediara (2)
ex ante (3)

Feedback

Astfel, o evaluare ex-ante care pregtete adoptarea unui program viitor trebuie s
foloseasc rezultatele muncii anterioare, de exemplu:

ii

Manualul pentru Evaluarea Dezvoltarii Socio-Economice : Anexe

evaluarea intermediar a perioadei se apropie de final. Aceast evaluare va fi produs


concluzii referitoare la primii ani de activitate i la programele imediat urmtoare. Este
posibil ca ea s fi fost completat cu o recenzie final a rezultatelor imediate si a
efectelor programului aflat in derulare, bazat pe informaiile furnizate de sistemul de
monitorizare.

evaluarea ex-post a perioadei care o precede pe cea curent, posibil completat cu


evaluri tematice i analize n profunzime. Aceste evaluri ar putea face posibil
observarea i analiza impacturilor interveniilor anterioare, intervenii asemntoare cu
cele planificate i care s-au desfurat ntr-un context asemntor.

Din moment ce scopul evalurii intermediare este de a verifica dac obiectivele sunt nc
relevante i pe punctul de a fi atinse, va fi necesar n primul rnd o referire la informaiile
sistemului de monitorizare, dar i la urmtoarele:

la evaluarea ex-ante i n special la diagnosticul fcut cu privire la contextul socioeconomic predominant, existent naintea nceperii programului i care trebuie
actualizat

la evaluarea ex-post a programului precedent, a crei concluzii privind aceleai


domenii de intervenie ar putea servi ca referin.

Evaluarea ex-post are la baz date referitoare la management i monitorizare i anchete de


teren, care servesc la observarea i analiza impacturilor reale i sustenabile ale interveniilor.
Ea se refer att la evaluarea ex-ante, atunci cnd trebuie s raporteze despre tangibilitatea
obiectivelor, ct i la evaluarea intermediar, n special pentru a identifica reuitele sau
eecurile existente n acel moment.
n ceea ce privete sarcina evalurii de a trage concluzii din experiena programelor
anterioare n vederea mbuntirii programelor viitoare, o soluie interesant este stabilirea
unui plan multi-anual de evaluare. Ideea este s se identifice diferitele evaluri posibile i s
se stabileasc data i coninutul lor, n relaie cu orarele i termenele-limit de luare a
deciziilor ale clienilor evalurii de la diferite niveluri.

iii

Manualul pentru Evaluarea Dezvoltarii Socio-Economice : Anexe


Anexa B: Schimbri n regulile Fondurilor Structurale
n cadrul Comisiei, cerina de transparen fa de contribuabili privind utilizarea fondurilor
provenite de la Statele Membre, a devenit din ce n ce mai stringent. Aceast aspiraie este
reflectat ntr-o expresie simpl: intind/urmrind eficacitatea n cheltuirea banilor Europei
Actul Unic European, adoptat la nceputul anului 1986, a introdus n Tratatul CEE o nou
seciune V care conine articolul 130D. Acest articol anun reforma Fondurilor Structurale,
cu intenia de a mbunti eficacitatea acestora, avnd n vedere intensificarea coeziunii
economice i sociale n cadrul Comunitii Europene. n mod similar, in februarie 1992,
Tratatul de la Maastricht include aceast nevoie imperativ de coeziune, iar n conformitate
cu Articolului 130, Consiliul trebuie s defineasc msuri necesare pentru asigurarea
eficacitii n utilizarea Fondurilor.
n concordan cu aceste cerine, regulamentele legate de Fondurile Strucurale (cele din
anul 1988 care se adreseaz primei generaii de Fonduri Structurale i cele din 1993, legate
de generaia actual) au coninut articole specifice despre evaluare, n special Articolul 6 din
regulamentul cadrului de lucru si Articolul 26 din regulamentul de coordonare.
Regulile aplicabile intre 1988 si 1993
Articolul 6, Paragraful 2 din regulile anului 1988 prevede c pentru a analiza eficacitatea
interveniilor structurale, este necesar o evaluare ex-ante i ex-post a impacturile aciunilor
Comunitii. Pentru ndeplinirea acestui obiectiv, aplicaiile depuse de ctre autoritile
competente n vederea obinerii sprijinului, trebuie s conin toate informaiile necesare,
astfel nct ele s poat fi evaluate de ctre Comisie
Aceste prime reguli, adoptate de ctre Consiliu la 19 decembrie 1988, vizau planurile de
dezvoltare regional care trebuiau s fie propuse pn la 1 ianuarie 1989. Pentru multe
administraii naionale i regionale, nevoia de a stabili programarea pluri-anual reprezenta
n sine un fel de revoluie. n plus, chiar i cele mai competente autoriti, inclusiv Comisia,
nu dispuneau de abilitatile de evaluare necesare, cel puin n ceea ce privete Fondurile
Structurale. n consecin, evalurile realizate n perioada dintre 1989 i 1993, erau de o
calitate ndoielnic, n ciuda eforturilor ntreprinse de muli actori, n special de ctre Comisie.
S-a observat, n principal, c noul cadru de lucru definit n aceast prim versiune a
regulamentelor, a euat n a crea condiiile necesare unei bune desfurri a evalurii ex
ante.
Regulile aplicabile intre 1994 i 1999
Admind aceast nereuit parial, i innd cont de instigarea Comisiei, precum i de
impulsul exercitat din partea anumitor State Membre, (Olanda i Marea Britanie n special),
noile reguli din iulie 1993 au ntrit n mod considerabil cerinele privind evaluarea.
Aceste noi reguli (Articolul 6 din regulamentul cadrului de lucru) menioneaz noiunile de
evaluare anterioar, monitorizare i evaluare ex post. Articolele care detaliaz coninutul
documentelor de programare depuse de ctre Statele membre, introduc noiunea de
obiective specifice, cuantificabile, acolo unde este posibil. n mod similar, Articolul 26 din
regulamentul de coordonare stipuleaz o clauza, cu rol de precondiie, care prevede c
sprijinul va fi acordat n momentul n care o evaluare anterioar va fi artat avantajele pe
termen mediu, n raport cu resursele mobilizate.
n practic, aceast cerin imperativ pentru evaluarea ex-ante, o variant comunitar a
noiunii britanice Value-For-Money (Valoare pentru bani), nu a fost aplicat foarte strict.
Prin contrast, introducerea evalurii intermediare care nu existase pana atunci, a nregistrat
un succes notabil, dup cum arat sondajul de mai jos. Consolidarea legislaiei europene in

iv

Manualul pentru Evaluarea Dezvoltarii Socio-Economice : Anexe


ceea ce privete evaluarea a reprezentat in mod cert un stimulent puternic pentru
rspndirea ideii c evaluarea este inevitabila n obinerea fondurilor comunitare.
Regulile celei de-a treia generaii de programe (2000-2006)
Odat cu cea de-a treia generaie a Fondurilor Structurale, evaluarea eficacitii lor este
consolidat. Aciunile comunitare devin obiectul evalurii ex-ante realizate de ctre Statele
Membre nsele, a evalurii intermediare realizate de managerii programelor i a evalurii expost, din iniiativa Comisiei, avnd drept finalitate analiza efectelor n raport cu obiectivele
(obiectivele particulare si obiectivele de coeziune) i a impactului lor asupra problemelor
structurale specifice.
Eficacitatea Fondurilor este msurat la trei niveluri: n primul rnd se ia n calcul efectul
general asupra obiectivelor Articolului 130 A din Tratat (n special accentuarea coeziunii
sociale i economice), apoi efectul asupra prioritilor propuse n Planuri i puse la dispoziie
n cadrul fiecrui CSF (Cadru de Lucru pentru Sprijin Comunitar), iar n al treilea rnd se
consider efectul asupra prioritilor specifice selectate pentru intervenii. Evaluri
complementare, acolo unde sunt relevante sub aspect tematic, pot fi iniiate n scopul
identificrii experienelor transferabile de la un program la altul.
Vizndu-se o ameliorare a transparenei, rapoartele de evaluare vor fi mult mai accesibile
publicului dect n trecut.

Manualul pentru Evaluarea Dezvoltarii Socio-Economice : Anexe


Anexa C: Bibliografie
Boyd, R., Grasper, P., Trout, J.D. The Philosophy of Science, Cambridge, MA: MIT Press,
1991
Boyle, R., Lemaire, D., eds. Building Effective Evaluation Capacity: Lessons from Practice.
New Brunswick and London: Transaction Publishers, 1999
Chen, H. T: Theory- Driven Evaluations, Newbury Park, CA: Sage: 1990
Connell J. P., Kubisch, A. C., Schorr, L. B. and Weiss, C. H. eds. New Approaches to
Evaluating Community Initiatives: Concepts, Methods and Contexts, New York: The Aspen
Institute, 1995
Fetterman, D. M., Kaftarian, S. J., Wandersman, A., Eds. Empowerment Evaluation:
Knowledge and Tool for Self Assessment and Accountability, Thousand Oaks, London, New
Delhi: Sage, 1996
Furubo, J.E., Rist, R., Sandhal, R. (eds), International Atlas of Evaluation, New Brunswick &
London, Transaction Publishers, 2002.
Guba, E. G. and Lincoln, Y. S. Fourth Generation Evaluation. Newbury Park, London, New
Delhi: Sage 1989
House E. R., Assumptions Underlying Evaluation Models. In Madaus G. F., 1989
Jacob, S., Varone, F. Evaluer laction publique: tat des lieux et perspective en Belgique,
Gent, Accademia Press, 2003.
Leeuw, F. L., Rist, R. C. Can Governments Learn? Transaction Publishers, 1994
Nutley, S. M., Walter, I., Davies, H. T. O. From Knowledge to doing: A Framework for
Understanding the Evidence-into-Practice Agenda. Evaluation: the International Journal of
Theory, Research and Practice, 2002, Vol. 9, Nr. 2
Patton, M. Q. Qualitative Research and Evaluation Methods. Thousand Oaks, London, New
Delhi: Sage, 2002
Pawson, R. Evidence Based Policy: In Search of a Method, Evaluation: the International
Journal of Theory, Research and Practice, 2002, Vol. 8, Nr. 2, pag. 157-181 (a)
Pawson, R. and Tilley. N. Realistic Evaluation. London, Thousand Oaks, New Delhi: Sage,
1997
Pollitt, C., Justification by Works or by Faith? Evaluating the New Public Management:
Evaluation, Vol. 1 (2): 133-154 (1995)
Pressman, J. and Wildavsky, A: Implementation. (Berkeley, University of California Press:
1973
Rist, R. C. Furubo J. E., Sandahl R. eds. The Evaluation Atlas. New Brunwick & London:
2001
Rogers, E., Diffusion of Innovation. New York: The Free Press, 1995

vi

Manualul pentru Evaluarea Dezvoltarii Socio-Economice : Anexe


Shadish, W., Cook, T. and Leviton, L. (eds): Foundations of Program Evaluation: Theories
and Practice. Newbury Park, Sage, 1991
Van der Knaap, P. Policy Evaluation and Learning. Feedback, Enlightenment or
Augmentation? Evaluation Vol. 1 (2): 189-216, 1995
Wholey, J. Using evaluation to improve government performance Evaluation Practice, Vol. 7,
pag. 5-13, 1986

vii

Glossary

TermID

LastUpdate

Term

Explanation

OECD Glossary
comparison

10/20/2006

Absorption rate

10/20/2006

Accountability

Budgetary inputs mobilised in proportion to the inputs initially


allocated.
Obligation, for the actors participating in the introduction or
implementation of a public intervention, to provide political authorities
and the general public with information and explanations on the
expected and actual results of an intervention, with regard to the
sound use of public resources. From a democratic perspective,
accountability is an important dimension of evaluation. Public
authorities are progressively increasing their requirements for
transparency vis--vis tax payers, as to the sound use of funds they
manage. In this spirit, evaluation should help to explain where public
money was spent, what effects it produced and how the spending
was justified. Those benefitting from this type of evaluation are
political authorities and ultimately citizens. For example, a training
organisation reports on the number of trainees who benefited from its
services and the qualifications obtained. A managing authority reports
on the cost per net job created due to the intervention. The European
Commission publishes a report on progress made in terms of
economic and social cohesion.Citizens have access to the report.

Obligation to demonstrate
that work has been
conducted in compliance
with agreed rules and
standards or to report fairly
and accurately vis--vis
mandated roles and/or
plans. This may require a
careful, even legally
defensible, demonstration
that the work is consistent
with the contract terms. For
evaluators, it connotes the
responsibility to provide
accurate, fair and credible
monitoring reports and
performance assessments.
For public sector managers
and policy-makers,
accountability is to
taxpayers/citizens.

TermRomanian

ExplanationRomanian

Rata de absorbie

Input-uri bugetare mobilizate n raport cu inputurile alocate iniial


Obligaia actorilor care particip la introducerea
sau implementarea unei intervenii publice de a
furniza autoritilor politice i publicului informaii i
explicaii referitoare la rezultatele ateptate i cele
reale ale unei intervenii, privind buna utilizare a
resurselor publice. Dintr-o perspectiv
democratic, responsabilizarea reprezint o
dimensiune important a evalurii. Autoritile
publice i sporesc progresiv cerinele pentru
transparen fa de contribuabili n ceea ce
privete utilizarea eficient a fondurilor pe care le
administreaz. n acest sens, evaluarea trebuie s
ajute la explicarea modului de cheltuire a banilor
publici, ce efecte a produs acest fapt i cum se
justific aceste cheltuieli. Beneficiarii principali ai
acestui tip de evaluare sunt autoritile politice i,
n cele din urm, cetenii. De exemplu, o
organizaie de training raporteaz asupra
numrului de participani care au beneficiat de
serviciile sale i asupra calificrilor obinute de
acetia. O autoritate de management raporteaz
n legtur cu costul suportat pe loc net de munc c

Responsabilizare

Obligaia de a demonstra c activitile s-au desf

10/20/2006

Accountable Body
(N)

The organisation responsible in a contractual sense for the


intervention, with the key responsibilities of ensuring that the
programme is managed in accordance with required standards of
financial probity, and in line with the agreed action plan, and any
programme specific funding criteria.

Entitate (instituie)
responsabil

Page 1

Organizaia responsabil n termeni contractuali


de realizarea interveniei, principala sa obligaie
fiind asigurarea unei gestionri a programului care
s fie n concordan cu standardele de probitate
financiar stabilite n conformitate cu planul de
aciune asupra cruia s-a convenit i cu orice
criteriu specific de finanare al programului.

Remarks

Glossary
4

10/20/2006

Action research (N)

Practice-based research, which seeks to end the dislocation of


research from practice and enhance the position of research as a
direct mechanism for change and improvement. Action research
projects usually have the following characteristics: investigation of
practices in terms of strategic actions with potential for improvement;
collaborative working between evaluators and stakeholders; a
methodology involving a series of interelated cycles of planning,
action, observation and reflection; those responsible for the practice
are at the heart of these cycles and are the key participants in each
stage.

Cercetare practic Cercetare bazat pe practic care reconciliaz


separarea cercetrii de practic i pune accentul
pe cercetare ca mecanism direct pentru
schimbare i mbuntire. Proiectele de cercetare
practic au de regul urmtoarele caracteristici:
investigarea practicilor legate de activiti
strategice cu potenial de mbuntire;
colaborarea ntre evaluatori i actori-cheie; o
metodologie care presupune o serie de cicluri
corelate de planificare, aciune, observaie i
reflecie; cei responsabili pentru practic sunt
direct implicai n aceste cicluri, fiind implicai n
fiecare etap a cercetrii practice.

10/20/2006

Additionality

Additionality has been one of the principles of EU Structural Fund


interventions. Additionality means that Community support for
economic and social development is not substituted for efforts by
national governments. In other words, the fact that the beneficiary
State's own financing remains, globally, at least equal to that which
existed before the Structural Funds' contribution. Verification of the
implementation of this principle is carried out at the national level in
the context of financial control and not of evaluation as such. This
term additionality is also used to describe the net effects of an
intervention identified in an evaluation.

Adiionalitate

10/20/2006

Administrative data
(N)

Information relating to the administration of the Programme usually


collected through a structured monitoring process. Not necessarily for
the purposes of evaluation.

10/20/2006

Aim (N)

Broad intention, usually to bring about positive change.

Date administrative Informaii cu privire la administrarea programului,


care este de obicei colectat n cadrul unui proces
structurat de monitorizare. Aceste date nu sunt
neaprat produse sau colectate n scopul
evalurii.
el
Situaie dorit, pentru atingerea creia este
organizat i implementat un anumit proiect

Page 2

Adiionalitatea a reprezentat unul din principiile


interveniilor din cadrul Fondurilor Structurale
europene. Adiionalitatea nseamn c sprijinul
comunitar pentru dezvoltare economic i social
nu va substitui eforturile guvernelor naionale.
Altfel spus, finanarea proprie a statului beneficiar
rmne, per total, cel puin egal cu cea existent
naintea contribuiei din partea Fondurilor
Structurale. Verificarea implementrii acestui
principiu se realizeaz la nivel naional n contextul
controlului financiar i nu a evalurii n sine.
Termenul "adiionalitate" este folosit i pentru a
descrie efectele nete ale unei intervenii
identificate prin evaluare.

Glossary
8

10/20/2006

Audit

Verification of the legality and regularity of the application of


resources. Auditing makes a judgement in terms of general criteria
and standards, known and clarified beforehand. For example, in the
case of assistance to a SME, an audit will check whether eligibility
criteria have been met and whether the beneficiary firms have
complied with the rules governing the use of assistance. The main
purpose of an audit is to ensure compliance. The idea is to obtain a
dissuasive effect. With time, the terms "control" and "audit" have
been extended to encompass more activities. For example, certain
audits or controls check whether the outputs have been produced
with an adequate degree of efficiency and quality and whether they
offer value for money. Others assess whether the results and
performance are similar to other comparable interventions. In the
latter case, there can be a closer similarity between this variant of
auditing and evaluation.

10/20/2006

Average (N)

The prevailing score. There are three types of average. The Mean
which is the sum of all the scores divided by the number of scores.
The mode which is the most frequent score and the medium which is
the middle of a set of scores. The use of different averages depends
upon the scale qualities of the data.

10

10/20/2006

Baseline

State of the economic, social or environmental context, at a given


time (generally at the beginning of the intervention), and against
which changes will be measured. The basic situation is described by
context indicators which describe the economy, socio-economic
environment, concerned groups, etc.

An independent, objective
Audit
assurance activity designed
to add value and improve an
organisation's operations. It
helps an organisation
accomplish its objectives by
bringing a systematic,
disciplined approach to
assess and improve the
effectiveness of risk
management, control and
governance processes. A
distinction is made between
regularity (financial) auditing,
which focuses on
compliance with applicable
statutes and regulations; and
performance auditing, which
is concerned with relevance,
economy, efficiency and
effectiveness. Internal
auditing provides an
assessment of internal
controls undertaken by a unit
reporting to management
while external auditing is
conducted by an
independent organisation.

Medie

Baseline study is an analysis Situaie de baz /


describing the situation prior referin
to a development
intervention, against which
progress can be assessed
or comparisons made.

Page 3

Verificarea legalitii i regularitii aplicrii


resurselor. Auditarea formuleaz judeci cu
privire la criteriile i standardele generale,
cunoscute i clarificate n prealabil. De exemplu, n
cazul asistenei acordate unei IMM, un audit va
verifica dac criteriile de eligibilitate sunt ntrunite
i dac firmele beneficiare au ndeplinit regulile
prevzute pentru folosirea asistenei. Principalul
scop al auditului este controlul respectrii regulilor.
Ideea este s se obin un efect disuasiv (de
persuasiune n vederea schimbrii cursului
implementrii). Cu timpul, termenii "control" i
"audit" au fost extini pentru a include mai multe
activiti. De exemplu, anumite activiti de audit
sau de control verific dac realiyrile imediate cu
fost produse cu un grad adecvat de eficien i
calitate i dac ofer valoare n raport cu banii
cheltuii. Alte activiti analizeaz dac rezultatele
i performana nregistrate sunt similare cu cele
ale altor intervenii comparabile. n acest ultim caz,
poate exista o asemnare mai mare ntre aceast
variant de audit i evaluare.

Valoare predominant. n principal, exist trei tipuri


de medii: media aritmetic, care este suma tuturor
valorilor mprit la numrul de valori; modul
(dominanta), care este valoarea cu cea mai mare
frecven de apariie i mediana, care este
valoarea de la mijlocul unui set de indicatori.
Utilizarea diferitelor tipuri de medii depinde de
calitile de scalare ale datelor.

Stare a contextului economic, social sau de


mediu, la un moment dat (n general la nceputul
interveniei), i fa de care se msoar
schimbrile. Situaia de baz este ilustrat prin
indicatori de context care descriu economia,
mediul socio-economic, grupuri vizate, etc

Glossary
11

10/20/2006

Benchmarking

Qualitative and quantitative standard for comparison of the


performance of an intervention. Such a standard will often be the best
in the same domain of intervention or in a related domain.
Benchmarking is facilitated when, at the national or regional level,
there is comparative information of good and not so good practice.
The term benchmarking is also used to refer to the comparison of
contextual conditions between territories.

Reference point or standard Raportare la un


against which performance model de practic
or achievements can be
(la buna practic)
assessed. A benchmark
refers to the performance
that has been achieved in
the recent past by other
comparable organisations,
or what can be reasonably
inferred to have been
achieved in the
circumstances.

Standard calitativ sau cantitativ folosit pentru


compararea performanei nregistrate n cadrul
intervenii. Un asemenea standard va fi de multe
ori cel mai bun n acelai domeniu de intervenie
sau ntr-un domeniu nrudit. Raportarea la un
model de practic este facilitat de existena, la
nivel naional sau regional, a unor informaii
comparative privind bune practici bune dar i
practici mai puin reuite. Termenul este de
asemenea utilizat referire la comparaia condiiilor
contextuale ntre teritorii.
Punct de referin sau standard fa de care se
analizeaz performana sau realizrile. Raportarea
la un model se refer la performana nregistrat
n trecutul apropiat de alte organizaii comparabile,
sau la ceea ce se poate sugera a se fi obinut n
circumstanele respective.

Page 4

Glossary
12

10/20/2006

Beneficiary (N)

Person or organisation directly affected by the intervention whether


intended or unintended. Beneficiaries receive support, services and
information, and use facilities created with the support of the
intervention (e.g. a family which uses a telephone network that has
been improved with public intervention support, or a firm which has
received assistance or advice). Some people may be beneficiaries
without necessarily belonging to the group targeted by the
intervention. Similarly, the entire eligible group does not necessarily
consist of beneficiaries. The term "addressee" was used in the
MEANS collection because it was felt the term "beneficiary" is
associated with the idea of a positive effect, which can be misleading
because evaluation may identify negative impacts when investigating
effects on direct beneficiaries.

The individuals, groups, or Beneficiar


organisations, whether
targeted or not, that benefit,
directly or indirectly, from the
development intervention.

Persoan sau organizaie afectat direct de


intervenie, n mod intenionat sau neintenionat.
Beneficiarii primesc sprijin, servicii i informaii i
utilizeaz facilitile puse la dispoziie prin
intermediul interveniilor (ex. o familie care
folosete o reea telefonic ce a fost mbuntit
prin intervenie public, la fel ca i o firm care a
primit asisten sau consultan). Unele persoane
pot deveni beneficiari i fr a face parte din
grupul vizat de intervenie. n acelai timp, ntregul
grup eligibil nu este format neaprat din
beneficiari. n colecia MEANS s-a folosit termenul
adresant tocmai pentru c se prea c termenul
beneficiar este asociat cu ideea de efect pozitiv,
ceea ce poate induce n eroare, deoarece
evaluarea poate identifica i impacturi negative
atunci cnd cerceteaz efectele asupra
beneficiarilor direci.
Indivizii, grupurile sau organizaiile care, avute n
vedere sau nu, beneficiaz, direct sau indirect, de
pe urma interveniei de dezvoltare.

13

10/20/2006

Call for proposals (N) A call for proposals is a process through which organisations are
requested to submit proposals to undertake work / research that
matches the requirements of a brief / research question.
Organisationb then submit tenders to carry out the research / project,
which usually involves providing details of the proposed research
methodology.

Cerere de
propuneri

O cerere de propuneri este un proces prin care


organizaiilor li se cere s formuleze propuneri
pentru preluarea unor activiti / cercetri care s
rspund unei cerine. Organizaiile prezint apoi
oferte pentru a duce la bun sfrit cercetarea /
proiectul, ceea ce presupune n general furnizarea
de detalii legate de metodologia propus pentru a
rspunde cerinei respective.

14

10/20/2006

Case study

Studiu de caz

Studiu n profunzime a datelor legate de un anumit


caz (ex. un proiect, un beneficiar, un ora). Studiul
de caz este o descriere detaliat a cazului n
contextul su. Este un instrument care se preteaz
la analiza inductiv a impacturilor i este specific
interveniilor inovative pentru care nu exist o
teorie explicativ prealabil. Rezultatele studiului
de caz sunt de obicei prezentate ntr-o form
narativ. O serie de studii de caz poate fi realizat
simultan, ntr-un mod comparativ i posibil
cumulativ. O serie de studii de caz pot contribui la
analiza cauzal i explicativ.

In-depth study of data on a specific case (e.g. a project, beneficiary,


town). The case study is a detailed description of a case in its
context. It is an appropriate tool for the inductive analysis of impacts
and particularly of innovative interventions for which there is no prior
explanatory theory. Case study results are usually presented in a
narrative form. A series of case studies can be carried out
concurrently, in a comparative and potentially cumulative way. A
series of case studies may contribute to causal and explanatory
analysis.

Page 5

Glossary
15

10/20/2006

Causal analysis

The study of relations of cause and effect which links a public


intervention to its impacts. Causality analysis may be inductive. In this
case, it investigates the mechanisms likely to produce impacts, as
well as confounding factors likely to have an influence. Causality
analysis may also be deductive (or hypothetico-deductive). In this
case, it examines whether assumptions about impacts are not
contradicted by the facts. It may also supply a quantitative estimation
of impacts.

Analiz cauzal

Studiu al relaiilor dintre cauz i efect care leag


o intervenie public de impacturile sale. Analiza
de cauzalitate poate fi inductiv. n acest caz, ea
investigheaz mecanismele care pot produce
impacturi, dar i factorii concureni care pot
exercita o anumit influen. Analiza de cauzalitate
poate fi de asemenea deductiv (sau ipoteticodeductiv). n acest caz, ea examineaz dac
presupunerile cu privire impacturi nu sunt
contrazise prin fapte. Ea poate furniza i o
estimare cantitativ a impacturilor.

16

10/20/2006

Citizen's juries (N)

A panel of 12-16 members of the public brought together to consider


a public policy issue posed by an authority or evaluation
commissioning body. The jury might sit over 3/4 days and be assisted
by neutral facilitators - and are expected to reach a conclusion or
form a judgement.

Juriu cetenesc

Un panel de 12 -16 ceteni convocai pentru a


considera o problem de politic public, propus
de o autoritate sau de o entitate contractant a
evalurii. Juriul i poate desfura activitatea pe
parcursul a 3 / 4 zile, fiind asistai de facilitatori
neutri avnd obligaia de a ajunge la o concluzie
i de a formula o judecat.

17

10/20/2006

Cluster analysis (N)

A data analysis tool for solving classification problems. Its aim is to


sort cases (people, things, events, etc) into groups, or clusters, so
that the degree of association is strong between members of the
same cluster and weak between members of different clusters.

Cluster evaluation is an
Analiz de cluster
evaluation of a set of related
activuties, projects and/or
programmes.

Un instrument de analiz a datelor pentru


rezolvarea problemelor legate de clasificare.
Scopul su este de a sorta cazurile (oameni,
lucruri, evenimente, etc) n grupuri sau clustere,
astfel nct gradul de asociere s fie mare ntre
membrii aceluiai cluster i sczut ntre membrii
unor clustere diferite.
Evaluarea cluster este o evaluare a unui set de
activiti, proiecte i/sau programe ntre care
exist o legtur.

Page 6

Glossary
18

10/20/2006

Colour Vote

Technique used to run meetings, based on a visual presentation of


opinions in a group. In an evaluation situation in which several
stakeholders are involved, it can be used to structure discussion and
collective reflection by facilitating the expression of all points of view.
It is therefore a tool likely to enhance the impartiality of the evaluation
in the context of a pluralistic approach. It may be used to clarify and
grade evaluative questions, to choose evaluation criteria, to validate
conclusions, and to formulate recommendations.

not present in the


Guide

19

10/20/2006

Commissionner

Person or organisation which decides to launch an evaluation.


Commissioners have the advantage of making their priorities explicit
by establishing a mandate. A commissioner will steer the work of an
evaluation team either directly or through a multi-stakeholder steering
group or other evaluation authority set up for this purpose.

Contractant
/Autoritate
contractant

Persoan sau organizaie care decide lansarea


unei evaluri. Contractanii au avantajul de a-i
face explicite prioritile prin stabilirea unui
mandat. Un contractant va orienta activitatea unei
echipe de evaluare fie direct, fie prin intermediul
unui grup director format din mai muli actori-cheie
sau prin intermediul unei autoriti de evaluare
nfiinat n acest scop.

20

10/20/2006

Comparability

Quality of an indicator which uses the same measurement unit to


quantify the needs, objectives or effects of several different
interventions. Comparability is useful for establishing norms for
judgement (e.g. the average cost of jobs created by the intervention
can be favourably compared to that of similar interventions). Efforts
made to improve comparability involve the harmonisation of
measurement units and result, initially, in the definition of standard
indicators, i.e. indicators that can be used in several regions with the
same definition for the same sector of intervention (e.g. number of
SMEs assisted, defined and calculated in a comparable way).
Secondly, comparability can be extended to key indicators, that is,
indicators which can be used in several regions and sectors of
intervention.

Comparabilitate

Calitatea unui indicator care utilizeaz aceeai


unitate de msur pentru cuantificarea nevoilor,
obiectivelor, efectelor aferente mai multor
intervenii diferite. Comparabilitatea este util n
stabilirea normelor pentru raionamente (ex costul
mediu al locurilor de munc create ca urmare a
unei intervenii poate fi comparat n mod favorabil
cu cel nregistrat n cadrul unor intervenii
similare). Eforturile depuse n direcia ameliorrii
comparabilitii presupun armonizarea unitilor de
msur i au ca rezultat, n faza iniial, definirea
indicatorilor standard, adic a indicatorilor care pot
fi folosii n mai multe regiuni, cu aceeai definire
pentru acelai sector de intervenie (ex numrul
IMM-urilor asistate, definit i calculat ntr-un
manier comparabil). n al doilea rnd,
comparabilitatea poate fi extins i asupra
indicatorilor cheie, adic asupra indicatorilor care
pot fi folosii n mai multe regiuni i sectoare de
intervenie.

21

10/20/2006

Competitiveness

The capacity of a firm, in a competitive socio-economic environment,


to defend or increase its market share over the medium and longer
term, and to generate wealth. The notion of competitiveness can
apply to a single firm or to all the businesses in a sector or region. It is
directly related to the notion of competitive advantage, an advantage
which an enterprise, region or sector must possess or develop if it is
to be competitive in a segment of a particular market.

Competitivitate

Capacitatea unei firme aflate ntr-un mediu socioeconomic competitiv de a a-i menine sau mri
cota de pia pe termen mediu i lung i de a
genera bunstare. Noiunea de competitivitate se
poate aplica unei singure firme sau tuturor
afacerilor dintr-un sector sau dintr-o regiune. Ea
se afl n legtur direct cu noiunea de avantaj
competitiv, un avantaj pe care o ntreprindere,
regiune sau sector trebuie s-l dein sau s-l
dezvolte dac urmrete s fie competitiv() pe un
segment al unei anumite piee.

Page 7

Glossary
22

10/20/2006

Complementarity

The fact that several public interventions (or several components of


an intervention) contribute towards the achievement of the same
objective. Complementarity may be functional, if the objective is
functional (e.g. developing a sector or creating a network). It may be
territorial, if the objective concerns a territory (e.g. integrated local
development policy).

Complementaritate Faptul c mai multe intervenii publice (sau mai


multe componente ale unei intervenii) contribuie
la atingerea aceluiai obiectiv. Complementaritea
poate s fie funcional, dac obiectivul este
funcional (ex. dezvoltarea unui sector sau crearea
unei reele), sau teritorial, dac obiectivul vizeaz
un teritoriu (ex. politic de dezvoltare local
integrat)

23

10/20/2006

Completion rate

Percentage of initially planned outputs which have been completed.


The completion rate of a major infrastructure project is calculated in
terms of the stages of work which were initially planned and were
actually completed. The completion rate of an intervention is the
weighted average of the completion rates of the projects comprising
that intervention. The completion rate is a core indicator for
monitoring the implementation of an intervention.

Rat de realizare

Procent din realizrile imediate planificate care au


fost ndeplinite. Rata de realizare a unui proiect
major de infrastructur se calculeaz prin stadiile
de lucru iniial planificate care au fost ndeplinite.
Rata de realizare a unei intervenii se calculeaz
ca medie ntre ratele de realizare ale proiectelor
care compun respectiva intervenie. Rata de
realizare este un indicator indispensabil pentru
monitorizarea implementrii unei intervenii

24

10/20/2006

Concept mapping of Tool used for the clarification of underlying concepts which may
impacts
include explicit and implicit objectives. It relies on the identification,
grouping together and rating of expected outcomes and impacts. The
concept mapping of impacts is implemented in a participatory way, so
that a large number of participants or stakeholders can be involved. It
may result in the selection of indicators that are associated with the
main expected impacts.

Diagrama
conceptual a
impacturilor

Instrument utilizat pentru clarificarea i sublinierea


unor concepte care pot include obiective explicite
i implicite. El se bazeaz pe identificarea,
gruparea i aprecierea rezultatelor ateptate i a
impacturilor. Diagrama conceptual a impacturilor
se implementeaz n mod participativ, astfel nct
s poat fi implicat un numr mare de participani
sau actori-cheie. Poate avea ca rezultat selectarea
indicatorilor asociai principalelor impacturi
ateptate.

25

10/20/2006

Confounding factor

Factor concurent

Factori independeni de o anumit intervenie


public care sunt, parial sau n ntregime, cauza
schimbrilor observate n rndul beneficiarilor
(efecte brute). Un factor concurent poate
mpiedica sau amplifica impactul ateptat. De
exemplu, gradul de ocupare al forei de munc a
crescut cu 10% ntr-un grup de firme care au
beneficiat de asisten. n ciuda acestui fapt,
creterea respectiv nu poate fi pus n ntregime
pe seama interveniei publice ntruct firmele
asistate au beneficiat de asemenea de un context
macroeconomic favorabil (factor concurent). ntrun alt exemplu, aproape 80% din participanii la
sesiuni de formare au gsit un loc de munc n
termen de un an. Totui, aceast rat de plasare
se putea datora parial calificrilor iniiale ale
participanilor, care erau deja foarte nalte n
momentul nscrierii acestora la sesiunile de
formare (efectul de alterare). Cnd se realizeaz o
analiz cauzal, ca parte a unei evaluri, se face o
distincie ntre efectele atribuite interveniei publice
(efecte nete) i cele imputabile factorilor
concureni.

Factors independent of a public intervention which are partly or


entirely the cause of changes observed among beneficiaries (gross
effects). A confounding factor can hinder or amplify an expected
impact. For example, employment increased by 10% in a group of
assisted firms. However, this increase could not be imputed entirely
to the public intervention because the assisted firms also benefited
from a favourable macro-economic context (confounding factor). In
another example, close to 80% of the trainees found a job after one
year. However, this high placement rate was partly imputable to the
initial qualifications of the trainees which were very high at the time of
their recruitment (skimming-off effect). When a causality analysis is
carried out as part of an evaluation, it distinguishes between effects
imputable to the public intervention (net effects) and those imputable
to confounding factors.

Page 8

Glossary
26

10/20/2006

Construct validity

Quality of an evaluation method which faithfully reflects the construct,


concept or theorised 'object' of evaluation. It must be expressed in
sufficiently precise terms so that that observations in the field allow
for a reliable and sensitive analysis of the object being observed. For
example, if the impact of support for innovation must be estimated by
means of a survey of regional SMEs, the notion of innovation must
have been defined precisely and in ways which properly represents
the concept of innovation so that it can be measured and observed
(e.g. number of new products or introduction of new production
procedures).

Validitate de
construct

Calitatea unei metode de evaluare de a reflecta


ndeaproape construcia, conceptul sau obiectul
teoretizat al evalurii. Aceste elemente trebuie s
fie exprimate n termeni suficient de clari, pentru a
permite observaiilor pe teren s realizeze analize
solide i credibile a obiectului observat. De
exemplu, dac impactul sprijinului pentru inovaie
trebuie s se estimeze prin intermediul unor
anchete asupra IMM-urilor regionale, atunci
noiunea de inovaie trebuie n prealabil definit
precis i n moduri care s reprezinte
corespunztor conceptul de inovaie, astfel nct el
s poat fi msurat i observat. (ex numrul de
produse noi sau introducerea unor noi procedee
de producie

27

10/20/2006

Constructivism (N)

A philosophical position within the social sciences which asserts that


human knowledge is not developed exogenously but through
individual experiences and social interactions. It claims that what
observation allows us to describe are in part at least constructed by
the observer - the world is not fully observable. It emphasises the
responsive, interactive, dialogic and orchestrating role of the
evaluator because the sources of data that are privileged are seen to
reside with stakeholders as much as with studies and externally
generated data.

Constructivism

O poziie filozofic ce aparine tiinelor sociale


conform creia cunotinele umane nu sunt
asimilate i dezvoltate exogen, ci prin experiene
individuale i interaciuni sociale. Ea susine c
ceea ce observaia ne permite s descriem este
cel puin parial conceput de observator, deoarece
lumea nu este n totalitate observabil. Se pune
accent pe rolul receptiv, interactiv, comunicativ i
orchestrativ al evaluatorului deoarece sursele
datelor privilegiate se consider a putea fi regsite
la actorii-cheie, precum i n egal msur n
studiile i datele generate la nivel extern.

Page 9

Glossary
28

10/20/2006

Context

The socio-economic environment in which an intervention is


implemented. The term is used in its broadest sense. For example, in
the case of interventions in favour of SMEs, the context includes the
macro-economic situation and the framework conditions (tax laws,
company law, etc.).

Contex

Mediul socio-economic n care are loc intervenia.


Termenul este folosit n sensul su cel mai larg.
De exemplu, n cazul interveniilor n favoarea IMMurilor, contextul include situaia macroeconomic
i condiiile cadrului de activitate (legislaia
referitoare la fiscalitate, sau la societile
comerciale, etc).

29

10/20/2006

Control group

Comparison group consisting of eligible people or organisations


which have been excluded from all participation in the intervention by
a process of random selection. Apart from its non-participation in the
intervention, the control group is, from every point of view,
comparable to the group of participants. It has also been exposed to
the same variations in the socio-economic context (confounding
factors). When a group of participants and a control group are
compared, the influence of confounding factors is the same on both
sides (provided the two groups are large enough).

Grup de control

Grup de comparaie format din persoane sau


organizaii eligibile care au fost excluse de la
participarea la intervenie, printr-un proces de
selecie aleatorie. Exceptnd lipsa participrii la
intervenie, grupul de control este, din toate
punctele de vedere, comparabil cu cel al
participanilor. De asemenea, el este expus la
aceleai variaii ale contextului socio-economic
(factori concureni). Cnd se compar un grup de
participani cu un grup de control, influena
factorilor concureni este aceeai (cu condiia ca
cele dou grupuri s fie ndeajuns de mari).

Page 10

Glossary
30

10/20/2006

Correlation

31

10/20/2006

32

10/20/2006

The fact that two variables systematically evolve in the same direction
or in opposite directions. If there is little covariance, there is no
statistically reliable relationship between them. A large degree of
covariance between A and B indicates an assumption of causality but
does not prove it. (Is A the cause of B? or is B the cause of A? or are
A and B the consequence of something else?).

Corelaie

Faptul c dou variabile evolueaz sistematic n


aceeai direcie sau n direcii opuse. Dac
covariana este neglijabil, nu exist o relaie
solid din punct de vedere statistic ntre ele. O
covarian mare ntre A i B presupune o relaie
de cauzalitate, dar nu o i demonstreaz. (A este
cauza lui B? sau B este cauza lui A? sau sunt A i
B consecina altui fapt?)

Cost-benefit analysis Tool for judging the advantages of the intervention from the point of
view of all the groups concerned, and on the basis of a monetary
value attributed to all the positive and negative consequences of the
intervention (which must be estimated separately). When it is neither
relevant nor possible to use market prices to estimate a gain or a
loss, a fictive price can be set in various ways. The first consists of
estimating the willingness of beneficiaries to pay to obtain positive
impacts or avoid negative impacts. The fictive price of goods or
services can also be estimated by the loss of earnings in the absence
of those goods or services (e.g. in cases of massive unemployment,
the fictive price of a day's unskilled work is very low). Finally, the
fictive price can be decided on directly by the administrative officials
concerned or the steering group. Cost-benefit analysis is used mainly
for the ex ante evaluation of large projects.

Analiza costbeneficiu

Instrument folosit pentru aprecierea avantajelor


interveniei din punctul de vedere al tuturor
grupurilor vizate i pe baza unei valori monetare
atribuite tuturor consecinelor negative i pozitive
ale interveniei (care trebuie estimate separat).
Atunci cnd utilizarea preurilor pieei pentru a
estima un ctig sau o pierdere nu este nici
relevant, nici posibil, exist mai multe moduri de
estimare a unui pre fictiv. Primul const n
estimarea dorinei beneficiarilor de a plti pentru a
obine impacturi pozitive sau pentru a evita
impacturile negative. Preul fictiv al bunurilor sau
serviciilor poate fi estimat i prin pierderea
ctigurilor ca urmare a absenei acelor bunuri sau
servicii (ex n cazuri de omaj masiv, preul fictiv al
unei zile de munc necalificat este foarte sczut).
n cele din urm, preul fictiv poate fi hotrt direct
de ctre oficialii administrativi n cauz sau de
grupul director. Analiza cost-beneficiu este utilizat
n principal n evaluarea ex-ante a proiectelor de
anvergur.

Cost-effectiveness
analysis

Analiza costeficacitate

Instrument de evaluare pentru formularea de


raionamente legate de eficacitate. Instrumentul
const n corelarea efectelor nete ale interveniei
(care trebuie determinate separat) cu intrrile
financiare necesare producerii acestor efecte.
Criteriul de raionament ar putea fi, spre exemplu,
costul pe unitate de impact produs (ex. cost pe loc
de munc creat). Costul pe unitate este atunci
comparat cu cel al altor intervenii alese ca etalon.

Evaluation tool for making a judgement in terms of effectiveness. This


tool consists of relating the net effects of the intervention (which must
be determined separately) to the financial inputs needed to produce
those effects. The judgement criterion might, for example, be the cost
per unit of impact produced (e.g. cost per job created). This unit cost
is then compared to that of other interventions chosen as
benchmarks.

Page 11

Glossary
33

10/20/2006

Counterfactual
situation

A situation which would have occurred in the absence of a public


intervention. For example, a firm was assisted so that its employees
could be retrained in new technologies. No redundancies were
recorded in the following two years. It is estimated that without the
assistance (counterfactual situation) 50 jobs would have been lost. By
comparing the counterfactual and real situations, it is possible to
determine the net effects of the public intervention. Various tools can
be used for the construction of the counterfactual situation: shiftshare analysis, comparison groups, simulation using econometric
models, etc. At the baseline, the real situation and the counterfactual
situation are identical. If the intervention is effective , they diverge.

The situation or condition


which hypothetically might
prevail for individuals,
organisations or groups
were there no development
intervention.

Situaie
contrafactual

O situaie care ar fi avut loc n absena unei


intervenii publice. De exemplu, o firm a
beneficiat de asisten pentru a-i forma angajaii
n utilizarea noilor tehnologii. n urmtorii doi ani nu
s-a nregistrat nicio concediere. Se estimeaz c
n absena asistenei acordate (situaia
contrafactual), s-ar fi pierdut 50 de locuri de
munc. Prin compararea situaiei reale cu cea
contrafactual, este posibil s se determine
efectele nete ale interveniei publice. Diverse
instrumente pot fi utilizate pentru construirea unei
situaii contrafactuale: analiza shift-share, grupuri
de comparaie, simularea folosind modele
econometrice, etc. n starea iniial, situaia real
i situaia contrafactual sunt identice. Dac
intervenia este eficace, ele vor fi divergente.
Situaia sau condiia ipotetic predominant pentru
indivizi, organizaii sau grupuri, care s-ar fi
manifestat n absena unei intervenii pentru
dezvoltare.

34

10/20/2006

Coverage rate

Percentage of the eligible group which was actually affected by an


intervention. The coverage rate is a result indicator which is important
to quantify for monitoring purposes. The exposure rate is used to
indicate the portion of the population targeted, which received
information on the programme.

Rat de acoperire

Procent din grupul eligibil care a fost efectiv


afectat de intervenie. Rata de acoperire este un
indicator de rezultat a crei cuantificare se
dovedete important n procesul de monitorizare.
Rata de expunere este utilizat pentru a indica
acea parte a populaiei vizate care a beneficiat de
informaii referitoare la program.

35

10/20/2006

Credibility

Quality of the results and conclusions of an evaluation when they are


logically supported by empirical facts and justified by an analysis of
valid data. Credibility depends on several factors, including: reliability
of data, soundness of the method, but also the reputation of the
evaluator.

Credibilitate

Calitatea unui rezultat i a concluziilor unei


evaluri atunci cnd se sprijin logic pe fapte
empirice i cnd sunt justificate printr-o analiz a
datelor valide. Credibilitatea depinde de mai muli
factori, care cuprind: soliditatea datelor, relevana
metodelor, dar i reputaia evaluatorului.

Page 12

Glossary
36

10/20/2006

Criterion

37

10/20/2006

38

39

Character, property or consequence of a public intervention on the


basis of which a judgement will be formulated. For example, an
employment incentive programme may be judged in terms of "costs
per job created" or "percentage of support benefiting the long-term
unemployed" (in the latter case, it is assumed that the higher the
percentage, the better the intervention). An evaluation criterion should
be explicit, that is, it must clearly show why the intervention will be
judged better or worse. The types of criteria frequently used in
evaluation are: performance, effectiveness, equity and sustainability.
Thus, evaluation criteria may refer to different social values. To be
used in an evaluation, a criterion should be accompanied by a norm
(level of success at which an intervention will be considered good in
terms of this criterion). An intervention is generally judged in terms of
several criteria.

Criteriu

Caracteristic, proprietate sau consecin a unei


intervenii publice care st la baza formulrii unei
judeci. De exemplu, un program de stimulare a
ocuprii forei de munc poate fi judecat n termeni
de cost pe loc de munc creat sau procent din
sprijin care se adreseaz omajului structural (n
acest ultim caz se presupune c cu ct este mai
mare procentul, cu att mai bun este intervenia).
Un criteriu de evaluare trebuie s fie explicit, altfel
spus, el trebuie s arate clar de ce o intervenie
este considerat a fi mai bun sau mai slab.
Tipurile de criterii folosite frecvent n evaluare
sunt: performana, eficacitatea, echitatea i
sustenabilitatea. Prin urmare, criteriile de evaluare
se pot referi la diferite valori sociale. Pentru a fi
folosit n evaluare, un criteriu trebuie s fie nsoit
de o norm (nivel al succesului la care o
intervenie va fi considerat bun n termenii
acestui criteriu). O intervenie se judec n general
n funcie de mai multe criterii.

Cross sectional data Data collected in a comparative way, at a given time, on several
categories of individuals or facts. For example: comparative
unemployment rates in European regions; comparative placement
rates for women and men.

Date comparative
transversale

Date privind mai multe categorii de indivizi sau


fapte, colectate n mod comparativ, la un moment
dat. Spre exemplu: ratele comparative ale
omajului n regiunile europene, ratele de plasare
comparative ale femeilor i brbailor

10/20/2006

Deadweight

Change observed among direct beneficiaries following the public


intervention, or reported by direct addressees as a consequence of
the public intervention, that would have occurred, even without the
intervention. For example: a farmer received assistance for the
building of a self-catering cottage. In the survey he stated that the
support had enabled him to create better quality facilities, but that he
would have built the cottage, even without support. Thus, there is
deadweight since the the construction of the cottage cannot be
imputed entirely to the intervention. The estimation of deadweight
usually necessitates a survey of direct beneficiaries, preferably with a
comparative analysis of non-participants.

Alocare redundant Schimbare observat n rndul beneficiarilor


direci, ca urmare a interveniei publice, sau
raportat de adresanii direci ca fiind o consecin
a interveniei publice, care s-ar fi manifestat chiar
i n absena interveniei. De exemplu: un fermier
a primit asisten pentru construirea unei case de
auto-deservire. La anchet el declar c sprijinul
acordat i-a dat posibilitatea de a crea o serie de
faciliti de calitate, dar c el ar fi construit casa
chiar i dac nu ar fi beneficiat de sprijin. Prin
urmare, n acest caz exist o pierdere prin
alocarea ineficient, redundant a resurselor, din
moment ce construcia casei nu poate fi n
totalitate atribuit interveniei. Estimarea pierderii
necesit n general, realizarea unei anchete
asupra beneficiarilor direci, de preferin
concomitent cu o analiz comparabil acelor care
nu au luat parte la intervenie.

10/20/2006

Delphi panel

Procedure for iterative and anonymous consultation of several


experts, aimed at directing their opinions towards a common
conclusion. The Delphi panel technique may be used in ex ante
evaluation, for estimating the potential impacts of an intervention and
later to consider evaluation findings.

Panel Delphi

Page 13

Procedur care presupune consultarea iterativ i


anonim a mai multor experi, cu scopul de a le
orienta prerile ctre o concluzie comun. Tehnica
panelului Delphi poate fi folosit n evaluarea exante, n vederea estimrii impacturilor poteniale
ale unei intervenii, precum i pentru a analiza
concluziile preliminare ale evalurii.

Glossary
40

10/20/2006

Demand-side effect

The effect of an intervention which spreads through growing


intermediate consumption of enterprises (supplier effect) and through
the income generated within the region, and which, in turn, generates
spending by households (multiplier effect).

Efectul cererii

41

10/20/2006

Developmental
evaluation (N)

Evaluation processess, including asking questions and applying


evaluation logic, to support program, project, product and/or
organisational development. The evaluator is part of a team whose
members collaborate to conceptualise, design and test new
approaches in a long-term ongoing process of continuous
improvement, adaptation and intentional change.

Evaluarea
dezvoltrii

42

10/20/2006

Differences in
differences (N)

A way to estimate causal relationships, which consists of identifying a


specific intervention or treatment. A comparison is then made
between the difference in outcomes prior to and subsequent to the
intervention for groups affected by it to this difference for unaffected
groups.

Diferenierea
diferenelor

O modalitate de estimare a relaiilor cauzale care


const n identificarea unei intervenii specifice sau
a unui tratament. Astfel, se compar diferenele
ntre rezultatele de dinainte i de dup intervenia
asupra grupurilor afectate de ctre aceasta, cu
aceeai diferen considernd, de aceast dat,
grupurile neafectate.

43

10/20/2006

Direct effect

Effects of a public intervention on its direct beneficiary, excluding all


repercussions on other groups. For example: investment support has
direct effects on assisted businesses (production costs and capacity;
creation or maintenance of jobs). New infrastructure has a direct
effect on the people and enterprises which use it.

Efect direct

Efect al unei intervenii publice asupra


beneficiarilor si direci, fr a se lua n calcul
repercusiunile asupra altor grupuri. De exemplu:
sprijinul investiional are efect direct asupra
afacerilor / firmelor asistate (costuri i capacitate
de producie; crearea i meninerea locurilor de
munc). Noua infrastructur are efect direct
asupra persoanelor i ntreprinderilor care o
folosesc.

44

10/20/2006

Disparity

The fact that a region or group of people are in a situation which


differs significantly from others. In general, the rationale of
programmes financed by the EU Structural Funds consists of
reducing socio-economic disparities between regions or social
groups.

Disparitate

Faptul c o regiune sau un grup de persoane se


afl ntr-o situaie semnificativ diferit de altele. n
general, raiunea existenei programelor finanate
de Fondurile Structurale europene este de a
reduce disparitile socio-economice existente
ntre regiuni sau ntre grupuri sociale

Page 14

Efectul unei intervenii care se manifest prin


creterea consumului intermediar al
ntreprinderilor (efectul furnizor) i prin venitul
generat n interiorul unei regiuni care, la rndul
su, genereaz cheltuieli de consum din partea
gospodriilor (efectul multiplicator).
Proces de evaluare care cuprinde punerea de
ntrebri i aplicarea logicii evalurii cu scopul de a
sprijini un program, proiect, produs i/sau o
dezvoltare organizaional. Evaluatorul face parte
dintr-o echip ai crei membri colaboreaz pentru
a conceptualiza, proiecta i testa noi abordri n
cadrul unui proces pe termen lung de continu
mbuntire, adaptare i schimbare intenionat

Glossary
45

10/20/2006

Displacement effect

46

10/20/2006

47

10/20/2006

Effect obtained in an eligible area at the expense of another area.


Displacement effects may be intended (e.g. displacement of a public
administration from the capital to a 'lagging' region) or unintended
(e.g. 10% of the jobs created by a regional development programme
resulted in the disappearance of jobs in other eligible regions; a firm
used programme assistance to move its premises from the centre to
the outskirts of a town). When they are not intended, displacement
effects must be subtracted from gross effects to obtain net effects.
The term is sometimes used to refer to the effects of an intervention
affecting one benficiary being at the expense of another within the
same territory.

Efect de
transferare
(negativ)

Efect obinut ntr-o zon eligibil, pe seama sau n


detrimentul altei zone. Aceste efecte pot fi
intenionate (ex transferarea unei administraii
publice dintr-o regiune de capital ntr-o regiune
mai puin dezvoltat) sau neintenionat (ex 10%
din locurile de munc create prin intermediul unui
program de dezvoltare regional au rezultat n
dispariia locurilor de munc din alte regiuni
eligibile; o firm a folosit asistena acordat de
program pentru a-i muta sediul din centrul
oraului nspre suburbii). Atunci cnd nu sunt
intenionate, efectele de deplasament trebuie
substrase efectelor brute, pentru a se obine
efectele nete. Termenul se folosete uneori pentru
a desemna acele efecte ale unei intervenii care
afecteaz un beneficiar pe seama altui beneficiar,
de pe acelai teritoriu.

Distributional effects The differential effects of a policy reform, or the introduction of a new
(N)
programme or policy on various groups / individuals. Distributional
effects are often assessed ex-ante in order to anticipate impacts and
ensure that policies do not bring unexpected results.

Efecte de
distribuie

Efecte difereniate ale unei reforme politice, sau a


introducerii unui nou program sau unei noi politici,
resimite de mai multe grupuri / indivizi. Efectele
de distribuie sunt de cele mai multe ori analizate
ex-ante, pentru a face posibil o anticipare a
impacturilor i pentru a evita rezultate neateptate
ale politicilor.

Diversification

Diversificare

Desfurarea activitii de producie a unei firme


sau a unei regiuni dincolo de specializarea iniial,
tradiional, cu scopul de a crea noi activiti i/sau
de a aborda noi segmente de pia

Deployment of the production of a firm or a region beyond its


traditional specialisation, with a view to creating new activities and/or
setting up in new market segments.

Page 15

Glossary
48

10/20/2006

Econometric analysis The application of econometric modelsl used to simulate the main
(N)
mechanisms of a regional, national or international economic system.
A large number of models exist, based on widely diverse macroeconomic theories. This type of tool is often used to simulate future
trends, but it may also serve as a tool in the evaluation socioeconomic programmes. In this case, it is used to simulate a
counterfactual situation, and thus to quantitatively evaluate net effects
on most of the macro-economic variables influenced by public
actions, i.e.: growth, employment, investment, savings, etc. The
models are generally capable of estimating demand-side effects
more easily than supply-side effects. Econometric analysis is also
used in the evaluation of labour market interventions.

Analiz
econometric

Aplicarea modelelor economice folosite n


simularea mecanismelor principale ale unui sistem
economic regional, naional i internaional. Exist
numeroase modele, bazate pe diverse teorii
macroeconomice. Acest tip de instrument se
utilizeaz de cele mai multe ori n simularea
tendinelor viitoare, dar poate fi servi i n
evaluarea programelor socio-economice. n acest
caz, analiza se folosete n simularea unei situaii
contrafactuale i, prin urmare, n evaluarea
cantitativ a efectelor nete asupra majoritii
variabilelor macroeconomice influenate de
aciunile publice, cum ar fi: cretere economic,
ocuparea forei de munc, investiii, economisiri,
etc. n general, modelele pot estima mai uor
efectele cererii dect efectele ofertei. Analiza
econometric este folosit i n evaluarea
interveniilor pe piaa muncii.

49

10/20/2006

Economic and social This has two meanings. In European Union policy it refers to reducing
cohesion
unacceptable gaps between regions, territorial categories (e.g. urban
/ rural) or social groups, from the point of view of their level of
economic development and social integration. Economic and social
cohesion relates to disparities in regional income and quality of life,
as well as to all differences between social groups' access to socioeconomic resources including employment. It is the main objective of
the European policy of the same name (see Article 130 A of the
Treaty). More generally social cohesion implies a level of social
integration and solidarity that holds together societies and
communities.

Coeziune
economic i
social

Termenul are dou nelesuri. n politica UE se


refer la reducerea decalajelor inacceptabile dintre
regiuni, uniti teritoriale (de ex urban/rural) sau
grupuri sociale, din punct de vedere al nivelului de
dezvoltare economic i de integrare social.
Coeziunea economic i social se raporteaz la
disparitile dintre nivelurile regionale de venit i
de calitate a vieii, precum i la toate diferenele
privind accesul pe care fiecare grup social l are la
resurse socio-economice, inclusiv la locuri de
munc. Este principalul obiectiv al politicii
europene cu acelai nume (art. 130 A din Tratat).
n linii mai generale, coeziunea economic i
social privete acel nivel de integrare social i
solidaritate care s permit existena societilor i
a comunitilor.

50

10/20/2006

Economic Impact
Assessment (N)

Analiza impacturilor Analiza impacturilor economice const n


economice
urmrirea i anticiparea impactului economic al
unei intervenii. Ea depinde de analiza cauzei i
efectului unei intervenii i se dovedete
important n evaluarea proiectelor. Se poate
realiza nainte, n timpul sau dup derularea
proiectelor pentru a analiza nivelul de valoare
adugat generat de o intervenie dat i dac
aceast este justificat.

Economic impact assessment is about tracking or anticipating the


economic impact of an intervention. It depends on analysing the
cause and effect of an intervention and is important in project
appraisal. It can be undertaken before, during or after projects to
assess the amount of value added by a given intervention and
whether it is justified.

Page 16

Glossary
51

52

53

10/20/2006

10/20/2006

10/20/2006

Effect

Effectiveness

Efficiency

Socio-economic change resulting directly or indirectly from an


implemented intervention. Effects include the results and impacts of
an intervention, whether positive or negative, expected or not. The
term should not be used to describe outputs.

The fact that expected results or effects have been obtained and that
objectives have been achieved. Effectiveness can be assessed by
answering the following questions, for example: "Could more effects
have been obtained by organising the implementation differently?" or
"Which are the most successful operators or measures?". An
effectiveness indicator is calculated by relating an output, result or
impact indicator to a quantified objective. For example: 85% of the
the objective for the number of firms created was achieved; the
placement rate obtained by operator A is better than that obtained by
operator B. For the sake of clarity, it may be useful to specify whether
one is referring to the effectiveness of outputs, results or impacts.

Effects obtained at a reasonable cost. Efficiency may be assessed by


answering the following questions, for example: "Could more effects
have been obtained with the same budget?" or "Have other
interventions obtained the same effects at a lower cost?". An indicator
of efficiency is calculated by dividing the budgetary inputs mobilised
by the quantity of effects obtained. For example: the average cost of
training a person who has been jobless for a long time is 2,000 euro;
the intervention should achieve a cost per job created of less than
30,000 euro. For the sake of clarity, it could be useful to specify
whether the efficiency referred to relates to outputs, results or
impacts. The efficiency of outputs may be measured in terms of the
unit cost.

Intended or unintended
Efect
change due directly or
indirectly to an intervention.

The extent to which the


Eficacitate
intervention's objectives
were achieved or are
expected to be achieved,
taking into account their
relative importance. It is also
used as an aggregate
measure (or judgement
about) the merit or worth of
an activity, I.e. the extent to
which an intervention has
attained, or is expected to
attain, its major relevant
objectives efficiently in a
sustainable fashion and with
a positive institutional
development impact.

A measure of how
economically
resources/inputs (funds,
expertise, time etc) are
converted to results.

Eficien

Schimbare socio-economic rezultat direct sau


indirect din implementarea unei intervenii. Efectul
include rezultatele i impacturile produse de o
anumit intervenie, fie ale pozitive, negative,
ateptate sau neateptate.Termenul nu trebuie
folosit pentru a descrie realizri imediate.
Schimbarea intenionat sau neintenionat care
se datoreaz direct sau indirect unei intervenii
Faptul c rezultatele sau efectele ateptate au fost
obinute i c obiectivele au fost ndeplinite.
Eficacitatea se poate msura rspunznd la
ntrebri de tipul: S-ar fi putut obine mai multe
efecte dac implementarea ar fi fost organizat
diferit? sau Care sunt cei mai de succes
operatori sau cele mai de succes msuri? Un
indicator de eficacitate se calculeaz prin
corelarea unei realizri imediate, tangibil, al unui
rezultat pe termen mai lung sau a unui impact cu
un obiectiv determinat cantitativ. De exemplu: 85%
din obiectivul privind numrul de firme create a
fost atins; rata de plasare nregistrat de
operatorul A este mai bun dect cea obinut de
operatorul B. Pentru claritate, este util s se
specifice dac referina se face la realizrile
imediate, rezultate sau impacturi.
Msura n care obiectivele unei intervenii au fost
atinse sau se ateapt s fie ndeplinite, lundu-se
n considerare importana lor relativ. Se utilizeaz
de asemenea i ca o msur agregat (sau ca o
judecat despre) meritul sau justificarea unei
activiti, spre exemplu: gradul n care o intervenie
Faptul c efectele au fost obinute la costuri
rezonabile. Eficiena poate fi analizat formulnd
rspunsuri la ntrebri de tipul: s-ar fi putut obine
mai multe efecte n limitele aceluiai buget? sau
Alte intervenii au obinut aceleai efecte la un
cost mai sczut? Un indicator de eficien se
calculeaz prin mprirea resurselor bugetare
mobilizate la cantitatea de efecte obinute. Spre
exemplu: costul mediu al instruirii oferit unei
persoane care se afl n omaj de lung durat
este de 2 000 euro; intervenia ar trebui s
genereze un cost pe loc de munc creat mai mic
de 30 000 euro. Pentru claritate, este util s se
specifice dac eficiena n cauz se refer la
realizri imediate, rezultate sau impacturi.
Eficiena realizrilor imediate poate fi msurat
prin costul pe unitatea de msur.
O msur a modului economic n care resursele
(fonduri, expertiz, timp, etc) sunt convertite n
rezultate.

Page 17

Glossary
54

10/20/2006

Eligibility

The fact that a region, project or group of people has the required
characteristics to benefit from an intervention or, more precisely, to
receive assistance. For example, is a programme targeted on the
unemployed reaching that population? European regions eligible for
support attributed to lagging development areas must have a GDP
lower than 75% of the European Union average. Eligibility criteria
follow directly from the rationale of the intervention.

Eligibilitate

Faptul c o regiune, proiect sau grup de persoane


au caracteristicile necesare pentru a beneficia de
pe urma unei intervenii sau, mai exact, pentru a
primi asisten. De exemplu: Un program care se
adreseaz omerilor, atinge cu adevrat acea
populaie? Regiunile europene eligibile pentru
sprijinul acordat zonelor mai puin dezvoltate
trebuie s nregistreze un PIB mai mic de 75% din
media UE. Criteriile de eligibilitate deriv din
ratiunea interveniei.

55

10/20/2006

Employability

An individual's ability to find or keep a job in a given socio-economic


environment. Employability concerns the appropriateness of skills in
relation to the requirements of the labour market, so that the
individual concerned can keep his or her job or find a (new) job in
reasonable conditions in a reasonable length of time. A public
intervention in favour of employability concerns human resource
development and particularly training. The employability of an
individual can be examined indirectly on the basis of pre-established
factors (e.g. qualifications, experience, mobility, existence of job
offers).

Capacitate de
angajare

Capacitatea unui individ de a gsi i pstra un loc


de munc ntr-un mediu socio-economic
determinat. Capacitatea de angajare se refer la
corespondena dintre abilitile i cerinele
existente pe piaa muncii, astfel nct individul
respectiv s i poat pstra locul de munc sau
s poat gsi un (nou) loc de munc n condiii
rezonabile i ntr-un interval rezonabil de timp. O
intervenie public n acest sens vizeaz
dezvoltarea resurselor umane, n special
organizarea de instruiri sau de formri
profesionale. Capacitatea de angajare a unui
individ poate fi examinat indirect pe baza unor
factori predeterminai (de ex calificri obinute,
experien, mobilitate, existena ofertelor munc).

56

10/20/2006

Employment effect

Improvement in employability, creation and maintenance of jobs, or


structural modification of the labour market, following an intervention.

Efect de angajare

57

10/20/2006

Endogenous
development

Increase in economic activity based on internal competitive


advantages within a region or territory. The main factors of
endogenous development are human capital, enterpreneurial spirit,
local savings and local innovation networks. By contrast, exogenous
development concerns the inward transfer of capital, technology,
know-how and skills.

Dezvoltare
endogen

mbuntirea capacitii de angajare, a crerii i


meninerii locurilor de munc, sau modificri
structurale pe piaa muncii nregistrate n urma
unei intervenii.
Cretere nregistrat n activitatea economic ca
urmare a unor avantaje competitive interne
existente ntr-o regiune sau ntr-un teritoriu.
Factorii principali ai dezvoltrii endogene sunt:
capitalul uman, spiritul antreprenorial,
economisirile locale i reelele locale de inovaie.
Pe de alt parte, dezvoltarea exogen privete
transferul din afar nspre interior a capitalului,
cunoaterii, tehnologiei i abilitilor

Page 18

Endogenous/e
xogenous
factors

Glossary
58

10/20/2006

Environmental
Impact Assessment

Study of all the repercussions of an individual project on the natural


environment. Environmental Impact Assessment is a compulsory
step in certain countries in the selection of major infrastructure
projects. By contrast, Strategic Environmental Assessment refers to
the evaluation of programmes and policy priorities. Environmental
Imapct Assessment consists of two steps: screening, which refers to
an initial overall analysis to determine the degree of environmental
evaluation required before the implementation is approved; and
scoping which determines which impacts must be evaluated in depth.
The evaluation of environmental impacts examines expected and
unexpected effects. The latter are often more numerous.

59

10/20/2006

Equal opportunities

Mainly used to refer to equal access for women and men to


employment, at the same level of remuneration and social
advantages, in a given socio-economic context. This impact relates to
the principle of equal rights and equal treatment of women and men.
It means, first, that everybody is free to develop their personal
aptitudes and to make choices without being limited by stereotyped
gender roles and, secondly, that particular differences in behaviour,
aspirations and needs, between women and men, are not to be
valued too highly nor considered too critically. The principle of equal
opportunities may require unequal treatment to compensate for
discrimination. The evaluation of impacts on equal opportunities
includes the mainstreaming of gender at all stages. Equal
opportunities can be applied to haracteristics other than gender, race,
ethnicity, sexuality etc.

Page 19

Analiza impactului Studiul tuturor repercusiunilor pe care le poate


asupra mediului
avea un proiect individual asupra mediului
nconjurtor
nconjurtor. Analiza impacturilor asupra mediului
nconjurtor reprezint un pas care trebuie urmat
obligatoriu n procesul de selectare al proiectelor
de infrastructur. Pe de alt parte, analiza
strategic a mediului nconjurtor se refer la
evaluarea programelor i politicilor prioritare.
Analiza strategic a mediului nconjurtor cuprinde
doi pai: radiografierea, care se refer la o analiz
general iniial pentru determinarea gradului
necesar de evaluare a mediului, nainte de
aprobarea implementrii; i focalizarea,
nsemnnd determinarea ariei de cuprindere, prin
care se identific impacturile care trebuie evaluate
n profunzime. Evaluarea impacturilor asupra
mediului nconjurtor examineaz efectele
Oportuniti egale Termen folosit n principal atunci cnd se face
referire la accesul egal pentru femei i brbai la
locuri de munc, la acelai nivel de remuneraie i
de avantaje sociale, ntr-un context socioeconomic dat. Acest impact se raporteaz la
principiul drepturilor egale i al tratamentului egal
al femeilor i brbailor. El nseamn, n primul
rnd, c toi sunt liberi s-i dezvolte aptitudinile
personale i s fac alegeri fr a trebui s
depeasc anumite limite derivate din roluri
atribuite pe baza stereotipurilor de gen. n al doilea
rnd, principiul presupune c anumite diferene n
comportament, aspiraii i nevoi, existente ntre
femei i brbai, nu vor fi accentuate sau
considerate n mod critic. Principiul oportunitilor
egale poate induce un tratament inegal, tocmai
pentru a compensa discriminarea. Oportunitile
egale pot fi aplicate i altor caracteristici, cum sunt
rasa, etnia, orientarea sexual, etc.

Glossary
60

10/20/2006

Evaluability
assessment

Technical part of the pre-evaluation, which takes stock of available


Evaluability is an extent to
Analiza
knowledge and assesses whether technical and institutional
which an activity or a
evaluabilitii
conditions are sufficient for reliable and credible answers to be given programme can be
to the questions asked. Concretely, it consists of checking whether an evaluated in a reliable and
evaluator using appropriate evaluation methods and techniques will credible fashion. Evaluability
be capable, in the time allowed and at a cost compatible with existing assessment calls for the
constraints, to answer evaluative questions with a strong probability of early review of a proposed
reaching useful conclusions. In some formulations it also includes an activity in order to ascertain
assessment of the likelyhood of evaluation outputs being used.It is
whether its objectives are
closely linked with examinations of programme theory and
adequately defined and its
programme logic insofar as evaluability depends on the coherence of results verifiable.
the programme's logic and the plausibility of its interventions and
implementation chains.

Parte tehnic din cadrul pre-evalurii, care ia n


considerare cunotinele disponibile i analizeaz
dac condiiile tehnice i instituionale sunt
suficiente pentru formularea unor rspunsuri
credibile i de ncredere la ntrebrile puse. n mod
concret, ea verific dac un evaluator care
folosete metode i tehnici de evaluare adecvate
va fi capabil, n intervalul de timp alocat i la un
cost aflat n limitele constrngerilor existente, s
rspund ntrebrilor evaluative cu o probabilitate
mare de a ajunge la concluzii care s se
dovedeasc folositoare. n unele formulri, ea
implic de asemenea o analiz a probabilitii
utilizrii rezultatelor evalurii. Ea este strns legat
de examinrile teoriei programului i de logica
acestuia, n aceeai msura n care evaluarea
depinde de coerena logicii programului i de
plauzibilitatea interveniilor sale i a lanurilor de
implementri.
Evaluabilitatea reprezint gradul n care o
activitate sau un program poate fi evaluat() de o
manier credibil. Analiza evaluabilitii impune
analizarea din timp a evalurii propuse cu scopul de

Page 20

Glossary
61

10/20/2006

Evaluation

62

10/20/2006

Evaluation capacity

63

10/20/2006

Evaluation design

Judgement on the value of a (usually) public intervention with


The systematic and
Evaluare
reference to criteria and explicit standards (e.g. its relevance,
objective assessment of an
efficiency, sustainability, equity etc.). The judgement usually concerns ongoing or completed
the needs which have to be met by the intervention, and the effects
project, programme or
produced by it. The evaluation is based on information which is
policy, its design,
specially collected and interpreted to support the the judgement. For implementation and results.
example: evaluation of the effectiveness of a programme, costThe aim is to determine the
benefit evaluation of a project, evaluation of the validity of a policy,
relevance and fulfillment of
and evaluation of the quality of a service delivered to the public.
objectives, development
Certain definitions of evaluation exclude the judgement dimension
efficiency, effectiveness,
and limit evaluation to an assessment, description or measurement of impact and sustainability. An
the intervention's effects. Other, more restrictive definitions, limit
evaluation should provide
evaluation to the ex post estimation of effects. In certain contexts,
information that is credible
evaluation focuses not on a public intervention but on a public
and useful, enabling the
organisation (e.g. evaluation of a university, hospital or EU institution). incorporation of lessons
More generally, the term is used in human resource management for learned into the decisionthe evaluation of a person (e.g. annual evaluation interview) or in the f making process. Evaluation
also refers to the process of
determing worth or
significance of an activity,
policy or programme. An
assessment, as systematic
and objective as possible, or
a planned, ongoing, or
completed intervention.
Evaluation in some
instances involves the
definition of appropriate
standards, an assessment of
actual and expected results
and the identification of
relevant lessons.
The institutional, human, resource, skill and procedural base for
Capacitate de
conducting evaluations in public policy and public management
evaluare
systems. This structural definition is embodied in expert evaluation
units within governments or other public agencies and in
committment and practice that conducts evaluation and integrates
this into decision-making and policy making. It is also sometimes
understood in cultural terms: as a reflex to question, be open to
criticism, to learn from practice and to be committed to using
evaluation outputs.

Judecat de valoare a unei intervenii (de regul)


publice n funcie de anumite criterii i standarde
explicite (ex relevan, eficien, sustenabilitate,
echitate, etc). Judecata privete de obicei nevoile
crora intervenia trebuie s le rspund i
efectele produse de aceasta. Evaluarea se
bazeaz pe informaii care sunt colectate i
interpretate special pentru a veni n sprijinul
judecii de valoare. De exemplu: evaluarea
eficacitii unui program, evaluarea cost-beneficiu
a unui program, evaluarea validitii unei politici i
evaluarea calitii unui serviciu destinat publicului.
Anumite definiii ale evalurii exclud dimensiunea
judecii i limiteaz evaluarea la o analiz, la o
descriere sau o msurare a efectelor interveniei.
Alte definiii mai restrictive limiteaz evaluarea la
estimarea ex-post a efectelor. n anumite contexte,
evaluarea nu se concentreaz asupra unei
intervenii publice, ci asupra unei organizaii
publice (ex evaluarea unei universiti, a unui
spital sau a unei instituii a UE). n linii mai
generale, termenul se folosete n managementul r

Technical part of the evaluation plan, the clarification of the links


between evaluation questions, arrangements for data collection and
analysis and how evaluative judgements will be made.

Parte tehnic din cadrul planului de evaluare,


constnd n clarificarea legturilor dintre ntrebrile
evalurii, modalitile pentru colectarea datelor,
analize i modul n care vor fi fcute judecile
evaluative.

Page 21

Proiectare a
evalurii

Examinarea sistematic i obiectiv a unui proiect a

Baza instituional, uman, procedural, de


resurse i abiliti pentru realizarea evalurilor n
sistemele de politic public i de management
public. Aceast definiie structural se
concretizeaz n uniti specializate de evaluare
din cadrul guvernelor sau a altor agenii publice i
n contractarea i realizarea practica de evaluri,
precum i n integrarea n procesul de luare a
deciziilor i de formulare a politicilor publice.
Uneori ea este perceput i n termeni culturali: ca
obinuin de a pune ntrebri, de a fi deschis
criticii, de a nva din experiena practic i de a
se angaja n utilizarea rezultatelor evalurii.

Glossary
64

10/20/2006

Evaluator

The people who perform the evaluation, usually in a team in complex


programmes that require a mix of skills and competencies.
Evaluators gather and interpret secondary data, collect primary data,
carry out analyses and produces the evaluation report. They may be
internal or external- vis a vis the commissioning body or programme
managers. Evaluation tams may bring together a group of evaluators
drawn from a single or several organisations (consortium). The
evaluator can also be an individual or even in some formulations an
evaluation authority that makes the final judgement on the basis of
the work produced by an evaluation team.

Evaluator

Persoane care realizeaz evaluarea, constituite de


obicei ntr-o echip, mai ales n cazul programelor
complexe care necesit aptitudini i competene
diverse. Evaluatorii adun i interpreteaz datele
secundare, colecteaz datele primare, fac analize
i ntocmesc raportul de evaluare. Ei pot fi interni
sau externi fa de autoritatea contractant sau
de managerii de program. Echipele de evaluare
pot reuni un grup de evaluatori care provin dintruna sau mai multe organizaii (consoriu).
Evaluatorul poate fi de asemenea o persoan sau,
conform altor interpretri, chiar o autoritate de
evaluare care formuleaz judecata final pe baza
activitii desfurate de echipa de evaluare.

65

10/20/2006

Evaluative question

Question that need to be answered by evaluators. These are usually


posed by those commissioning an evaluation thought this will be on
on behalf of key stakeholders such as programme managers, policy
makers, parliaments and citizens. Evaluation questions normally
feature in the terms of reference which the evaluation team will have
to answer. Evaluation questions have three dimensions: descriptive
(what happened?), causal (to what extent is what has happened
really an effect of the intervention?) and normative (is the effect
satisfactory?). An evaluation generally has several
questions.Sometimes when evaluation questions are not clearly
stated or when the programme logic is uncertain and needs to be
clarified, evaluation questions are restated in an inception report to
ensure they are well focused.

ntrebare
evaluativ

ntrebare la care trebuie s rspund evaluatorii.


Acestea sunt formulate n general de cei care
contracteaz o evaluare, chiar dac ele vin din
partea unor actori-cheie cum sunt managerii de
program, cei implicai n formularea politicilor
publice, parlamentele i cetenii. ntrebrile
evalurii figureaz de regul n termenii de
referin la care trebuie s rspund echipa de
evaluare. ntrebrile evalurii au trei dimensiuni:
cea descriptiv (ce s-a ntmplat?), cea cauzal
(n ce msur ceea ce s-a ntmplat este un efect
al unei intervenii?) i cea normativ (efectul este
satisfctor?). O evaluare are n general mai
multe ntrebri. Uneori, cnd ntrebrile evalurii
nu sunt clar formulate sau cnd logica programului
este nesigur i trebuie clarificat, ntrebrile
evalurii sunt exprimate din nou ntr-un raport
iniial de activitate pentru a asigura focalizarea
acestora.

Page 22

Glossary
66

10/20/2006

Ex ante evaluation

Evaluation which is performed before programme implementation.


An evaluation that is
For an intervention to be evaluated ex ante, it must be known with
performed before
enough precision; in other words, a plan, at least, must exist. If the
implementation of an
intervention still has to be planned from scratch, one would refer to a intervention
needs analysis rather than ex ante evaluation. This form of evaluation
helps to ensure that an intervention is as relevant and coherent as
possible. Its conclusions are meant to be integrated at the time
decisions are made. Ex ante evaluation mainly concerns an analysis
of context, though it will also provide an opportunity for specifying the
intervention mechanisms in terms of what already exists. It provides
the relevant authorities with a prior assessment of whether
development issues have been diagnosed correctly, whether the
strategy and objectives proposed are relevant, whether there is
incoherence between them or in relation to Community policies and
guidelines, whether the expected impacts are realistic, etc. Moreover,
it provides the necessary basis for monitoring and future evaluations
by ensuring that there are explicit and, where possible, quantified obje

Evaluare ex-ante

Evaluare care se efectueaz naintea


implementrii programului. Pentru ca o intervenie
s fie evaluat ex-ante, ea trebuie s fie
cunoscut cu precizie; adic trebuie s existe cel
puin un plan. Dac intervenia trebuie totui
planificat de la zero, referina s-ar face la o
analiz a nevoilor mai degrab dect la o evaluare
ex-ante. Aceast form a evalurii asigur
relevana i coerena unei intervenii. Concluziile
sale vor fi integrate n procesul decizional.
Evaluarea ex-ante presupune n principal o analiz
de context, cu toate c furnizeaz i ocazia
specificrii mecanismelor de intervenie n funcie
de ceea ce deja exist. In urma acestei evaluri,
autoritile implicate pot stabili dac problemele de
dezvoltare au fost diagnosticate corect, dac
strategia i obiectivele propuse sunt relevante,
dac exist incoeren ntre ele sau fa de
politicile si recomandrile Comunitii Europene,
dac impacturile ateptate sunt realiste, i aa mai
departe. Evaluarea ex-ante furnizeaz
fundamentele necesare monitorizrii i evalurilor
viitoare, prin stabilirea unor obiective explicite i, ac
O evaluare care se efectueaz naintea implement

67

10/20/2006

Ex post evaluation

Evaluation which recapitulates and judges an intervention when it is Evaluation of an intervention Evaluare ex-post
over. It aims at accounting for the use of resources, the achievement after it has been completed
of expected (effectiveness) and unexpected effects (utility), and for
the efficiency of interventions. It strives to understand the factors of
success or failure, as well as the sustainability of results and impacts.
It also tries to draw conclusions which can be generalised to other
interventions. For impacts to have the time to materialise, ex post
evaluation need to be performed some time after implementation. In
order to assess impacts, ex post evaluations are likely to involve field
studies ithat track change over time as well as snap-shots such that
one time surveys will provide.

Evaluare care recapituleaz i judec o intervenie


dup ce aceasta s-a ncheiat. Scopul este acela
de a rspunde pentru utilizarea resurselor, pentru
obinerea efectelor ateptate (eficacitate), a celor
neateptate (utilitate) i pentru eficiena
interveniilor. Conduce la cunoaterea factorilor de
succes sau de eec, precum i la cunoaterea
durabilitii efectelor. Prin intermediul acestei
evaluri se ncearc obinerea unor concluzii care
s poat fi generalizate i aplicate altor intervenii.
Evaluarea ex-post ar trebui s se fac la un
interval de timp dup implementare, fcnd mai
nti posibil producerea impacturilor. Pentru a
analiza impacturile, evalurile ex-post pot s
includ studii de teren care urmresc schimbrile
de-a lungul timpului, dar i instantanee de tipul
celor oferite de anchetele singulare.
Evaluarea unei intervenii dup ce ea a fost dus
la bun sfrit.

Page 23

Glossary
68

10/20/2006

Expert panel

Work group which is specially formed for the purposes of the


evaluation and which may meet several times. The experts are
recognised independent specialists in the evaluated field of
intervention. They may collectively pronounce a judgement on the
value of the public intervention and its effects. An expert panel serves
to rapidly and inexpensively formulate a synthetic judgement which
integrates the main information available on the programme, as well
as information from other experiences.

Panel de experi

Grup de lucru care se formeaz special pentru


evaluare i care se poate ntruni de mai multe ori.
Experii sunt specialiti independeni, recunoscui
n domeniul de intervenie evaluat. Ei pot pronuna
n mod colectiv o judecat asupra valorii
interveniei publice i a efectelor sale. Un panel de
experi ajut la formularea rapid i necostisitoare
a unei judeci sintetice care integreaz
principalele informaii legate de program, precum
i informaii furnizate de alte experiene.

69

10/20/2006

Explanatory theory

All the assumptions likely to explain changes observed following the


public intervention (gross effects). The scope of explanatory theory is
far wider than that of the theory of action. Like the theory of action, it
encompasses relations of cause and effect between outputs, results
and impacts. It also covers any other causes likely to explain gross
effects, i.e. all confounding factors. Evaluation relies on a list of
explanatory assumptions established with the help of experts, based
on research and evaluation in similar fields. Inductive analysis
techniques also contribute towards the construction or improvement
of explanatory theory.

Teorie explicativ

Totalitatea supoziiilor care pot explica schimbrile


observate n urma unei intervenii publice (efecte
brute). Aria de cuprindere a teoriei explicative este
mult mai larg dect cea a teoriei de aciune. La
fel ca aceasta din urm, ea vizeaz relaiile de
cauz i efecte dintre realizri imediate, rezultate
i impacturi. De asemenea, ea cuprinde orice alte
cauze care pot explica efectele brute, aa cum
sunt, de exemplu, factorii concureni. Evaluarea se
bazeaz pe o list de supoziii explicative stabilit
cu ajutorul experilor i care are ca punct de
plecare cercetarea i evaluarea realizate n
domenii similare. Tehnicile de analiz introductive
contribuie i ele la construirea i mbuntirea
teoriei explicative.

70

10/20/2006

External coherence

Correspondence between the objectives of an intervention and those


of other public interventions which interact with it. If a national policy
and a EU socio-economic programme are implemented in a
complementary manner in the same territory for the purpose of
developing SMEs, it can be said that there is external coherence.

Coeren extern

Corespondena dintre obiectivele unei anumite


intervenii i cele ale altor intervenii publice care
interacioneaz cu aceasta. Dac o politic public
naional i un program socio-economic comunitar
sunt implementate ntr-o manier complementar,
pe acelai teritoriu, cu scopul dezvoltrii IMMurilor, se poate afirma c exist o coeren
extern

Page 24

Glossary
71

10/20/2006

External evaluation

Evaluation of a public intervention by people not belonging to the


administration responsible for its implementation. For example, a
team composed of private consultants, researchers or people
belonging to public organisations unrelated to those responsible for
the intervention.External evaluations are often seen as more impartial
and independent and therefor as more credible. It is possible in some
circumstances for internal evaluators supported by a culture of
evaluation to be similarly credible. There are also constraints on the
access and internal credibility of external evaluators which has to be
ballanced against their advantages.

Evaluation of an intervention Evaluare extern


conducted by entities and/or
individuals outside the donor
and implementing
organisations

Evaluarea unei intervenii publice care nu este


efectuat de persoane din cadrul administraiei
responsabile pentru implementarea acesteia. De
exemplu, o echip format din consultani,
cercettori sau persoane aparinnd unor diferite
instituii publice fr nicio legtur cu cele care
rspund de implementarea interveniei. Evalurile
externe sunt adesea considerate mai impariale i
mai independente i, drept consecin, mai
credibile. Exist ns i constrngeri cu privire la
acces i la credibilitatea intern a evaluatorilor
externi care trebuie s fie comparate cu
avantajele menionate.
Evaluarea unei intervenii de ctre entiti i/sau
persoane din afara organizaiilor responsabile de
implementare sau a instituiei finanatoare.

72

10/20/2006

External validity

Quality of an evaluation method which makes it possible to obtain


conclusions that can be generalised to contexts (groups, areas,
periods, etc.) other than that of the intervention being evaluated. For
example, evaluation makes it possible to conclude (1) that in directly
or indirectly assisted SMEs the intervention helped to double the
innovation rate and (2) that similar assistance, attributed to SMEs in
other regions, would probably have exactly the same effect. Only
strong external validity allows one to extrapolate from lessons learned
during the implementation of the evaluated intervention. It is
particularly sought after when the evaluation aims at identifying and
validating best practice. External validity is also required when the
evaluation uses conclusions of evaluations performed on similar
interventions.

Page 25

Validitate extern

Calitatea unei metode de evaluare care permite


obinerea unor concluzii care pot fi extinse unor
contexte (grupuri, zone, perioade) diferite de cel al
interveniei supuse evalurii. De exemplu,
evaluarea permite s se concluzioneze faptul c
(1) interveniile care au asistat direct sau indirect
IMM-urile, au generat o dublare a ratei de inovaie
i c (2) asistena similar, acordat IMM-urilor din
alte regiuni, ar avea probabil acelai efect. Doar o
valabilitatea extern puternic poate face posibil
extrapolarea, ca urmare a unor lecii nvate, la
implementarea interveniei evaluate. Ea se
urmrete mai ales atunci cnd evaluarea are
drept scop identificarea i validarea celei mai bune
practici. Valabilitatea extern reprezint o cerin
i atunci cnd evaluarea utilizeaz concluzii ale
evalurilor realizate n cazul unor intervenii
similare.

Glossary
73

10/20/2006

Externality

Effect of a private action or public intervention which is spread outside


the market. For example: a firm pollutes a river and causes an
economic loss for a fish farm downstream; an engineer leaves the
firm in which he or she was trained and applies his or her know-how
in a new firm which he or she creates. By their very nature,
externalities trigger private choices which cannot be optimised
through the mechanisms of market competition. Only collective and
often public decisions are able to promote positive external effects
and prevent negative ones. A large proportion of financial support
allocated within the framework of European cohesion policy is aimed
at promoting positive external effects which businesses do not seek
to create themselves spontaneously.

Externalitate

Efect al unei aciuni private sau a unei intervenii


publice care se extinde i n afara pieei. De
exemplu: o firm polueaz un ru i cauzeaz
pierderi economice unei ferme piscicole din aval;
un inginer prsete firma n care el sau ea a
participat la instruire i aplic cunotinele
acumulate n cadrul unei firme noi, creat chiar de
el/ ea. Prin nsi natural lor, externalitile se
refer la alegerile private care nu pot fi optimizate
prin mecanisme de competiie pe pia. Numai
deciziile colective i adesea cele publice pot
promova efectele externe pozitive i preveni
efectele negative. O mare parte din sprijinul
financiar alocat prin cadrul de lucru al politicii de
coeziune europene are ca scop promovarea
efectelor externe pozitive, pe care firmele nsele
nu le genereaz n mod spontan.

74

10/20/2006

Extrapolation
coefficient

Ratio used to estimate an impact through the use of monitoring data.


For example, if the amount of investments by assisted SMEs is
known, an extrapolation coefficient can be used to estimate the
annual value added generated. In this case, the extrapolation
coefficient may be the ratio of annual value added per euro invested.
This ratio will be drawn from relevant regional or sectoral statistics. If
the evaluator uses existing extrapolation coefficients, it is important
for it to explain and justify its choices. A coefficient can be deduced
from a questionnaire survey (provided the sample is representative)
conducted as part of the same evaluation or a preceding one. A
coefficient may also be taken from an evaluation or research on
similar interventions, provided the conclusions can be generalised
(external validity). A coefficient can be established for the needs of an
evaluation by an expert panel or by a network of experts, using the
Delphi panel technique.

Coeficient de
extrapolare

Proporie folosit n estimarea unui impact


utilizndu-se date de monitorizare. De exemplu,
dac se cunoate suma investiiilor realizate de
IMM-urile asistate, se poate folosi un coeficient de
extrapolare pentru estimarea valorii ad. n acest
caz, coeficientul de extrapolare poate fi exprimat
prin raportarea valorii adugate generat ntr-un
an per euro investit. Proporia va fi extras din
statistici regionale sau sectoriale relevante. Dac
evaluatorul folosete coeficieni de extrapolare
existeni, alegerile trebuie s fie explicate i
justificate. Un coeficient poate fi dedus dintr-o
anchet pe baz de chestionare (numai n cazul n
care eantionul este reprezentativ) efectuat ca
parte a aceeai evaluri sau a unei evaluri
precedente. Un coeficient poate fi luat i dintr-o
evaluare sau o cercetare realizat n cazul unor
intervenii asemntoare, cu condiia ca
respectivele concluzii s poat fi generalizate
(validitate extern). Un coeficient poate fi stabilit
pentru o evaluare de ctre un panel sau de ctre o
reea de experi, utiliznd tehnica panelului Delphi.

75

10/20/2006

Factor analysis

Statistical analysis tool used to identify all correlation within a large


quantity of data concerning many individuals (e.g. survey results), and
to represent it in a simplified way in the form of a two- or threedimensional space. The tool reveals groupings and suggests relations
of cause and effect. It is an inductive causality analysis tool.

Analiza factorial

Instrument de analiz statistic folosit pentru


identificarea tuturor corelaiilor din cadrul unei
cantiti mari de date referitoare la mai muli
indivizi (de ex rezultatele unei anchete) i pentru
reprezentarea lor ntr-o manier simplificat, sub
forma unui spaiu bi- sau tridimensional.
Instrumentul pune n eviden gruprile i
sugereaz relaii de cauz i efect. Este un
instrument inductiv de analiz a cauzalitii.

Page 26

Glossary
76

10/20/2006

Feedback

Feedback is a process by which evaluation formulations, findings and


results are communicated to interested parties. It can be used to
shape or modify a programme and support learning in a formative or
developmental evaluation. Feedback also refers to giving information
to programme stakeholders and beneficiaries - and those who have
pcooperated with the evaluation by providing information and access.

The transmission of findings Feedback


generated through the
evaluation process to parties
for whom it is relevant and
useful as to facilitate
learning. This may involve
the collection and
dissemination of findings,
conclusions,
recommendations and
lessons from experience

Feedback-ul este un proces prin care formulrile,


constatrile i rezultatele evalurii sunt
comunicate prilor interesate. Poate fi utilizat
pentru modelarea i modificarea programului i
pentru sprijinirea fenomenului de nvare ntr-o
evaluare formativ sau a dezvoltrii. Feedback-ul
se refer i la furnizarea de informaii actorilorcheie, beneficiarilor i celor care au cooperat n
procesul de evaluare furniznd informaii i
acces.
Transmiterea constatrilor generate de un proces
de evaluare prilor crora le pot fi utile, facilitnd
fenomenul de nvare. Acest fapt poate implica
colectarea i diseminarea constatrilor,
concluziilor, recomandrilor i a nvmintelor din
experien.

77

10/20/2006

Field of intervention

A set of interventions which are similar enough for their indicators to


be harmonised and for comparisons to be made between different
evaluations. For example, the same programme can predict outputs
in the field of research and development, in that of transport
infrastructure, in that of training, and so on. Within the framework of
European cohesion policy, fields of intervention have been grouped
together into three main categories: basic infrastructure, productive
environment and human resources. The term policy area has been
used to reflect the wider range of potential interventions linked to
socio economic development that may be applied in the context of
enlargement of the EU.

Domeniu / zon de Un set de intervenii ntr-att de asemntoare


intervenie
nct indicatorii lor pot fi armonizai, putnd fi
fcute comparaii ntre diferite evaluri. De
exemplu, acelai program poate previziona
rezultatele din domeniul cercetrii i dezvoltrii, din
domeniul infrastructurii transportului, al instruirii,
.a.m.d. n cadrul de lucru al politicii de coeziune
comunitare, domeniile de intervenie au fost
grupate n trei categorii principale: infrastructur
de baz, mediu productiv i resurse umane.
Termenul de domeniu/ zon de politic public
reflect o gam mai larg de intervenii poteniale
legate de dezvoltarea socio-economic care pot fi
aplicate n contextul extinderii UE.

78

10/20/2006

Focus group

Interview technique based on a small group discussion, moderated by


a facilitator or animateur. Often used to enable participants to form an
opinion on a subject with which they are not familiar. The technique
makes use of the participants' interaction and creativity to enhance
and consolidate the information collected. It is especially useful for
analysing themes or domains which give rise to differences of opinion
that have to be reconciled, or which concern complex questions that
have to be explored in depth.

Focus Group

Interviu care se bazeaz pe discuii de grup, cu


numr mic de membri, moderat de un facilitator
sau animator. De cele mai multe ori tehnica este
folosit pentru a permite participanilor s-i
formeze o opinie despre un subiect cu care nu
sunt familiarizai. Tehnica se folosete de
interaciunile i creativitatea participanilor pentru a
intensifica i consolida informaia colectat.
Tehnica se dovedete util mai ales atunci cnd
se analizeaz teme sau domenii care genereaz
divergene de opinii care trebuie reconciliate sau
care se refer la probleme complexe care trebuie
s fie examinate n detaliu.

79

10/20/2006

Forecast (N)

Anticipation or prediction of likely future effect.

Previziune

Anticiparea unui posibil efect viitor.

Page 27

Glossary
80

10/20/2006

Formative evaluation Evaluation which is intended to support programme actors, i.e.,


managers and direct protagonists, in order to help them improve their
decisions and activities. It mainly applies to a public interventions
during their implementation (on-going, mid-term or intermediate
evaluation). It focuses essentially on implementation procedures and
their effectiveness and relevance.

Evaluation intended to
Evaluare formativ
improve performance, most
often conducted during the
implementation phase of
projects or programmes

Evaluare conceput pentru a sprijini actorii


programului, adic managerii i protagonitii
direci, cu scopul de a-i ajuta s-i mbunteasc
deciziile i activitile. Se aplic mai ales n cazul
interveniilor publice, n timpul procesului de
implementare (evaluare n curs de desfurare,
intermediar). Se concentreaz n special pe
implementarea procedurilor, dar i pe eficacitatea
i relevana acestora.
Evaluare conceput cu scopul de a mbunti
performana, realizat de cele mai multe ori n
timpul fazei de implementare a proiectelor i
programelor.

81

10/20/2006

Funding authority

Public institution which helps to finance an intervention. By extension,


the term funding authority is also used for people who intervene on
behalf of these institutions in the evaluation process: European
Commission desk officers, officials from a national ministry; elected
representatives from a regional or local authority.

Autoritate
finanatoare

Instituie public care ajut la finanarea unei


intervenii. ntr-un neles mai larg, termenul de
autoritate finanatoare se folosete i pentru a
desemna persoanele care reprezint aceste
instituii n procesul de evaluare: funcionari ai
Comisiei Europene, oficialii dintr-un minister
naional, reprezentanii alei din cadrul unei
autoriti locale sau regionale.

82

10/20/2006

Goals Achievement
Matrix (N)

The goals achievement matrix clearly sets out planned goals and
marks them against objectives and the necessary steps / measures
to achieve the goals. For example, Goal 1 could be to improve
economic growth, which could have a number of policy objectives i.e.
promote high value added economy, retain diverse economic
structure and remove obstacles to intervention, which also have a
number of measures / alternatives to achieving the objectives

Matrice a atingerii
scopurilor

Aceast matrice evideniaz scopurile planificate,


obiectivele i paii / msurile necesari (necesare)
pentru atingerea lor. De exemplu: Scopul 1 ar
putea fi intensificarea creterii economice i ar
avea drept corespondent un anumit numr de
obiective de politic public, cum ar fi: promovarea
unei economii care s genereze o valoare
adugat mare, nlturarea unor structuri
economice i a obstacolelor din calea interveniei;
acestor obiective le corespund de asemenea un
numr de msuri / alternative care trebuie
ndeplinite pentru atingerea acestora

83

10/20/2006

Gross effect

Change observed following a public intervention, or an effect reported


by the direct beneficiaries. A gross effect appears to be the
consequence of an intervention but usually it cannot be entirely
imputed to it. The following example shows that it is not sufficient for
an evaluation merely to describe gross effects: Assisted firms claimed
to have created 500 jobs owing to the support (gross effect). In
reality, they would in any case have created 100 jobs even without the
support (deadweight). Thus, only 400 jobs are really imputable to the
intervention (net effect).

Efect brut

Schimbare observat ca urmare a unei intervenii,


sau efect raportat de beneficiarii direci. Un efect
brut apare ca o consecin a unei intervenii dar,
de obicei, ea nu poate fi n ntregime pus pe
seama interveniei respective. Urmtorul exemplu
arat c o evaluare nu trebuie s se limiteze la a
descrie pur i simplu efectele brute. Firmele
asistate afirm c au putut pune la dispoziie 500
de noi locuri de munc datorit sprijinului (efect
brut). n realitate, ele ar fi creat oricum 100 de
locuri de munc, chiar i n lipsa unui sprijin oferit
(pierdere prin alocarea ineficient a resurselor). n
concluzie, doar 400 locuri de munc pot fi efectiv
atribuite interveniei (efect net).

Page 28

Glossary
84

10/20/2006

Impact

A consequence affecting direct beneficiaries following the end of their


participation in an intervention or after the completion of public
facilities, or else an indirect consequence affecting other beneficiaries
who may be winners or losers. Certain impacts (specific impacts) can
be observed among direct beneficiaries after a few months and
others only in the longer term (e.g. the monitoring of assisted firms).
In the field of development support, these longer term impacts are
usually referred to as sustainable results. Some impacts appear
indirectly (e.g. turnover generated for the suppliers of assisted firms).
Others can be observed at the macro-economic or macro-social level
(e.g. improvement of the image of the assisted region); these are
global impacts. Evaluation is frequently used to examine one or more
intermediate impacts, between specific and global impacts. Impacts
may be positive or negative, expected or unexpected.

Positive or negative, primary Impact


and secondary long-term
effects produced by an
intervention, directly or
indirectly, intended or
unintended

O consecin care i afecteaz pe beneficiarii


direci dup ncheierea participrii la intervenie
sau dup inaugurarea facilitilor publice rezultate
n urma unei intervenii sau, pe de alt parte, o
consecin indirect care afecteaz (n sens
pozitiv sau negativ) ali beneficiari. Anumite
impacturi (impacturi specifice) pot fi observate n
rndul beneficiarilor dup cteva luni, iar altele
numai pe termen mai lung (ex monitorizarea
firmelor asistate). n domeniul asistenei pentru
dezvoltare impacturile pe termen lung sunt
considerate ca fiind rezultate sustenabile. Altele
pot fi observate la nivel macroeconomic sau
macrosocial (ex mbuntirea imaginii regiunii
asistate); acestea sunt impacturi globale.
Evaluarea este adesea utilizat n examinarea
unuia sau mai multor impacturi intermediare,
situate ntre impacturile specifice i cele globale.
Impacturile pot fi pozitive sau negative, ateptate
sau neateptate.
Efect pe termen lung primar sau secundar, pozitiv
sau negativ produs n urma unei intervenii, n mod
direct sau indirect, intenionat sau neintenionat.

85

10/20/2006

Impartiality

Quality of conclusions and recommendations of an evaluation when


they are justified by explicit judgement criteria and have not been
influenced by personal or partisan considerations. An impartial
evaluation takes into account the expectations, interpretations and
judgement criteria of all legitimate stakeholders, including those who
have very little power or ability to express themselves, in order to give
an opinion on the "Res publica". Impartiality is an essential element of
the quality of an evaluation.

Imparialitate

Calitate a concluziilor i a recomandrilor unei


evaluri atunci cnd ele sunt justificate prin criterii
de judecat explicite i cnd nu au fost influenate
de consideraii personale sau partizane. O
evaluare imparial ia n considerare ateptrile,
interpretrile i criteriile de judecat ale tuturor
actorilor-cheie legitimi, inclusiv cele ale actorilor
care nu au puterea sau abilitatea de a se exprima
i de a-i face public opinia. Imparialitatea este
un element esenial al calitii unei evaluri.

86

10/20/2006

Implementation

The operational process needed to produce expected outputs. In the


context of EU socio-economic programmes, implementation
comprises all or part of the following tasks: mobilising and distributing
allocated inputs; assigning management responsibilities to operators;
selecting calls for tenders for project promoters; and, lastly, selecting
and financing projects. To monitor and improve implementation, a
monitoring committee is set up, a system of information monitoring is
launched, and audits and evaluations are performed.

Implementare

Procesul operaional necesar producerii realizrilor


imediate ateptate. n contextul programelor socioeconomice ale UE, implementarea cuprinde toate
sau o parte din urmtoarele sarcini: mobilizarea i
distribuirea resurselor alocate; atribuirea unor
responsabiliti de management operatorilor;
selectarea proiectelor, ca urmare a cererii de
propuneri; i, n cele din urm, selectarea i
finanarea proiectelor. Pentru a monitoriza i
mbunti implementarea, se nfiineaz un
comitet de monitorizare, se lanseaz un sistem de
monitorizare al informaiilor i se realizeaz
evaluri i audit.

Page 29

Glossary
87

10/20/2006

Impulsion effect

Secondary effect which spreads through investments induced


upstream and downstream from the sector affected by the
intervention. For example, the construction of a large infrastructure
project generates the creation of new businesses in the region. These
continue to expand after the work has ceased.

not present in the


Guide

88

10/20/2006

In house evaluation

Evaluation by an evaluation team belonging to the administration


responsible for the programme. Internal evaluation may be more
independent if the evaluation team has no hierarchical relation with
the actors implementing the intervention. Otherwise, it would be a
form of self-evaluation.

Evaluare intern

89

10/20/2006

Income multiplier
effect

Secondary effect resulting from increased income and consumption


generated by the public intervention. Multiplier effects are cumulative
and take into account the fact that part of the income generated is
spent again and generates other income, and so on in several
successive cycles. In each cycle, the multiplier effect diminishes due
to purchases outside the territory. The effect decreases much faster
when the territory is small and when its economy is open.

not present in the


Guide

90

10/20/2006

Independent (N)

Separate and autonomous from the stakeholder groups involved in


the intervention, and therefore able to provide impartiality.

Independent

91

10/20/2006

Indicator

Quantitative or qualitative
Indicator
Measurement of: an objective to achieve; a resource mobilised; an
factor or variable that
output accomplished; an effect obtained; or a context variable
(economic, social or environmental). The information provided by an provides a simple and
reliable means to measure
indicator is a quantitative datum used to measure facts or opinions
(e.g. percentage of regional enterprises which have been assisted by achievement, to reflect the
public intervention; percentage of trainees who claim to be satisfied or changes connected to an
intervention, or to help
highly satisfied). An indicator must, among other things, produce
simple information which is communicable and easily understood by assess the performance of a
development actor
both the provider and the user of the information. It must help the
managers of public intervention to communicate, negotiate and
decide. For that purpose, it should preferably be linked to a criterion
on the success of the intervention. It should reflect as precisely as
possible whatever it is meant to measure (validity of construction).
The indicator and its measurement unit must be sensitive, that is to
say, the quantity measured must vary significantly when a change
occurs in the variable to be measured. Indicators may be specially
constructed by the evaluation team and quantified by means of survey

Evaluare realizat de o echip de evaluare din


cadrul administraiei responsabile de
implementarea programului. Evaluarea intern
poate fi mai independent dac ntre echipa de
evaluare i actorii care implementeaz intervenia
nu exist o relaie ierarhic. Altfel, ea ar fi doar o
form de auto-evaluare.

Separat i autonom fa de grupurile de actoricheie implicate n intervenie i, prin urmare,


capabil de a furniza un serviciu imparial.
Un indicator este o msur a unui obiectiv ce
urmeaz a fi atins, a unei resurse ce urmeaz a fi
mobilizat, a unui efect ce va trebui obinut, a unui
rezultat ce va trebui ndeplinit putnd lua i forma
unei variabile de context (economic, social sau de
mediu). Informaia furnizat de un indicator este
de natur cantitativ, i este folosit n msurarea
faptelor sau a opiniilor (ex procentul
ntreprinderilor regionale care au primit asisten
prin intermediul unei intervenii publice, procentul
participanilor la instruiri/formri care se declar
satisfcui i foarte satisfcui). Un indicator
trebuie, printre altele, s produc informaii simple,
care pot fi comunicate i nelese uor att de
furnizor ct i de utilizatorul informaiei. El are rolul
de a-i ajuta pe managerii interveniilor publice s
comunice, s negocieze i s ia decizii. Pentru
ndeplinirea acestui scop, el ar trebui s fie legat
de un criteriu de succes al interveniei. Un
indicator trebuie s reflecte ct se poate de precis
ceea ce msoar (validitatea de construct).
Indicatorul i unitile sale de msur trebuie s fi s
Factor sau variabil calitativ() sau cantitativ() car

Page 30

Glossary
92

10/20/2006

Indirect beneficiary

A person, group of persons or organisation which has no direct


contact with an intervention, but which is affected by it via direct
beneficiaries (e.g. firms which have used technology transfer
networks set up by a public intervention to innovate). Indirect effects
are produced in the short or medium term, positively or negatively.
The raison d'tre of an intervention is to produce positive change for
all its direct and indirect beneficiaries.

Beneficiar indirect

Persoan, grup de persoane sau organizaie care


nu are contact direct cu intervenia, dar care este
afectat de aceasta prin intermediul beneficiarilor
direci (ex firmele care au folosit pentru inovare
reelele de transfer de tehnologie nfiinate prin
intervenii publice). Efectele indirecte se produc pe
termen scurt sau mediu, n sens pozitiv sau
negativ. Raiunea de a fi a unei intervenii este
producerea unor schimbri pozitive pentru toi
beneficiarii si direci i indireci.

93

10/20/2006

Indirect effect

Effect which spreads throughout the economy, society or


environment, beyond the direct beneficiaries of the public
intervention. Indirect "internal" effects, which are spread through
market-based relations (e.g. effect on suppliers or on the employees
of an assisted firm), are distinguished from external effects or
"externalities" which are spread through non-market mechanisms
(e.g. noise pollution; cross-fertilisation within an innovation network).

Efect indirect

Efect care se propag n ntreaga economie,


societate sau mediu, chiar i dincolo de beneficiarii
direci ai interveniei publice. Efectele indirecte
interne, care se rspndesc prin intermediul
relaiilor bazate pe pia (ex efectul asupra
furnizorilor sau angajailor unei firme care
beneficiaz de asisten), se disting de efectele
externe sau de externaliti, care se propag prin
intermediul mecanismelor care nu sunt bazate pe
pia (ex poluarea fonic).

94

10/20/2006

Individual interview

Technique used to collect qualitative data and the opinions of people


who are concerned or potentially concerned by the intervention, its
context, its implementation and its effects. Several types of individual
interview exist, including informal conversations, semi-structured
interviews and structured interviews. The latter is the most rigid
approach and resembles a questionnaire survey. A semi-structured
interview consists of eliciting a person's reactions to predetermined
elements, without hindering his or her freedom to interpret and
reformulate these elements.

Interviu individual

Tehnic utilizat pentru colectarea datelor


calitative i a opiniilor persoanelor (potenial)
vizate de intervenie, de contextul su, de
implementarea i efectele sale. Exist mai multe
tipuri de interviuri: conversaiile informale,
interviurile semi-structurate i interviurile
structurate. Acestea din urm reprezint i cea
mai rigid abordare, asemnndu-se cu ancheta
bazat pe chestionar. Interviul semi-structurat
permite culegerea de informaii bazat pe
elemente predeterminate, fr a ngrdi libertatea
de interpretare i de reformulare a acestor
elemente de ctre persoana intervievat.

95

10/20/2006

Information system
(N)

Arrangements to store information on interventions, their context and


progress (inputs, outputs and results) so that they can be accessed
and inform decision makers, managers and evaluators. A monitoring
information system may also includes the syntheses and
aggregations, periodically presented to the authorities responsible for
the implementation (reviews, operating reports, indicators, etc.). In
EU socio-economic programmes, the key element in an information
system is a system of indicators. Information systems are a narrower
concept than knowledge systems that combine records, lessons,
syntheses and experience as well as routine data-sets.

Sistem de
informaii

Modalitate de stocare a informaiei privitoare la


intervenii, la contextul lor i la progresele
nregistrate (resurse, realizri imediate i rezultate)
n aa fel nct ele s poat fi accesate i s poat
informa decidenii, managerii i evaluatorii. Un
sistem de informaii pentru monitorizare poate
cuprinde i sinteze i agregri prezentate periodic
autoritilor responsabile pentru implementare
(recenzii, rapoarte operaionale, indicatori, etc). n
cadrul programelor socio-economice al UE,
elementul cheie al unui sistem de informaii este
sistemul de indicatori. Sistemele de informaii sunt
un concept mai restrns dect sistemele de
cunotere care mbin nregistrri, lecii, sinteze i
experiene, precum i date de rutin.

Page 31

Glossary
96

10/20/2006

Input

Financial, human, material, organisational and regulatory means


The financial, human and
mobilised for the implementation of an intervention. For example,
material resources used for
sixty people worked on implementing the programme; 3% of the
an intervention
project costs were spent on reducing effects on the environment.
Monitoring and evaluation focus primarily on the inputs allocated by
public authorities and used by operators to obtain outputs. Private
inputs mobilised by assisted firms, for example, are considered to be
results of public intervention. The above definition gives a relatively
broad meaning to the word "input". Some prefer to limit its use to
financial or budgetary resources only. In this case, the word "activity"
can be applied to the implementation of human and organisational
resources. The term "financial outputs" is sometimes used in the
sense of consumption of budgetary inputs.

Resurse

Mijloace financiare, umane, materiale,


organizaionale, precum i normele legislative ce
sunt mobilizate n implementarea unei intervenii.
De exemplu, 60 au lucrat la implementarea
programului, sau 3% din costurile proiectului au
fost alocate pentru a reduce efectele asupra
mediului nconjurtor. Monitorizarea i evaluarea
se concentreaz n primul rnd pe resursele
alocate de autoritile publice i folosite de
operatori n obinerea realizrilor imediate i a
rezultatelor. Resursele private, mobilizate de
firmele asistate, spre exemplu, sunt considerate a
fi rezultate ale unei intervenii publice. Definiia de
mai sus ilustreaz un neles relativ larg al
termenului resurs. Unii prefer s limiteze
folosirea acestuia doar cu privire la resursele
financiare i bugetare. n acest caz, cuvntul
activitate poate fi aplicat implementrii resurselor
umane i organizaionale. Termenul rezultate
financiare este adesea folosit cu sensul de
consum al resurselor bugetare.
Resursele financiare, umane i materiale folosite
n cadrul unei intervenii.

97

10/20/2006

Input-output analysis Tool which represents the interaction between sectors of a national or
regional economy in the form of intermediate or final consumption.
Input-output analysis serves to estimate the repercussions of a direct
effect in the form of first round and then secondary effects throughout
the economy. The tool can be used when a table of inputs and
outputs is available. This is usually the case at the national level but
more rarely so at the regional level. The tool is capable of estimating
demand-side effects but not supply-side effects.

Analiza input output

Instrument care reprezint interaciunea dintre


sectoarele unei economii naionale sau regionale
sub forma consumului intermediar i final. Analiza
input-output servete la estimarea repercusiunilor
unui efect direct, sub forma unei runde primare i
apoi a efectelor secundare produse ntr-o
economie. Instrumentul poate fi folosit cnd este
disponibil un tabel al resurselor i realizrilor.
Acesta este de obicei cazul la nivel naional i mai
rar la nivel regional. Instrumentul poate estima
efectele dimensiunii cererii dar nu i pe cele ale
ofertei.

98

10/20/2006

99

10/20/2006

Institutional capacity The capacity of an institution to perform certain tasks and


(N)
requirements.
Internal coherence
Correspondence between the different objectives of the same
intervention. Internal coherence implies that there is a hierarchy of
objectives, with those at the bottom logically contributing towards
those above.

Capacitate
instituional
Coeren intern

Capacitatea unei instituii de a ndeplini anumite


sarcini i cerine.
Corespondena dintre obiectivele diferite ale
aceleiai intervenii. Ea implic existena unei
ierarhii a obiectivelor, cele de la baz contribuind
la ndeplinirea celor situate la un nivel superior.

Page 32

Glossary
100

10/20/2006

Internal validity

Quality of an evaluation method which, as far as possible, limits


biases imputable to data collection or processing techniques. For
example, an intervention which directly or indirectly assisted SMEs,
led to the doubling of the innovation rate per year for 1,000 jobs. This
type of conclusion is sounder if the collection and analysis of data
have very precisely taken into account all the specific aspects of the
intervention and its context: categories of assisted firms, forms of
innovation specific to the region, etc. To obtain better internal validity,
it is necessary to strictly control a series of parameters, otherwise an
artificial situation may be created which would limit the possibility of
generalising the conclusions (less external validity).

Valabilitate intern Calitatea unei metode de evaluare de a limita, pe


ct posibil, erori imputabile procesului de colectare
a datelor sau tehnicilor de procesare. De exemplu,
o intervenie prin care s-a acordat asisten IMMurilor a condus la dublarea ratei de inovare pe an
pentru 1 000 locuri de munc. O concluzie de
acest fel poate deveni mai solid dac n procesul
de colectare i analiz a datelor s-a inut cont cu
precizie de aspecte specifice ale interveniei i a
contextului su: categorii de firme asistate, forme
ale inovrii specifice regiunii respective, etc.
Pentru a se obine o validitate intern mai bun,
este necesar un control strict al seriilor de
parametri, pentru c altfel s-ar putea crea o
situaie artificial care ar limita posibilitatea
generalizrii concluziilor (un grad mai mic de
validitate extern).

101

10/20/2006

Interval data (N)

Interval data is continuous data where differences are interpretable,


but where there is no "natural" zero. One example that can be
applied here is temperature in Fahrenheit degrees.B112

Date de interval

102

10/20/2006

Intervention

Any action or operation carried out by public authorities regardless of


its nature (policy, programme, measure or project). Interventions
generally take one of the following forms : construction or
improvement of facilities, subsidies, loans, secured loans, consulting
or provision of services, training, information campaigns, setting up of
rules and regulations. In this Volume, the term intervention is
systematically used to designate the object of evaluation.

Intervenie

Page 33

Date continue ntre care diferenele sunt


interpretabile, dar n cazul crora nu exist un
moment zero natural. Un exemplu care poate fi
aplicat n acest caz este temperatura msurat n
grade Fahrenheit B112-I98101.
Orice aciune sau operaie desfurat de
autoriti publice, indiferent de natura sa (politic
public, program, msur sau proiect).
Interveniile iau de obicei una din urmtoarele
forme: construirea sau mbuntirea facilitilor,
subvenii, mprumuturi, mprumuturi garantate,
consultan sau furnizarea de servicii, sesiuni de
instruire/formare, campanii de informare, stabilirea
de reguli i regulamente. n acest MANUAL,
termenul este sistematic utilizat pentru a desemna
obiectul evalurii.

Glossary
103

10/20/2006

Learning (N)

This can be a both a process and a product. As a product it refers to


the fact that lessons drawn from experience are accepted and
retained by institutions or organisations responsible for intervention.
The learning goes beyond feedback insofar as the lessons are
capitalised on and can be applied to other settings. As a process
learning refers to the ways in which new data, information and
experiences are accessed, internalised and accepted - as well as
used. Lesson learning is widely recognised as a key output of
evaluations ensuring that evaluation results are used and past
mistakes not repeated.

Lessons learned are


nvare
generalisations based on
evaluation experiences with
projects, programmes, or
policies that abstract from
the specific circumstances to
broader situations.
Frequently, lessons highlight
strengths or weaknesses in
preparation, design and
implementation that affect
performance, outcomes and
impact.

Poate fi att un proces ct i un produs. n


calitatea sa de produs, fenomenul se refer la
faptul c leciile nvate din experien sunt
acceptate i reinute de instituii i organizaii care
rspund de intervenie. nvarea merge dincolo
de feedback, n msura n care leciile sunt
capitalizate, putnd fi aplicate i n alte
circumstane. n calitate de proces, nvarea se
refer la modalitile n care datele, informaiile i
experienele noi sunt accesate, internalizate,
acceptate, dar i folosite. nvarea leciilor este
recunoscut n mare msur ca un realizare cheie
a evalurilor, asigurnd utilizarea rezultatelor
evalurii i evitarea repetrii unor greeli din
trecut.
Leciile nvate sunt generalizri bazate pe
experiene generate de procesul de evaluare al
proiectelor, programelor sau politicilor publice,
care se substrag circumstanelor specifice fiind
aplicate n situaii mai generale. n mod frecvent,
leciile evideniaz punctele tari i punctele slabe
care in de pregtirea, proiectarea i
implementarea i care afecteaz performana, rezu

104

10/20/2006

Leverage effect

Propensity for public intervention to induce private spending among


direct beneficiaries. In cases where public intervention subsidises
private investments, leverage effects are proportional to the amount
of private spending induced by the subsidy. Leverage effects must
not be confused with additional effects (see net effect). Nor do they
refer to the principle of additionality which applies to European social
and economic cohesion policy (see additionality).

Efect de levier

105

10/20/2006

Logic models (N)

Generic term that describes various representations of programmes


linking their contexts, assumptions, inputs, intervention logics,
implementation chains and outcomes and results. These models can
be relatively simple (such as the logical framework, see below) and
more complex (such as realist, context/mechanism/outcome
configurations and Theory of Change - ToC - models).

Modele logice

Page 34

Tendina interveniilor publice de a induce


cheltuieli private n rndul beneficiarilor direci. n
cazurile n care intervenia public subvenioneaz
investiiile private, efectele de levier sunt
proporionale cu suma cheltuielilor private induse
de subvenie. Efectele de levier nu trebuie
confundate cu efectele adiionale (vezi efectul net)
i nici nu se refer la principul adiionalitii care se
aplic n cazul politicii europene de coeziune
economic i social.
Termen generic care descrie reprezentri variate
ale programelor, corelnd contextele, supoziiile,
resursele, logica interveniei, lanurile de
implementare, realizrile imediate i rezultatele
acestora. Aceste modele pot fi relativ simple (cum
este matricea logic) sau mai complexe (cum sunt
configuraiile realiste de tipul context / mecanism/
rezultat i modelele Teoriei schimbrii).

Glossary
106

10/20/2006

Logical framework

Tool used to structure the logic of a public intervention. It is based on Management tool used to
Matrice logic
a matrix presentation of the intervention, which highlights its outputs, improve the design of
results, and specific and global impacts. Each level of objective is
interventions, most often at
associated with one or more verifiable indicators of success, as well the project level. It involves
as with the conditions and risks influencing success or failure
identifying strategic
(confounding factors). This tool is frequently used for the evaluation of elements (inputs, outputs,
development support projects. By contrast, it is ill-suited to the
outcomes, impact) and their
evaluation of complex socio-economic programmes because its level causal relationships,
of simplification is high.
indicators and the
assumptions or risks that
may influence success and
failure. It thus facilitates
planning, execution and
evaluation of an intervention.

Page 35

Instrument folosit n structurarea logic a unei


intervenii publice. Are la baz o reprezentare
matriceal a interveniei, care pune n eviden
realizrile imediate, rezultatele, impacturile
specifice i globale ale acesteia. Fiecare nivel al
obiectivului este asociat cu unul sau mai muli
indicatori verificabili de succes, precum i cu
riscurile i condiiile care influeneaz succesul
sau eecul (factorii concureni). Pe de alt parte,
acest instrument se preteaz perfect la evaluarea
programelor socio-economice complexe, datorit
nivelului su ridicat de simplificare.
Instrument de management folosit n scopul
mbuntirii modului n care sunt proiectate
interveniile, de cele mai multe ori la nivel de
proiect. Instrumentul presupune identificarea
elementelor strategice (resurse, realizri imediate,
rezultate, impacturi) i a relaiilor de cauzalitate
dintre acestea, a indicatorilor i a supoziiilor sau
riscurilor care pot influena succesul sau eecul. n
concluzie, matricea logic faciliteaz planificarea,
executarea i evaluarea unei intervenii.

Glossary
107

10/20/2006

Longitudinal data

Time series relating to repeated comparative observations of the


same individuals (or other beneficiary), at regular intervals, during a
given period. In the evaluation context, these data are obtained by
observing the evolution of a sample of beneficiaries.

not present in the


Guide

108

10/20/2006

Mainstreaming

The term as applied to equal opportunities meant systematically


taking into account the specific priorities and needs of women and
men in all dimensions of an intervention, from the design and
implementation stage to monitoring and evaluation. For example,
equal opportunities is mainstreamed in evaluation in so far as
evaluation systematically distinguishes men and women among the
direct and indirect beneficiaries of a public intervention, and among
operators and decision-makers, when this distinction concerns needs,
results and impacts. Mainstreaming may also apply to other impacts
considered to be priorities. The term is also used to refer to the
process of extending innovative practices to mainstream programmes
and policies.

Integrare

Page 36

Termenul care, aplicat la domeniul oportunitilor


egale, nseamn luarea n considerare n mod
sistematic a prioritilor i nevoilor specifice
femeilor i brbailor n toate dimensiunile unei
intervenii, ncepnd de la stadiul de proiectare i
implementare, pn la procesul de evaluare i
monitorizare. De exemplu, oportunitile egale
sunt integrate n evaluare n msura n care
evaluarea distinge n mod sistematic ntre femeile
i brbaii din rndul beneficiarilor direci i
indireci ai unei intervenii publice, din rndul
operatorilor i a decidenilor, cnd aceast
distincie se refer la nevoi, rezultate i impacturi.
Integrarea se poate aplica i altor impacturi
considerate prioritare. Termenul se folosete de
asemenea cu referire la procesul extinderii
practicilor inovative pentru a integra programele i
politicile.

Glossary
109

10/20/2006

Managerial
evaluation

An evaluative approach integrated into the management of public


interventions, and aimed at recommending changes related either to
decision-making (feedback, instrumental use) or to the behaviour of
the actors responsible for the implementation of the intervention. The
general approach of managerial evaluation is similar to that of new
public management, and is aimed at addressing the problem of
stagnating public revenue. The underlying question can be formulated
as follows: how can the trade-off between the different sectoral
policies be justified? The dominant approach here which occurs
within the administration, is that of optimisation of budgetary
resources. The political dimension of the evaluation act is overlooked.
The quality of managerial evaluation is based on two principles: the
independence of the evaluator and the objectivity of the method. For
example, during the 1980s, most functions of the British
administration were privatised or delegated to semi-independent
agencies. Demands for effective services grew at the same time. This
led to the development of Value For Money evaluations.

not present in the


Guide

110

10/20/2006

Matching pairs

Technique for constructing a comparison group. For each individual


in the sample of direct beneficiaries being surveyed, an individual is
chosen who resembles it as closely as possible and who has not
participated in the intervention.

not present in the


Guide

111

10/20/2006

Matrix of cross
impacts

not present in the


Guide

112

10/20/2006

Measure

Tool used to highlight potential complementarity, duplication and


conflict between the impacts of the different components of an
intervention, or between the impacts of different interventions. For
example, the tool presents the different measures of a programme in
lines and columns. In each cell a score between 3 and +3 is given to
describe the potential synergy between a measure situated on a line
and a measure situated in a column.
Within the framework of European economic and social cohesion
policy, the basic unit of programme management, consisting of a set
of similar projects and disposing of a precisely defined budget. Each
measure has a particular management apparatus. Measures
generally consist of projects. Many measures are implemented
through a process of Calls for Proposals and subsequent appraisal.

113

10/20/2006

Measurement unit

Used to observe a phenomenon, change or variable, and to place it


on a quantitative scale. A measurement unit allows for quantification.
An elementary indicator is associated with a measurement unit and
has only one dimension (e.g. km of motorway; number of training
courses). Some measurement units are divisible and others not (e.g.
20.3km were built; 30 trainees were qualified). Measurement units
must be harmonised if indicators are to be comparable.

Unitate de msur O unitatea de msur se folosete n scopul


observrii unui fenomen, a unei schimbri sau a
unei variabile, realizndu-se n acest sens
plasarea lor pe o scal cantitativ. O unitate de
msur permite cuantificarea. Un indicator
elementar este asociat unei uniti de msur
avnd o singur dimensiune (ex km de autostrad,
numrul sesiunilor de formare). Unele uniti de
msur sunt divizibile, iar altele nu (s-au construit
20,3 km de autostrad; 30 participani la
instruire/formare s-au calificat). Unitile de
msur trebuie s fie armonizate dac indicatorii
trebuie s fie comparabili.

Page 37

Msur

Potrivit cadrului de lucru al politicii de coeziune


economic i social din Europa, prin msur se
nelege unitatea principal a managementului
programului, format dintr-un set de proiecte
similare i dispunnd de un buged bine definit.
Fiecare msur are un anumit aparat de
management. Msurile constau n general n
proiecte. Multe msuri sunt implementate printr-un
proces de cerere de propuneri i o analiz
ulterioar a propunerilor de proiecte.

Glossary
114

10/20/2006

Meta-evaluation

Evaluation of another evaluation or of a series of evaluations. Such


syntheses, systematic reviews or meta analyses generally share the
assumption that lessons are best learned cumulatively over more
than one evaluation if one wants to have confidence in results and
findings. Meta evaluations can focus on programme results, on the
mechanisms that underpin different programmes and even on the
contexts of programmes - especially when what is being synthesised
is descriptive or narrative case studies. Results are often judged in
terms of their reliability, credibility and utility. They can also be judged
in terms of their generalisability and likely sustainability.

115

10/20/2006

Method

Methods are families of evaluation techniques and tools that fulfil


different purposes. They usually consist of procedures and protocols
that ensure systemisation and consistency in the way evaluations are
undertaken. Methods may focus on the collection or analysis of
information and data; may be quantitative or qualitative; and may
attempt to describe, explain, predict or inform action. The choice of
methods follows from the evaluation questions being asked and the
mode of enquiry - causal, exploratory, normative etc. Understanding a
broad range of methods ensures that evaluators will select suitable
methods for different purposes.

Metod

Metodele sunt categorii de tehnici i instrumente


de evaluare utilizate n scopuri diferite. n general
ele cuprind proceduri i protocoale care asigur
sistematizarea i consistena modului n care este
efectuat evaluarea. Metodele se pot axa pe
colectarea sau pe analiza informaiilor i a datelor;
pot fi cantitative sau calitative; i pot fi utilizate
pentru a descrie, a explica, a previziona sau a
informa. Alegerea metodelor deriv din ntrebrile
la care evaluarea ncearc s rspund i din tipul
de demers ntreprins cauzal, explorator,
normativ, etc. nelegerea unei game largi de
metode le va da posibilitatea evaluatorilor s
selecteze cele mai adecvate metode n raport cu
scopul urmrit.

116

10/20/2006

Methodology

Most broadly, the overall way in which decisions are made to select
methods based on different assumptions about what constitutes
knowing (ontology) what constitutes knowledge (epistemology) and
more narrowly how this can be opertationalised ie, interpreted and
analysed (methodology)..

Metodologie

n sensul su ce mai larg, metodologia reprezint


modalitatea general de luare a deciziilor de
selectare a metodelor, bazat pe diferite supoziii
privind ceea ce constituie tiina, ceea ce
constituie cunotinele i, ntr-un sens mai
restrns, privind modul n care acestea pot fi
operaionalizate, adic interpretate i analizate.

117

10/20/2006

Micro economics (N) The study of the behavior of small economic units, such as individual
consumers, households or firms with respect to consumption,
production and other socio-economic decisions.

Microeconomie

Studiul comportamentului unitilor economice de


dimensiuni reduse, cum sunt consumatorii
individuali, gospodriile sau firmele, lundu-se n
considerare consumul, producia i alte decizii
economice

The term is used for


evaluations designed to
aggregate findings from a
series of evaluations. It can
also be used to denote the
evaluation of an evaluation
to judge its quality and/or
assess the performance of
the evaluators.

Page 38

not present in the


Guide

Glossary
118

10/20/2006

Mid-term evaluation

The same definition


Evaluation which is performed towards the middle of the period of
implementation of the intervention. This evaluation critically considers
the first outputs and results, which enables it to assess the quality of
the monitoring and implementation. It shows the translation into
operational terms of initial intentions and, where relevant, points out
de facto amendments to objectives. Through comparison with the
initial situation, it shows the evolution of the general economic and
social context, and judges whether the objectives remain relevant. It
examines whether the evolution of policies and priorities of other
public authorities raises problems of coherence. It also helps to
prepare adjustments and reprogramming, and to argue them in a
transparent manner. Mid-term evaluation not only relies strongly on
information derived from the monitoring system, but also on
information relating to the context and its evolution. Mid-term
evaluation has a formative character: it provides feedback on
interventions of which it helps to improve the management. Mid-term
evaluation is a form of intermediate evaluation. Other intermediate eva

119

10/20/2006

Monitoring

An exhaustive and regular examination of the resources, outputs and


results of public interventions. Monitoring is based on a system of
coherent information including reports, reviews, balance sheets,
indicators, etc. Monitoring system information is obtained primarily
from operators and is used essentially for steering public
interventions. When monitoring includes a judgement, this judgement
refers to the achievement of operational objectives. Monitoring is also
intended to produce feedback and direct learning. It is generally the
responsibility of the actors charged with implementation of an
intervention. For example: monitoring of the consumption of budgets,
monitoring of the meeting of deadlines, monitoring of the percentage
of SMEs in beneficiary firms, monitoring of the level of qualifications
obtained by trainees.

Evaluare
intermediar

A continuing function that


Monitorizare
uses systematic collection of
data in specified indicators
to provide management and
the main stakeholders of an
ongoing evaluation with
indications of the extent of
progress and achievement
of objectives and progress in
the use of allocated funds

Evaluare care se realizeaz aproximativ la mijlocul


perioadei de implementare a unei intervenii.
Aceast evaluare consider n mod critic primele
realizri imediate i rezultate, ceea ce i permite
examinarea calitii monitorizrii i a
implementrii. Ea ilustreaz transpunerea n
termeni operaionali a inteniilor iniiale i, acolo
unde este relevant, evideniaz amendamentele
de facto aduse obiectivelor. Prin raportarea la
situaia iniial, ea reflect evoluia contextului
economic i social general i apreciaz dac
obiectivele rmn relevante. Acest tip de evaluare
analizeaz dac evoluia politicilor publice i a
prioritilor aparinnd altor autoriti publice, ridic
probleme de coeren. De asemenea, ea ajut la
pregtirea ajustrilor i a reprogramrii, precum i
la argumentarea acestora ntr-o manier
transparent. Evaluarea intermediar nu se
bazeaz doar pe informaiile provenite din sistemul
de monitorizare, ci i pe informaiile legate de
context i evoluia sa. Evaluarea intermediar are
un caracter formativ: ofer feedback la interveniile
efectuate, contribuind astfel la mbuntirea manag
O examinare minuioas i regulat a resurselor,
realizrilor imediate i a rezultatelor interveniilor
publice. Monitorizarea se bazeaz pe un sistem de
informaii coerente care const n rapoarte,
recenzii, balane, indicatori, etc. Informaia
aferent sistemului de monitorizare se obine n
primul rnd de la operatori i se utilizeaz mai ales
pentru orientarea interveniilor publice. Cnd
monitorizarea include formularea unei judeci,
aceast judecat se refer ntotdeauna la
atingerea obiectivelor operaionale. Procesul de
monitorizare este conceput i pentru a oferi
feedback i posibilitatea nvrii directe.
Monitorizarea este o responsabilitate a actorilor
care se ocup de implementarea unei intervenii.
De exemplu: monitorizarea cheltuielilor bugetare,
monitorizarea respectrii termenelor limit,
monitorizarea procentului IMM-urilor n totalul
firmelor beneficiare, monitorizarea nivelului
calificrilor obinute de persoanele
formate/instruite.
O funcie continu care utilizeaz colectarea
sistematic a datelor n indicatori specificai, avnd
scopul de a furniza managementului i principalilor

Page 39

Glossary
120

10/20/2006

Multicriteria analysis Tool used to compare several interventions in relation to several


criteria. Multicriteria analysis is used above all in the ex ante
evaluation of major projects, for comparing between proposals. It can
also be used in the ex post evaluation of an intervention, to compare
the relative success of the different components of the intervention.
Finally, it can be used to compare separate but similar interventions,
for classification purposes. Multicriteria analysis may involve
weighting, reflecting the relative importance attributed to each of the
criteria. It may result in the formulation of a single judgement or
synthetic classification, or in different classifications reflecting the
stakeholders' different points of view. In the latter case, it is called
multicriteria-multijudge analysis.

not present in the


Guide

121

10/20/2006

Need

Nevoie

Problem or difficulty affecting concerned groups or regions, which the


public intervention aims to solve or overcome. Ex ante evaluation
verifies whether the needs used to justify an intervention are genuine.
Mid-term evaluation may involve a survey of beneficiaries, to reveal
their needs and opinions. Needs are the judgement reference of
evaluations which use relevance and usefulness criteria.

Page 40

Problem sau dificultate care afecteaz grupurile


sau regiunile vizate i pe care intervenia public
urmrete s o rezolve sau s o depeasc.
Evaluarea ex-ante verific dac nevoile utilizate n
justificarea unei intervenii sunt autentice.
Evaluarea intermediar poate s includ o
anchet asupra beneficiarilor, cu intenia de a
dezvlui nevoile i opiniile acestora. Nevoile
reprezint referina judecilor evalurilor care se
folosesc de criterii de relevan i utilitate.

Glossary
122

10/20/2006

Net effect

Effect imputable to the public intervention and to it alone, as opposed


to apparent changes or gross effects. To evaluate net effects, based
on gross effects, it is necessary to subtract the changes which would
have occurred in the absence of the public intervention, and which
are therefore not imputable to it since they are produced by
confounding factors (counterfactual situation). For example, the
number of employees in assisted firms appears to be stable (change
or gross effect equal to zero). However, it is estimated that without
support there would have been 400 redundancies (counterfactual
situation). Thus, 400 jobs were maintained (net effect).

Efect net

123

10/20/2006

Network effect

not present in the


Guide

124

10/20/2006

Nominal data (N)

Secondary effect which spreads through special and lasting relations


between businesses in the same territory or branch, and between
those same businesses and public or para-public organisations such
as research centres, universities, etc. Network effects are partially
based on non-market interpersonal relations. Thus, they are in part
"externalities".
The lowest level of data measurement. Categorical data where the
order of the categories is arbitrary. For example: race/ethnicity has
values 1=White, 2=Hispanic, 3=American Indian, 4=Black, 5=Other.

Date nominale

Cel mai sczut nivel de msurare a datelor. Date


sunt grupate n categorii, iar ordinea categoriilor
este arbitrar. De exemplu: rasa / etnia poate avea
valorile 1 Alb 2 Hispanic, 3 - Americanoindian; 4 Neagr; 5 Altele.

125

10/20/2006

Norm

Level that the intervention has to reach to be judged successful, in


terms of a given criterion. For example, the cost per job created was
satisfactory compared to a national norm based on a sample of
comparable interventions.

Norm

Nivel pe care intervenia trebuie s-l ating pentru


a fi considerat reuit, n funcie de un anumit
criteriu. De exemplu: costul pe loc de munc creat
a fost considerat satisfctor n raport cu o norm
naional bazat pe un eantion de intervenii
comparabile

126

10/20/2006

Normative aim

The values or assumptions that underpin a programme and its goals.


Common examples might include: preventing the desertification of
rural areas, competitivity, equal opportunities and sustainability.

not present in the


Guide

Page 41

Efect atribuit exclusiv interveniei, spre deosebire


de schimbrile aparente sau de efectele brute.
Pentru a evalua efectele nete, pornind de la
efectele brute, este necesar eliminarea
schimbrilor care s-ar fi petrecut i n absena unei
intervenii publice i care nu sunt prin urmare
imputabile acesteia din moment ce ele sunt
rezultatul factorilor concureni (situaie
contrafactual). De exemplu, numrul de angajai
din firmele care au beneficiat de asisten pare a
rmne stabil (schimbare sau efect brut egal cu
zero). Cu toate acestea, se estimeaz c n lipsa
sprijinului acordat, s-ar fi fcut 400 disponibilizri
(situaie contrafactual). innd cont de acest
aspect, se poate afirma c efectul net a fost
pstrarea a 400 de locuri de munc.

Glossary
127

10/20/2006

Objective

128

10/20/2006

Objective tree

129

10/20/2006

Clear, explicit and initial statement on the effects to be achieved by a


public intervention. If the objectives are not stated explicitly an
evaluation (and particularly ex ante evaluation) may help to clarify
them. A quantitative objective is stated in the form of indicators and a
qualitative objective in the form of descriptors, e.g.: 30% of all outputs
must be accomplished by the end of the third year; the public
intervention must first benefit the long-term unemployed. Specific
objectives concern the results and impacts of an intervention on
direct beneficiaries. A global objective corresponds to the aim of the
intervention. The aim of an intervention is to produce an impact
expressed in global terms, e.g. reducing regional disparities in
development levels. Objectives may also be intermediate. Objectives
which specify outputs to be produced are called operational
objectives. If the objectives of a public intervention have not been
clearly defined beforehand, the evaluation can try to clarify them
afterwards. In that case, it is preferable to refer to implicit objectives.
Objectives may incorporate targets.

Hierarchical classification of the objectives of a public intervention,


linking each specific objective to its global objective. The objectives
tree of a programme makes the overall logic explicit. It is used for
clarification.
On-going evaluation Evaluation which extends throughout the period of implementation of
an intervention. This form of evaluation accompanies the monitoring
of outputs and results. It is too often confused with monitoring. The
advantage of on-going evaluation is that it allows for effective
collaboration between the evaluator and programme managers,
which in turn favours a better appropriation of conclusions and
recommendations. On-going evaluation may be seen as a series of indepth studies, comprising successive analyses of evaluative
questions which have appeared during the implementation. For
example, an on-going evaluation of development support for tourism
has successively considered the following questions: "how has the
public reacted to the proposed support?" (first year); "is the evolution
of the tourist market making the assistance useless?" (third year);
"which of the assisted projects can be considered cases of best
practice to reproduce?" (fourth year). In general on-going evaluations
are formative in intent.

Page 42

Obiectiv

O declaraie iniial clar i explicit referitoare la


efectele care trebuie s fie obinute printr-o
intervenie public. Dac obiectivele nu sunt
formulate explicit, atunci o evaluare (cu precdere
o evaluare ex-ante), poate ajuta la clarificarea lor.
Un obiectiv cantitativ se exprim sub form de
indicatori, iar un obiectiv calitativ sub forma unei
descrieri, spre exemplu: 30% din realizrile
imediate trebuie obinute pn la finele celui de-al
treilea an; intervenia public trebuie s ofere
sprijin n primul rnd omerilor pe termen lung.
Obiectivele specifice se refer la rezultatele i
impacturile pe care o intervenie le are asupra
beneficiarilor direci. Obiectivul global corespunde
elului interveniei. elul unei intervenii reprezint
producerea unui impact care este exprimat n
termeni globali, de exemplu: reducerea
disparitilor regionale n nivelurile de dezvoltare.
Obiectivele pot fi i intermediare. Obiectivele care
menioneaz realizrile imediate care trebuie
obinute se numesc obiective operaionale. Dac
obiectivele unei intervenii publice nu au fost clar de

not present in the


Guide

Evaluare continu

O evaluare care se desfoar pe toat perioada


de implementare a unei intervenii. Aceast form
de evaluare nsoete procesul de monitorizare.
De foarte multe ori, ea se confund cu
monitorizarea. Avantajul acestui tip de evaluare
este c permite o colaborare efectiv ntre
evaluator i managerii de program, care
favorizeaz la rndul su o mai bun punere n
aplicare a concluziilor i recomandrilor.
Evaluarea realizat pe parcursul desfurrii
interveniei poat fi vzut ca o serie de studii n
profunzime, cuprinznd analize succesive ale
ntrebrilor evaluative aprute n timpul
implementrii. De exemplu: o evaluare continu a
sprijinului pentru dezvoltare n domeniul turismului,
a considerat pe rnd urmtoarele ntrebri: cum a
reacionat publicul la sprijinul propus? (primul an);
Evoluia pieei turismului determin inutilitatea
interveniei? (al treilea an); care dintre proiectele
asistate pot fi considerate drept exemple de cea
mai bun practic? (al patrulea an). n general,
aceste evaluri se intenioneaz a fi formative.

Glossary
130

10/20/2006

Ordinal data (N)

Ordered categories (ranking) with no information about distance


between each category. They are data where there is a logical
ordering to the categories. A good example is the Likert scale:
1=Strongly disagree; 2=Disagree; 3=Neutral; 4=Agree; 5=Strongly
agree.

131

10/20/2006

Outcome (N)

Advantage (or disadvantage) which direct beneficiaries obtain at the The likely or achieved short Rezultat pe termen
end of their participation in a public intervention or as soon as a public term and medium term
scurt
facility has been completed. Results can be observed when an
effects of an intervention's
operator completes an action and accounts for the way in which
outputs.
allocated funds were spent and managed. At this point s/he may
show, for example, that accessibility has been improved due to the
construction of a road, or that the firms which have received advice
claim to be satisfied. The operators may regularly monitor results.
They have to adapt the implementation of the intervention according
to the results obtained.

132

10/20/2006

Output

Date ordinale

Categorii ordonate care nu ofer informaii legate


de distana existent ntre fiecare dou categorii.
Ele sunt tipuri de date care presupun o ordonare
logic a categoriilor. Un exemplu concludent este
scala Likeret: 1: Nu sunt deloc de acord; 2: Nu
sunt de acord; 3: Sunt indiferent; 4: Sunt de acord;
5: Sunt ntru-totul de acord.

Avantaj (sau dezavantaj) obinut de beneficiarii


direci la sfritul participrii lor n cadrul
interveniei publice, de ndat ce punerea la
dispoziie a facilitii publice a fost ncheiat.
Rezultatele pot fi observate n momentul n care
un operator duce la bun sfrit o aciune i
raporteaz asupra modului n care au fost cheltuite
i gestionate fondurile alocate. La acest punct,
operatorul poate demonstra, spre exemplu, c
accesibilitatea a fost mbuntit ca urmare a
construciei unui nou drum, sau c firmele care au
beneficiat de consultan s-au declarat satisfcute.
Operatorii pot monitoriza n mod regulat rezultatele
obinute. Ei trebuie s adaptaze implementarea
interveniei n funcie de rezultatele obinute.
That which is financed and accomplished (or concretised) with the
The products, capital goods Realizare imediata Ceea ce se finaneaz i se ndeplinete efectiv
money allocated to an intervention. A project promoter undertakes to and services which result
(intrare)
(ceea ce se concretizeaz) cu banii alocai unei
produce an output in immediate exchange for the support granted.
from an intervention; may
intervenii. Promotorul unui proiect se angajeaz
Outputs may take the form of facilities or works (e.g. building of a
also include changes
s produc un rezultat, s obin anumite realizri
road, rehabilitation of an urban wasteland; purification plant; tourist
resulting from the
imediate n schimbul sprijinului acordat. Realizrile
accommodation). They may also take the form of immaterial services intervention which are
pot lua forma unor faciliti sau activiti (ex
(e.g. training, consultancy, information). The distinction between
relevant to the achievement
construirea unui drum, reabilitarea unui teren
outputs (i.e. numbers trained), outcomes (i.e. knowledge applied) and of outcomes.
urban dezafectat; staii de purificare; cazare pentru
turiti). Ele pot lua i forma unor servicii imateriale
results (i.e. firms becoming more competitive) is worh bearing in
(ex formare, consultan, informare). Trebuie
mind.
reinut distincia dintre realizrile imediate
(numrul participanilor la sesiuni de formare),
rezultate (cunotine aplicate) i rezultate pe
termen mai lung (firme care devin mai
competitive).
Produsele, bunurile de capital i serviciile care
rezult dintr-o intervenie; ele pot include i
schimbrile care au loc ca urmare a interveniei i
care sunt relevante pentru obinerea efectelor.

Page 43

Glossary
133

10/20/2006

Participant
observation (N)

In situ, non-disruptive observation of the daily activity of actors and/or


beneficiary of the evaluated intervention. The researcher tries to
understand the situation "from the inside". Ethnographic observation
is useful in little known situations or when access to the field is
difficult. It is used to collect very detailed information, with audiovisual recordings where relevant, on a few typical situations of
implementation of the intervention. It also serves to identify all the
effects of the intervention and the influence of the context.

Observaie
participativ

Observaie nedisruptiv i efectuat pe teren, a


activitii zilnice a actorilor i / sau a beneficiarilor
interveniei evaluate. Cercettorul ncearc s
neleag situaia din interiorul ei. Observaia
etnografic este util n situaiile mai puin
cunoscute sau cnd accesul pe teren este dificil.
Ea se aplic n colectarea unor informaii detaliate,
utilizndu-se chiar i nregistrri audio acolo unde
este cazul, referitoare la cteva situaii tipice
ntlnite n implementarea interveniei. Totodat,
aceast observaie servete la identificarea tuturor
efectelor produse de intervenie i a influenei
exercitate de context.

134

10/20/2006

Participatory
evaluation (N)

Evaluative approach that encourages the active participation of


beneficiaries and other stakeholders in an evaluation. They may
participate in the design and agenda setting of an evaluation, conduct
self evaluations, help gather data or help interpret results. In socioeconomic development participatory approaches are especially
relevant because they support autonomy and self confidence rather
than encourage dependency.

Evaluation method in which Evaluare


representatives of agencies participativ
and stakeholder (including
beneficiaries) work together
in designing, carrying out
and interpreting an
evaluation.

Abordare evaluativ care ncurajeaz participarea


activ a beneficiarilor i a altor actori-cheie la
evaluare. Ei pot participa n stadiul de proiectare i
stabilire a agendei unei evaluri, pot realiza autoevaluri, pot ajuta la culegerea datelor sau la
interpretarea rezultatelor. n dezvoltarea socioeconomic, abordrile participative sunt cu
precdere relevante deoarece ele sprijin mai
degrab autonomia i ncrederea n forele proprii,
fr a ncuraja dependena.
Metod de evaluare n care reprezentanii
ageniilor i actorii cheie (inclusiv beneficiarii)
lucreaz mpreun la proiectarea, desfurarea i
interpretarea unei evaluri.

135

10/20/2006

Partnership (N)

Partnership can be defined as an arrangement whereby two or more


parties co-operate and work together. Often the aim of the
partnership is to co-ordinate the use of partners' resources more
economically, efficiently and effectively. Generally, partners have a
shared aim/set of objectives and develop a commitment to an agenda
for joint or co-ordinated action. Ideally, partnerships should achieve
synergy by by pooling resources and co-operative action, avoiding
duplication and achieving more together than each partner can
achieve alone.

Page 44

Parteneriat

Un parteneriat poate fi descris ca un aranjament


prin care dou sau mai multe pri coopereaz i
lucreaz mpreun. Adesea elul unui parteneriat
este o coordonare mai economic, mai eficient i
mai eficace a resurselor partenerilor. n general,
partenerii au un el / set de obiective comun i
dezvolt un angajament fa de o agend pentru
aciuni unite sau coordonate. n mod ideal,
parteneriatele ar trebui s nregistreze un efect de
sinergie, atrgnd resursele i aciunile de
cooperare, evitnd duplicarea i obinnd
mpreun mai mult dect ar putea obine fiecare
partener pe cont propriu.

Glossary
136

10/20/2006

Peer review (N)

Is the term to describe the process whereby peers (stakeholders of


equivalent position / practice area) reveiw policies or practice e.g.
academic peer reviews occur whereby academics review each
others' work / articles, peer reviews on labour market policy work.

137

10/20/2006

Performance

The fact that effects were obtained at a reasonable cost and that the
beneficiary are satisfied with them. For example: a water purification
programme has a high performance rate if the per capita cost is
limited compared to similar interventions, if the purification plants built
comply with quality standards, and if the rivers concerned are less
polluted. Efficiency and performance are two similar notions, but the
latter extends, more broadly, to include qualitative dimensions. In
certain contexts, performance concerns outputs and results but not
impacts. In other contexts, the term applies mainly to either outputs
(World Bank Operations Evaluation Department) or impacts. The
meaning of the word performance is not yet stable; it is therefore
preferable to define it whenever it is used.

not present in the


Guide

The degree to which an


Performan
intervention or a partner
operates according to
specific
criteria/standards/guidelines
or achieves results in
accordance with stated
goals or plans

Faptul c efectele au fost obinute la un cost


rezonabil i c beneficiarii sunt satisfcui de ele.
De exemplu: un program de purificare a apei are o
rat ridicat de performan dac costul pe cap de
locuitor este limitat comparativ cu alte intervenii
similare, dac staiile de purificare sunt n
conformitate cu standardele de calitate i dac
fluviile vizate sunt mai puin poluate. Eficiena i
performana sunt dou noiuni similare, dar cea
din urm este mai extins, incluznd i dimensiuni
calitative. n anumite contexte, performana
vizeaz realizrile imediate i rezultatele pe
termen mai lung, dar nu i impacturile. n alte
contexte, termenul se aplic n special fie
realizrilor imediate (de ex. Banca Mondial), fie
impacturilor. nelesul termenului performan nu
este nc stabil, motiv pentru care este de preferat
o definire prealabil a acesteia ori de cte ori el
este menionat.
Msura n care o intervenie sau un partener
opereaz conform criteriilor/ standardelor/
ndrumrilor specifice sau obine rezultate n
concordan cu scopurile sau planurile declarate

138

10/20/2006

Performance
Management (N)

Performance Management is an approach to public management that


focuses on results and how to achieve improved results within finite
available resources.

Management al
performanei

Abordare a managementului public care se


concentreaz pe rezultate i pe posibilitatea
obinerii unor rezultate superioare n limita
resurselor disponibile.

139

10/20/2006

Performance
Reserve (N)

A mechanism within the EU Structural Funds by which appropriations


allocated to each Member State are placed in reserve until 2003. This
will be distributed to the best-performing programmes by 31 March
2004 at the latest. The measure is designed to motivate the Fund
recipients. Each Member State will make proposals to the
Commission on the basis of monitoring indicators that it has itself
introduced.

Rezerv pentru
performan

Mecanism existent n cadrul Fondurilor Structurale


europene prin care un anumit procent din alocrile
fiecrui stat membru este inut n rezerv pentru a
fi distribuit mai trziu programelor care vor fi
nregistrat cea mai bun performan. Msura este
conceput cu scopul de a motiva pe cei care
primesc fonduri. Pe baza propriilor indicatori de
monitorizare, fiecare stat membru va nainta
propuneri Comisiei.

140

10/20/2006

Pluralistic evaluation Evaluative approach designed as a collective problem-solving


process involving all the parties concerned. On the basis of reliable
information acceptable to all, value judgements are formulated by

not present in the


Guide

Page 45

Glossary
141

10/20/2006

Policy

A set of different activities (programmes, startegies, procedures,


laws, rules) directed towards a single goal or general objective. These
activities are often accumulated incrementally through the years.
European economic and social cohesion policy is scheduled
according to a precise time-frame, with a pluri-annual budget. This is
not the case for the majority of policies, in the traditional sense of the
term.

Politic public

Un set de activiti diferite (programe, strategii,


proceduri, legi, reguli) orientate nspre un singur
scop sau obiectiv general. Aceste activiti se
acumuleaz progresiv de-a lungul anilor. Politica
european de coeziune economic i social este
organizat n timp conform unui cadru temporal
precis, avnd un buget pluri-anual. ns nu
aceasta este starea de fapt n cazul majoritii
politicilor, n sensul comun al termenului.

142

10/20/2006

Policy area (N)

The term used to describe a specific policy domain of interventions,


laws and regulations, programmes, projects etc. i.e. economic
development, social policy

Arie / Domeniu de
politic public

Termen folosit pentru a descrie un domeniu


specific de politic public n care au loc intervenii
i n care exist legi i reguli, se deruleaz
programe, proiecte, etc. De exemplu: dezvoltarea
economic, politica social.

143

10/20/2006

Policy cycle (N)

The policy cycle is the term used to describe the lifespan of a policy,
from its formulation, to the review. It comprises: needs assessment /
agenda setting; planning / policy formulation; policy implementation;
policy monitoring; and evaluation and feedback

not present in the


Guide

144

10/20/2006

Policy priority

The funding authorities' wish that evaluation should examine certain


impacts which were not stated as objectives when the intervention
was launched, but which represent political priorities at that level. For
example, in the framework of its economic and social cohesion policy,
the European Union demands that evaluations systematically take
into account impacts on the environment, on the competitiveness of
SMEs, on the creation and maintenance of jobs, and on equal
opportunities between men and women.

Prioritate a politicii Dorina autoritilor finanatoare ca evaluarea s


publice
examineze anumite impacturi care nu au fost
stabilite ca obiective n momentul lansrii
interveniei, dar care reprezint prioriti politice la
acel nivel. De exemplu, n cadrul de lucru a politicii
sale de coeziune economic i social, UE cere ca
evalurile s ia sistematic n considerare
impacturile asupra mediului nconjurtor, asupra
competitivitii IMM-urilor, asupra crerii i pstrrii
locurilor de munc i asupra oportunitilor egale
ntre femei i brbai.

145

10/20/2006

Positivism (N)

A belief that it is possible to obtain objective knowledge through


observation and that such knowledge is verified by statements about
the circumstances in which such knowledge is true. This objectivity is
achieved by using objective instruments like tests or questionnaires.

Pozitivism

Convingerea c este posibil obinerea unor


cunotine obiective prin observaii i c
asemenea cunotine se verific prin afirmaii
despre circumstanele n care aceste cunotine
sunt adevrate. Obiectivitatea se obine prin
utilizarea unor instrumente obiective de tipul
testelor sau chestionarelor

146

10/20/2006

Primary data

Data collected directly in the field, by means of a survey carried out by


the evaluator on the groups concerned by the intervention. Primary
data play an important role in the cognitive contribution of the
evaluation. They are added to data already available at the start of the
evaluation (e.g. former research and evaluations, monitoring data,
statistics). Primary data are particularly useful for analysing impacts
and needs in depth.

Date primare

Date colectate direct de pe teren, prin intermediul


unor anchete efectuate asupra grupurilor vizate de
intervenie. Datele primare joac un rol important
n contribuia cognitiv a evalurii. Ele se adaug
unor date care sunt deja disponibile la nceputul
evalurii (ex cercetri i evaluri anterioare, date
de monitorizare, statistici, etc). Datele primare se
dovedesc utile n special pentru analizarea n
profunzime a impacturilor i nevoilor.

Page 46

Glossary
147

10/20/2006

Priority Evaluation
(N)

not present in the


Guide

10/20/2006

Programme

The priority-evaluator technique was developed as a way of involving


the public in decisions about complicated planning issues. The
method is an attempt to combine economic theories with survey
techniques in order to value unpriced commodities, such as
development or environmental conservation. It is used to identify
priorities in situations where there is likely to be a conflict of interest
between different people or interest groups, and the choice of any
option will require a trade-off. The priority evaluator technique is
designed around the identification of a set of options comprising
varying levels of a given set of attributes. The basis of the technique
is to let the respondent devise an optimum package, given a set of
constraints. The method allows the research to identify the cost of
moving from one level of each attribute to another, and the
respondent is invited to choose the best package, given a fixed
budget to spend. The analysis is based on neo-classical
microeconomic assumptions about consumer behaviour (eg. the
equation of marginal utility for all goods), thus arriving at respondents
Organised set of financial, organisational and human interventions
mobilised to achieve an objective or set of objectives in a given
period. A programme is delimited in terms of a timescale and budget.
Programme objectives are defined beforehand; an effort is then made
systematically to strive for coherence among these objectives. The
three main steps in the life-cycle of a programme are design,
implementation and ex post evaluation review. A programme is
always under the responsibility of an authority or several authorities
who share the decision-making. Within the framework of European
social and economic cohesion, programmes are generally broken
down into axes, measures and projects

148

Program

Set organizat de intervenii financiare,


organizaionale i umane mobilizate pentru a
atinge un obiectiv sau o serie de obiective ntr-o
perioad dat. Un program este delimitat din punct
de vedere al timpului alocat i al bugetului pus la
dispoziie. Obiectivele programului sunt definite n
prealabil; dup care se depune un efort pentru
asigurarea unei anumite coerene n rndul
acestora. Cei trei pai principali care definesc
ciclul de via al programului sunt proiectarea,
implementarea i evaluarea ex-post. Un program
ine ntotdeauna de responsabilitatea unei
autoriti sau a mai multor autoriti care iau
decizii n comun. n cadrul de lucru al coeziunii
economice i sociale europene, programele sunt
n general mprite n axe, msuri i proiecte

149

10/20/2006

Programme cycle (N) The programme cycle follows the same pattern as the policy cycle. It
contains the following stages agenda setting; planning / programme
formulation; programme implementation; programme monitoring; and
evaluation and feedback.

Ciclu de program

Ciclul de program urmeaz acelai tipar ca i ciclul


de politic public. El cuprinde urmtoarele stadii:
stabilirea agendei; planificarea / formularea
programului; implementarea programului;
monitorizarea programului; evaluarea i feedbackul.

Page 47

Glossary
150

10/20/2006

Project

Non divisible operation, delimited in terms of schedule and budget,


and placed under the responsibility of an operator. For example:
creation of a new training branch, extension of a purification network,
carrying out of a series of missions by a consultancy firm. Within the
framework of European economic and social policy, the operator
requests assistance which, after a selection procedure, is either
attributed or not by the managers of the programme. Particularly
careful ex ante evaluations are made of major infrastructure projects,
using the cost-benefit analysis technique.

Proiect

Operaie indivizibil, delimitat din punct de vedere


al ncadrrii n timp i al bugetului alocat i aflat
n rspunderea unui operator. De exemplu:
crearea unor noi furnizori de instruire/formare,
extinderea unei reele de purificare, ndeplinirea
unor misiuni de ctre o firm de consultan. n
cadrul de lucru al politici economice i sociale
europene, operatorul solicit asisten care, n
urma unei proceduri de selecie, este atribuit sau
nu de managerii unui program. Evaluri ex-ante
foarte atente sunt fcute n cazul proiectelor
majore de infrastructur, utilizndu-se analiza costbeneficiu.

151

10/20/2006

Project promoter

Public or private person or organisation which requests and possibly


obtains assistance in the framework of an intervention for a given
project (e.g. rehabilitating a run down urban site; creating a new
training branch). A project promoter should be considered to be an
operator if it receives public funds every year and if it has to report
regularly and permanently on the project. In contrast, it should be
considered a beneficiary if it receives limited funding for a single
project.

Promotor al
programului

Persoan sau organizaie public sau privat care


solicit i poate s obin asisten n cadrul de
lucru a unei intervenii pentru un proiect dat (ex
reabilitarea unui spaiu urban dezafectat; crearea
unei noi instituii care furnizeaz formare etc.). Un
promotor al programului se consider a fi operator
dac beneficiaz de fonduri n fiecare an i dac
trebuie s raporteze regulat i permanent cu
privire la derularea proiectului. Prin contrast, el
este privit ca beneficiar dac primete finanare
limitat pentru un singur proiect.

152

10/20/2006

Qualitative indicator
(N)

A description, in the form of a concise, clear and stable statement, of


an objective to achieve or an impact obtained. For example, one can
examine the impact of a measure in terms of equal opportunities, and
conclude by choosing a pre-established descriptor such as: (1) "the
measurement enabled most women addressees to qualify for jobs
considered to be reserved for men", or (2) "the measure attracted a
large proportion of women addressees who wanted to qualify for jobs
considered to be reserved for men". The organisation of descriptors
in the form of a structured grid may constitute the first step in the
construction of an indicator. If several descriptors have been
established beforehand, they can be used to construct an observation
grid. By means of this grid a phenomenon or change can be observed
and described in a qualitative and structured way. Evaluation cannot
afford to exclude from its scope of analysis an important objective or
impact simply because it is difficult to measure quantitatively when in
fact it is considered to be important. In that case, it is preferable to coll

Indicator calitativ

O descriere, sub forma unei afirmaii concise,


clare i stabile, a unui obiectiv care urmeaz a fi
atins sau a unui impact care urmeaz a fi obinut.
De exemplu, impactul unei msuri poate fi
examinat n termeni de oportuniti egale, iar
concluziile pot fi formulate prin alegerea unui
descriptor prestabilit, cum ar fi: (1) msura a
permis majoritii femeilor vizate s se califice
pentru locuri de munc privite pn atunci ca fiind
rezervate brbailor sau (2) msura a atras o
mare parte din femeile care au dorit s se califice
pentru locuri de munc considerate rezervate
brbailor. Organizarea descriptorilor sub forma
unei grile structurate poate constitui primul pas n
construirea unui indicator. Dac s-a stabilit n
prealabil o serie de descriptori, ea poate fi utilizat
pentru construirea unei grile de observaie. Prin
intermediul acestei grile, se poate observa i
descrie n mod calitativ i structurat un fenomen
sau o schimbare. Evaluarea nu-i poate permite
s exclud din aria sa de analiz un obiectiv sau
un impact important din simplul motiv c este greu d

Page 48

Glossary
153

10/20/2006

Quantitative indicator Facts and figures, describing things using numbers. Tells you what
(N)
happened, e.g. number of beneficiaries, % who are female.

Indicator cantitativ Fapte i cifre care descriu procese i fenomene


prin intermediul numerelor. El ofer informaii
despre ceea ce s-a ntmplat, de exemplu:
numrul beneficiarilor, % din care sunt femei.

154

10/20/2006

Questionnaire survey A set of structured questions addressed to a sample of people or,


exhaustively, to a group of people. A questionnaire consists of a list of
questions of which the sequence is determined in advance.
Depending on whether the questions are open or closed, the
interviewee is either free to formulate his or her answers as he or she
wishes, or is given predefined statements (descriptors) from which to
choose. A questionnaire can be undertaken by post, telephone, email or face-to-face interview. If the questionnaire survey is
exhaustive or if it concerns a representative sample, and provided
that most of the questions are closed, it may be used for gathering
quantitative data and for informing indicators.

Anchet pe baz
de chestionar

Un set de ntrebri structurate adresate unui


eantion de persoane, sau n mod exhaustiv, unui
grup de persoane. Un chestionar const ntr-o list
de ntrebri a cror succesiune este determinat
n prealabil. n funcie de tipul ntrebrilor nchise
sau deschise individul este fie liber s-i
formuleze rspunsurile dup cum dorete, fie
trebuie s aleag dintr-o serie de afirmaii
predefinite (descriptori). Un chestionar poate avea
loc prin telefon, pot, e-mail sau interviu fa n
fa. Dac ancheta bazat pe chestionar este
exhaustiv sau dac vizeaz un eantion
reprezentativ i n cazul n care majoritatea
ntrebrilor sunt nchise, ea poate fi utilizat pentru
colectarea datelor cantitative i pentru informarea
indicatorilor.

155

10/20/2006

Ratio data (N)

Ratio data is continuous data where both differences and ratios are
interpretable. Ratio data has a natural zero. A good example is birth
weight in kg. Certain specialized statistics, such as a geometric
mean and a coefficient of variation can only be applied to ratio data.

Date msurate la
nivel de
raport/proporii

Date continue a cror diferene i proporii sunt


interpretabile. Datele msurate la nivel de raport
au un moment zero natural. Un exemplu
reprezentativ ar fi greutatea la natere n
kilograme. Anumite statistici specializate, cum ar fi
un media geometric sau un coeficient de variaie
pot fi aplicate doar n cazul datelor sub form de
raii.

156

10/20/2006

Rationale

The fact that an intervention can be justified in relation to needs to


satisfy or socio-economic problems to solve. Ex ante evaluation
verifies the real existence of these needs and problems, and ensures
that they cannot be met or solved by existing private or public
initiatives. Thus, the inadequacy or shortcomings of other initiatives
(whether private or public) may be a fundamental element in the
programme rationale.

Raiune de a fi
(argument)

Faptul c o intervenie poate fi justificat n raport


cu nevoile care trebuie satisfcute sau cu
problemele socio-economice care trebuie
rezolvate. Evaluarea ex-ante verific existena
real a acestor nevoi i probleme i duce la
asigurarea faptului c ele nu pot fi ntrunite sau
rezolvate prin iniiativele publice sau private
existente. n acest fel, nepotrivirea sau
neajunsurile altor intervenii (fie ele publice, fie
private) pot reprezenta elemente fundamentale n
raiunea de-a fi a unui program.

Page 49

Glossary
157

10/20/2006

Realist (N)

An approach to evaluation and research based on a philosophy of


science that is concerned with 'real world' problems and phenomena
but believs these cannot simply be observed. It seeks to open the
black-box within programmes or policies to uncover the mechanisms
that account for what brings about change. It does so by situating
such mechanisms in contexts and attributing to contexts the key to
what makes mechanisms work or not work. Different mechanisms
come into play in different contexts which is why some programmes
or policy instruments work in some but not all situations.

158

10/20/2006

Regression analysis Statistical tool used to make a quantitative estimation of the influence
of several explanatory variables (public intervention and confounding
factors) on an explained variable (an impact). Regression analysis is
a tool for analysing deductive causality. It is based on an explanatory
logical model and on a series of preliminary observations. The tool
can be used in varying ways, depending on whether the variables of
the model are continuous or discrete and on whether their relations
are linear or not.

159

10/20/2006

Relevance

Appropriateness of the explicit objectives of an intervention, with


regard to the socio-economic problems the intervention is meant to
solve. Questions of relevance are particularly important in ex ante
evaluation because the focus is on the strategy chosen or its
justification. Within the framework of mid-term evaluation, it is
advisable to check whether the socio-economic context has evolved
as expected and whether this evolution calls into question the
relevance of a particular initial objective.

Realist()

Abordare a unei evaluri sau cercetri bazat pe


filozofia unei tiine care vizeaz probleme i
fenomene din lumea real, dar care consider c
acestea nu pot fi pur i simplu observate. Ea
urmrete s deschid cutia neagr a
programelor sau a politicilor publice pentru a
descoperi mecanismele care rspund de ceea ce
provoac schimbarea. Ea face acest lucru sitund
asemenea mecanisme n contexte i privind
contextele ca acea cheie care determin
mecanismele s funcioneze sau nu. Mecanisme
diferite funcioneaz n contexte diferite acesta
este motivul pentru care unele instrumente ale
programelor sau politicilor publice sunt eficace
doar n unele situaii, nu n toate.

Analiz de regresie Instrument statistic folosit n estimarea cantitativ


a influenei exercitate de mai multe variabile
explicative (intervenie public sau factori
concureni) asupra unei variabile explicate (un
impact). Analiza de regresie este un instrument
deductiv de analiz a cauzalitii. El este bazat pe
un model logic explicativ i pe o serie de observaii
preliminare. Analiza poate fi folosit n mai multe
moduri, n funcie de felul variabilelor modelului
continue sau discrete i n funcie de tipul
relaiilor dintre ele liniare sau neliniare
The extent to which the
Relevan
objectives of an intervention
are consistent with
beneficiaries' requirements,
country needs, global
priorities and partners'
policies. Retrospectively, the
question of relevance often
becomes a question as to
whether the objectives of an
intervention or its design are
stil appropriate given
changed circumstances.

Page 50

Adecvarea unui obiectiv explicit al unei intervenii


la problemele socio-economice pe care trebuie s
le rezolve intervenia. Problemele legate de
relevan sunt cu precdere importante n
evaluarea ex-ante pentru c accentul se pune pe
strategia aleas sau pe justificarea acesteia. n
cadrul de lucru al evalurii intermediare este
recomandabil s se verifice dac contextul socioeconomic a evoluat conform ateptrilor i dac
aceast evoluie pune la ndoial relevana unui
anumit obiectiv iniial.
Msura n care obiectivele unei intervenii
corespund cerinelor beneficiarilor, nevoilor rii,
prioritilor globale i politicilor partenerilor. n mod
retrospectiv, problema care se pune este dac
obiectivele sau modul de proiectare al unei
intervenii rmn cele potrivite i n cazul unor
circumstane modificate.

Glossary
160

10/20/2006

Reliability

Quality of the collection of evaluation data when the protocol used


makes it possible to produce similar information during repeated
observations in identical conditions. Reliability depends on
compliance with the rules of sampling and tools used for the
collection and recording of quantitative and qualitative information.
Sound reliability implies exhaustive data collection and the
appropriateness of the evaluative questions asked. This notion is
important not only for primary data but also for secondary data, the
reliability of which must be carefully checked.

161

10/20/2006

Reporting System
(N)

A reporting system can be any system through which information is


recorded regarding a specific project or programme. As well as
keeping records and useful information on progress, they assist in the
monitoring process and the evaluation stages of any project or
programme

Consistency or dependability Fidelitatea


of data and evaluation
judgements, with reference
to the quality of instruments,
procedures and analyses
used to collect and interpret
evaluation data.

Page 51

not present in the


Guide

Trstur a procesului de colectare a datelor


prezent atunci cnd protocolul utilizat permite ca,
prin observaii repetate n condiii identice, s se
produc informaii similare. Fidelitatea depinde de
concordana cu regulile de eantionare i cu
instrumentele utilizate pentru colectarea i
nregistrarea informaiilor cantitative i calitative.
Fidelitatea implic o colectare exhaustiv a datelor
i o adecvare a ntrebrilor evaluative adresate.
Noiunea este important nu doar n cazul datelor
primare ci i n cazul celor secundare, a cror
fidelitate trebuie verificat cu atenie. Consisten
a datelor i a judecilor evaluative, n ceea ce
privete calitatea instrumentelor, a procedurilor, a
analizelor utilizate n culegerea i interpretarea
datelor evalurii.

Glossary
162

10/20/2006

Sample

Part of a group selected for a survey. In its statistical sense, the word
"population" applies to all the people, projects or objects likely to be
observed, e.g.: all the assisted firms or individuals; all the firms in a
region; or an entire targeted group. If the sample is representative,
the survey results can be generalised to the entire surveyed
population (internal validity) or to similar populations (external
validity). A sample is representative if it has the same distribution of
characteristics as the population from which it is taken, and if it is
large enough (generally at least a thousand individuals). Increasing
sample size improves the statistical significance of survey findings.

Eantion

163

10/20/2006

Scope of evaluation

Definition of the evaluation object, of what is evaluated. The scope of


the evaluation is usually defined in at least four respects: operational
(all or part of the domains of intervention, one or several related
policies), institutional (all or part of the authorities), temporal (period
taken into consideration) and geographical (one or more territories or
parts of territories, a particular region, town, nature reserve, etc.). In
the context of European cohesion policy, the evaluation object may
be a policy, programme, a measure or a project. The term public
intervention is applied, generically, to any evaluation object.

Arie de cuprindere Definirea obiectului evalurii, a ceea ce se


a unei evaluri
evalueaz. Aria de cuprindere a unei evaluri este
definit de obicei din cel puin patru puncte de
vedere: aria operaional (toate sau doar o parte
din domeniile de intervenie, una sau mai multe
politici nrudite); aria instituional (toate sau doar
o parte din autoriti); aria temporal (perioada
luat n considerare) i aria geografic (unul sau
mai multe teritorii sau pri de teritorii, o anumit
regiune, ora, rezerv a naturii, etc). n contextul
politicii de coeziune europene, obiectul evalurii
poate fi o politic public, un program, o msur
sau un proiect. Termenul de intervenie public se
aplic, n mod generic, oricrui obiect al evalurii.

164

10/20/2006

Scoring

Choice of a level on a scale graduated in quantitative measurement


units (e.g. a scale of 0 to 100 or 3 to +3) in order to represent the
significance of an effect, need or element of quality. It is possible to
construct an observation grid which is sufficiently structured to directly
produce a score. The person who chooses the score is called the
scorer or the assessor.

Notare (atribuire de Alegerea unui nivel de pe o scal gradat n uniti


de msur cantitative (ex o scal de la 0 la 100
scoruri)
sau de la 3 la +3) cu scopul de a reprezenta
semnificaia unui efect, a unei nevoi sau a unui
element de calitate. Se poate construi o gril de
observaii care s fie ndeajuns de structurat
pentru a produce un scor.

Page 52

Parte a unui grup selectat pentru desfurarea


unei anchete. n sensul su statistic, termenul de
populaie se aplic tuturor persoanelor,
proiectelor sau obiectelor care urmeaz a fi
observate, cum ar fi: toate firmele i indivizii care
au beneficiat de asisten, toate firmele dintr-o
regiune, sau un ntreg grup vizat. Dac eantionul
este reprezentativ, rezultatele anchetei pot fi
generalizate pentru ntreaga populaie anchetat
(validitate intern) sau pentru populaii similare
(validitate extern). Un eantion este reprezentativ
dac prezint aceeai distribuie a caracteristicilor
ca i populaia din care a fost prelevat i dac este
ndeajuns de mare (de regul trebuie s cuprind
cel puin o mie de indivizi). Creterea dimensiunii
eantionului mbuntete semnificaia statistic
a constatrilor anchetei.

Glossary
165

10/20/2006

Secondary data

Existing information, gathered and interpreted by the evaluator.


Secondary data consists of information drawn from the monitoring
system, produced by statistics institutes and provided by former
research and evaluations.

166

10/20/2006

Self-evaluation

Evaluation of a public intervention by groups, organisations or


An evaluation by those who Auto-evaluare
communities which participate directly in its implementation. Is usually are entrusted with the design
complementary to other forms of expert or external evaluations. Self anddelivery of an
evaluation is especially suited to assist managers, promoters and
intervention.
immediate stakeholdrs improve their own performance and steer their
programmes in the course of implementation.

Evaluarea unei intervenii realizat de grupuri,


organizaii sau comuniti care particip direct la
implementarea sa. Ea este de obicei
complementar altor forme de evaluri externe
sau realizate de experi. Autoevaluarea se
preteaz n general la asistarea managerilor,
promotorilor i actorilor-cheie n ceea ce privete
mbuntirea propriilor performane i controlul n
cursul implementrii programelor. O evaluare
efectuat de cei care sunt responsabili de
proiectarea i derularea unei intervenii.

167

10/20/2006

Shift-share analysis

Tool for evaluating regional policy, which estimates the counterfactual


situation by projecting national economic trends onto the economy of
a given region. The basic assumption of this technique is that, in the
absence of regional policy, the evolution of economic variables in the
region would have been similar to that of the country as a whole.
Comparison between the policy-off and policy-on situations is
concluded with an estimation of the macro-economic impact of
regional policy. The optimum conditions for using this tool rarely exist.

Analiza shift
share

Instrument destinat evalurii politicii regionale care


estimeaz situaia contrafactual prin proiectarea
tendinelor economiei naionale n economia unei
regiuni date. Aceast tehnic se bazeaz pe
supoziia c, n absena unei politici regionale,
evoluia variabilelor economice din regiune ar fi
fost similar cu cea a ntregii ri. Concluzia
comparaiei dintre situaiile care se datoreaz i
cele care nu se datoreaz politicii, este
reprezentat printr-o estimare a impactului
macroeconomic a politicii regionale. De cele mai
multe ori ns, nu exist condiiile optime pentru
utilizarea acestui instrument.

168

10/20/2006

Social Cost Benefit


Analysis

Cost-benefit analysis is well established and widely used method for


evaluating project proposals. Some argue that the difficulty with the
traditional cost-benefit measure is that it treats all income effects
equally, regardless of which socio-economic group it accrues to.
Thus, projects / policies can also be subjected to a Social CostBenefit Analysis in order to determine their impact on different socioeconomic groups in addition to their overall impact on a geographical
area. There are key differences in conducting a social cost benefit
analysis, as opposed to a standard cost-benefit analysis. All relevant
costs and benefits need to be identified and quantified. In addition, a
weighting system needs to be developed to recognise the impact on
different groups and the analysis needs to arrive at an appropriate
discount rate.

not present in the


Guide

169

10/20/2006

Social partners (N)

The organisations designated as representatives of both sides of


industry in negotiations on pay and conditions, usually trade unions
and employers organisations.

Parteneri sociali

Date secundare

Page 53

Informaie existent, colectat i interpretat de


evaluator. Datele secundare cuprind informaii
preluate din sistemul de monitorizare, informaii
produse de institute de statistic i furnizate n
cadrul cercetrilor i evalurilor precedente.

Organizaii care acioneaz n calitate de


reprezentani ai ambelor pri n negocieri legate
de pli i condiii, aa cum sunt de obicei
sindicatele i patronatele.

Glossary
170

10/20/2006

Social survey (N)

Surveys are used to collect a broad range of information (quantitative


and qualitative) about a population. The emphasis is usually on
quantitive data.

Anchet social

Anchetele sunt folosite pentru colectarea unei


game largi de informaii (cantitative i calitative)
legate de o anumit populaie. De obicei se pune
accent pe date cantitative.

171

10/20/2006

Socio-economic
programmes (N)

A programme that attempts to address both social and economic


issues and bring social benefits alongside economic benefits.

Program socioeconomic

Un program care se adreseaz problemelor


economice i celor sociale pentru a furniza att
beneficii sociale ct i economice

172

10/20/2006

Stakeholder

Individuals, groups or organisations with an interest in the evaluated


intervention or in the evaluation itself, particularly: authorities who
decided on and financed the intervention, managers, operators, and
spokespersons of the publics concerned. These immediate or key
stakeholders have interests which should be taken into account in an
evaluation. They may also have purely private or special interests
which are not legitimately part of the evaluation. The notion of
stakeholdrs can be extended much more widely. For example, in the
case of an intervention which subsidises the creation of new hotels,
the stakeholders can include the funding authorities/managers, the
new hoteliers (direct benficiaries), other professionals in tourism,
former hoteliers facing competition from the assisted hotels, tourists,
nature conservation associations and building contractors.

Agencies, organisations,
Actor-cheie
groups or individuals who
have a direct or indirect
interest in the intervention or
its evaluation.

Termen care desemneaz persoane, grupuri sau


organizaii interesate de intervenia evaluat sau
de evaluare n sine, cu precdere autoriti care
au hotrt asupra interveniei i au pus la
dispoziie fonduri necesare, manageri, operatori i
purttori de cuvnt ai publicului vizat. Interesele
acestora trebuie s fie luate n considerare n
cadrul unei evaluri. Ei pot avea i interese pur
private sau speciale care nu fac parte n mod
legitim din evaluare. Noiunea de actor-cheie
poate fi extins mult mai mult. De exemplu, n
cazul unei intervenii care subvenioneaz crearea
unor noi hoteluri, actorii-cheie pot fi: autoritile
finanatoare / managerii, noii hotelieri (beneficiari
direci), ali profesioniti n turism, hotelierii care iau nceput anterior activitatea i care trebuie s
fac fa concurenei din partea hotelurilor
subvenionate, a firmelor de construcii asistate, a
turitilor care au beneficiat de asisten.
Agenii, organizaii, grupuri sau indivizi care sunt
interesai direct sau indirect de intervenie sau de
evaluarea acesteia.

173

10/20/2006

Standard (N)

A standard is a level of achievement along a normative dimension or


scale that is regarded as the desired target to be achieved. Examples
might include availability of childcare for all families with children
under 6; air with a specified level of impurities; or populations with a
certain qualifications profile.

Page 54

Standard

Nivel de realizare avnd o dimensiune normativ


sau situat pe o scal i care este privit ca o int
ce trebuie atins. Exemple n acest sens pot fi:
servicii pentru ngrijirea copilului pentru toate
familiile care au copii mai mici de 6 ani, aerul cu
un anumit nivel al impuritilor, sau populaii cu un
it
fil l lifi il

Glossary
174

10/20/2006

Statistically
significant (N)

Said of a sample size which is large enough to be considered


representative of the overall population being studied. Significance
tests are performed to see if the null hypothesis can be rejected. If
the null hypothesis is rejected, then the effect found in a sample is
said to be statistically significant. If the null hypothesis is not rejected,
then the effect is not significant. The experimenter chooses a
significance level before conducting the statistical analysis. A
statistically significant effect is not necessarily practically significant

Statistic
semnificativ

Trstura a unui eantion care este ndeajuns de


mare pentru a fi reprezentativ pentru ntreaga
populaie studiat. Se efectueaz teste de
semnificativitate pentru a se verifica dac ipoteza
nul poate fi respins. Dac ipoteza nul este
respins, atunci se spune despre un eantion c
este semnificativ din punct de vedere statistic.
Dac ipoteza nul nu este respins, atunci
eantionul nu este considerat semnificativ. Cel
care experimenteaz alege un nivel al
semnificativitii nainte de a realiza analiza
statistic. Un efect semnificativ din punct de
vedere statistic nu este neaprat semnificativ i
din punct de vedere practic.

175

10/20/2006

Steering group (N)

A steering committee steers and guides an evaluation. It supports


and provides feedback to evaluators, engages in dialogue in the
course of the evaluation and is thereby better able to take seriously
and use results. Steering committees may include the evaluation
commissioner, programme managers and decision makers plus
some or all of the other main stakeholders in an evaluated
intervention. An evaluation steering committee may notionally involve
any person who is potentially a user of its recommendations, any
person who has an interest in the information produced, and any
person who is likely to win or lose in the course of the programme.
The main categories of stakeholders are funding authorities,
managers, operators and concerned groups. Stakeholders invited to
join an evaluation steering committee improve the relevance of the
questions asked and their presence makes the evaluation more
credible. A danger in steering committees is that they might interfere
in the evasluation and seek to influence conclusions rather than
ensure its accurate use of information, an understanding of a particula

Grup director

Un comitet director controleaz i ndrum o


evaluare. El ofer sprijin i feedback evaluatorilor,
se angajeaz n discuii pe parcursul evalurii
fiind, prin urmare, mai n msur s inspire
seriozitate i s utilizeze rezultatele. Comitetele
directoare pot fi formate din contractani ai
evalurii, din manageri de program i decideni
precum i din toi sau o parte a actorilor-cheie
principali ai interveniei evaluate. Un comitet
director al unei evaluri poate s includ teoretic
orice persoan care este un potenial utilizator al
recomandrilor, orice persoan care are un anumit
interes legat de informaia produs i orice
persoan susceptibil de a pierde sau a ctiga pe
parcursul programului. Principalele categorii de
actori-cheie sunt autoritile finanatoare,
managerii, operatorii i grupurile vizate. Actoriicheie invitai s fac parte dintr-un comitet director
al unei evaluri mbuntesc relevana ntrebrilor
formulate, iar prezena lor face evaluarea mai
credibil. Un pericol n ceea ce privete aceste
comitete directoare este faptul c ele ar putea s in

176

10/20/2006

Strategic
Environmental
Assessment (N)

A similar technique to Environmental Impact Assessment but


normally applied to policies, plans, programmes and groups of
projects. Strategic Environmental Assessment provides the potential
opportunity to avoid the preparation and implementation of
inappropriate plants, programmes and projects and assists in the
identification and evaluation of project alternatives and identification
of cumulative effects. Strategic Environmental Assessment
comprises two main types: sectoral strategic environmental
assessment (applied when many new projects fall within one sector)
and regional SEA (applied when broad economic development is
planned within one region).

not present in the


Guide

Page 55

Glossary
177

10/20/2006

Strategy

Selection of priority actions according to the urgency of needs to be


met, the gravity of problems to be solved, and the chances of actions
envisaged being successful. In the formulation of a strategy,
objectives are selected and graded, and their levels of ambition
determined. Not all territories and groups are concerned by the same
development strategy. Ex ante evaluation examines whether the
strategy is suited to the context and its probable evolution.

178

10/20/2006

Structural Funds (N) Structure Funds are the main financial instruments used by the
European Union to reduce disparities and promote economic and
social cohesion across European regions. Their combined efforts
help to boost the EUs competitive position and, consequently, to
improve the prospects of its citizens. The total budget for the
Structural Funds amounts to 195 billion Euro in 2000-06, divided
between the European Regional Development Fund (ERDF), the
European Social Fund (ESF), the European Agricultural Guidance
and Guarantee Fund (EAGGF) and the Financial instrument for
Fisheries Guidance (FIFG). Most Structural Fund assistance is
granted in the form of non-repayable grants or direct aid, and to a
lesser degree refundable aid, interest-rate subsidies, guarantees,
equity participation, and participation in venture capital.

Fonduri Structurale Fondurile Structurale sunt principalele instrumente


financiare utilizate de Uniunea European pentru a
reduce disparitile i pentru a promova coeziunea
economic i social n rndul regiunilor
europene. Eforturile combinate ajut la relansarea
poziiei competitive a UE i la mbuntirea
perspectivelor cetenilor Uniunii. Bugetul total
destinat Fondurilor Structurale se ridic la suma
de 195 miliarde euro n 2000-06, el fiind mprit
ntre Fondul European de Dezvoltare Regional
(FEDR), Fondul Social European (FSE), Fondul
European pentru Agricultur i Dezvoltare Rural
(FEDR) i Fondul European pentru Piscicultur
(FEP). Majoritatea asistenei furnizate de
Fondurile Structurale se acord sub form de
mprumuturi nerambursabile sau ajutor direct,
fiind mai puin utilizate ajutoarele rambursabile,
subveniile cu rat a dobnzii, garaniile, sau
participarea la capitalul de risc.

179

10/20/2006

Structural Indicators At the end of October 2001, the European Commission adopted a
(N)
communication on Structural Indicators. The aim of these indicators
is to measure the EUs progress towards becoming the most
competitive and innovative economy in the world, in order to increase
its growth potential and achieve full employment. The indicators fall
into five categories: general economic context, employment,
innovation, economic reforms, social cohesion, the environment and
sustainable development.

Indicatori structurali La sfritul lui octombrie 2001, Comisia


European a adoptat un comunicat cu privire la
Indicatorii Structurali. Scopul acestor indicatori
este de a msura progresul nregistrat de UE n
evoluia sa nspre poziia de cea mai competitiv i
inovativ economie din lume, pentru a spori
potenialul sau de cretere i pentru a atinge
ocuparea deplin a forei de munc. Indicatorii
sunt mprii n categoriile urmtoare: context
economic general, ocuparea forei de munc,
inovaie, reforme economice, coeziune social,
mediu i dezvoltare durabil

Page 56

Strategie

Selecie a unor aciuni prioritare n funcie de


urgena nevoilor care urmeaz s fie ndeplinite,
de gravitatea problemelor de rezolvat i de
ansele aciunilor preconizate a avea succes. n
formularea unei strategii, se selecteaz i noteaz
obiectivele i se determin nivelul de complexitate
al acestora. Nu toate teritoriile i grupurile sunt
vizate de aceeai strategie. Evaluarea ex-ante
examineaz dac strategia este adecvat
contextului i evoluiei sale probabile.

Glossary
180

10/20/2006

Structuring effect

Structuring effects are changes which last after the public spending
has ceased. They include sustainable effects at the micro-economic
level and supply-side effects, but not demand-side effects. Structuring
effects should not be confused with structural adjustment, which
strives for the convergence of the macro-economic variables of a
country towards international standards, particularly in terms of public
finances and inflation.

not present in the


Guide

181

10/20/2006

Subsidiarity

The which justifies public authority's decision to implement an


intervention rather than to leave it up to private initiative or another
public authority. The principle of subsidiarity justifies public
intervention when there are shortcomings in the private sector and
when other public administration levels would not have been as
effective. Subsidiarity is part of the rationale of an intervention. In the
European context, subsidiarity means, for example, that the
Community acts in those cases where an objective can be achieved
better at the European level than at the level of Member States taken
alone. This corresponds to the notion of Community value added
which is frequently considered a criterion to take into account during
the evaluation of EU funded programmes.

Subsidiaritate

182

10/20/2006

Substitution effect

Effect obtained in favour of a direct beneficiaries but at the expense


of a person or organisation that does not qualify for the intervention.
For example, a person unemployed for a long time found a job owing
to the intervention. In reality, this job was obtained because someone
else was granted early retirement. If the objective was the
redistribution of jobs in favour of disadvantaged groups, the effect can
be considered positive. An evaluation determines, with regard to the
objectives of the intervention, whether the substitution effect can be
considered beneficial or not. When it is not beneficial, the substitution
effect must be subtracted from gross effects.

not present in the


Guide

183

10/20/2006

Summative
evaluation

Evaluation performed after a programme has been implemented to


assess its results and impacts, whether it achieved its aims and
objectives and whether it was beneficial overall to those it was
intended to benefit.

A study conducted at the


not present in the
end of an intervention (or a Guide
phase of an intervention) to
determine the extent to
which anticipated outcomes
were produced. Summative
evaluation is intended to
provide information about
the worth of the programme.

Page 57

Ceea ce justific decizia autoritilor publice de a


implementa o intervenie n detrimentul posibilitii
considerrii ei de ctre iniiatia privat sau de ctre
o alt autoritate public. Principiul subsidiaritii
justific intervenia public atunci cnd exist
neajunsuri n sectorul privat i cnd alte niveluri
ale administraiei publice nu s-ar fi dovedit la fel de
eficace. Subsidiaritatea face parte din raiunea de
a fi a unei intervenii. n context european,
subsidiaritatea se ntrevede, de exemplu, n
aciunea ntreprins de Comunitate atunci cnd
obiectivele pot fi mai bine atinse la nivel european
dect la nivel de stat membru. Acest fapt
corespunde noiunii de valoare adugat
comunitar care este deseori considerat un
criteriu demn de luat n seam pe parcursul
evalurii programelor finanate de UE.

Glossary
184

10/20/2006

Supply-side effect

Secondary effect which spreads through the increased


competitiveness of businesses and thus of their production. The main
mechanisms at play are increased productive capacity, increased
productivity, reduced costs, and the diversification and reinforcement
of other factors of competitiveness such as human capital, public
facilities, the quality of public services, innovation networks, etc.

185

10/20/2006

Sustainability

The ability of effects to last in the middle or long term. Effects are
sustainable if they last after the funding granted by the intervention
has ceased. They are not sustainable if an activity is unable to
generate its own resources, or if it is accompanied by negative
effects, particularly on the environment, and if that leads to blockages
or rejection.

Efectul de ofert

The continuation of benefits Sustenabilitate


from an intervention after
major development
assistance has been
completed.

Efect secundar care se propag prin creterea


competitivitii unor firme i, de aici, a produciei
oferite de ctre acestea. Principalele mecanisme
catalizatoare sunt: capacitatea mrit de
producie, productivitatea crescut, costurile
reduse i diversificarea i consolidarea altor factori
ai competitivitii precum capitalul uman, facilitile
publice, calitatea serviciilor publice, reele
inovative, etc.

Capacitate a efectelor de a se menine pe termen


mediu sau lung. Efectele sunt sustenabile dac
persist i dup ce finanarea oferit de intervenie
a ncetat. Ele nu sunt sustenabile dac o activitate
nu poate genera propriile resurse, sau dac este
nsoit de efecte negative, mai ales asupra
mediului nconjurtor i dac acest fapt duce la
blocaje i respingere.
Continuarea beneficiilor obinute n urma unei
intervenii dup ce asistena pentru dezvoltare s.a
ncheiat.

186

10/20/2006

Sustainable
development

Increase in economic activity which respects the environment and


uses natural resources harmoniously so that future generations'
capacity to meet their own needs is not compromised. By contrast,
unsustainable development is characterised by the destruction of
natural resources. This has negative repercussions on long-term
development potential.

Dezvoltare durabil Cretere a activitii economice care respect


mediul nconjurtor i utilizeaz resursele naturale
ntr-o manier armonioas, astfel nct s nu fie
compromis capacitatea generaiilor viitoare de a
rspunde propriilor nevoi. Prin contrast,
dezvoltarea nedurabil se caracterizeaz prin
distrugerea resurselor naturale, ea avnd
repercusiuni negative asupra potenialului
dezvoltrii pe termen lung.

187

10/20/2006

SWOT (Strengths,
Weaknesses,
Opportunities,
Threats)

This is an evaluation tool which is used to check whether a public


intervention is suited to its context. The tool helps structure debate on
strategic orientations.

Analiza SWOT
(Puncte Tari,
Puncte Slabe,
Oportuniti,
Ameninri)

Page 58

Instrument de evaluare folosit pentru a verifica


dac intervenia public este adecvat contextului.
Instrumentul ajut la structurarea dezbaterii cu
privire la orientrile strategice.

Glossary
188

10/20/2006

Synergy

The fact that several public interventions (or several components of


an intervention) together produce an impact which is greater than the
sum of the impacts they would produce alone (e.g. an intervention
which finances the extension of an airport which, in turn, helps to fill
tourist facilities, also financed by the intervention). Synergy generally
refers to positive impacts. However, phenomena which reinforce
negative effects, negative synergy or anti-synergy may also be
referred to (e.g. an intervention subsidises the diversification of
enterprises while a regional policy helps to strengthen the dominant
activity).

189

10/20/2006

Target group (N)

All the people and organisations for which an intervention is directly


intended (e.g. people unemployed for over a year; entrepreneurs). An
eligible public is composed of all potential direct beneficiaries. Only a
part of them are affected by the intervention (see the notion of
coverage rate). This concept is more limited than the term
concerned public which also includes foreseen or unforeseen
beneficiaries.

The specific individual or


organisations for whose
benefit the intervention is
undertaken.

Sinergie

Faptul c mai multe intervenii publice (sau mai


multe componente ale unei intervenii) produc
mpreun un impact care depete suma
impacturilor care s-ar manifesta dac ele ar
aciona separat (ex o intervenie care finaneaz
extinderea unui aeroport care, n schimb ajut la
realllizarea facilitilor destinate turitilor, de
asemenea finanate de intervenie). Sinergia se
refer n general la impacturi pozitive. Cu toate
acestea, fenomenele care genereaz efecte
negative, sinergia negativ sau anti-sinergia pot fi
i ele abordate (ex o intervenie subvenioneaz
diversificarea activitii ntreprinderilor, n timp ce o
politic regional ajut la consolidarea activitii
dominante).

Grup int

Totalitatea persoanelor i a organizaiilor vizate


direct de intervenie (ex persoane aflate n omaj
de peste un an, antreprenori). Un public eligibil
este format din toi potenialii beneficiari direci.
Numai o parte din ei sunt afectai de intervenie
(vezi noiunea de rat de acoperire). Acest
concept este mult mai limitat dect termenul
public vizat care include i beneficiarii prevzui
i neprevzui.
Indivizii i organizaiile n beneficiul crora s-a
realizat intervenia

190

10/20/2006

Tool (N)

Standardised procedure which specifically operationalises a method.


A method might be gathering the views of SME managers; a tool
might be a survey; and a technique might include a self completion
questionnaire using 5 point scales.

Page 59

Instrument

Procedur standardizat care opereaz n mod


special cu o metod. Metoda ar putea fi adunarea
opiniilor managerilor IMM-urilor; instrumentul ar
putea fi ancheta i tehnica ar putea presupune
completarea unui chestionar, care utilizeaz scale
de la 1 la 5

Glossary
191

192

10/20/2006

10/20/2006

Terms of reference

The terms of reference define the work and the schedule that must
be carried out by the evaluation team. It normally specifies the scope
of an evaluation, states the main motives and the questions asked. It
sums up available knowledge and outlines an evaluation method althogh offering scope for innovation by proposers. It describes the
distribution of the work and responsibilities among the people
participating in an evaluation process. It fixes the schedule and, if
possible, the budget. It specifies the qualifications required from
candidate teams as well as the criteria to be used to select an
evaluation team.

Written document presenting Termeni de


the purpose and scope of an referin
evaluation, the methods to
be used, the standard
against which performance
is to be assessed or
analyses are to be
conducted, the resources
and time allocated, and the
reporting requirements. Two
other expressions
sometimes used with the
same meaning are 'scope of
work' and 'evaluation
mandate'.

Thematic evaluation Evaluation which transversally analyses a particular point (a theme) in Evaluation of a selection of
the context of several interventions within a single programme or of
interventions, all of which
several programmes implemented in different countries or regions.
address a specific priority
The theme may correspond to an expected impact (e.g.
that cuts across countries,
competitiveness of SMEs) or to a field of interventions (e.g. R&D).
regions and sectors.
The notion of thematic evaluation is similar to that of an in-depth
study (e.g. impact of support for R&D on the competitiveness of
SMEs), but it is a large scale exercise when conducted on a
European scale.

Evaluare tematic

Termenii de referin definesc activitatea i


ncadrarea n timp care trebuie ndeplinite de
echipa de evaluare. n mod normal, ei specific
aria de cuprindere a evalurii, exprim clar
motivele principale i ntrebrile adresate.
Termenii de referin rezum cunotinele
disponibile i evideniaz metoda de evaluare
oferind n acelai timp candidailor posibilitatea de
inovare. n termenii de referin trebuie s fie
specificate distribuia activitilor i a
responsabilitilor persoanelor care iau parte la
procesul de evaluare. Ei fixeaz ncadrarea n
timp, bugetul alocat, dac este posibil,
menioneaz calificrile solicitate echipei de
evaluare i criteriile n funcie de care va fi
selectat echipa de evaluare.
Document scris care prezint scopul i aria de
cuprindere a unei evaluri, metodele care
urmeaz s fie folosite, standardele la care trebuie
s se raporteze analiza performanei i celelalte
analize efectuate pe parcurs, resursele i timpul
alocat, cerinele de raportare. Expresia de
mandat al evalurii este uneori folosit cu acelai
neles
Evaluare care analizeaz n mod transversal un
anumit aspect (o tem) din contextul mai multor
intervenii aparinnd unui singur program sau mai
multor programe implementate n ri sau regiuni
diferite. Tema poate corespunde unui impact
ateptat (ex competitivitatea IMM-urilor) sau unui
domeniu de intervenie (ex Cercetare i
Dezvoltare). Noiunea de evaluare tematic are un
neles asemntor cu cea de studiu n profunzime
(ex impactul sprijinului pentru C&D asupra
competitivitii IMM-urilor), dar ea desemneaz un
exerciiu de anvergur atunci cnd evaluarea se
realizeaz la nivel european.
Evaluarea unei selecii de intervenii, fiecare dintre
acestea adresndu-se unei prioriti specifice care
se ntlnete de-a lungul rilor, regiunilor i
sectoarele.

Page 60

Glossary
193

10/20/2006

Theory of action

All the assumptions made by funding authorities and managers to


explain how a public intervention is going to produce its impacts and
achieve its aim. The theory of action consists of relations of cause
and effect linking outputs, results and impacts. It is often implicit, or at
least partly so. Evaluation helps to clarify the theory and for that
purpose often relies on various forms of programme theory or logic
models.

not present in the


Guide

194

10/20/2006

Time series

Data collected on the same population, in a comparative way, at


regular intervals during a given period. Overall variations in the
characteristics of a given population are observed over time.
Statistics institutes and statistical teams are the main sources of time
series data.

Serii temporale

Date referitoare la aceeai populaie, colectate ntro manier comparativ, la intervale regulate de
timp i de-a lungul unei anumite perioade. n timp
se observ variaii generale ale caracteristicilor
unei populaii date. Institutele de statistic i
echipele statistice sunt principalele surse de date
referitoare la serii temporale.

195

10/20/2006

Unanticipated

An impact which is revealed by evaluation but was not foreseen when


an intervention was launched. Unexpected effects are revealed by
inductive analysis techniques (particularly case studies). They are not
part of the objectives. A positive unexpected effect may become an
implicit objective. Negative unexpected effects are also called
perverse effects. For example, if assistance is granted for the
development of a territory and, for that purpose, the territory is
classified "disadvantaged", it will become less attractive for business
as a result.

Neanticipat

Un impact dezvluit n urma unei evaluri dar care


nu a fost prevzut n momentul lansrii
interveniei. Efectele neateptate sunt reliefate prin
tehnici de analiz inductiv (n special prin studii
de caz). Ele nu fac parte din obiective. Un efect
pozitiv neanticipat poate deveni un obiectiv
implicit. Efectele negative neateptate sunt
ntlnite i sub numele de efecte perverse. De
exemplu, dac se acord asisten n vederea
dezvoltrii unui teritoriu i, dac n acest scop,
teritoriul este clasificat drept dezavantajat, el va
deveni n consecin mai puin atractiv pentru
firme.

196

10/20/2006

Unit of Analysis (N)

The unit of analysis is the unit that is being analysed in an evaluation.


For instance, any of the following could be a unit of analysis in a
study: individuals, groups, artefacts (books, photos, newspapers),
geographical units (town, census tract, state), social interactions
(divorces, arrests). See also scope of evaluation, above.

Unitate de analiz

Unitatea de analiz este acea unitate care face


obiectul analizei n procesul de evaluare. De
exemplu, oricare dintre urmtoarele elemente
poate reprezenta o unitate de analiz n cadrul
unui studiu: indivizi, grupuri, artefacte (cri,
fotografii, ziare), uniti geografice (ora, stat;
terenuri de recensmnt), interaciuni sociale
(divoruri, arestri).

Page 61

Glossary
Utilitate

Faptul c impacturile obinute prin intermediul unei


intervenii corespund nevoilor societii i
problemelor socio-economice care trebuie
rezolvate. Utilitatea este un criteriu particular n
cadrul evalurii deoarece ea nu ine cont de nicio
referin la obiectivele declarate ale unei
intervenii. Se poate dovedi logic aplicarea
acestui criteriu atunci cnd obiectivele sunt definite
n mod defectuos sau cnd exist multe efecte
neateptate. Totui, criteriul trebui s fie folosit cu
atenie pentru a se evita posibilitatea ca echipa de
evaluare s fie influenat de consideraii
personale n procesul de selectare a nevoilor sau
problemelor socio-economice importante. Exist
specialiti care n acest caz pledeaz pentru
evaluri fr obiective.

Value for money (N) Term referring to judgement on whether sufficient impact is being
achieved for the money spent. It is often calculated by dividing the
total project costs by the number of beneficiaries reached, and
comparing the cost with alternative comparable measures in relation
to the target groups and desired impacts.

Eficiena alocrii

Termen referitor la judecata fcut pentru a se


verifica dac au fost obinute suficiente impacturi
n raport cu banii cheltuii. De cele mai multe ori,
ea se calculeaz mprind costurile totale ale
proiectului la numrul beneficiarilor efectivi i
comparnd acest cost cu msuri comparabile
alternative n relaie cu grupurile int i impacturile
dorite.

10/20/2006

Variance (N)

A measure of how spread out a distribution of scores is. It is


computed as the average squared deviation of each number from its
mean.

Varian

Msur a mprtierii distribuiei valorilor. Se


calculeaz ca media aritmetic a ptratelor
abaterilor valorilor individuale ale unui ir statistic
de experiene, de la media aritmetic a irului
respectiv..

200

10/20/2006

Verifiable objective

An objective stated in such as way that it will subsequently be


possible to check whether or not it has been achieved. A way of
making an objective verifiable is to quantify it by means of an
indicator linked to two values (baseline and expected situation). An
objective may also be verifiable if it is linked to a descriptor, i.e. a
clear and precise qualitative statement on the expected effect.

Obiectiv verificabil Un obiectiv formulat n aa fel nct s fac


posibil verificarea imediat a ndeplinirii lui. O
modalitate prin care un obiectiv poate deveni
verificabil este cuantificarea acestuia prin
intermediul unui indicator legat de dou valori
(stare iniial i situaie ateptat). Un obiectiv
poate fi verificabil i dac este legat de un
descriptor, cum ar fi, de exemplu o exprimare
calitativ clar i precis privind efectul ateptat.

201

10/20/2006

Weighting

A procedure to specify if one criterion is more or less importance than


another in the formulation of a global judgement on an intervention.
The weighting of criteria can be formalised by expressing it as a
percentage (the total being 100%). Multicriteria analysis also uses
weighting.

Ponderare

197

10/20/2006

Utility

198

10/20/2006

199

The fact that the impacts obtained by an intervention correspond to


society's needs and to the socio-economic problems to be solved.
Utility is a very particular evaluation criterion because it disregards all
reference to stated objectives of an intervention. It may be judicious
to apply this criterion when objectives are badly defined or when there
are many unexpected effects. The criterion must, however, be used
with caution to avoid the evaluation team being influenced by
personal considerations in their selection of important socio-economic
needs or problems. Some authors have argued for a form of goal-free
evaluation.

Page 62

Procedur prin care se specific dac un criteriu


este mai important sau mai puin important dect
altul n formularea unei judeci globale cu privire
la o anumit intervenie. Ponderarea criteriilor
poate fi formalizat prin exprimarea procentual a
acestora (totalul fiind 100%). Analiza multicriterial
utilizeaz procedeul de ponderare.

Glossary
202

10/20/2006

Welfare

Welfare can be either a person's state of well-being, or it can refer to


the social protection system, i.e. education, health provision.

Bunstare

Bunstarea se poate referi pe de o parte la situaia


favorabil n care se regsete o persoan, iar pe
de alt pare, la sistemul de protecie social, de
exemplu la educaie sau sntate.

203

10/20/2006

Welfare economics

The branch of economics dealing with how well off people are, or feel
that they are, under varying circumstances. It is sometimes regarded
as the normative branch of economics. One application of welfare
economics is cost benefit analysis, which attempts to balance the
gains and losses from a proposed policy.

Economia
bunstrii

Ramur a economiei care se refer la starea de


bunstare pe care o au indivizii, sau pe care simt
c o au, n diferite circumstane. Este de multe ori
privit ca ramura normativ a economiei. O
aplicaie a economiei bunstrii este analiza costbeneficiu, care ncearc s stabileasc un
echilibru ntre ctigurile i pierderile aferente unei
politici publice propuse.

Page 63