COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013

CURS 9

FUNCIA DE EVALUARE GESTIONAREA POLITICILOR DE DEZVOLTARE

Evaluarea este o verificare ct de sistematic i obiectiv posibil, a unui proiect,

politic public sau program n desfurare sau terminat(), a designului su, a implementrii
i a rezultatelor. Scopul este de a determina relevana i ndeplinirea obiectivelor, eficiena
dezvoltrii, eficacitatea, impactul i durabilitatea sa. O evaluare ar trebui s furnizeze
informaii, care s fie credibile i folositoare, s permit includerea leciilor nvate n
procesul de luare a deciziilor al beneficiarilor i donatorilor. O evaluare se poate face n
timpul implementrii (mid-term evaluation), la sfrit (final evaluation) sau dup
implementare (ex post evaluation), ori pentru a ajuta accelerarea proiectului ori pentru a
trage nvmite care vor fi folosite n proiectele i programele viitoare. Evalurile Ex ante
se refer la studii din timpul etapei de pregtire a interveniei. Evaluarea mai poate fi descris
i ca o analiz independent a unei intervenii, n funcie de rezultatele, impactul i nevoile
pe care respectiva intervenie intenioneaz s le satisfac (sursa - Comisia European).
Evaluarea este acel proces care permite analizarea, n mod independent, a beneficiilor
unei intervenii finanate din fonduri publice, prin raportarea la anumite criterii, precum:
impactul programelor finanate, eficiena i eficacitatea lor, relevana continu pentru nevoile
beneficiarilor, astfel cum au fost acestea identificate n etapa de programare.

De exemplu:
Guvernul a decis s se adreseze muncitorilor din industriile n declin pentru recalificare n
domeniul informatic. Aceast iniiativ va asista industria de dezvoltare software.

Cum vom putea spune dac eforturile ntreprinse au succes?

Guvernul a anunat c intenioneaz s construiasc un nou pod n punctul X al fluviului
Dunrea.
Este cu adevrat necesar aceast intervenie?
Cum putem aprecia dac investiia este justificat?

Evaluarea Proiectelor. Managementul Fondurilor Europene

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013

Guvernul a anunat c va introduce un sistem de finanri pentru ntreprinderile mici i

mijlocii care export produse biotehnologice.

Cum vom putea msura impactul acestor alocri financiare?

Msurarea progresului fizic al unui program este un proces mai complex, care depinde n
principal de stabilirea i dezvoltarea unor indicatori de performan bine determinai. n
acest context, pentru a aprecia performana unui anumit program, pe lng cunoaterea
sumelor alocate este deosebit de important stabilirea unor elemente (indicatori) n baza
crora s se poat afla ceea ce s-a realizat sau obinut cu banii folosii. Indicatorii de
performan permit managerilor unui program, celor implicai n activitatea de monitorizare,
precum i evaluatorilor s msoare progresul programului, la diferitele sale nivele de
implementare.

La nivel internaional, n teoria i practica evalurii, indicatorii sunt clasificai n:

indicatori de rezultate imediate (output indicators),

indicatori de rezultat (result indicators)

indicatori de impact (impact indicators).
Indicatorii de rezultate imediate msoar rezultatele fizice ale unui program. Aceast prim
analiz conduce la noi ntrebri:
-

Este suficient s tim ce lungime de drum am construit ?

Construim drumuri doar de dragul de a le construi ?

Aici intervin indicatorii de rezultat, care ne permit s msurm beneficiul real al rezultatelor
imediate asupra grupului int.

1.

Principii majore de evaluare

1. Imparialitatea i independena procesului de evaluare de procesul privind elaborarea
politicilor, furnizarea asistenei i managementul acesteia (= separarea ntre evaluare i
responsabilitate a proiectului/ programului/ politicii)
2. Credibilitatea depinznd de expertiza i independena evaluatorilor i transparena

Evaluarea Proiectelor. Managementul Fondurilor Europene

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
unui proces deschis, disponibilitate mare de acces la

rezultate, distincie ntre

rezultatele evalurii i recomandri.

3. Utilitatea: prezentate ntr-un mod clar i concis, reflect interesele i nevoile prilor
implicate, uor accesibil, la timp i la momentul potrivit mbuntete procesul de
luare a deciziilor
4. Participarea factorilor interesai (donator, recipient) dac este posibil, punctele de
vedere i expertiza grupurilor afectate ar trebui s formeze o parte integranta a
evalurii.

2.

Tipuri de evaluare

Evalurile pot avea loc:

1. cnd proiectul este nc n derulare: evalurile intermediare sunt efectuate de obicei la
mijlocul proiectului ( mid-term evaluation), pentru a verifica progresul i a propune
alternative pentru perioada rmas de implementare;
2. la sfritul proiectului (final or end-of-project evaluation), pentru a verifica resursele
folosite, rezultatele i progresul fcut n atingerea obiectivelor. Scopul este acela de a
genera nvminte care pot fi folosite n proiecte viitoare;
3. la un numr de ani dup terminare ( ex post evaluation) adesea concentrndu-se asupra
impactului.

3.

Criterii de evaluare

La ce ntrebri ncearc s rspund evaluarea?

Activitatea de evaluare este strns corelat cu procesul de monitorizare, ntruct datele
obinute din acest proces reprezint una din sursele de informaii folosite n evaluare.
Evaluarea examineaz ns mult mai multe aspecte dect cel privind gradul n care progresele
financiare i fizice nregistrate la un anumit moment n implementarea programului sunt n
conformitate cu planificarea iniial. Pentru ca activitatea de evaluare s rspund scopurilor
urmrite de acest proces complex, la nivelul Uniunii Europene s-au conturat 5 criterii folosite
n cadrul oricrui exerciiu de evaluare - criteriile DAC.
Acestea sunt:
1. Relevana
2. Eficiena

Evaluarea Proiectelor. Managementul Fondurilor Europene

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
3. Eficacitatea
4. Impactul
5. Sustenabilitatea

Relevana
Relevana unui proiect reprezint msura n care obiectivele stabilite i planul de
implementare propus adreseaz corect problemele identificate. Schimbrile privind natura
problemelor identificate iniial sau anumite circumstane n care are loc implementarea
proiectului, fie acestea fizice, economice, instituionale sau politice, pot face proiectul
irelevant pentru problemele/nevoile pe care a fost menit s le rezolve.
Eficiena
Criteriul de eficien se refer la ct de bine au fost folosite resursele disponibile pentru a
transforma activitile propuse n rezultatele intenionate. Acest criteriu vizeaz aspecte
legate de rentabilitate i anume dac ar fi putut fi obinute rezultate mai bune prin alte
modaliti i, n acelai timp, mai ieftine.

Eficacitatea
Criteriul de eficacitate ncearc s identifice dac proiectul i-a atins obiectivele stabilite n
faza de programare. ntrebarea cheie este ce beneficiu a adus proiectul n practic, prin
raportarea la msura n care subiecii vizai au beneficiat n mod real de pe urma produselor
sau serviciilor pe care proiectul le-a fcut disponibile.

Impactul
Termenul impact se refer la efectul de ansamblu al beneficiilor aduse de un anumit proiect,
asupra unui numr mai mare de persoane dect principalii beneficiari dintr-un anumit sector,
o anumit regiune sau chiar din ntreaga ar.

Sustenabilitatea
Criteriul de sustenabilitate arat dac exist probabilitatea ca rezultatele pozitive ale
proiectului s continue i dup terminarea perioadei de finanare extern i totodat, dac
impactul pe termen lung al programului asupra procesului mai amplu de dezvoltare poate fi

Evaluarea Proiectelor. Managementul Fondurilor Europene

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
meninut la nivel de sector, regiune sau ar.

Exerciiile de evaluare nu examineaz neaprat toate cele cinci criterii de evaluare!

Procesul unei programri multi-anuale i sistemul de monitorizare aferent au permis

dezvoltarea unui ciclu de evaluare, care urmrete exerciiul de programare. n
consecin, cele cinci criterii de evaluare nu sunt examinate n mod obligatoriu n cadrul
oricrei evaluri, ci sunt adaptate n funcie de momentul la care intervine evaluarea, stadiul
implementrii programului i obiectivele evalurii.

4. Ciclul de evaluare

Stadiul

Stadiul

Legtura dintre

Cel mai important

ciclului de

ciclului de

stadii

criteriu de evaluare

programare

evaluare

Elaborarea si

Ex-ante

Evaluarea ex-ante

pregtirea

analizeaz critic

final a

programele propuse,

programelor,

examinndu-le

nainte de

obiectivele, planurile

implementare

de implementare i

Relevana

rezultatele estimate,
etc., cu intenia de a
determina dac sunt
cele mai potrivite
intervenii pentru a
ndeplini obiectivele
relevante ale politicii.

Evaluarea Proiectelor. Managementul Fondurilor Europene

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
Implementarea

Intermediar

programelor

Evaluarea

Eficiena,

intermediar

Eficacitatea

analizeaz n ce
msur programele
sunt implementate n
modul cel mai
eficient i eficace,
conform programrii
iniiale i stabilete
dac programele sunt
la fel de relevante ca
n faza de
programare, pentru
satisfacerea nevoilor
identificate.
Finalizarea
programelor

Ex-post

Evaluarea ex-post

Impactul,

analizeaz impactul

Sustenabilitatea

programelor, prin
raportare la nevoile
pe care programul a
urmrit sa le
satisfac i, totodat,
s determine dac
efectele pozitive ale
programului sunt
sustenabile n timp i
dup finalizarea
implementrii
programului.

Evaluarea Proiectelor. Managementul Fondurilor Europene

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
5.

Elementele Determinante ale unui Concept de Evaluare

Definirea evalurii ne aduce doar pn la un anumit punct n creionarea conceptului

evalurii. n acest demers, de egal importan sunt i rspunsurile la ntrebri legate de:
-

instrumentele utilizate n evaluare;

rigoarea metodologic aplicat evalurii;

abordarea adoptat pentru atribuirea sarcinii de a evalua, n particular natura

implicrii a celor evaluai;

informaia pe care evaluarea ar trebui s o furnizeze; i

resursele financiare i de timp disponibile pentru evaluare.

Urmtoarele paragrafe rezum rspunsurile la aceste ntrebri. Seciunea ce urmeaz

ncearc apoi s construiasc un concept al evalurii potrivit condiiilor din Romnia.
Instrumentele: Nu exist vreo limit a instrumentelor de cercetare ce pot fi utilizate n
evaluare. Exist exemple de evaluare ce utilizeaz tehnici de cercetare statistic, econometric
i sociologic extrem de sofisticate, ca s nu mai vorbim de o larg varietate de domenii ce
includ matematica, fizica, psihologia i medicina. Totui, n scopul evalurii politicilor i
interveniilor publice, adesea se aplic o gam mai restrns de instrumente, precum
cercetarea documentelor relevante, interviuri (structurate), anchete (pe baz de chestionar) i,
n mod special acolo unde sunt privite infrastructura i dezvoltarea regional (inclusiv
dezvoltarea IMM-urilor), analiza cost-beneficiu (att pentru evaluarea financiar, ct i pentru
cea economic).

Rigoarea
Dat fiind gama relativ restrns de instrumente utilizat curent ntr-o evaluare tipic, se pune
un accent deosebit pe rigoarea metodologic. Comisia European, bazndu-se pe bunele
practici europene, a subliniat n repetate rnduri necesitatea aplicrii unei asemenea rigori n
desfurarea activitilor de evaluare.
Rigoarea metodologic ncepe cu evaluatorii i prile interesate n evaluare, care trebuie s
respecte prevederile codurilor etice aplicabile, principiile evaluatorilor i standardele de
evaluare. Toate acestea trei linii directoare sunt acum disponibile pentru comunitatea de
evaluare. n plus, rigoarea metodologic crete mai mult dac se asigurar c activitile de
evaluare sunt ndeplinite de ctre echipe de evaluatori i nu de o singur persoan. Asemenea

Evaluarea Proiectelor. Managementul Fondurilor Europene

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
echipe constau din doi sau mai muli experi, care sunt capabili s aplice mpreun
cunotinele necesare de evaluare, pe de o parte, i expertiza n domeniul evaluat, pe de alt
parte. n ultimul rnd, rigoarea metodologic depinde de identificarea a priori din partea celor
interesai a indicatorilor de nalt calitate pentru output-urile i impactul politicilor i
interveniilor publice. Proiectarea i utilizarea indicatorilor de calitate (specifici, msurabili,
realizabili, relevani i ncadrabili n timp) este dificil i adesea costisitoare, dar totui
esenial pentru o evaluare de calitate. Prin urmare, disponibilitatea datelor de bun calitate
este cheia stabilirii i meninerii rigorii metodologice. n absena unor asemenea date de
calitate, tentaia ca evaluatori i prile interesate n evaluare s aplice metode mai intuitive i
mai subiective este foarte mare.

Abordarea
n plus fa de rigoarea metodologic, evaluarea trebuie s beneficieze ntr-o foarte mare
msur de aplicarea unei abordri participative. Este important ca toate prile direct
interesate s experimenteze evaluarea ca o unealt practic de management i nu ca un
instrument de control care s fie utilizat de reprezentanii de la nivelele ierarhice superioare,
de Guvern sau instituiile finanatoare. Caracterul participativ al unei evaluri poate fi realizat
prin acordarea unei atenii suficiente la: (i) discuiile despre scopul, mijloacele i abordrile
evalurii, n faza de pregtire a evalurii; (ii) selecia atent a tehnicilor de cercetare i de
luare a interviului; i (iii) implicarea unui numr ct mai mare de reprezentani ai prilor
interesate n colectarea datelor i n dezbaterea raportului de evaluare. Referitor la ultimul
punct, msura n care este permis ca reprezentanii prilor interesate s influeneze natura i
coninutul concluziilor finale i recomandrilor evalurii este esenial.
Informaii
Nu se poate atepta o evaluare de bun calitate dect atunci cnd este clar pentru toate prile
direct interesate, nu numai managerilor evalurii, ce informaii ar trebui s furnizeze
activitatea de evaluare. Aceasta nu include doar ntrebrile la care ar trebui s rspund
evaluarea, dar i forma n care trebuie oferite aceste rspunsuri i mijloacele ce trebuie
folosite pentru obinerea rspunsurilor. Totui, mai presus de toate acestea, trebuie s fie clar
care factorilor interesai cheie au pus ntrebrile la care trebuie gsite rspunsuri n cadrul
activitii de evaluare, precum i n ce msur gsirea acestor rspunsuri va servi de asemenea
factorilor interesai non-cheie. Fr o comuniune de interese ntre prile interesate, evaluarea

Evaluarea Proiectelor. Managementul Fondurilor Europene

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
este n pericolul de a degenera ntr-o raportare despre prile interesate secundare ctre cele
primare, fcut de experi mai mult sau mai puin dezinteresai, imprimnd astfel evalurii
un caracter steril n termeni de impact managerial.
Resurse
Evaluarea fiind parte intrinsec a ciclului de via al proiectului, ar trebui s fi luat n
considerare ntr-un mod adecvat n cadrul bugetului aferent oricrei politici sau intervenii. n
pregtirea acestui buget, nu ar trebui incluse doar costurile directe cu resursele umane
necesare evalurii i costurile conexe. Este esenial o imagine a priori a costurilor legate de
colectarea informaiilor ce ar putea fi necesare unei activiti de evaluare de calitate. Aceasta
ar trebui s includ dezvoltarea n timp util a activitilor de colectare i procesare a datelor.
Regula de aur ar trebui s fie: Dac datele nu pot fi disponibile din motive financiare sau de
timp, nu desfurai evaluarea. Improvizarea i metodele nlocuitoare foarte probabil c nu
vor duce la nivele satisfctoare ale fiabilitii evalurii, n special n cazul marilor programe
de dezvoltare regional sau implementarea politicilor complexe din sfera politico-economic.
Ele nu servesc dect intereselor financiare ale evaluatorilor, fr s adauge la corpul de
cunotine manageriale solicitate de manageri i factorii de elaborare a politicilor.

6.

Care este diferena dintre monitorizare, evaluare i audit

Se face frecvent o confuzie ntre monitorizare, evaluare i audit.

Evaluare:
Ce ? In principal analize asupra eficienei, eficacitii, impactului, relevanei i durabilitii
politicilor i aciunilor de sprijin
Cum? Analize detaliate
Cine ? Evaluatori externi specializai n subiectul evalurii
Cnd ? n momente cheie: la sfrit pentru a trage nvminte din trecut i a orienta
aciunile viitoare, n timpul implementrii: mid term evaluation pentru a (re) orienta
implementarea, ex-ante nainte de luarea deciziei de finanare.
Monitorizare:
Ce ?

In mare parte analize de eficien i eficacitate; este o activitate managerial

sistematic
Cum ? Analize rapide i continue, cu folos imediat pentru mbuntirea aciunilor n
desfurare; de importan cheie pentru mbuntirea performanelor

Evaluarea Proiectelor. Managementul Fondurilor Europene

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
Cine ? Interne i Externe (personal, monitori, .)
Cnd ? Periodic, de cteva ori pe an

Audit:
Ce ? Verificri tradiionale pentru a vedea dac operaiunile i documentele financiare sunt
n

conformitate

cu

obligaiile

legale

contractuale.

Mai

recent:

Auditul de performan este legat de ntrebrile privind eficiena i un bun management.

Cum ? Verificri ale documentelor financiare si ale respectrii unor proceduri prestabilite
Cine ? Auditori externi sau interni, profesioniti
Cnd ? In timpul sau dup implementare

Cum evalum?
Organizarea i desfurarea unei evaluri implic mult mai mult dect observarea din
afar i redactarea unei analize independente a programului n discuie. Unul dintre cele mai
complexe aspecte cu care se confrunt evaluatorii profesioniti se refer la stabilirea felului n
care i vor derula activitatea i la modalitatea n care vor identifica i formula concluziile i
recomandrile evalurii.
Metodologia aleas pentru evaluarea programului este de o importan vital n
asigurarea robusteei i transparenei acestui exerciiu. Natura acestei activiti (care implic o
analiz evaluativ sau un raionament asupra beneficiilor unei intervenii) poate avea
rezultatul ca managerii publici s caute motive de justificare, fiind mai puin entuziati n
legtur cu activitatea de evaluare. Prin urmare, este de o importan vital ca evaluatorii s
poat demonstra c au adoptat o abordare metodologic amnunit i credibil n
realizarea evalurii.

Metodologiile includ o serie de metode i instrumente de cercetare standard, precum:

- sondaje pentru beneficiari i managerii de program
- studii de caz
- consultarea factorilor interesai
- abordri mai tehnice, precum analiza cost beneficiu, analiza econometric, modelarea
macro-economic i analiza regresiv

Evaluarea Proiectelor. Managementul Fondurilor Europene

10

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013

Un bun evaluator va studia programul sau proiectul care urmeaz a fi evaluat i va propune o
metodologie de evaluare fezabil, lund n considerare o serie de factori, precum:
Sursele de informaie disponibile;
Costul colectrii de informaii suplimentare celor disponibile n cadrul sistemului de
monitorizare;
Perioada de timp alocat pentru evaluare.

O dat ce evaluatorul a propus metodologia de lucru i aceasta este acceptat de managerul

evalurii, evaluatorul trebuie s acioneze conform planului agreat i s prezinte rezultatele
evalurii sub forma unui raport final de evaluare.

Punctul de pornire n activitatea de evaluare

Fiecare exerciiu de evaluare trebuie s porneasc de la un set de termeni de referin,
elaborai de ctre managerul procesului de evaluare, document care trebuie s prezinte n mod
clar ntrebrile de evaluare la care trebuie s se rspund n cadrul exerciiului de evaluare.

7.

Rapoartele de evaluare

Raportul de evaluare trebuie s oglindeasc ntrebrile de evaluare de mai sus, avnd n

vedere natura proiectului, stadiul n care se efectueaz evaluarea i utilizatorii pentru care este
pregtit proiectul. Trebuie avut n vedere c cerina informaiilor variaz mult n funcie de
diferitele tipuri de utilizatori. Cnd alctuim termenii de referin este necesar s decidem
importanta relativa a fiecrui criteriu/ntrebare de evaluare a studiului dat: de obicei o
evaluare intermediar se va axa pe probleme de eficien (problemele de impact neavnd aa
mare importan); evalurile ex post se vor axa mai degrab pe probleme de impact i
durabilitate. In orice caz, concluziile trebuie bazate pe analize i legtura dintre recomandri
i concluzii trebuie s fie clara. Recomandrile pot privi proiectul n cauz sau alte proiect
viitoare, aceasta depinznd de natura evalurii.
In general, principalele seciuni ale unui raport de evaluare trebuie s fie urmtoarele:

Evaluarea Proiectelor. Managementul Fondurilor Europene

11

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
Planul unui raport de evaluare

I Sumar

Trebuie s fie redactat compact i s poat fi folosit ca un document de

sine stttor. Trebuie s fie scurt, nu mai mult de cinci pagini. Trebuie
s se concentreze pe principalele puncte analitice, s indice concluziile
principale, leciile nvate i recomandrile specifice. Referinele
trebuie s se fac la pagina corespunztoare sau numrul paragrafului
textului principal care urmeaz (main text).

II Textul

Textul principal trebuie s nceap cu introducerea care descrie n

principal

primul rnd, proiectul sau programul care este evaluat, i n al doilea

rnd, obiectivele evalurii. Corpul raportului ar trebui s urmreasc
ntrebrile de evaluare, descriind faptele i interpretndu-le sau
analizndu-le n conformitate cu metodologia evalurii.

III Concluzii i

Acestea ar trebui prezentate ca un capitol final separat. De cte ori este

recomandri

posibil, pentru fiecare concluzie cheie trebuie s existe o recomandare

corespondent. Punctele cheie ale concluziilor vor varia ca natur dar
vor acoperi deseori aspecte ale ntrebrilor de evaluare.
Ultimul element de valoare a unei evaluri depinde de calitatea i
credibilitatea recomandrilor oferite. Recomandrile ar trebui s fie ct
de realiste, operaionale i pragmatice posibil.
Recomandrile ar trebui s inteasc ctre audiene adecvate la toate
nivelele.

IV Anexe

Termeni de referin ai evalurii

Numele evaluatorilor i firmele lor (plus CV-uri dar sumarizate

i limitate la o singur pagin de persoan)



Metodologiile aplicate pentru studii (etape, metode de colectare

a datelor, sampling, etc.)



Matricea logic (original i mbuntit/ actualizat)

Harta ariei proiectului, dac este relevant

Lista de persoane / organizaii consultate

Literatura i documentaia consultat

Alte anexe tehnice (ex. analize statistice)

Evaluarea Proiectelor. Managementul Fondurilor Europene

12

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013

8.

Administrarea procesului de evaluare

Administrarea procesului de evaluare implic de obicei urmtoarele sarcini majore ale

managerului evalurii:
1.

Identificarea nevoii de evaluare i selectarea temelor care trebuie evaluate,

2.

Designul evalurii, incluznd stabilirea termenilor de referin,

3.

Analizarea documentelor de ofertare pentru studiile de evaluare i selectarea unui

contractor n conformitate cu regulile existente,

4.

Punerea n tem a contractorului i a prilor implicate, sprijinirea misiunii de

evaluare,
5.

Asigurarea realizrii unui raport de evaluare de nalt calitate i diseminarea

rezultatelor evalurii i a recomandrilor,

6.

Sprijinirea folosirii rezultatelor evalurii.

In funcie de int, rezultatul ateptat al unei evaluri este o decizie luat:

Pentru a continua implementarea proiectului conform planului, reorientarea, sau n cazul

cel mai ru stoparea proiectului (evaluri intermediare);

Privind problema dac e bine sau nu s se iniieze n viitor proiecte similare, de exemplu
luarea n considerarea a acestor tipuri de proiect n programri viitoare sau n exerciii de
identificare (de obicei la sfritul proiectului sau n evaluri ex post )

Despre cum s se considere rezultatele evalurii n definiia strategiilor de cooperare i

alte programri ulterioare sau exerciii de identificare n cazul evalurilor sectoriale,
tematice, etc.

Evalurile sunt fr valoare dac nu sunt folosite. De aceea ar trebui avute n considerare
urmtoarele elemente cheie pentru a asigura feedback-ul prin folosirea rezultatelor evalurii:

Evaluarea este un proces consultativ: consultarea ar trebui s fie permanent pentru a

asigura participarea factorilor interesai relevani, pentru a mri legtura ntre evaluri i
rezultatele sale, de ex. prin:

Consultare n timpul identificrii temelor de evaluare

Consultare n timpul pregtirii ToR-ului

edine de punere n tem

Discuii permanente cu evaluatori externi

Evaluarea Proiectelor. Managementul Fondurilor Europene

13

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013

Managerii evalurii sunt responsabili pentru informarea factorilor implicai

despre

progresul fcut n fiecare etap cheie a evalurii.

Evaluarea are nevoie de o diseminare adecvat a rezultatelor, de exemplu prin intermediul

seminariilor i edinelor de lucru. De obicei rezultatele evalurii sunt comunicate i
explicate factorilor interesai principali ai proiectului evaluat.

Evaluarea are nevoie de mecanisme bune de feedback. Este important s se verifice dac
rezultatele evalurii sunt luate n considerare n propunerile de proiect sau nu.

9. Evaluarea n Romnia
Pn n prezent, evaluarea n Romnia s-a concentrat n principal asupra fondurilor Uniunii
Europene. Programele finanate din bugetul naional al Romniei au fost tradiional nensoite
de evaluare. Hotrrea Guvernului nr. 775/2005 pentru aprobarea Regulamentului privind
planificarea, monitorizarea i evaluarea politicilor publice la nivel central prevede nfiinarea
unor Uniti de Politici Publice n cadrul ministerelor i al celorlalte instituii ale
administraiei publice centrale, al cror rol va include evaluarea politicilor publice, aa cum
sunt acestea definite prin lege.
Conform Sistemului Extins de Implementare Descentralizat (Extended Decentralisation
Implementation System) care a transferat sarcini adiionale de management al programelor cu
finanare UE de la Bruxelles Romniei, Autoritatea de Management pentru Cadrul de Sprijin
Comunitar nfiinat n cadrul Ministerului de Finane Publice i care acum exist in cadrul
Ministerului Afacerilor Europene a preluat managementul Schemei de Evaluare PHARE.
Conform legii nr. 500/2002 cu privire la finanele publice, Ministerul Finanelor Publice
stabilete msurile necesare pentru administrarea i monitorizarea utilizrii fondurilor
publice.
Nu exist reglementri n lege privind evaluarea cheltuielilor fcute din fonduri publice.
Nici Ordonana de Urgen a Guvernului nr. 45/2003 cu privire la finanele publice locale nu
face referire specific la evaluarea fondurilor publice, dar face aluzie la evaluare cnd prevede
c programele sunt menite s urmreasc un obiectiv sau un set definit de obiective pentru
care sunt stabilii indicatori de program pentru a evalua rezultatele care trebuie obinute.

Evaluarea Proiectelor. Managementul Fondurilor Europene

14

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013

Documentele Programatice

Evaluarea Proiectelor. Managementul Fondurilor Europene

15

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
Utilizarea eficient a Fondurilor Europene Nerambursabile
Factori care influeneaz/care au influenat negativ absorbia fondurilor europene i implicit,
dezvoltarea economic la nivel naional:
-

Lipsa de strategie i voin politic n gestionarea unei politici/unor politici de dezvoltare

pe termen mediu;

lipsa de decizie politic n coordonarea i fluidizarea gestionrii fondurilor;

lipsa de coeren politic dintre angajamentele politice asumate n negocierile de aderare

la UE i prioritile politice interne;

lipsa de cultur politic i administrativ n coordonarea structurilor care gestioneaz

fonduri europene dar i n general, a structurilor care gestioneaz programe de investiii;

lipsa coordonrii fondurilor publice n alocarea fondurilor de la bugetul de stat pentru

autoriti locale pentru cofinanare;

lipsa coerenei n pregtirea proiectelor de mari dimensiuni;

evaluarea foarte lung a proiectelor pentru IMM uri;

impozitul forfetar pentru IMM-uri;

implicarea modest a sistemului bancar n sprijinirea sectorului IMM-urilor;

implicarea superficial a fondurilor de garantare n domeniul IMM-urilor;

schimbarea continu a codului fiscal;

schimbri majore n profunzime a nivelul tehnic al administraiei centrale i locale pe

criterii politice;

politizarea excesiv a administraiei centrale i locale;

lipsa schemelor de mprumut pentru sprijinirea autoritilor locale;

influena politic n evaluarea intern a proiectelor;

lipsa motivaiei financiare i a perspectivei profesionale a funcionarilor publici;

relativ slaba pregtire a unei pri din funcionarii publici implicai n aceste activiti;

slaba capacitate administrativ a unor structuri implicate n managementul tehnic i

financiar a programelor de dezvoltare;

slaba capacitate administrativ a beneficiarilor, privai i publici;

lipsa politicii de externalizare a unor servicii ctre sectorul privat;

corupia;

Evaluarea Proiectelor. Managementul Fondurilor Europene

16

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013

10. Teorii ale evalurii

Evaluatorii trebuie s cunoasc teoria evalurii pentru c aceasta st n centrul identitii

noastre profesionale. Wiliam R. Shadish, Evaluation theory is who we are, Presidential
Address
Alkin i Christie au sintetizat teoriile evalurii printr-un arbore, format dintr-un trunchi
(reprezentnd responsabilizarea i cercetarea social sistematic) i trei ramuri principale,
conform figurii de mai jos:

Responsabilizarea i cercetarea social sistematic au sprijinit dezvoltarea evalurii n feluri

diferite.
Responsabilizare i control

Evaluarea Proiectelor. Managementul Fondurilor Europene

17

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
Responsabilizarea se refer la procesul de a fi responsabilizat, rspunztor sau capabil de a
rspunde pentru un anumit lucru. Wagner (1989) a definit trei dimesniuni ale
responsabilizrii. Prima este raportarea care rezult ntr-o descriere. A doua dimensiune a
responsabilizrii este analiza justificatoare sau explicaia. n al treilea rnd, responabilizarea
necesit rspundere, adic cei responsabili trebuie s fie trai la rspundere n caz de eec.
Aceast ultim faz a responsabilizrii nu este reflectat n evaluare. Evaluarea doar
furnizeaz informaii pentru a fi responsabilizat.
ntr-o lucrare ce definete responsabilizarea, Alkin (1972) se refer la responsabilizare asupra
obiectivului, responsabilizare asupra procesului i responsabilizare asupra rezultatului.
Responsabilizarea asupra obiectivului examineaz dac au fost stabilite obiective rezonabile
i potrivite. Entitile responsabile pentru acest tip de responsabilizare sunt nivelurile nalte de
management. Responsabilizarea asupra procesului reflect dac au fost stabilite i
implementate proceduri potrivite i rezonabile pentru ndeplinirea obiectivelor. n general,
responsabilitatea procesului o au managementul i operatorii de program. Responsabilizarea
asupra rezultatelor se refer la msura n care obiectivele stabilite au fost atinse. Ca i la
responabilizarea asupra procesului, managementul i operatorii de program poart
responsabilitatea pentru rezultate.
Toate aceste tipuri de responsabilizare sunt reflectate n lucrri privitoare la evaluare.
Preocuprile privind rolul evaluatorului n aprecierea obiectivelor sunt prezente n lucrile lui
Michael Scriven. Responsabilizarea de program este evident n seciunea procesula
modelului CIPP (Context, Input, Process, Product) al lui Daniel Stufflebeam. Iar
responsabilizarea asupra rezultatului este scopul multor evaluri privind examinarea gradului
de adecvare a rezultatelor.
Muli teoreticieni recunosc rolul important pe care l joac responsabilizarea n evaluare.
Mark, Henry i Julnes (2000) o citeaz ca unul din cele patru scopuri ale evalurii. n zilele
noastre, cele mai multe evaluri au o component de responsabilizare important, deoarece
scopul lor este de a mbunti performana instituional. Rezultatul acestor evaluri este
deseori utilizat n procesul de formulare a politicilor sau al altor procese de luare a deciziilor.
Cercetarea social
n sens larg, cercetarea social poate fi definit ca un studiu sistemic al comportamentului
unor grupuri de indivizi n medii sociale diverse, utiliznd o varietate de metode. ncepe cu
recunoaterea existenei unei dimensiuni sociale unice a aciunii umane, deosebit de simpla

Evaluarea Proiectelor. Managementul Fondurilor Europene

18

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
dimensiune narural i psihologic. ntrebarea central este: De ce persoanele din grupurile
sociale acioneaz aa? n Occident, ntrebarea i are originile n personalitile secolelor 17
i 18 cum sunt Hobbes, Montesquieu i Rousseau. Cu toate c aceti gnditori au studiat i
comentat n mod sistematic grupurile sociale, scrierile i teoriile lor au fost produsul mai
degrab al contemplrii dect al investigaiilor riguroase empirice. Doar la sfritul secolului
19 societatea i grupurile sociale au nceput s fie studiate empiric prin colectarea i
analizarea datelor empirice privind grupurile sociale.
O ntrebare permanent a cercetrii sociale privete metodele potrivite pentru studierea
societii, grupurilor sociale i a vieii sociale, precum i dac metodologiile tiinelor fizice,
definite n sens larg, sunt aplicabile fenomenelor sociale. De exemplu, teoreticienii clasici
Marx (1932) i Durkheim (1966) au utilizat extensiv statisticile pentru a trage anumite
concluzii privind viaa social. Influena psihologiei ca disciplin a introdus n domeniul
social metoda experimental, unde ntrebarea central este dac tratamentul este eficace
pentru producerea efectelor dorite. Discuiile privind fezabilitatea i dezirabilitatea acestei
metodologii pentru studierea lumii sociale continu i astzi, genernd dezbateri aprinse i
acuze de pozitivism fr sfrit. Aceste dezbateri privesc i reflect o ntrebare i mai general
referitoare la aplicabilitatea pentru tiinele sociale a metodelor tiinelor.
Alternativ, antropologia a generat studii etnografice i calitative. Distincia dintre aceste
metode este uneori formulat ca o distincie ntre, pe de o parte, explicaie i predicie, iar pe
de alt parte, ntre interpretare i nelegere. Eseul clasic al lui Clifford Geertz Thick
Description: Toward an Interpretive Theory of Culture din The Interpretation of Cultures
(1973) sintetizeaz ultima abordare i, n parte, definete stiina social interpretativ, unde
accentul nu este pus pe predicie, ci pe explicare.
Exist nc ntrebri valide n cercetarea social contemporan. Acestea includ: Care este
relaia dintre teorie i observare? Ar trebui ca cercettorii s aib o atitudine etic fa de
indivizii sau grupurile pe care le studiaz? Este aceast atitudine adecvat i n ce msur
aceasta compromite obiectivitatea cercettorilor? Aceste ntrebri, precum i altele formeaz o
parte din teoria i practica cercetrii sociale.
Metodele
La nceput a fost cercetarea, iar metodele de cercetare au dominat modul de realizare a
studiilor de evaluare. n timp ce muli teoreticieni ai evalurii au ngrijorri metodologice i
vd n cercetare doar un element al evalurii de program, un grup de teoreticieni a rmas

Evaluarea Proiectelor. Managementul Fondurilor Europene

19

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
statornic acestei orientri metodologice. n tiinele sociale i n psihologie, acest accent pus
pe cercetare depinde de studii experimentale bine proiectate. Fundamentale pentru aceste
teorii sunt lucrrile lui Donald Campbell (1957) i, n particular, volumul cel mai popular al
lui Campbell i Stanley (1966) care definete condiiile pentru a realiza studii experimentale i
cvasi exeprimentale adecvate.
Dintre teoreticienii orientrii pe metode de cercetare fac parte:

Ralph Tyler a activat n domeniul educaiei i a introdus clasificarea categorial a

obiectivelor de nvare, nevoia de a valida estimrile indirecte vis-a-vis de indicatorii
direci ai variabilelor de interes, conceptul evalurii formative, evaluarea orientat spre
decizie, teste pe criterii i obiective de referin etc. Mai mult, acesta a recunoscut c
scopul evalurii este de a valida ipotezele programului. Tyler a pus accentul pe formularea
obiectivelor i msurarea rezultatelor, iar punctul su de vedere este cunoscut sub
denumirea de evaluare orientat spre obiective. Abordarea lui se focalizeaz pe (a)
formularea obiectivelor de educare, (b) clasificarea acestor obiective n tipuri majore de
obiective, (c) definirea i rafinarea fiecrui tip de obiective n termeni de comportament,
(d) identificarea situaiilor n care se ateapt ca elevii s afieze acest tip de
comportament, (e) selectarea i ncercarea metodelor promitoare pentru obinerea
evidenelor privind fiecare tip de obiectiv, (f) selectarea pe baza testrii preliminare a
celor mai promitoare metode de apreciere pentru dezvoltare i mbuntire ulterioare i
(g) conceperea metodelor pentru interpretarea i utilizarea rezultatelor (Tyler, 1942, pp.
498-500). Madaus i Stufflebeam (1989) susin c Tyler a inventat termenul evaluarea
educaional n anii 1930 pentru a descrie propriile proceduri comparaia rezultatelor
ateptate declarate (denumite obiective) cu rezultatele reale (msurate)Teoreticieni
orientai spre obiective. Un numr de lucrri teoretice de mai trziu se bazeaz pe
punctele de vedere ale lui Tyler, cum sunt Metfessel i Michael (1967), Hammond (1973),
Popham (1973, 1975), Bloom, Englehart, Furst, Hill Krathwohl (1956) i Masia
(1964.Donald Campbell este recunoscut pentru eforturile sale n vederea eliminrii
subiectivismului din timpul realizrii cercetrii. Din perspectiva evalurii, cele mai
notabile lucrri sunt cele privind proiectrile experimentale i cvasi-experimentale pentru
cercetare (Campbell, 1957; Campbell & Stanley, 1966). Proiectrile experimentale sunt
nc vzute deseori ca standardul de aur al cercetrii n funcie de care sunt judecate
celelalte metodologii. Este de menionat c Campbell (1975) a scris lucrri indicnd

Evaluarea Proiectelor. Managementul Fondurilor Europene

20

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
adecvana potenial a unor metode calitative drept complement pentru metodele
cantitative experimentale, acestea fiind considerate utile pentru analizarea efectelor
secundare. n ciuda acestor incursiuni n lrgirea perspectivelor sale dincolo de abordrile
experimentale, Campbell este n primul rnd un experimentalist. Totui, punctele sale de
vedere au mbogit modul n care este realizat evaluarea.Edward Suchman a vzut
evaluarea ca o form de cercetare, genernd termenul de cercetare evaluativ. Suchman
ader la importana realizrii cercetrii evaluative ntr-un mod tiinific i citeaz nevoia
de a realiza proiectri experimentale i cvasi-experimentale. Motivul pentru care Suchman
nu este considerat cercettor, este faptul c acesta recunoate semnificaia contextului
administrativ. Acesta susine c cercettorul evaluativ, adiional recunoaterii criteriilor
tiinifice, trebuie s accepte criteriile administrative pentru determinarea utilitii
realizrii studiului. Suchman identific cinci categorii de evaluare: (1) evaluarea efortului
(cantitatea i calitatea activitii care are loc), (2) evaluarea performanei (criteriile
efectului ce msoar rezultatele efortului),(3) adecvana performanei (msura n care
performana este adecvat, raportat la volumul nevoilor), (4) eficiena (examinarea cilor
sau a metodelor alternative n termeni de resurse umane sau costuri monetare), i (5)
procesul (cum i de ce un program funcioneaz sau nu).

Thomas Cook a continuat dezvoltarea metodelor cvasi experimentale, punnd accentul pe

factorii de context. Cook a recunoscut de asemenea importana implicrii factorilor
interesai n momentul formulrii ntrebrii de evaluare.

Ribert Boruch susine c orice program, fie el social sau educaional, sau pentru
dezvoltare, trebuie s fie studiat ntr-o manier sistematic, utiliznd metode
experimentale pentru a colecta evidene valide i credibile.

Peter Rossi este binecunoscut pentru lucrrile sale n domeniul evalurii. Lucrrile
timpurii au avut la baz punctele de vedere ale lui Campbell privind proiectarea
experimental. Totui, Rossi a contribuit semnificativ la conceptualizarea evalurii
conduse de teorie i a evalurii comprehensive. Rossi a dezvoltat conceptul de evaluare
adaptat, pentru a obine o focalizare a evalurii, prin utilizarea unor metode adaptate
stadiului programului.

Huey-Tsyh Chen a influenat semnificativ dezvoltarea conceptului i practicii evalurii

conduse de teorie. Chen recunoate utilitatea metodelor experimentale pentru estimarea
efectului net al programului, ns atunci cnd nu este relevant niciun efect, Chen susine

Evaluarea Proiectelor. Managementul Fondurilor Europene

21

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
c aceste metode nu pot explica motivul eecului: legturile cauzale slab construite,
nivelele insuficiente de tratament sau slaba implementare. Evaluarea condus de teorie
implic construirea unei teorii detaliate a programului, care este apoi utilizat pentru a
ghida evaluarea.

Carol Weiss a fost influenat n lucrrile timpurii de metodologitii din cercetare,

teoreticienii n tiine politice i exponenii gndirii democratice. n scrierile ulterioare,
Weiss slbete accentul pus pe metodologiile experimentale, ns rmne insistent pentru
utilizarea cercetrii credibile din punct de vedere metodologic.

Lee J. Cronbach a contribuit semnificativ la dezvoltarea domeniului evalurii prin

coeficientul alfa, teoria generalizabilitii i noiuni deespre construcia validitii.

Aprecierea
Din trunchiul cercetrii sociale a crescut ramura evaluatorilor focalizai pe apreciere sau pe
emiterea judecilor de valoare. Teoreticienii acestei ramuri consider c ceea ce l face pe
evaluator mai aparte fa de ceilali cercettori este c acesta trebuie s ataeze o valoare la
propriile constatri i, n unele cazuri, s determine ce rezultate s examineze. Printre
teoreticienii acestei ramuri se numr:

Michael Scriven a definit ferm rolul evaluatorului n a face judeci de valoare. Atunci
cnd emite aceste judeci, evaluatorul trebuie s serveasc interesului public. Elementele
cheie ale emiterii judecilor de valoare sunt comparaiile, iar evaluatorul are
responsabilitatea identificrii alternativelor potrivite. Scriven a introdus o alternativ la
designul experimental, aa numita metod modus operandi, un lan causal caracteristic.
Scriven a pledat pentru aa numita evaluare fr obiectiv, evaluatorul asumndu-i
responabilitatea alegerii obiectivului de examinat.

Elliot Eisner are o abordare diferit de cea a lui Scriven, dar pune un accent la fel de mare
pe rolul evaluatorului de a aprecia sau de a emite judeci. Eisner consider c lucrurile
care conteaz nu pot fi msurate cantitativ. n acest sens, asemntor criticului de art,
evaluatorul trebuie s fie un cunosctor adevrat al domeniului (connoisseur).

Thomas Owens/Robert Wolf introduc modelul adversar de evaluare prin care se sprijin
diminuarea subiectivismului prin implicarea unor evaluatori cu puncte de vedere diferite.

Robert Stake a definit conceptual de evaluare senzitiv (responsive evaluation).

Componentele eseniale ale acestei evaluri sunt (a) credina c nu exist o valoare real
pentru nimic (aceasta depinde de context), (b) perspectivele factorilor interesai sunt

Evaluarea Proiectelor. Managementul Fondurilor Europene

22

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
elemente integrante ale evalurii i (c) studiile de caz sunt cele mai bune metode pentru a
prezenta punctele de vedere i valorile factorilor interesai i de a raporta rezultatele
evalurii.

Barry MacDonald consider evaluatorul drept un negociator al diverselor perspective ale

factorilor interesai.

Ernest House susine c, n esen, evaluatorii au rolul de purttori de cuvnt sau de

reprezentani ai celor sraci i lipsii de putere.

Egon Guba and Yvonna Lincoln vd stakeholderii ca primii ndreptii s fac

aprecieri.

Utilizarea
Aceast clas a teoriilor privete designul evalurilor desemnate s informeze procesul de
luare a deciziilor i schimbrii organizaionale. Printre teoreticieni se numr:

Daniel Stufflebeam a dezvoltat mpreun cu Guba modelul CIPP ca o abordare a

evalurii focalizate pe procesul de luare a deciziilor. Abordarea anim actorii interesai (de
obicei din poziii de decizie) pentru focalizarea evalurii i a face sigur faptul c evaluarea
adreseaz cele mai importante ntrebri.

Malcolm Provus consider evaluarea ca un process continuu de asistare a celor care

administreaz programul.

Joseph Wholey s-a focalizat pe utilizarea evalurii pentru mbuntirea managementului.

Michael Patton pune accentual pe procedurile care ntresc utilizarea evalurii.

Marvin Alkin respinge cu fermitate ca evaluatorii s aib rolul de emiteni ai judecilor

de valoare. n schimb, prefer s lucreze cu utilizatorii primari ai raportului de evaluare de
la nceputul procesului de evaluare, pentru a stabili sisteme de valori pentru aprecierea
potenialelor rezultate.

J. Bradley Cousins pledeaz pentru implicarea personalului programului n evaluare.

Hallie Preskill a fost preocupat de crearea nvrii transformaionale n cadrul unei

organizaii prin procesul de evaluare. nvarea transformaional se refer la procesul n
care indivizii, echipele i chiar organizaiile identific, examineaz i neleg informaia
necesar ndeplinirii obiectivelor acestora.

Jean King s-a focalizat pe aplicabilitatea modelelor de evaluare participativ.

John M. Owen consider c diferena dintre consultanii din domeniul dezvoltrii

organizaionale i evaluatori este discutabil. Acesta sprijin participarea stakeholderilor

Evaluarea Proiectelor. Managementul Fondurilor Europene

23

COALA NAIONAL DE STUDII POLITICE I ADMINISTRATIVE

2012-2013
n diversele stadii ale evalurioi, dar consider ce aceast implicare este mai critic n
timpul planificrii i negocierii evalurii.

David Fetterman a introdus conceptul de evaluare care capaciteaz, i anume, o abordare

de evaluare astfel proiectat nct s sprijine comunitile s-i evalueze propriile
performane.

Evaluarea Proiectelor. Managementul Fondurilor Europene

24