Evaluarea programelor n sectorul public

Evaluarea de programe trateaz o serie de aspecte de ansamblu a evoluiei domeniului

evalurii n Romnia, n contextul dezvoltrii paradigmei Noului Management Public. Att
procesul de pre-aderare, evoluiile care au urmat aderrii la Uniunea European,

ct i

tendina instituiilor publice spre un sistem de bugetare pe baz de programe, a nceput s

produc n ultimii ani efecte pozitive asupra dezvoltrii evalurii de programe la nivel
instituional, care au culminat cu nfiinarea Unitii Centrale de Evaluare n cadrul
Ministerului Finanelor Publice i cu lansarea Strategiei Naionale de Evaluare.
La baza Evalurii de programe ca domeniu de activitate n administraia public stau o serie
de reglementri, mai ales cele provenite dinspre Comisia European i care au n vederea
realizarea sistematic de evaluri pentru proiectele finante sau co-finanate din fonduri
comunitare.

Printre principalele teme, Evaluarea de programe propune:

Un scurt istoric al evalurii de programe

Definirea principalelor concepte

Tipuri i sisteme de evaluare

Metode de cercetare utilizate n evaluare

Evaluarea impactului social

Sisteme de indicatori

Concluzii. Relevana Evalurii de programe n contextul Administraiei publice din

Romnia

1. Un scurt istoric al evalurii de programe

Istoricul evalurii se refer la contextul n care a aprut necesitatea evalurii de programe
i a sistemului de bugetare pe baz de programe. Evaluarea a debutat ca un domeniu practic
i a devenit o disciplin recunoscut a cercetrii tiinifice ncepnd din anii 1960. (Grboan,
2006: 15) Mai exact, momentul istoric relevant pentru utilizarea masiv a evalurii poate fi
precizat n 1965, care a nsemnat startul masiv n Statele Unite a unor programe destinate
combaterii srciei (War on Poverty rzboi mpotriva srciei, denumirea general a setului
de programe) (andor, 2005: 73).

Evaluarea de programe face distincia ntre politic,

program i proiect toate acestea reprezentnd materii prime ale evalurii.

2. Definirea principalelor concepte

Definirea evalurii programelor este fcut din diferite perspective i se pune accentul pe
diferena ntre evaluare, monitorizare i audit. n opinia unuia dintre autorii clasici n
domeniul evalurii, Michael Quinn Patton, evaluarea este colectarea sistematic de informaii
despre activitile, caracteristicile i rezultatele programelor pentru a fi utilizate de anumite
personane cu scopul de a reduce nesiguranele, pentru a spori eficacitatea i a lua deciziile
oportune n legtur cu programele respective (Patton, 1986). Conform unor surse mai
recente, evaluarea proiectelor i programelor n administraia public este o etap specific,
extrem de util n planificarea i managementul proiectelor, o tehnic de cercetare i un
instrument pentru realizarea politicilor publice, utilizat cu succes de ctre responsabili de
managementul instituiilor i al organizatiilor, de coordonarea proiectelor i a programelor
derulate din fonduri publice sau private (Grboan, 2007a: 135). Evaluarea este realizat de
regul pornind de la sisteme de indicatori i criterii de evaluare, agreate n literatura de
specialitate.
3. Tipuri i sisteme de evaluare
Principalele tipuri de evaluare dezbtute n literatura de specialitate sunt: evaluarea
formativ, evaluarea sumativ, evaluarea reactiv i prestabilit, cea ex-ante, concomitent i
ex-post, etc. Avantajele i dezavantajele sistemului centralizat i ale celui descentralizat de
evaluare reprezint o problem extrem de important n Romnia, mai ales n contextul
implementrii Strategiei Naionale de Evaluare. n timp ce o centralizare excesiv imprim
lips de flexibilitate i induce lipsa discreiei administrative, descentralizarea poate atrage
dup sine lipsa coerenei, utilizarea deficitar a metodologiei, etc. Din acest motiv se opteaz
de cele mai multe ori pentru o soluie intermediar: nici centralizare, dar nici descentralizare
excesiv (Grboan, 2006:40)
n cadrul evalurii de programe, distincia ntre tipuri de evaluare, metode de evaluare i
tehnici de evaluare este foarte important. Metodele, ca i tipurile de evaluare, se selecteaz n
funcie de o serie de variabile precum: prioritile strategice i de cele ale prilor implicate,
de caracteristicile programului, stadiul de implementare al programului, de datele disponibile,
de stadiul evalurii, etc. Tendina pe plan internaional este de a utiliza concomitent mai multe
modele de evaluare. Studiile i rapoartele de evaluare trebuie s rspund att unor ntrebri
privind procesul, ct i unor ntrebri privind rezultatele; intereseaz n acelai timp efectele

economice i cele de impact social. Mai ales n cazul proiectelor finanate din bani publici,
tendina este de a utiliza modelele de evaluare care se concentreaz nu numai pe rezultate, ci
i pe efectele asupra beneficiarilor direci ai proiectelor (cetenii).
4. Metode de cercetare utilizate n evaluare
n evaluarea de programe sunt utilizate att metodele cantitative de cercetare, ct i cele
calitative. Paradigma multi-metod este, de asemenea, frecvent utilizat. Totodat, n acest
capitol sunt discutate probleme legate de eantionare i probleme legate de managementul
datelor. Un anumit grad de cuantificare este necesar n toate studiile de evaluare pentru a
aprecia succesul interveniilor i amploarea efectelor adverse. n acelai timp, metodele
calitative de cercetare sunt extrem de utile n rafinarea instrumentelor de cercetare i n
aprofundarea informaiei colectate. (Grboan, 2007b: 34) Selectarea metodelor de cercetare
care urmeaz a fi utilizate ntr-un studiu de evaluare se face n funcie de o serie de indicatori
cum ar fi: tipul programului, numrul beneficiarilor i dispersia lor geografic, nivelul de
finanare al evalurii, etc.

5. Evaluarea impactului social al programelor

Unul dintre principalele tipuri de evaluare este evaluarea impactului social al programelor.
Avnd n vedere inta ultim a deciziilor publice omul -, n mod firesc, analizele de impact
specifice domeniului public vor avea un design inspirat din metodologia specific tiinelor
socio-umane. ... La fel cum rezultatele analizelor n aceste domenii fundamenteaz o anumit
decizie (implementarea pe scar larg a schimbrii, necesitatea unor corecii aduse strategiei
de schimbare, modificarea tratamentului sau meninerea sa, etc.), rezultatele analizelor de
impact n sectorul public pot sta la baza deciziilor de modificare a unui proiect de lege, de
modificare a unor hotrri sau a unor proiecte, de extindere a aplicrii acestora sau de ncetare
a implementrii lor (Grboan, 2004: 34). Pentru impactul social s-a dezvoltat o metodologie
variat, n funcie de contextul socio-economic, cultural i organizaional n funcie de natura
interveniei, de variabilele care prezint interes, n funcie de bugetul disponibil, de
capacitatea de cercetare i de o serie de ali factori.
Metodologia de evaluare a impactului social const ntr-o serie de etape care se constituie, de
regul, ntr-un model. Principalele etape unui model de evaluare a impactului social se refer
la:

obiectivele studiului de impact social,

concluzii ale unor evaluri anterioare,

un sistem de indicatori pentru msurarea impactului social,

metodele de cercetare utilizate n evaluarea impactului social al programului,

colectarea datelor necesare,

interpretarea datelor,

precizarea tipului de impact (direct i indirect, pozitiv i negativ),

un plan de integrare a rezultatelor evalurii impactului social.

6. Sistemele de indicatori
Sistemele de indicatori reprezint o alt tem major n evaluarea de programe. Astfel, exist
diferite sisteme de indicatori. Printre cel mai frecvent folosii sunt: indicatorii de eficien,
indicatorii de eficacitate, indicatorii de performan, indicatorii de relevan, indicatorii de
sustenabilitate, indicatorii de impact net, indicatorii programului i indicatorii de context,
indicatorii de resurse, indicatorii de output, indicatorii de rezultat i indicatorii de impact.
Comisia European propune o clasificare complex a indicatorilor (Comisia European,
1995). Dintre criteriile propuse n aceast clasificare, cele mai relevante sunt:

Dup informaiile vizate:

a. Indicatori de context
b. Indicatori ai programului

n funcie de etapele specifice din desfurarea programului:

a. Indicatori de resurse
b. Indicatori de output
c. Indicatori de rezultat
d. Indicatori de impact

Dup principalele criterii de evaluare, indicatorii se mpart n:

a. Indicatori de eficien
b. Indicatori de eficacitate
c. Indicatori de performan

d. Indicatori de relevan
e. Indicatori de sustenabilitate
f. Indicatori de impact net

n continuare, vom prezenta cteva exemple concrete de indicatori din categoriile menionate
anterior:
n cazul unui program de reconversie profesional, adresat omerilor i avnd ca obiectiv
principal organizarea de cursuri de specializare n domeniul construciilor de imobile pot fi
relevante urmtoarele categorii de indicatori:

Tipul

Exemple de indicatori

indicatorilor
1.indicatori
de resurse

Resurse umane:

Angajai temporari n echipa de implementare a proiectului

(numr angajai x umr luni de activitate)

Numrul institutiilor implicate n acordarea de asisten

beneficiarilor

Numrul de consultani mobilizai pentru a acorda consultan

beneficiarilor

Resurse financiare:

Rata de absorbie a bugetului (% din fondurile alocate)

% din buget destinat msurilor de protectie a mediului

% din buget alocat aciunilor de promovare a sectorului de

servicii

% din buget alocat publicitii proiectului

2. Indicatori Nivelul implementrii:

de output

numrul obiectivelor ndeplinite/ % din obiective

respectarea calendarului (%)

numrul de omeri instruii

Atragrea i selecia beneficiarilor

% din beneficiari care aparin grupurilor prioritare (omeri de

lung durat, persoane cu grad redus de colarizare)

% din beneficiari provenii din zone dezavantajate

Servicii finanate prin program:

Numrul omerilor care au beneficiat de training

Numrul de ore de training furnizate

Numrul orelor de consiliere furnizate (dac este cazul)

3. Indicatori Satisfacia beneficiarilor

de rezultat

Numrul beneficiarilor multumii i foarte mulumiti de training i

% din totalul beneficiarilor

Utilizarea cunotintelor dobndite

Numrul beneficiarilor angajai n firme de construcii de imobile

4. Indicatori Succesul pe termen lung

de impact

Rata angajrii (%din beneficiari care au reuit s se angajeze n

domeniu) la un an dup finalizarea cursului

Perspectiva beneficiarilor

Valoarea adugat ( e.g. venitul beneficiarilor n euro/an/angajat)

la un an dup finalizarea cursului.

Sursa: Raluca Grboan, (2007c) METODE DE CERCETARE UTILIZATE N EVALUARE, Revista

Transilvan de tiine Administrative, 1 (19)/2007, pp. 34-42

Pentru un program de construcie a unei autostrzi, pot fi msurai urmtorii indicatori:

1.indicatori

Numrul de kilometri construii

de eficacitate

Vilumul traficului de marf i persoane

Creterea vitezei de deplasare

Costul unui km de autostrad

de eficien

Costul pentru un beneficiar

3.

Gradul de acoperire a nevoilor (%)

2.

Indicatori

Indicatori

de relevan
4.

Indicatori

de

Costul intreinerii raportat la venitul din taxa perceput pentru

tranzit.

sustenabilitate
5.

Indicatori

de impact net

Creterea costului propriettilor imobiliare din zon

Creterea/ dezvoltarea serviciilor

Creterea ocuprii forei de munc

Creterea polurii (aer, ap, sol)

Sursa: Raluca Grboan, (2007c) METODE DE CERCETARE UTILIZATE N EVALUARE, Revista

Transilvan de tiine Administrative, 1 (19)/2007, pp. 34-42

Alturi de aceti indicatori, n funcie de situaiile concrete, pot fi relevani i muli alii. Un
sistem complex de indicatori asigur o msurare ct mai exact a succesului proiectelor sau
programelor evaluate.
7. Concluzii. Relevana Evalurii de programe n contextul Administraiei publice
din Romnia
n prezent, administraia public din Romnia pune bazele unei culturi i ale unei
capaciti coerente de evaluare. Aceste eforturi au nceput odat cu nfiinarea Unittii
Centrale de Evaluare (actualmente ACIS) i cu lansarea Strategiei Naionale de Evaluare n
2006.
Conform unor serii de cercetri realizate (Malan, 2004, Curley, Perianu 2006, Grboan,
2007d) instituiile publice din Romnia nu beneficiaz nc de o capacitate de evaluare
dezvoltat ns exist cu certitudine o promisiune n acest sens. La nivelul administraiei
publice romneti, dezvoltarea unei culturii aunei capaciti de evaluare impune realizarea
ctorva schimbri la nivel legislativ, instituional i la nivelul resurselor umane. Modificrile
necesare la nivel legislativ se refer, printre altele, la: instituirea obligativitii ca instituiile
administraiei publice romneti s realizeze evaluri sistematice i pentru activitile
operaionale, i nu doar pentru cele realizate n cadrul programelor finanate de ctre Uniunea
European.
La nivel instituional, ar trebui construit i dezvoltat capacitatea de evaluare intern, n
funcie de specificul fiecrei instituii. Crearea capacitii interne de evaluare impune
respectarea a dou condiii: asigurarea infrastructurii i specializarea resursei umane n

domeniul evalurii. Actualmente exist un numr foarte redus de specialiti n evaluarea de

programe. Majoritatea contractelor de evaluare licitate sunt realizate nc prin expertiz
strin. Prin urmare, pregtirea de specialiti n domeniul evalurii reprezinmt una dintre
priorittile strategice n vederea fundamentrii unei capacitti de evaluare solide la nivelul
administraiei publice din Romnia.
O alt arie a administraiei publice, n care evaluarea de programe i gsete o
aplicabilitate extins este procesul de luare a deciziilor .La nivel internaional, evaluarea este
utilizat la scar larg in managementul public (Results-Based Management and ResultsBased Reporting) (Antonie, 2011). Succesul reformei administraiei publice este condiionat
de dezvoltarea capacittii i a culturii de evaluare. Astfel pot fi evitate o serie de decizii i
activitti cu consecine nedorite sau pierderi financiare semnificative. Actualmente,
administraia public din Romnia traverseaz o perioad important i necesar de schimbare
a mentalitii n privin evalurii de programe: se face trecerea de la evaluarea - control cu
riscul unor sanciunila evaluarea ca proces constructiv de mbuntire permanent a
managementului administratiei publice.

Bibliografie
1. Antonie, Raluca (2011): THE ROLE OF PROGRAM EVALUATION IN THE
DECISION-MAKING PROCESS, Transylvanian Review of Administrative Sciences,
33 E/2011, pp. 23-29
2. Curley, Hilary,

Eugen Perianu (2006): Assessment of the Evaluation Culture in

Romania,
http://static.anaf.ro/static/10/Mfp/evaluare/Assessment_Romanian_Eval_CultureEN.p
df (accessed on February, the 07th, 2012).
3. European Commission (1995): Common Guidelines for Monitoring and Evaluation,
Luxembourg: OPOCE
4. Grboan, Raluca (2004): ANALIZA DE IMPACT N SECTORUL PUBLIC, Revista
Transilvan de tiine Administrative, 1(10), 2004, pp. 34-38
5. Grboan, Raluca (2006):

Metode utilizate n evaluarea programelor: analiza

impactului social, Editura Accent, Cluj Napoca, 2006, 202 pg

6. Grboan, Raluca (2007a): EVALUAREA PROGRAMELOR, Transylvanian Review of

Administrative Sciences, 1(19)/2007, pp. 134-144
7. Grboan, Raluca (2007b): METODE DE CERCETARE UTILIZATE N EVALUARE,
Revista Transilvan de tiine Administrative, 2 (20)/2007, pp. 33-51
8. Grboan,

Raluca

MONITORIZARE:

(2007c):

INDICATORI

INDICATORII

SOCIALI,

UTILIZAI
Revista

EVALUARE

Transilvan

de

tiine

Administrative, 1 (19)/2007, pp. 34-42

9. Grboan, Raluca (2007d): EVALUATION CULTURE AND CAPACITY IN
ROMANIAN PUBLIC INSTITUTIONS AT REGIONAL AND LOCAL LEVEL,
Transylvanian Review of Administrative Sciences, 21 E/2007, pp. 47-60
10. Malan, Jack (2004): Benchmarking Evaluation Capacity in the New Member States,
Centre for Strategy and Evaluation Services.
11. Patton, Michael Quinn (1986): Utilization-focused evaluation, ediia a doua, Newbury
Park, CA, SAGE Publications,
12. andor, Sorin Dan (2005): Analiz i Cercetare n Administraia Public, Ed. Accent,
Cluj-Napoca