Sunteți pe pagina 1din 171

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE

Cel de-al treilea ciclu de msurare

Acord Cadru pentru Evaluarea Instrumentelor Structurale n perioada 2011-2015


Lot 2 Dezvoltarea Capacitii de Evaluare
Contract Subsecvent nr. 1/45/12 din 18.04.2012

Examinarea culturii de evaluare, cod SMIS 43465

Ministerul Fondurilor Europene

Raport de msurare a culturii de evaluare din Romnia


n contextul Politicii de Coeziune a UE
Al treilea ciclu de msurare
Septembrie 2014

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Fia de control al datelor


Elaborat de:
Ernst & Young

Aprobat de:
Claudia Gallo, Lider de Echip, Ernst & Young
Data:
29.09.2014
Versiunea:

Versiunea 2

Modificri:
Versiunea

Data

06.08.2014

29.09.2014

Sumarul modificrilor

Va fi aprobat de:
Dna. Mihaela Toader, Director General al Direciei Generale Analiz, Programare
i Evaluare

Inclus n Lista de Distribuie:


Nume

Funcie

Diana Iacob

Manager de Contract

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Cuprins
LISTA TABELELOR I A FIGURILOR

LISTA DE ACRONIME

SUMAR EXECUTIV

CAPITOL 1

1.1.
1.2.
1.3.
1.4.
1.5.
CAPITOL 2

INTRODUCERE
CONTEXTUL PROIECTULUI
DEFINIIA CULTURII DE EVALUARE I DIMENSIUNILE SALE
REZULTATELE PRIMEI MSURRI ANUALE
REZULTATELE CELEI DE A DOUA MSURRI ANUALE
CONINUTUL RAPORTULUI
CEA DE-A TREIA MSURARE ANUAL A CULTURII DE EVALUARE

2.1.
METODOLOGIA REVIZUIT
2.2.
REZULTATE LA NIVELUL ICE, DIMENSIUNI I CRITERII
2.2.1.
Rezultate generale la nivelul dimensiunilor
2.2.2.
Rezultate la nivelul criteriilor
2.2.3.
Rezultatele la nivelul sub-criteriilor i indicatorilor
2.3.
REZULTATE LA NIVELUL PROGRAMELOR OPERAIONALE
2.4.
COMPARAREA REZULTATELOR CELOR TREI CICLURI DE MSURARE
CAPITOL 3
3.1.
3.2.
3.3.
3.4.
3.5.
CAPITOL 4

9
11
14
15
16
17
17
19
19
20
21
31
32

ANALIZA DMI 1.2 EVALUARE DIN CADRUL POAT

42

PREZENTAREA GENERAL A METODOLOGIEI


IMPACTUL DMI 1.2 ASUPRA ICE, DIMENSIUNI I CRITERII
REZULTATELE LA NIVEL DE CRITERII
REZULTATELE LA NIVEL DE SUB-CRITERII I INDICATORI
COMPARAREA REZULTATELOR CELOR TREI CICLURI DE MSURARE

42
42
43
44
51

CONCLUZIILE I RECOMANDRI GENERALE

ANEXE

52
60

ANEXA 1 DOCUMENTE ANALIZATE


61
ANEXA 2 RAPOARTE DE EVALUARE PLANIFICATE PRIN PME I DISPONIBILITATEA ACESTORA N CADRUL BIBLIOTECII DE EVALUARE
66
ANEXA 3 CHESTIONAR PRINCIPAL DISTRIBUIT MEMBRILOR PANELULUI DE CERCETARE PRIN INTERMEDIUL INSTRUMENTULUI SONDAJ
ELECTRONIC
76
ANEXA 4 NUMRUL RESPONDENILOR LA SONDAJUL ELECTRONIC
88
ANEXA 5 CHESTIONAR DE ANALIZ COMPARATIV INTERNAIONAL
89
ANEXA 6 FOCUS GRUP CU ASOCIAIA PENTRU DEZVOLTAREA EVALURII DIN ROMNIA (ADER)
90
ANEXA 7 FOCUS GRUP DE VALIDARE PENTRU REZULTATELE EXERCIIILOR PRELIMINARE DE MSURARE
91
ANEXA 8 EVENIMENTUL DE DISEMINARE
93
ANEXA 9 FI DE DATE PRIVIND EVALUAREA IMPACTULUI REGLEMENTRILOR (EIR)
95
ANEXA 10 METODOLOGIA DE PUNCTARE PENTRU ICE
99
ANEXA 11 METODOLOGIA DE PUNCTARE PENTRU IMPACTUL DMI 1.2
135

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Lista tabelelor i a figurilor


Figura 1 Cadrul privind Indicele de Msurare a Culturii de Evaluare
17
Figura 2 - Indexul general i rezultatele la nivelul dimensiunilor
20
Figura 3 Rezultatele culturii de evaluare la nivelul criteriilor de msurare
20
Figura 4 Structura evalurii, la nivelul sub-criteriilor
22
Figura 5 Resurse Financiare i Umane alocate Evalurii, la nivel de sub-criterii
23
Figura 6 Calitatea sistemului de monitorizare, la nivelul sub-criteriilor
23
Figura 7 Eficiena i eficacitatea funciei de evaluare, la nivelul sub-criteriilor
24
Figura 8 Disponibilitatea i fiabilitatea datelor socio-economice, la nivelul sub-criteriilor
25
Figura 9 Disponibilitatea i calitatea expertizei n domeniul evalurii, la nivelul sub-criteriilor
26
Figura 10 Utilizarea rezultatelor evalurii, la nivelul sub-criteriilor
27
Figura 11 Reele, la nivelul sub-criteriilor
29
Figura 12 Societatea civil i mass media, la nivelul sub-criteriilor
30
Figura 13 Rezultatele la nivelul Programelor Operaionale
31
Figura 14 Punctajul obinut aferent ICE comparaia ntre primul i al doilea ciclu de msurare anual 32
Figura 15 Punctajul ICE obinut pentru criteriul nr. 1 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
33
Figura 16 Punctajul ICE obinut pentru criteriul nr. 2 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
33
Figura 17 Punctajul ICE obinut pentru criteriul nr. 3 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
34
Figura 18 Punctajul ICE obinut pentru criteriul nr. 4 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
35
Figura 19 Punctajul ICE obinut pentru criteriul nr. 5 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
36
Figura 20 Punctajul ICE obinut pentru criteriul nr. 6 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
36
Figura 21 Punctajul ICE obinut pentru criteriul nr. 7 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
37
Figura 22 Punctajul ICE obinut pentru criteriul nr. 8 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
37
Figura 23 Punctajul ICE obinut pentru criteriul nr. 9 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
38
Figura 24 Punctajul ICE obinut pentru criteriul nr.10 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
38
Figura 25 Punctajul ICE obinut pentru criteriul nr.11 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
39
Figura 26 Punctajul ICE obinut pentru criteriul nr.12 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
39
Figura 27 Punctajul ICE obinut pentru criteriul nr.13 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
40
Figura 28 Punctajul ICE obinut pentru criteriul nr.14 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
40
Figura 29 Punctajul ICE obinut pentru criteriul nr.15 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
41
Figura 30 Punctajul ICE obinut pentru criteriul nr.16 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
41
Figura 31 Impactul general al DMI 1.2, la nivel de dimensiuni
43

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Figura 32 Impactul DMI 1.2, la nivelul criteriilor


Figura 33 Structura evalurii: impactul DMI 1.2
Figura 34 Resursele financiare i umane alocate Evalurii: impactul DMI 1.2
Figura 35 Calitatea sistemului de monitorizare: impactul DMI 1.2
Figura 36 Eficiena i eficacitatea funciei de evaluare: impactul DMI 1.2
Figura 37 Disponibilitatea i calitatea expertizei n domeniul evalurii: impactul DMI 1.2
Figura 38 Utilizarea rezultatelor evalurii: impactul DMI 1.2
Figura 39 Societatea civil i mass media: impactul DMI 1.2
Figura 40 Scor DMI 1.2 - comparaie ntre ciclurile de msurare la nivel de dimensiune
Figura 41 Structura tabelului cu concluzii i recomandri
Figura 42 Numrul respondenilor la sondajul electronic
Figura 43 - Ciclul aferent politicilor de reglementare i instrumente de reglementare optimizate

43
44
45
45
46
47
48
50
51
52
88
98

Tabel 1 Cultura de Evaluare i Capacitatea de Evaluare: elemente principale


Tabel 2 ICE: surse de informaii
Tabel 3 Criteriile Cele mai Performante i cele Mai Puin Performante
Tabel 4 Impactul DMI 1.2: surse de informaii
Tabel 5 Concluzii aferente msurrii anuale i recomandri pentru mbuntire
Tabel 6 Etape analitice privind Analiza Impactului de Reglementare

12
19
21
42
53
96

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Lista de Acronime
AM

Autoritatea de Management

AP

Acordul de Parteneriat

CCE

Comitetul de Coordonare a Evalurii

CE

Comisia European

CSNR

Cadrul Strategic Naional de Referin

DMI

Domeniul Major de Intervenie

EIR

Evaluarea Impactului Reglementrilor

FESI

Fondurile Europene Structurale i de Investiii

FSE

Fondul Social European

GLE

Grupul de Lucru pentru Evaluare

ICE

Indexul de msurare a culturii de evaluare

ntrebarea de Evaluare

INS

Institutul Naional de Statistic

M&E

Monitorizare i Evaluare

MFE

Ministerul Fondurilor Europene

OI

Organisme Intermediare

ONG

Organizaie neguvernamental

PO

Programul Operaional

UCE

Unitatea Central de Evaluare

UE

Uniunea European

UM

Unitate de Msur

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Sumar Executiv
Acest raport a fost ntocmit de Ernst & Young i prezint rezultatele celei de a treia msurtori anuale
privind diseminarea culturii de evaluare n cadrul Sistemului Instrumentelor Structurale din Romnia i
evaluarea impactului Domeniului Major de Intervenie 1.2 Evaluare al Programului Operaional Asisten
Tehnic n sprijinirea procesului de diseminare a culturii de evaluare.
Nivelul actual de diseminare a culturii de evaluare este msurat cu ajutorul indicatorilor, criteriilor i subcriteriilor care sunt grupate n 4 dimensiuni (cererea de evaluare, oferta de evaluare, diseminarea
/utilizarea rezultatelor evalurii, instituionalizarea culturii de evaluare).
Cea de-a treia msurare anual a evideniat un nivel corespunztor de diseminare a culturii de evaluare
cu o medie de realizare a Indicelui de Msurare a Culturii de Evaluare obinut pe baza tuturor indicatorilor
de 59% din 100%.
Mai exact, n ceea ce privete cererea de evaluare, analiza arat c, n general, aceast dimensiune
nregistreaz performane bune (57%), dei uor mai reduse dect cele aferente ofertei de evaluare
(63%). Cu privire la criterii:

Structura sistemului de evaluare (criteriul 1) are o rat de realizare peste medie, datorit bunei
coordonri a responsabilitilor de evaluare;
Resursele umane alocate evalurii sunt suficiente, dar se mai mbunti nivelul de resurse financiare
alocate (criteriul 2). Programele Operaionale au alocat, n medie, 0,12% din buget evalurii;
Calitatea sistemului de monitorizare este considerat corespunztoare, acesta furniznd informaii n
timp util (criteriul 3);
Exist planuri de evaluare i proiecte de evaluare gestionate eficient de ctre Comitetele de
Coordonare a Evalurii stabilite la nivel de Program, precum i standarde de evaluare conforme cu
cerinele Uniunii Europene i proceduri operaionale pentru conceperea, implementarea i utilizarea
rezultatelor evalurii (criteriul 4);
Datele socio-economice sunt disponibile n timp util, dei micro-datele de la nivel de beneficiar sunt
disponibile doar parial (criteriul 5);
Companiile naionale i internaionale ce furnizeaz servicii de evaluare i sunt prezente pe piaa din
Romnia dein expertiza tematic i metodologic necesar. Beneficiarii i Comitetele de Coordonare
a Evalurii joac un rol important n optimizarea calitii rapoartelor de evaluare prin utilizarea
grilelor de evaluare a calitii (criteriul 6);

Dei aceste criterii nregistreaz n general performane bune, analiza indic faptul c exist arii care pot fi
mbuntite. Analiznd perioada de programare 2014-2020, sunt formulate urmtoarele Recomandri:

R.1
R.2
R.3
R.4
R.5
R.6

R.7

R.8

Modul de mbuntire a capacitii de evaluare


Asigurarea disponibilitii resurselor pentru a sprijini activitile conform Indexului de msurare a Culturii de
Evaluare;
Asigurarea continuitii rolului Unitii Centrale de Evaluare
Planificarea noilor cicluri de msuri cu intervale adecvate pentru a reda impactul aciunilor Programul
Operaional Asisten Tehnic;
Realizarea unui studiu comparativ internaional cu privire la aspectele organizatorice aferente funciei de
evaluare.
Identificarea indicatorilor afereni perioadei 2007-2013 care vor fi utilizai n perioada 2014-2020 i evaluarea
fiabilitii i coerenei Programelor Operaionale i a ariilor care necesit optimizri.
Structurarea i animarea Grupurilor de Lucru pentru Evaluare cu accent asupra temelor specifice i
actualizarea periodic a documentelor aferente evalurii.
Realizarea unui proiect n colaborare cu Institutul Naional de Statistic pentru conceperea unei valori de baz
statistice pentru analizele contrafactuale i analiza informaiilor necesare pentru conceperea indicatorilor
socio-economici care vor fi utilizai pentru a putea evalua impactul.
Asigurarea complementaritii cu Programul Operaional Capitalul Uman pentru finanarea opiunilor de
formare i instruire n domeniul evalurii pentru oferta de evaluare.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Dimensiunea sistemului de evaluare referitoare la diseminarea i utilizarea rezultatelor evalurii


nregistreaz de asemenea performane adecvate (65%). Pe de-alt parte, instituionalizarea culturii de
evaluare este dimensiunea care nregistreaz cele mai slabe performane (49%). La nivelul criteriilor:

Rapoartele de evaluare sunt disponibile publicului, fiind organizate dezbateri publice pentru
prezentarea i discutarea rezultatelor evalurii i existnd o tendin pozitiv n organizarea
evenimentelor de diseminare la scar larg pentru prezentarea rezultatelor evalurii (criteriul 7);
Exist proceduri eficace pentru ncurajarea utilizrii rezultatelor evalurii i aciuni de monitorizare
(follow-up) privind implementarea recomandrilor de evaluare (criteriul 8);
Evaluarea este considerat a fi un element important al succesului instituional, dac principiul
independenei este clar neles i respectat (criteriul 9);
Prevederile legale ale Uniunii Europene au fost transpuse n cadrul legal din Romnia (criteriul 10),
care reglementeaz activitile de evaluare i stipuleaz cerine suplimentare privind elaborarea
planurilor multi-anuale de evaluare. Exist totui elemente ale cadrului legal din Romnia care
limiteaz evaluarea (ex. normele privind achiziiile publice, ordonane naionale referitoare la
angajarea personalului i reglementri cu privire la eligibilitatea cheltuielilor);
Calitatea/expertiza resurselor umane implicate n activitile de evaluare (criteriul 11) este peste
media Indexul de msurare a Culturii de Evaluare, cu prezena unor susintori ai procesului de
evaluare att la nivel de PO, ct i la nivelul Cadrul Strategic Naional de Referin;
Numrul evalurilor iniiate ca rspuns la nevoia de cunoatere este mai sczut dect n alte state
membre (criteriul 12). Se pot aduce mbuntiri la nivelul culturii de evaluare n rndul entitilor de
formulare a politicilor din domeniu, chiar dac proiectele de dezvoltare a capacitii finanate n
cadrul Domeniului Major de Intervenie 1.2 vizeaz deja acest obiectiv;
Contribuia organizaiei naionale a evaluatorilor la diseminarea bunelor practici (criteriul 13), ct i
gradul de participare a societii civile la activitile legate de evaluare i numrul evenimentelor
publice organizate anual (criteriul 14) sunt considerate a fi mai degrab reduse;
Indicatorii care compun indicele de guvernare dezvoltat de Banca Mondial poziioneaz Romnia
peste media celor mai muli indicatori n ceea ce privete eficacitatea guvernanei (criteriul 15);
Nivelul de participare a funcionarilor publici (alii dect cei dedicai evalurii) n cadrul activitilor de
evaluare poate fi mbuntit, la fel i disponibilitatea opiunilor de formare existente pe pia (n
special cele oferite de mediul academic) i nivelul de internalizare a evalurii de ctre factorii
instituionali interesai (criteriul 16);

Au fost identificate anumite arii care necesit mbuntiri, n acest scop fiind formulate urmtoarele
recomandri:
R.6
R.7
R.8
R.9

R.10

R.11
R.12

Modul de mbuntire a culturii de evaluare


Sprijin pentru efectuarea unui studiu destinat identificrii celor mai adecvate forme de comunicare ctre factorii
interesai din domeniul Instrumentelor Structurale;
Includerea n continuare n cadru proiectelor de evaluare a unor evenimente de comunicare ample i publicarea
rezultatelor evalurii n baza de date aferent bibliotecii de evaluare;
Discutarea periodic n cadrul Grupurilor de Lucru pentru Evaluare a recomandrilor de monitorizare (followup);
Derularea n continuare a activitilor de comunicare destinate n special factorilor care formuleaz politici
publice i societii civile
Asigurarea complementaritii cu Programul Operaional Capitalul Uman pentru finanarea opiunilor de
formare i instruire n domeniul evalurii pentru partea de cerere i aciuni de dezvoltare a capacitii pentru
mediul academic
sprijinirea organizrii unei conferine internaionale viznd schimburi de experien privind Impactul
rezultatelor evalurii asupra procesului de formulare a politicilor publice
Sprijinirea unor proiecte pilot privind Evaluarea Impactului Reglementrilor.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Capitol 1

Introducere

1.1. Contextul proiectului


Proiectul Examinarea culturii de evaluare este finanat prin intermediul Programului Operaional
Asisten Tehnic (POAT), n cadrul Acordului-cadru pentru evaluarea Instrumentelor Structurale n
perioada 2011-2015 - Lotul 2 Dezvoltarea Capacitii de Evaluare. Valoarea total a contractului este de
1.023.868 RON, inclusiv cheltuielile incidentale.
Beneficiarul proiectului este Unitatea Central de Evaluare din cadrul Ministerului Fondurilor Europene, iar
acordul-cadru mai sus menionat face parte din proiectele finanate n cadrul DMI 1.2 al Programului
Operaional Asisten Tehnic, pentru optimizarea modului de dezvoltare a unei culturi comune de
evaluare.
Echipa de implementare include experi cu experien relevant n domeniul evalurii politicilor i
programelor finanate din fonduri UE i sisteme de management al informaiei pentru Instrumentele
Structurale.
Lider echip
Claudia Gallo
Expert Cat I

Experi Cat II

Echipa de
implementare

Christina Castella

Maria A. Giorgi

Laura Trofin

Experi Cat III


Giovanna Galasso

Valentina Parziale

Michele Scataglini

Sofia Ionescu

Ideea proiectului deriv din exerciiul de evaluare intermediar a POAT, finalizat n septembrie 2010,
conform cruia conceptul de cultur de evaluare din Romnia nu este adaptat specificitilor
Instrumentelor Structurale i, astfel, se impune dezvoltarea unui mecanism de monitorizare prin care s
se poat msura i estima gradul de dezvoltare a culturii de evaluare aferente Instrumentelor Structurale,
att din perspectiv calitativ, ct i cantitativ.
Obiectivul general al proiectului este de a contribui la mbuntirea calitii, eficienei i coerenei DMI
1.2 Evaluare al POAT prin dezvoltarea unui mecanism de monitorizare prin care s se poate aprecia
msura n care a fost atins obiectivul acestui domeniu major de intervenie, i anume, dezvoltarea unei
culturi comune de evaluare n cadrul sistemului de management al Instrumentelor Structurale, att n
termeni cantitativi, ct i calitativi.
Obiectivul specific al acestui contract subsecvent este de a susine Unitatea Central de Evaluare (UCE) i
AM POAT pentru:

Dezvoltarea conceptului de evaluare adaptat particularitilor fondurilor UE i Politicii de


Coeziune a UE n Romnia;

Investigarea teoriei care st la baza strategiei DMI 1.2 a POAT i semnalarea oricrei probleme
n design-ul sau implementarea acestui DMI;

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Dezvoltarea unei metodologii pentru monitorizarea regulat a dezvoltrii culturii de evaluare i


stabilirea panelului de cercetare;

Msurarea anual a progresului culturii de evaluare.

n cadrul proiectului, Echipa de Evaluare a realizat msurarea gradului de diseminare a Culturii de Evaluare
n cadrul Sistemului Instrumentelor Structurale din Romnia i monitorizarea progresului aferent prin trei
cicluri de msurare anual n perioada 18.04.2012 - 17.10.2014. n graficul de mai jos sunt ilustrate
activitile derulate de ctre Echipa de Evaluare i contribuia acesteia la realizarea obiectivelor
proiectului:

Progresul proiectului a fost monitorizat prin intermediul a 5 Rapoarte Intermediare:


Raportul Intermediar 1 (cu privire la primul ciclu de evaluare): inclus n anexa document
metodologic i raportul de msurare pentru primul ciclu de evaluare
Raportul Intermediar 2 (cu privire la al doilea ciclu de evaluare): inclus n anexa document
metodologic i raportul de msurare pentru al doilea ciclu de evaluare
Raportul Intermediar 3 (cu privire la al doilea ciclu de evaluare): inclus n anexa document
metodologic i raportul de msurare pentru al doilea ciclu de evaluare
Raportul Intermediar 4 (cu privire la al treilea ciclu de evaluare): inclus n anexa document
metodologic i raportul de msurare pentru al treilea ciclu de evaluare
Raportul Intermediar 5 (cu privire la al treilea ciclu de evaluare): inclus n anexa document
metodologic i raportul de msurare pentru al treilea ciclu de evaluare
Primul ciclu de msurare a fost finalizat cu aprobarea Raportului privind Prima Msurare Anual n luna
februarie 2013. Al doilea ciclu de msurare a fost finalizat cu aprobarea Raportului privind Cea de-a Doua
Msurare Anual n luna noiembrie 2013. Prezentul document, Raportul privind Cea de-a Treia Msurare
Anual, prezint rezultatele celui de al treilea ciclu de evaluare, precum i concluziile generale ale
ntregului proiect.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

10

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

1.2. Definiia Culturii de Evaluare i dimensiunile sale


Analiza literaturii de specialitate referitoare la conceptul de cultur de evaluare a relevat o serie de
aspecte, evideniate de toate sursele documentare analizate. Conceptul de cultur de evaluare deriv de
cele mai multe ori din:

scopurile principale ale evalurii, de ex. responsabilizare i nvare

corelri strnse ale conceptelor de cultur de evaluare, capacitatea administrativ general a


unei ri i maturitatea democraiei instituite n ara respectiv, elemente ce se regsesc n
ultimii ani n conceptul de bun guvernare (ex. mediul sistemului de evaluare)

Mai multe surse identific niveluri de maturitate ale culturii de evaluare i dezbat influena aporturilor
endogene vs. exogene asupra acesteia. n general, se specific faptul c aceast cultur de evaluare este
mai solid n statele n care a fost generat de jos n sus. Totui, aportul extern, n special cel aferent
Politicii de Coeziune a UE, a avut un impact important, mai puternic n statele din Europa de Sud, Central
i de Est.
Aa cum rezult din analiza literaturii de specialitate, este clar indicat faptul c respectiva cultur de
evaluare este construit ca urmare a contribuiei simultane a unor factori interni i/sau externi, iar
aceast construcie este un proces incremental, n cadrul cruia susintorii evalurii sunt adesea
factorul determinant pentru impulsionarea procesului.
Anumite surse sub-sumeaz conceptul de cultur celui de capacitate (CE, US GAO Oficiul de Rspundere
Guvernamental), n timp ce literatura academic le prezint ca nefiind incluse unul n cellalt ci, mai
degrab, susinndu-se reciproc. Totui, dilema oul i gina (de unde trebuie s nceap/ncepe sistemul,
de la cultur sau de la capacitate) este abordat ntr-o manier relativ limitat, De Peuter i Pattyn
fiind o excepie n acest sens.
Nu se poate realiza o delimitare clar ntre cele dou concepte; mai mult dect att, dincolo de utilizarea
alternativ a acestora, exist n literatur numeroase alte concepte fr ca acestea s fie clar definite,
precum sistem, politic, practic, proces, proceduri, capabiliti de evaluare i chiar
inovare, ns acestea sunt utilizate cu sensuri diferite.
Dei s-a acordat o atenie deosebit surselor disponibile dup 2008, nu au fost identificate modificri
majore n definirea i utilizarea celor dou concepte comparativ cu cadrul de referin realizat de Comisia
European acest document fiind n mare msur nc valid.
n concluzie, conform literaturii de specialitate, definiiile termenilor, furnizate de ctre De Peuter i
Pattyn (2008) par a fi cele mai clare i mai uor de utilizat:

Cultura de evaluare este un model de convingeri i valori mprtite att de decideni politici
ct i de evaluatori, care i nzestreaz pe acetia cu un set de reguli de conduit ce i ghideaz
ctre o practic de evaluare1;

Capacitatea de evaluare este asociat unor aspecte mai operaionale i unor componente
care sunt considerate necesare pentru realizarea evalurii. n acest sens, capacitatea de
evaluare este strns legat de practica de evaluare. Ambele fac referire la aspecte legate de
personal, precum i la faciliti tehnice i instrumente care sprijin evaluarea.

Fr a ncerca replicarea/dublarea efortului fcut de De Peuter i Pattyn, pentru a atinge obiectivul


general al proiectului:

Mai nti, au fost extrase din literatura de specialitate elementele corelate cu fiecare dintre
cele dou concepte;

Din definiia culturii formulat de Davies (1984): cultura reprezint modelul de credine i valori mprtite, care acord
membrilor unei instituii un anumit statut, nzestrndu-i pe acetia cu un set de reguli de conduit n cadrul instituiei

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

11

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Apoi, au fost eliminate suprapunerile din cadrul definiiei fiecrui concept, eliminnd din
conceptul de capacitate toate elementele prezentate n literatura de specialitate ca fiind
aferente culturii;

n ultimul rnd, elementele au fost organizate n clustere, crora le-au fost atribuite anumite
denumiri (a se vedea Tabelul 1).

Scopul celei de-a treia etape nu a fost de a nlocui activitatea realizat la nivel UE (i anume documentul
cadru de analiz comparativ al CE i EVALSED), ci de:
1. A face diferena (artificial n anumite cazuri) ntre cultur i capacitate;
2. A avea o list complet a elementelor aferente celor dou concepte, pentru a realiza n mod adecvat i
cuprinztor indexul pentru msurarea culturii de evaluare.
Dup cum se poate vedea n tabelul de mai jos, anumite elemente pot fi efectiv grupate n funcie de cele
patru niveluri diferite identificate de EVALSED (cererea de evaluare, oferta de evaluare, structura
sistemului de evaluare, instituionalizarea evalurii) i alte surse (i anume individuale, instituionale,
inter-instituionale i societale) sau atribuite mai multor niveluri, ns difereniate n fiecare caz:
Tabel 1 Cultura de Evaluare i Capacitatea de Evaluare: elemente principale
Cultura de evaluare

Capacitatea de evaluare

CONTEXT BUN GUVERNAN


1. sistem politic democratic i competitiv i un
proces descentralizat de elaborare a politicilor;
2. comunitate sau comuniti tiinific/e activ/e
i, n cadrul acesteia/acestora, un sistem
universitar care s promoveze tiinele sociale;
3. un grup semnificativ de specialiti n tiine
sociale care sunt interesai de cercetri n
domeniul politicilor publice;
4. tradiie empiric consolidat;
5. societate civil puternic i mass media
implicat;

INPUT ce ne trebuie pentru a realiza evalurile


1. date de calitate
2. competene/expertiz analitic
3. resurse umane (interne i externe)
4. resurse financiare
5. instrumente
6. metode i standarde

CADRUL MENTAL/VALORI (I CONTEXT)


1. un angajament (i la nivel politic) pentru autoexaminare, nvare i optimizare prin analiz i
experimentare, politic bazat pe dovezi i
responsabilizare, cultura performanei orientat
ctre msurare /coordonare pentru obinerea de
rezultate / cadrul bazat pe performane;
2. fr o cultur a vinei care s descurajeze
nvarea (n ambele direcii evaluarea nu
blameaz, iar rezultatele evalurii nu sunt
considerate drept critic);
3. evaluarea este acceptat, binevenit, ncurajat
i valorificat ca element esenial n atingerea
succesului;
4. independena evalurii
5. contientizarea valorii intrinseci a evalurii

CADRU cum obinei/ asigurai ceea ce este necesar


pentru realizarea evalurii
1. Structura: cum sunt organizate i coordonate
sistemele de evaluare, inclusiv coordonarea
prin intermediul unei reele de uniti de
evaluare dedicate sau funcii de evaluare care
trebuie s asigure consistena evalurii;
2. Concentrarea asupra nivelului naional i
sectorial, ct i central i local;
3. Mecanisme de colectare a datelor;
4. Prevederi cu privire la recrutare, formare,
dezvoltare profesional, norme legale (de ex.
cele care reglementeaz ocuparea forei de
munc), premise normative (de ex. egalitatea de
anse sau libera concuren);
5. Prevederi privind organizarea n mod eficient i
prompt a unor evaluri de nalt calitate, inclusiv
pentru achiziii publice i pentru alte
instrumente necesare;
6. Prevederi privind accesibilitatea documentelor
care stau la baza deciziilor privind politicile i
memoria organizaional;
7. Mecanisme de diseminare i feedback;
8. Politici susinute i activitate de reglementare;
9. Dezvoltarea conceptelor i instrumentelor,
inclusiv a capacitilor de msurare a eficacitii

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

12

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

procesului de dezvoltare i de evaluare a calitii


10. Corelarea cu deciziile politice i manageriale
(dialoguri ntre factorii de decizie politic i
specialitii evaluatori).
... TRANSPUS N PREVEDERI LEGALE
1. cadrul legal al evalurii
2. existena unei politici de evaluare care s
reflecte angajamentul conducerii sau al
organizaiei fa de nvare, responsabilizare i
principii de evaluare concepute n mod deschis i
colectiv;
3. stabilirea unui cadru instituional pentru
evaluare care asigur existena unui sistem
pentru
implementarea
i
protejarea
independenei, credibilitii i utilitii evalurii.

PRACTICA
1. evaluare efectuat n mod curent;
2. periodicitatea evalurilor;
3. pia bine definit (oferta de evaluare).

... TRANSPUS LA NIVEL DE RESURSE UMANE


1. factori cu rol n formularea politicilor publice
instruii,
specializai
i
cu
experien
profesional ce include evaluarea;
2. funcionari publici cu pregtire n domeniul
tiinelor sociale (fa de formarea strict
juridic);
3. participare la activiti de monitorizare i
evaluare;
4. susintori n domeniul monitorizrii i evalurii
prezeni;
5. responsabili cu evaluarea.
.. TRANSPUS N PRACTIC
1. integrarea evalurii n sfera politicilor publice i
la
toate
nivelurile
administrative
i
guvernamentale, n cadrul strategiilor i
practicilor de management;
2. impulsionarea cererii de evaluare ca rspuns la
nevoia de cunotine empirice i utilizarea
dovezilor de evaluare n scopul informrii
factorilor de decizie.
CONSTITUIREA
REELELOR
(LEGTURI
INTERINSTITUIONALE) PENTRU OPTIMIZARE
1. existena unei societi profesionale care tinde
spre un nivel sporit de profesionalism n evaluare
n cadrul creia mai muli evaluatori competeni,
fac schimb de experien i i definesc
standarde de bun practic;
2. prezena instituiilor care intermediaz legtura
funcional dintre mediul academic i sectorul
guvernamental;
3. prezena i implicarea reelelor profesionale
internaionale.
Sursa: Studiul Comisiei Capacitatea de Dezvoltare a Evalurii

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

13

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

1.3. Rezultatele primei msurri anuale


Rezultatele primului ciclu de msurare a evideniat un nivel corespunztor de diseminare a culturii de
evaluare n cadrul Sistemului de management al Instrumentelor Structurale, cu anumite elemente i
dimensiuni care nregistreaz performane mai bune dect altele.
n ceea ce privete cererea de evaluare, analiza a artat c, n general, aceast dimensiune a nregistrat
performane bune. Unitile de Evaluare, constituite la nivel de Program i coordonate de Unitatea
Central de Evaluare, au lucrat n strns colaborare cu Grupul de Lucru pentru Evaluare; resursele
financiare i umane alocate evalurii sunt adecvate i corespund celor internaionale; Calitatea sistemului
de monitorizare este considerat corespunztoare, acesta furniznd informaii n timp util, dei exist
anumite arii care pot fi mbuntite la nivel de CSNR; i, n cele din urm, exist planuri de evaluare i
contracte de evaluare gestionate eficient de ctre Comitetele de Coordonare a Evalurii (CCE) stabilite la
nivel de Program, precum i standarde de evaluare conforme cu cerinele UE i proceduri operaionale
pentru conceperea, implementarea i utilizarea rezultatelor evalurii.
Rezultatele procesului de diseminare a culturii de evaluare la nivelul ofertei de evaluare au fost
satisfctoare, dei un pic mai mici dect cele de la nivelul cererii de evaluare: companiile naionale i
internaionale ce furnizeaz servicii de evaluare erau prezente pe piaa din Romnia i deineau expertiza
tematic i metodologic necesar; de asemenea, din punct de vedere al informaiilor, datele socioeconomice erau disponibile n timp util, dei micro-datele la nivel de beneficiar erau numai parial
disponibile.
Dimensiunea sistemului de evaluare referitoare la diseminarea i utilizarea rezultatelor evalurii a
nregistrat de asemenea performane adecvate. Rapoartele de evaluare au fost disponibile publicului, fiind
organizate dezbateri publice pentru prezentarea i discutarea rezultatelor evalurii i a existat o tendin
pozitiv cu privire la organizarea evenimentelor de diseminare la scar larg pentru prezentarea
rezultatelor evalurii. Mai mult dect att, pentru a sprijini utilizarea rezultatelor evalurii i pentru a le
utiliza ct mai eficient, sistemul a trebuit s instituie proceduri de abordare a acestora i a definit aciuni
de monitorizare (follow-up). Astfel, utilizarea rezultatelor evalurii a fost considerat ca avnd un impact
considerabil.
Ultima dimensiune a sistemului de evaluare care a fost luat n considerare, instituionalizarea culturii de
evaluare, a fost cea care a nregistrat performanele cele mai reduse. n ceea ce privete cadrul mental,
evaluarea a fost considerat ntr-o anumit msur un element esenial al succesului instituional, iar
independena acesteia este clar neleas i respectat. Cu toate acestea, avnd n vedere faptul c
numrul evalurilor iniiate ca rspuns la nevoia de cunoatere a fost mai sczut dect n alte state
membre, se pot aduce mbuntiri la nivelul culturii de evaluare al factorilor care formuleaz politici
publice, chiar dac proiectele de dezvoltare a capacitii finanate n cadrul DMI 1.2 vizau deja acest
obiectiv.
Calitatea /expertiza resurselor umane implicate n activitile de evaluare corespundea mediei indexului,
cu prezena unor susintori ai procesului de evaluare att la nivelul PO, ct i la nivelul CSNR. Cu toate
acestea, gradul de participare a funcionarilor publici (alii dect cei dedicai evalurii) putea fi
mbuntit, la fel ca i opiunile de formare (n special cele oferite de mediul universitar) existente pe
pia i nivelul de internalizare a evalurii de ctre factorii instituionali interesai.
Instituionalizarea culturii de evaluare este de asemenea redus dac avem n vedere reeaua constituit
cu factorii interesai/actorii externi. Contribuia organizaiei naionale a evaluatorilor la diseminarea
bunelor practici, precum i nivelul de participare a societii civile la activitile legate de evaluare i
numrul evenimentelor publice organizate anual, erau reduse. Chiar dac s-a realizat o cooperare ntre
factorii instituionali interesai, mediul universitar i furnizorii de servicii de evaluare, pn la data
prezentului raport, gradul de implicare a mediului universitar era extrem de sczut.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

14

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Desigur, n ceea ce privete instituionalizarea culturii de evaluare, au fost analizate contextul legislativ
general i nivelul calitativ general al administraiei publice, ca factori care faciliteaz dezvoltarea unei
culturi comune de evaluare. Din punct de vedere legislativ, prevederile legale naionale care
reglementeaz evaluarea corespund cadrului legal UE i stipuleaz cerina suplimentar a realizrii
planurilor de evaluare. Au existat totui elemente ale cadrului legal din Romnia care limiteaz evaluarea,
n special normele privind achiziiile publice, ordonane referitoare la angajarea personalului i
reglementri cu privire la eligibilitatea cheltuielilor. n ceea ce privete guvernana n general, indicatorii
care fac referire la Romnia, ce compun indicele Bncii Mondiale, o poziionau peste media celor mai muli
indicatori, cu excepia eficacitii guvernanei.

1.4. Rezultatele celei de a doua msurri anuale


Cel de al doilea ciclu de msurare a continuat s evidenieze un nivel corespunztor de diseminare a
culturii de evaluare n cadrul Sistemului de Gestionare a Instrumentelor Structurale, mbuntiri
nregistrndu-se doar n cazul unor elemente i dimensiuni analizate.
n ceea ce privete partea de cerere a sistemului de evaluare, cadrul de evaluare stabilit la nceputul
perioadei de programare a contribuit pozitiv la rezultatele generale: au fost realizate activiti de evaluare
pentru toate programele operaionale, sub coordonarea Unitii Centrale de Evaluare, iar resursele umane
alocate evalurii au fost adecvate, att n ceea ce privete numrul, ct i competenele; totui, resursele
financiare au fost considerate insuficiente, comparativ cu rile cu alocri mai mari pentru evaluare,
precum Italia i Frana. Eficiena i eficacitatea funciei de evaluare au fost n general satisfctoare,
proiectele de evaluare fiind planificate prin intermediul planurilor anuale i multianuale specifice.
Partea de ofert a sistemului de evaluare a fost mai bine perceput n termeni de expertiz i calitate a
rapoartelor de evaluare, comparativ cu primul ciclu de msurare. Potrivit reprezentanilor GLE, utilizarea
listelor de control al calitii a reprezentat un factor important n atingerea acestei performane bune. Pe
de alt parte, piaa de evaluare a rmas parial competitiv, deoarece firmele mici, n general, nu au fost
ncurajate s participe la licitaii publice datorit cerinelor foarte restrictive, prin urmare evalurile au
fost atribuite unui numr limitat de juctori.
Dimensiunea referitoare la diseminarea i utilizarea rezultatelor evalurii a continuat s nregistreze
performane adecvate. Rapoartele de evaluare au fost disponibile publicului pe site-ul Biblioteca de
evaluare2 iar concluziile au fost, de cele mai multe ori, prezentate i discutate cu prile interesate, prin
intermediul unor dezbateri publice. Mai mult dect att, aa cum a fost prezentat i n primul ciclu de
msurare, cu scopul de a sprijini utilizarea rezultatelor evalurii i de a le utiliza n cel mai bun mod, n
cadrul sistemului au fost puse n aplicare proceduri destinate acestora i au fost definite aciuni de followup. Acestea au susinut utilizarea acelor rezultate ale evalurii care au fost considerate ca avnd un
impact considerabil.
n ceea ce privete dimensiunea instituionalizarea culturii de evaluare, analiza a reflectat o performan
sub media ICE. Problemele identificate n primul ciclu de msurare au persistat i n cel de al doilea ciclu:
numrul de evaluri declanate ca rspuns la nevoia de cunotine a fost mai mic dect n alte state
membre; gradul de participare a funcionarilor publici, alii dect cei implicai n sarcini de evaluare, a fost
limitat; opiunile de formare disponibile pentru evaluatorii de politici publice nu au satisfcut nevoile
identificate; iar cadrul legislativ a inclus o serie de elemente ce ar putea genera blocaje, n special norme

ncepnd cu luna ianuarie 2013, Ministerul Fondurilor Europene a pus la dispoziia factorilor de decizie i a publicului larg o
bibliotec de evaluare centralizat, care conine rapoartele de evaluare efectuate att la nivel de PO ct i CSNR, care poate fi
Consultant on-line pe pagina web www.evaluare-structurale.ro. Acest instrument de gestionare a rezultatelor de evaluare a fost
desfurat n cadrul proiectului mbuntirea utilizrii evalurii n procesul de elaborare a politicilor i de luare a deciziilor n
domeniul instrumentelor structurale n Romnia, finanate prin DMI 1.2 al PO AT.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

15

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

privind achiziiile publice, ordonane naionale cu privire la personalul angajat i normele privind
eligibilitatea cheltuielilor.

1.5. Coninutul raportului


Prezentul raport reprezint cel de-al Treilea Exerciiu de Msurare Anual a Culturii de Evaluare i include
conform Termenilor de Referin:

analiza situaiei actuale a culturii de evaluare la nivelul Sistemului Instrumentelor Structurale


din Romnia, ce const n msurarea culturii de evaluare la nivelul structurilor implicate n
managementul Instrumentelor Structurale pe baza unui index de Msurare a Culturii de
Evaluare (ICE);

i analiza impactului DMI 1.2 asupra nivelului de diseminare a culturii de evaluare;

Raportul este structurat n patru capitole:

Capitolul 1: descrie contextul proiectului i al prezentului raport;

Capitolul 2: prezint analiza situaiei curente a culturii de evaluare n cadrul aferent


Instrumentelor Structurale din Romnia;

Capitolul 3: prezint analiza DMI 1.2 al POAT n ceea ce privete impactul n relaie cu
punctajului general al ICE;

Capitolul 4: include un set de concluzii bazate pe constatrile prezentate n Capitolele 2 i 3,


compararea rezultatelor celor trei cicluri de msurare i propuneri pentru derularea viitoarelor
activiti n cadrul DMI 1.2 al POAT

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

16

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Capitol 2
evaluare

Cea de-a treia msurare anual a culturii de

2.1. Metodologia revizuit


Cadrul prezentat n seciunea anterioar a reprezentat punctul de plecare pentru dezvoltarea unui
instrument de msurare a culturii de evaluare existente la nivelul structurilor implicate n managementul
Instrumentelor Structurale. Instrumentul denumit Indexul de Msurare a Culturii de Evaluare (ICE),
opereaz cu o distincie artificial ntre:

Cultura de evaluare ca model de convingeri i valori mprtite att de factorii cu rol n


formularea politicilor publice, ct i de evaluatori, care i nzestreaz pe acetia cu un set de
reguli de conduit ce i ghideaz ctre o practic de evaluare

Capacitatea de evaluare sub forma mai multor aspecte operaionale i componente necesare
pentru realizarea evalurii

Versiunea revizuit a ICE este compus din 4 dimensiuni, 16 criterii, 32 sub-criterii i 56 indicatori:

Dimensiunile reprezint principalele componente ale Sistemului de Evaluare, de ex. Cererea,


Oferta, Diseminarea i utilizarea rezultatelor evalurii, Instituionalizarea Culturii de Evaluare

Criteriile i sub-criteriile se refer att la capacitate, ct i la cultur i nglobeaz


particularitile procesului de dezvoltare a Sistemului Instrumentelor Structurale (SIS) din
Romnia

Indicatorii sunt elemente relevante - aferente att capacitii, ct i culturii, pentru a msura
Cultura de Evaluare n rndul actorilor interesai din domeniul Instrumentelor Structurale din
Romnia
Figura 1 Cadrul privind Indicele de Msurare a Culturii de Evaluare

16
CRITERII

4
Dimensiuni

Indexul de
msurare a
culturii de
evaluare (ICE)

Cererea de
evaluare

Structura
evalurii

Resursele
financiare i
umane alocate

Calitatea
sistemului de
monitorizare

Eficiena i
eficacitatea
funciei de
evaluare

21 indicatori

Oferta de evaluare

Diseminarea i
utilizarea
rezultatelor
evalurii

Institutionalizarea
culturii de
evaluare

Cadrul mental

Contextul legal al
evalurii

Disponibilitatea
i fiabilitatea
datelor socioeconomice

Diseminarea
realizrilor
imediate ale
evalurii

Politica evaluativ
privind resursele
umane

Disponibilitatea i
calitatea exertizei
n domeniul
evalurii

Cererea
ncorporat/pornit
de jos n sus (n
SIS)

Utilizarea
rezultatelor
evalurii

Reele

Societatea civil
i mass media

Guvernan

Impactul pe
termen lung i n
afara SIS

11 indicatori

6 indicatori

Capacitatea de Evaluare

18 indicatori

Cultura de Evaluare

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

17

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Comparativ cu exerciiul de msurare precedent, au fost adoptate urmtoarele msuri de optimizare,


respectndu-se comparabilitatea rezultatelor:

Diseminarea i utilizarea rezultatelor evalurii: n vederea prezentrii modului de utilizare a


rezultatelor imediate ale evalurilor, chestionarul online a fost actualizat prin adugarea a
dou noi ntrebri n cadrul Criteriului 8. Utilizarea rezultatelor evalurii. Modificrile au fost
realizate avnd n vedere asigurarea comparabilitii pentru fiecare PO. Acestea sunt listate
mai jos:

Indicatorul 36. Existena unui Comitet de Coordonare/Monitorizare/Autoritate de


Management responsabil/ cu monitorizarea rezultatelor evalurii (la nivel de PO) sa concentrat mai mult pe utilizarea efectiv a rezultatelor evalurii de ctre
Comitetele de Monitorizare. Astfel, n cadrul chestionarului online a fost adugat
ntrebarea: n ce msur sunt luate n calcul rezultatele evalurii de ctre Comitetele
de Monitorizare n procesul de luare a deciziilor?, care a avut rolul de a analiza opinia
prilor interesate.

Indicatorul 37. Impactul evalurilor asupra proceselor de programare (la nivel de


PO) a fost modificat pentru a evalua modul n care rezultatele evalurii sunt utilizate n
vederea pregtirii Programelor Operaionale 2014 2020. Astfel, n cadrul
chestionarului online a fost adugat ntrebarea: n cadrul procesului de pregtire a
Programelor Operaionale 2014 2020, au fost luate n calcul recomandrile
evalurilor? Dac Da, detaliai modul n care au fost utilizate. ntrebarea a avut rolul de
a analiza modul n care programatorii au utilizat rezultatele evalurii pentru a defini
viitoarele nevoi de dezvoltare i Obiectivele Specifice ale PO.

Chestionarului de analiz comparativ internaional: pentru Indicatorul 1. Existena unei


Uniti de Evaluare dedicate, a fost adugat o nou ntrebare care permite comparaia cu
alte state membre, i anume: Cum este organizat la momentul actual funcia de evaluare?
Sunt prevzute schimbri pentru perioada 2014 2020?

Panelul de cercetare: numrul respondenilor inclui n panelul de cercetare al celui de al


treilea ciclu de msurare a fost actualizat pentru a surprinde modificrile instituionale i
numarand 292 de respondeni, fa de 288 identificai n cadrul celei de a doua msurri
anuale. Dei numrul respondenilor s-a modificat, ponderea acestora pentru fiecare sub-grup
a rmas aceeai. Mai exact, cererea de evaluare reprezint aproximativ 80% din panelul de
cercetare, restul de 20% distribuindu-se ntre societile de evaluare, evaluatori independeni
i universiti, care reprezint partea de ofert a pieei.

n scopul cuantificrii ICE, pentru fiecare indicator a fost definit o metodologie de punctare, punctajul
minim i maxim disponibil i sursele de informaii primare i secundare corespunztoare dup cum este
prezentat succint n Tabelul 2 - ICE: surse de informaii.
Deoarece indicatorii au uniti de msur diferite, fiecrui indicator i se aplic o metod de normalizare,
valorile de normalizare ntre [01] prin metoda Min-Max. Fiecare subcriteriu este ulterior exprimat ca
medie a indicatorilor afereni, iar criteriile sunt calculate ca medie a sub-criteriilor aferente.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

18

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Tabel 2 ICE: surse de informaii


Surse de informaii

Sondaj adresat actorilor interesai din comunitatea de evaluare extins ce acoper partea de
cerere (ex. Unitile de Evaluare, AM-urile, OI-urile, factorii care formuleaz politici publice) i
partea de ofert (societile de evaluare, evaluatori independeni, Universiti): 86 de rspunsuri
primite de la un panel de cercetare compus din 292 de poteniali respondeni

Focus Grup cu membrii din mediul universitar din cadrul ADER pentru a evalua partea de ofert
de pe piaa de evaluare din punct de vedere al independenei i competenelor

Focus grup cu GLE viznd validarea rezultatelor preliminare i obinerea unor comentarii i opinii
suplimentare nainte de ntocmirea Raportului privind cea de a Treia Msurare Anual

Evenimentul de diseminare pentru comunicarea rezultatelor ciclului de msurare n rndul


factorilor interesai din domeniul Sistemului de gestionare a Fondurilor Structurale i pentru
colectarea de informaii suplimentare din rndul factorilor interesai pentru a finaliza Raportul
privind cea de a Treia Msurare Anual

Chestionar transmis AM-urilor din cadrul statelor membre UE: rspunsurile au acoperit 9 dintre
PO-urile din Ungaria, Lituania i Italia

Cercetarea documentar acoper documentele naionale relevante, ghiduri metodologice UE i


naionale, documente de programare i operaionale la nivel de PO i CSNR, precum i rapoarte
de evaluare

Surse primare

Analiza
comparativ
internaional
(benchmarking)

Surse secundare

ICE este calculat ca medie a celor 4 dimensiuni luate n considerare. Dezvoltarea culturii de evaluare este
exprimat sub forma de procentaj la nivelul ICE, dimensiunilor, criteriilor, sub-criteriilor, descriind
punctajul obinut ncadrat n intervalul Min Max. Aplicarea metodei de normalizare la rezultatele primului
i ale celui de al doilea ciclu permite o comparare a modului de dezvoltare a culturii de evaluare ntre
ciclurile de msurare.

2.2. Rezultate la nivelul ICE, dimensiuni i criterii


Rezultatele celei de-a treia msurri anuale sunt prezentate n aceast seciune, ncepnd de la nivelul
general (dimensiuni i criterii) i apoi n detaliu.

2.2.1. Rezultate generale la nivelul dimensiunilor


Cel de-al treilea exerciiu anual de msurare continu s dea rezultate satisfctoare n ceea ce privete
modelul de convingeri i valori mprtite de factorii cu rol n formularea politicilor publice i de
evaluatori, ct i aspectele operaionale i componentele considerate a fi necesare pentru efectuarea unei
evaluri, obinnd un punctaj general de 59%.
La nivelul dimensiunilor, dimensiunile Diseminarea i utilizarea rezultatelor evalurii i Oferta de evaluare
par a fi cele mai dezvoltate, urmate de Cererea de evaluare, n timp ce exist arii care pot fi mbuntite
cu privire la Instituionalizarea culturii de evaluare.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

19

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Figura 2 - Indexul general i rezultatele la nivelul dimensiunilor

70%
60%
50%
40%
30%

57%

65%

63%

59%

49%

20%
10%
0%
Cererea de evaluare Oferta de evaluare

Diseminarea i
Instituionalizarea
utilizarea
culturii de evaluare
rezultatelor evalurii

Index general

Capacitatea de Evaluare
Cultura de Evaluare

Capacitatea de
2.2.2. Rezultate
la Evaluare
nivelul criteriilor
Cultura de Evaluare

Nivelul corespunztor de diseminare a culturii de evaluare rezult dintr-o realizare medie la nivelul celor
16 criterii de 59%. Valoarea minim este nregistrat la nivelul criteriului (10) Contextul Legal al Evalurii,
iar valoarea maxim la nivelul criteriului (8) Utilizarea Rezultatelor Evalurii.
Figura 3 Rezultatele culturii de evaluare la nivelul criteriilor de msurare
(1) Structura evalurii cu
accent specific asupra
(16) Impactul pe termen 100%
(2) Resursele financiare i
lung i n afara SIS
umane alocate evalurii
90%
80%
(3) Calitatea sistemului de
(15) Guvernan
70%
monitorizare
60%
50%
(14) Societatea civil i
(4) Eficiena i eficacitatea
40%
mass media
funciei de evaluare
30%
20%
10%
(5) Disponibilitatea i
(13) Reele
0%
fiabilitatea datelor socio-
(12) Cererea de evaluare
ncorporat/pornit de
(11) Politica evaluativ
privind resursele umane -
(10) Contextul legal al
evalurii

(6) Disponibilitatea i
calitatea expertizei n

(9) Cadrul mental

(7) Diseminarea
realizrilor imediate ale
(8) Utilizarea rezultatelor
evalurii

Capacitatea de Evaluare
Cultura de Evaluare
ICE 2014

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

20

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

n ceea ce privete media general, criteriile cele mai performante i cele mai puin performante
comparativ cu valorile maxime posibile sunt urmtoarele:
Tabel 3 Criteriile Cele mai Performante i cele Mai Puin Performante
CELE MAI PERFORMANTE

CELE MAI PUIN PERFORMANTE

Utilizarea rezultatelor evalurii


Disponibilitatea i calitatea expertizei de evaluare
Eficiena i eficacitatea funciei de evaluare
Politica evaluativ privind resursele umane viznd asigurarea RU adecvate, la toate nivelurile

Contextul legal al evalurii


Implicarea societii civile i a mass-media
Guvernan
Resursele umane i financiare alocate evalurii
conform CSNR

2.2.3. Rezultatele la nivelul sub-criteriilor i indicatorilor


n seciunile urmtoare sunt prezentate n detaliu rezultatele exerciiului de msurare. Pentru a formula
concluzii preliminare i recomandri, au fost analizate sub-criteriile i indicatorii cei mai performani /cei
mai puin performani.

(1) Structura evalurii


Structura sistemului de evaluare a nregistrat o performan peste media ICE, datorit bunei coordonri a
responsabilitilor de evaluare. Necesitatea de a spori gradul de contientizare asupra evalurii n rndul
factorilor cu rol n formularea politicilor publice, att la nivel central ct i local, a fost confirmat de
oferta de evaluare. (rata general de realizare a criteriului: 63%)

Responsabiliti de Evaluare: activitile de evaluare sunt derulate pentru toate programele


operaionale.
n majoritatea cazurilor, Autoritile de Management au nglobate n structura lor Uniti de
Evaluare dedicate, cu excepia POS Mediu i PNDR, pentru care activitile de evaluare sunt
derulate de ctre Departamentul de Coordonare, respectiv de ctre Serviciul Coordonare i
Promovare.
Cu toate acestea, mai mult de jumtate dintre Unitile de Evaluare deruleaz i alte activiti,
precum comunicare sau programare, i nu raporteaz direct efului AM (mai exact: anumite
uniti de evaluare sunt subordonate efului unei uniti mai mari care include de asemenea i
activiti de evaluare, ca n cazul POAT, unde Unitatea de Evaluare raporteaz efului Direciei
Generale de Analiz, Programare i Evaluare). Cu ocazia focus grup-ului organizat n cadrul
celui de al doilea ciclu de msurare, reprezentanii Autoritilor de Management au menionat
faptul c eficacitatea evalurii este afectat atunci cnd Unitile de Evaluare trebuie s
ndeplineasc i alte atribuii.
Misiunea, rolurile i atribuiile UE-urilor sunt clar definite i atribuite n baza Regulamentului de
Organizare i Funcionare, a procedurilor i fielor de post. (punctajul obinut pentru subcriteriu: 88%)

Coordonare: n baza sondajului electronic, n ultimele 12 luni, respondenii au luat parte n


medie la 0 1 reuniuni ale GLE, iar subiectele abordate au fost deseori adoptate la nivel de PO.
Pe de alt parte, documentul aferent cercetrii documentare a evideniat faptul c procedura
cu privire la rolul de coordonare a GLE se afl n versiune preliminar nc de la nceputul
perioadei de programare 2007-2013. (punctajul obinut pentru sub-criteriu: 42%)

Corelarea funciei de evaluare cu alte funcii: analiza documentar a indicat faptul c exist
proceduri ce coreleaz funcia de monitorizare cu cea de evaluare (i anume: Dac datele de

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

21

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

monitorizare indic o deviere de la obiectivele stabilite iniial, Unitatea de Evaluare va efectua


evaluri ad-hoc). Mai mult, respondenii la sondajul online au menionat faptul c aproximativ
31-50% dintre evaluri au fost iniiate cu scopul de a investiga problemele ridicate de unitatea
de monitorizare.
Pe de alt parte, n urma cercetrii documentare, se pare c nu au fost iniiate evaluri n
vederea analizrii problemelor referitoare la procesul de Programare. Aceasta se datoreaz
faptului c evalurile ex-ante realizate pentru perioada de programare 2014-2020 nu au fost
reflectate n acest raport; n conformitate cu metodologia aprobat, au fost luate n
considerare doar proiectele finalizate. (punctajul obinut pentru sub-criteriu: 58%)

Figura 4 Structura evalurii, la nivelul sub-criteriilor


0%

20%

40%

60%

80%

100%

Responsabiliti de Evaluare

Coordonare

Corelarea funciei de evaluare cu alte


funcii
(1) Structura evalurii cu accent specific
asupra corelrii funciei de evaluare cu cea
de programare i monitorizare

(2) Resursele financiare i umane alocate Evalurii


Cel de al treilea exerciiu de msurare anual a evideniat faptul c resursele alocate evalurii sunt
suficiente din punct de vedere al resurselor umane, dar c mbuntiri pot fi aduse cu privire la
disponibilitatea resurselor financiare, acest criteriu fiind unul dintre cele mai puin performante.
(punctajul obinut pentru sub-criteriu: 43%)

Resurse financiare: PO-urile au alocat, n medie, 0,12% din buget pentru evaluare, pondere
considerat insuficient, n conformitate cu rezultatele analizei comparative internaionale
(ex. Ungaria a alocat evalurii pn la 3% din bugetul total al PO Rennoire Social i al PO
Infrastructur Social). (subpunctajul obinut pentru sub-criteriu: 12%)

Resurse umane: numrul i expertiza persoanelor care desfoar activiti de evaluare sunt
considerate adecvate, conform analizei comparative internaionale i a cercetrii documentare
(ex. CV-urile persoanelor din cadrul Unitilor de Evaluare). Pe de alt parte, s-a observat
faptul c numrul de angajai ai unitilor de evaluare difer foarte mult n funcie de PO (de la
un angajat n cadrul POS Transport pn la 6 angajai n cadrul PNDR).
n urma rezultatelor sondajului online, se pare c pn la 30% dintre angajaii Unitilor de
Evaluare ale PO au prsit instituia n ultimele 12 luni, n timp ce nicio persoan din cadrul
Unitii de Evaluare a CSNR nu a prsit instituia. De asemenea, rspunsurile la chestionarul
online au relevat faptul c personalul Unitilor de Evaluare beneficiaz de sesiuni sistematice
de formare profesional. (punctajul obinut pentru sub-criteriu: 75%)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

22

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Figura 5 Resurse Financiare i Umane alocate Evalurii, la nivel de sub-criterii


0%

20%

40%

60%

80%

100%

Resurse financiare

Resurse umane

(2) Resursele financiare i umane


alocate evalurii conform CSNR

(3) Calitatea sistemului de monitorizare


Calitatea sistemului de monitorizare este considerat adecvat, att din perspectiva Sistemului de
Indicatori, ct i a Indicatorilor Individuali, dup cum este evideniat de analiza documentar i a
sondajului online. (punctajul obinut pentru sub-criteriu: 54%)

Sistemul de indicatori: calitatea sistemului de indicatori, din punct de vedere al acoperirii i


gestionabilitii, este considerat medie att la nivel de PO, ct i la nivel de CSNR. Timpul
mediu necesar obinerii de informaii din sistemul de monitorizare este mai mic la nivel de PO
dect cel de la nivelul CSNR (pentru nivelul PO 15 zile fa de 1 lun pentru CSNR). (punctajul
obinut pentru sub-criteriu: 52%)

Indicatorii individuali: calitatea indicatorilor individuali, din perspectiva corespondenei,


normativitii, robusteii i fezabilitii, a obinut acelai punctaj att la nivelul PO, ct i la
nivelul CSNR. (punctajul obinut pentru sub-criteriu: 56%)

Figura 6 Calitatea sistemului de monitorizare, la nivelul sub-criteriilor


0%

20%

40%

60%

80%

100%

Sistemul de indicatori

Indicatorii individuali
(3) Calitatea sistemului de
monitorizare

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

23

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

(4) Funcia de evaluare este eficient i eficace


Dimensiunea cererii de evaluare, care se refer la contractarea serviciilor aferente procesului de evaluare,
este susinut prin activiti eficiente i eficace de planificare, management, controlul calitii i nvare,
fiind unul dintre cele mai performante criterii. (punctajul general obinut per criteriu: 70%)

Planurile de Evaluare: cu excepia PNDR, toate PO-urile au planuri multianuale de evaluare


(PME); totui, acestea nu sunt ntotdeauna actualizate (de exemplu, PME pentru POS Mediu i
POS Transport nu a mai fost actualizat din 2008). Planurile anuale fie nu exist, fie nu au fost
revizuite cu regularitate (cu excepia POR, pentru care au fost elaborate PAE-uri pentru anii
2010, 2011 i 2012).
Rata de execuie a PME se situeaz ntre 30% i 100% (n cazul POS DRU), cu o ntrziere
medie de 6 luni ntre data planificat inclus n PME i data finalizrii. Conform respondenilor
la sondajul electronic, printre motivele decalajelor dintre data stabilit prin PME i data
finalizrii efective a rapoartelor de evaluare, se numr: procedura dificil de achiziii publice,
numrul mare de contestaii i progresul lent al programelor operaionale. (punctajul obinut
pentru sub-criteriu: 63%)

Comitetele de Coordonare a Evalurii: sunt constituite CCE-uri, avnd atribuite roluri i


responsabiliti clare. n baza sondajului electronic, activitatea CCE-urilor este considerat ca
avnd eficacitate medie spre ridicat. (punctajul obinut pentru sub-criteriu: 81%)

Implicarea Unitilor de Evaluare n procesul decizional: n baza sondajului electronic, UEurile sunt consultate de ctre AM-uri n cadrul proceselor decizionale, dar nu n mod
formalizat. (punctajul obinut pentru sub-criteriu: 53%)

Termenii de referin: respondenii la sondajul electronic consider c TdR sunt de calitate


medie spre ridicat. De asemenea, exist dovezi cu privire la ghiduri care sprijin procesul de
elaborare a TdR (ex.: Ghidul de evaluare intermediar 2012, care poate fi consultat pe pagina
de Internet a Ministerului Fondurilor Europene). (punctajul obinut pentru sub-criteriu: 76%)

Procesul de nvare: procedurile de evaluare au fost actualizate pentru aproximativ 63%


dintre PO-uri. Pentru POS DRU, POS CCE i POS Mediu, procedurile de evaluare nu au fost
actualizate i nu reflect ultimele schimbri organizaionale. (punctajul obinut pentru subcriteriu: 76%)

Figura 7 Eficiena i eficacitatea funciei de evaluare, la nivelul sub-criteriilor


0%

20%

40%

60%

80%

100%

Planurile de Evaluare
Comitetele de Coordonare a Evalurii
Implicarea Unitilor de Evaluare n
procesul decizional
Termenii de referin
Procesul de nvare
(4) Eficiena i eficacitatea funciei de
evaluare

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

24

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

(5) Disponibilitatea i fiabilitatea datelor socio-economice


Datele socio-economice sunt disponibile la timp, att la nivel naional, ct i regional, pe pagina de
Internet a INS i Eurostat. Cu toate acestea, n baza sondajului electronic, micro-datele la nivel de
beneficiar sunt doar parial disponibile i nu sunt ntotdeauna consistente. (punctajul general obinut per
criteriu: 51%)

Datele socio-economice: principalele date socio-economice cu privire la PIB, ocuparea forei


de munc, omaj i investiii n CDI sunt disponibile n timp util: 2013 sau chiar 2014 pe site-ul
INS. Alte surse pentru datele principale privind indicatorii socio-economici sunt parial
disponibile, iar analiza privind consistena acestora se situeaz la nivel mediu. (punctajul
general obinut per sub-criteriu: 63%)

Alte date: conform respondenilor la sondajul electronic, alte date necesare (ex. micro-datele
de la nivel de beneficiar) sunt doar parial disponibile (ex. de date disponibile: bilanuri, bugete
periodice, analize periodice de proiect). (punctajul general obinut per sub-criteriu: 39%)

Figura 8 Disponibilitatea i fiabilitatea datelor socio-economice, la nivelul sub-criteriilor


0%

20%

40%

60%

80%

100%

Datele socio-economice

Alte date

(5) Disponibilitatea i fiabilitatea


datelor socio-economice

(6) Disponibilitatea i calitatea expertizei de evaluare


Disponibilitatea i calitatea expertizei de evaluare este unul dintre criteriile cu cele mai bune performane.
Conform respondenilor la sondajul electronic i ai focus grupului cu membrii ADER, dei piaa serviciilor
de evaluare este doar parial competitiv, evaluatorii dein competenele i expertiza corespunztoare.
(punctajul general obinut per criteriu: 75%)

Competitivitatea pieei: existena unui portofoliu pentru proiecte de evaluare (precum cel
desfurat de Ministerul Fondurilor Europene) este considerat benefic pentru meninerea
ofertei de evaluare activ pe pia i n cretere n ceea ce privete numrul de participani i
calitate a expertizei.
Per total, piaa evalurii din Romnia este considerat ca fiind parial competitiv deoarece
serviciile de evaluare sunt cel mai adesea atribuite unui numr limitat de actori. n plus, firmele
internaionale sunt mai prezente dect cele locale pe piaa de evaluare din Romnia (13 firme
internaionale, 7 firme naionale) iar implicarea universitilor n activitile de evaluare nu
este semnificativ.
Focus Grup-ul cu ADER a evideniat faptul c universitile nu sunt motivate din punct de
vedere financiar s deruleze activiti operaionale (i anume veniturile extra-bugetare sunt
considerate bani publici, iar universitile nu au voie s foloseasc aceste fonduri). n plus,

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

25

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

structura procedurilor de achiziii publice descurajeaz anumite firme mici s participe la


procesele de licitaie (ex. atribuirea proiectelor n funcie de cel mai mic pre, cerine extrem
de restrictive). Faptul c nu exist un sistem de plat n avans pentru proiectele de evaluare
impune anumite dificulti asupra firmelor mici care nu i pot susine fluxurile de numerar.
(punctajul general obinut per sub-criteriu: 56%)

Expertiza tematic i metodologic: respondenii la sondajul electronic consider c oferta de


evaluare deine expertiza tematic i metodologic necesar, ns pot fi fcute mbuntiri
(ex.: acetia au evideniat lipsa expertizei pe arii i tematici de evaluare, cum ar fi metodele
econometrice, analiza cost-beneficiu i evaluarea contrafactual de impact). (punctajul
general obinut per sub-criteriu: 63%)

Asigurarea calitii evalurilor: conform rezultatelor sondajului electronic, utilizarea listelor


de verificare a calitii rapoartelor de evaluare este larg rspndit. De asemenea, rapoartele
de evaluare sunt percepute n ceea ce privete acurateea, claritatea i relevana, ca fiind de
calitate medie spre ridicat. Calitatea procesului de evaluare este de asemenea asigurat
datorit existenei standardelor de evaluare adoptate n 2006 de ctre GLE, dar nu aprobate
oficial. (punctajul general obinut per sub-criteriu: 90%)

Dezvoltarea competenelor de evaluare: analiza documentar a evideniat existena a dou


programe de master dedicate evalurii de program i a altor patru care abordeaz teme
generale n domeniul administraiei publice. De asemenea, pe pia este disponibil un program
de studii post-universitare n domeniul managementului administraiei publice.

Totui, n cadrul focus grup-ului cu ADER a fost evideniat faptul c pe pia este nevoie de mai
multe opiuni de formare de scurt durat, deoarece domeniul instrumentelor structurale
sufer modificri rapide, iar anumite competene devin necesare n vederea desfurrii
activitilor de evaluare la parametrii optimi (ex. analiza de impact prin intermediul metodei
contrafactuale). (punctajul general obinut per sub-criteriu: 100%)

Independena evaluatorilor: evaluatorii sunt considerai ca fiind independeni, ns se mai pot


face mbuntiri. Pentru a asigura un grad sporit de independen, reprezentanii ADER au
sugerat ca autoritatea de contractare s fie separat de autoritatea beneficiar. (punctajul
general obinut per sub-criteriu: 66%)

Figura 9 Disponibilitatea i calitatea expertizei n domeniul evalurii, la nivelul sub-criteriilor


0%

20%

40%

60%

80%

100%

Competitivitatea pieei

Expertiza tematic i metodologic

Asigurarea calitii evalurilor

Dezvoltarea competenelor de evaluare

Independena evaluatorilor
(6) Disponibilitatea i calitatea expertizei n
domeniul evalurii

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

26

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

(7) Diseminarea rezultatelor evalurii


Acest criteriu este alctuit dintr-un singur subcriteriu i nregistreaz un nivel de 46% din punctajul maxim
disponibil. Pentru a calcula gradul de diseminare, a fost analizat numrul de rapoarte disponibile publicului
larg i numrul de evenimente publice realizate.

Dei la nceputul anului 2013, MFE a dezvoltat instrumentul Biblioteca de evaluare, menit s
asigure diseminarea adecvat a rezultatelor evalurilor ctre publicul larg, niciunul dintre
rapoartele realizate la nivel de CSNR n ultimele 12 luni, nu a fost ncrcat pe acest site. La
nivel de PO, dintre cele trei rapoarte finalizate, dou sunt publice integral pe site-urile oficiale
ale Autoritilor de Management.

Dezbaterile publice, organizate pentru a discuta rezultatele evalurii, au contribuit la atingerea


acestui scor. n ultimele 12 luni, au fost organizate dou astfel de evenimente la nivelul CSNR
i unul la nivel de PO.

(8) Utilizarea rezultatelor evalurii


Criteriul Utilizarea rezultatelor evalurii a nregistrat cea mai ridicat performan. Exist proceduri de
implementare a rezultatelor evalurii, ns nc pot fi fcute mbuntiri cu privire la implementarea
planului de aciune, n special la nivelul CSNR. (punctajul general obinut per criteriu: 84%)

Proceduri de abordare a rezultatelor evalurii i monitorizare (follow-up): exist proceduri


de abordare a rezultatelor evalurii i de monitorizare (follow-up), att la nivelul PO, ct i la
nivelul CSNR, iar responsabilitile sunt alocate unui organism decizional (Comitetul de
Monitorizare / Autoritatea de Management). Conform rezultatelor sondajului electronic,
Comitetele de Monitorizare iau ntotdeauna n considerare rezultatele evalurilor n cadrul
procesului decizional. Un mecanism de monitorizare (follow-up), bazat pe un Plan de Aciune
ntocmit la aprobarea Raportului de Evaluare, este prevzut pentru toate Programele n
procedurile de evaluare, cu excepia PNDR. (punctajul general obinut per sub-criteriu: 89%)

Impactul evalurilor asupra proceselor de programare/implementare: conform


respondenilor la sondajul electronic, gradul de implementare a recomandrilor evalurilor la
nivel de PO pentru perioada de programare 2007-2013 este cuprins ntre 51-75%, n timp de
la nivel de CSNR este ntre 31-50% (ex. pentru POR, au fost implementate ambele recomandri
aferente realocrii fondurilor, formulate n cadrul Raportului Intermediar). De asemenea,
sondajul electronic a evideniat faptul c recomandrile evalurilor referitoare la programare
au fost utilizate n procesul de elaborare a programelor operaionale pentru perioada de
programare 2014-2020. (punctajul general obinut per sub-criteriu: 79%)
Figura 10 Utilizarea rezultatelor evalurii, la nivelul sub-criteriilor
0%

20%

40%

60%

80%

100%

Proceduri de abordare a rezultatelor


evalurii i monitorizare (follow-up)
Impactul evalurilor asupra proceselor de
programare/implementare
(8) Utilizarea rezultatelor evalurii

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

27

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

(9) Cadrul mental


Acest criteriu are n componen un singur subcriteriu i nregistreaz un nivel de 59% din punctajul maxim
disponibil. O analiz la nivel de indicatori a evideniat faptul c evaluarea este considerat un factor
important n atingerea succesului la nivel instituional asigurat de ctre conducere i echipa executiv,
ns pot fi fcute mbuntiri, n special n rndul factorilor care formuleaz politici publice.

(10) Contextul legal al evalurii


Acest criteriu are n componen un singur subcriteriu i nregistreaz un nivel de 25% din punctajul maxim
disponibil. O analiz a nivelului indicatorului arat c:

Dispoziiile legale care reglementeaz evaluarea transpun legislaia CE n cadrul legal naional
(HG Nr. 457/2008) i o completeaz cu prevederi suplimentare, cum ar fi planurile
multianuale de evaluare.

Exist prevederi legale care afecteaz direct sau indirect evaluarea:

OUG 34/2006 privind achiziiile publice, ce conduce la blocaje i ntrzieri n procesul


de achiziie;

Ordonana nr. 34/2009 bazat pe acordul cu FMI, Banca Mondial i UE, care
blocheaz procesul de angajare de personal n administraia public;

Documentele de programare i ordinele privind cheltuielile eligibile, ce limiteaz


tipurile de grupuri-int eligibile n cazul iniiativelor de dezvoltare a capacitii (de ex.
oferta/furnizorii de servicii de evaluare);

Legea finanelor publice nr. 500/2002, care limiteaz posibilitile de implicare a


personalului din Unitile de Evaluare la nivel de PO n proiectele UCE.

(11) Politica evaluativ privind resursele umane viznd asigurarea RU adecvate, la toate
nivelele
Acest criteriu are n componen un singur subcriteriu i nregistreaz un nivel de 67% din punctajul maxim
disponibil. O analiz la nivelul indicatorilor evideniaz urmtoarele:

Exist alternative valabile pentru educaie/formare n domeniul evalurii n Romnia, ns


acestea nu acoper toate nevoile de dezvoltare i formare. Respondenii la sondajul electronic
au indicat oferta redus pentru formare continu i lipsa unor cursuri de formare standardizate
n domeniul evalurii sau a cursurilor de formare specifice pentru fiecare PO. De asemenea, au
fost specificate cele mai importante nevoi de formare neacoperite de oferta prezent pe pia,
precum: metode de evaluare, analiza de impact sau corespondena dintre metodele de
evaluare i instrumentele aplicabile.

Sondajul electronic a evideniat de asemenea existena susintorilor evalurii, att la nivelul


PO, ct i la nivelul CSNR (i anume persoane care sprijin activitile de evaluare). Totui,
nivelul de participare al funcionarilor publici la activitile de evaluare poate fi mbuntit
substanial.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

28

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

(12) Cererea de evaluare ncorporat/pornit de jos n sus (n SIS)


Acest criteriu este compus dintr-un singur subcriteriu i nregistreaz un nivel de 57% din punctajul maxim
disponibil. Analiza la nivel de indicator evideniaz c:

Cererea de evaluare total este conform cu cea din alte state membre: numrul mediu de
evaluri efectuate per PO a fost de 4.

La nivelul PO, exist un numr redus de evaluri iniiate din nevoia de cunoatere, care este
confirmat de analiza documentar i de sondajele electronice.

La nivelul CSNR, exist un numr mare de evaluri iniiate din nevoia de cunoatere, dar nu
exist nici o convergen ntre analiza documentar i sondajul electronic (i anume indicatorul
a obinut un punctaj sczut n baza sondajului electronic).

(13) Reele
Acest criteriu este compus din dou sub-criterii ce evideniaz faptul c gradul de contribuie al
organizaiei naionale a evaluatorilor la diseminarea bunelor practici este mai degrab redus. (punctajul
general obinut per criteriu: 54%)

Organizaia naional a evaluatorilor profesioniti: sondajul electronic a evideniat faptul c


nu exist o contribuie suficient a organizaiei naionale a evaluatorilor la crearea unei reele
de diseminare a bunelor practici. n cadrul focus grupul-ui cu ADER a fost menionat
insuficiena resurselor financiare necesare dezvoltrii ulterioare a rolului organizaiei.
(punctajul general obinut per sub-criteriu: 42%)

Diminuarea decalajului dintre mediul universitar i Guvern: n baza sondajului electronic,


exist un mecanism instituional de cooperare ntre Guvern i mediul universitar, ns
eficacitatea sa este perceput ca fiind medie. (punctajul general obinut per sub-criteriu:
66%)
Figura 11 Reele, la nivelul sub-criteriilor
0%

20%

40%

60%

80%

100%

Existena unei organizaii naionale a


evaluatorilor profesioniti

Diminuarea decalajului dintre mediul


universitar i Guvern

(13) Reele

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

29

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

(14) Societatea civil i mass media


Criteriul Societatea civil i mass media este unul dintre criteriile care au nregistrat cele mai slabe
performane, cu un nivel mediu mult mai mic dect media ICE. (punctajul general obinut per criteriu:
28%)

Participarea Societii Civile: nivelul de participare a societii civile la activitile de evaluare


este perceput ca fiind mediu. Conform respondenilor la sondajul electronic, partea societii
civile care ar trebui s fie implicat ntr-o mai mare msur este reprezentat de asociaiile
profesionale, think-tank-urile i ONG-uri. (punctajul general obinut per criteriu: 36%)

Participarea Mass Media: respondenii au evideniat faptul c numrul de evenimente publice


derulate pe an, altele dect cele ale Comitetelor de Monitorizare, aferente evalurii i
diseminrii rezultatelor evalurii, este sczut. (punctajul general obinut per criteriu: 19%)
Figura 12 Societatea civil i mass media, la nivelul sub-criteriilor
0%

20%

40%

60%

80%

100%

Participarea Societii Civile

Participarea Mass Media

(14) Societatea civil i mass


media

(15) Guvernan
Criteriul include un singur sub-criteriu i nregistreaz un nivel de 42% din punctajul maxim disponibil.
Indicatorii nsumai acestui sub-criteriu sunt msurai n baza Indicatorilor de Guvernan Globali pentru
perioada 1996 2012, publicai de ctre Banca Mondial pe pagina de Internet: www.worldbank.org.
Indexul prezint poziia Romniei raportat la toate statele lumii pentru urmtoarele aspecte:

Opinie i responsabilizare: peste 50% din statele analizate

Stabilitate Politic: sub 50% din statele analizate

Eficacitatea Guvernului: sub 50% din statele analizate

Calitatea actelor normative: peste 50% din statele analizate

Statul de drept: peste 50% din statele analizate

Controlul corupiei: peste 50% din statele analizate

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

30

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

(16) Impactul pe termen lung i n afara SIS


Criteriul include un singur sub-criteriu i nregistreaz un nivel de 63% din punctajul maxim disponibil.
Analiza la nivel de indicator evideniaz urmtoarele:

Receptivitatea perceput fa de evaluare n numele instituiilor implicate n Sistemul de


Instrumente Structurale (OI-uri, principalii beneficiari, Autoritatea de Audit, Autoritatea de
Certificare) este de nivel mediu (uor mai ridicat pentru OI-uri dect pentru celelalte
instituii). Un aspect important este reprezentat de prima contractare a proiectelor de
evaluare prin intermediul Secretariatelor Tehnice Comune din cadrul Programelor de CTE. Se
preconizeaz sporirea gradului de contientizare cu privire la importana evalurii ca
instrument de optimizare a performanelor programului, contribuie activ la ntocmirea
planurilor anuale / multianuale de evaluare i structurarea evalurilor ad-hoc care pot aborda
aspecte specifice aferente implementrii Programului.

n ceea ce privete integrarea evalurii att n procesul de elaborare a politicilor publice, ct i


n aspecte administrative i operaionale, pot fi fcute mbuntiri. Conform respondenilor la
sondajul electronic, printre ariile politice pentru care evaluarea are o importan semnificativ
se numr: social, economic, politici sectoriale, sntate i educaie.

2.3. Rezultate la nivelul Programelor Operaionale


n baza datelor disponibile ce rezult din sondajul electronic, a fost realizat o comparaie ntre 7
Programe de Convergen i Programe de CTE. Cu toate acestea, indexul culturii de evaluare la nivel de
PO este caracterizat de un nivel sporit de subiectivitate comparativ cu ICE general; n ciuda uoarei
creteri a numrului de membri ai panelului de cercetare, numrul de rspunsuri la sondajele electronice
care pot fi asociate Programelor Operaionale se ridic la aproximativ 46% din totalul respondenilor, i
anume 36 de persoane.
Figura 13 Rezultatele la nivelul Programelor Operaionale
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
POR

POS CCE

POS DRU

POS M

POS T

PO DCA

POAT

CTE

ICE general 59 %

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

31

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Dup cum se poate observa n tabelul de mai sus, n cadrul celui de-al treilea ciclu de msurare, cel mai
performant i respectiv cel mai puin performant program operaional continu s fie POR, respectiv POS
CCE. Nivelul mediu cu privire la cele 8 PO-uri incluse n analiz este de 56%, mai mic dect cel aferent ICE
global, de 59%.

2.4. Compararea rezultatelor celor trei cicluri de msurare


n urma normalizrii rezultatelor aferente msurrii anuale pentru primul an 3, comparaia cu cel de-al
treilea exerciiu de msurare anual a culturii de evaluare indic o uoar cretere de la 57% (2012) la
59% (2014) a punctajului obinut pentru ICE, determinat n principal de evoluia ofertei de evaluare
(cretere de aproximativ 18% n 2014 comparativ cu 2012).
Pe de alt parte, cererea de evaluare a nregistrat o continu descretere, determinat de sub-criteriul
Resurse financiare alocate evalurii. Decalajul dintre ciclurile de msurare nu a fost provocat de o
reducere semnificativ a alocrii financiare, ci mai ales de includerea n studiul de analiz comparativ
internaional a datelor agregate din state cu bugete dedicate evalurii mai ridicate (ex. Frana, Italia,
Lituania, Ungaria).
Figura 14 Punctajul ICE obinut comparaia ntre ciclurile de msurare anual la nivel de dimensiune

100%
80%
60%
40%
20%

67% 59%
57%

54%

63% 63%

63% 63% 65%

46% 50% 49%

57% 59% 59%

0%
Cererea de
evaluare

Oferta de evaluare

Diseminarea si
utilizarea
rezultatelor
evaluarii

2012

2013

Institutionalizarea
culturii de
evaluare

Index general

2014

Pentru a surprinde evoluia Indexului Culturii de Evaluare pe parcursul celor trei cicluri de msurare,
principalele variaii nregistrate la nivel de criterii sunt prezentate n seciunea de mai jos.

Dup cum este prezentat n capitolul 2.1 Metodologie, pentru a putea compara rezultatele celor trei cicluri de msurare, o metod
de normalizare se aplic pentru fiecare indicator, normalizarea valorilor ntre [0-1], prin metoda Min-Max.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

32

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Criteriul (1) Structura evalurii


Figura 15 Punctajul ICE obinut pentru criteriul 1 comparaie ntre ciclurile de msurare la nivel de
sub-criterii

62.6%
62.5%
69.9%

Structura evalurii

57.8%
49.4%
51.2%

Corelarea funciei
de evaluare cu alte
funcii

41.9%
49.2%

Coordonare

72.6%
88.1%
89.0%
85.9%

Responsabiliti de
Evaluare
0%

20%

40%
2014

60%
2013

80%

100%

2012

Performana general mai sczut nregistrat de criteriul Structura evalurii n 2014 (62,6%), fa de
2012 (69,9%), poate fi atribuit includerii n cadrul metodologiei a unor indicatori suplimentari, care au
vizat mbuntirea preciziei de msurare cu privire la partea de cerere e evalurii.
Cu toate acestea, ar trebui acordat atenie sub-criteriului Coordonare, ntruct respondenii la sondajul
electronic au precizat faptul c n ultimele 12 luni, au fost organizate mai puine ntlniri ale GLE fa de
cel de al doilea ciclu de msurare (ex. respondenii au participat n medie la 0-1 ntlniri ale GLE n cel deal treilea ciclu, comparativ cu 2-3 ntlniri ale GLE n cel de-al doilea ciclu).

Criteriul (2) Resursele financiare i umane alocate Evalurii


Figura 16 Punctajul ICE obinut pentru criteriul 2 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
43.4%
49.9%

Resursele financiare i
umane alocate evalurii
conform CSNR

79.4%
74.8%
66.8%
75.5%

Resurse umane
11.9%
Resurse financiare

33.0%
83.3%
0%

20%

40%
2014

60%
2013

80%

100%

2012

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

33

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Aa cum a fost prezentat la nceputul subcapitolului, schimbrile semnificative reflectate de punctajul


general al acestui criteriu nu au fost determinate de o alocare redus de resurse pentru funcia de
evaluare; aceasta s-a datorat n principal informaiilor suplimentare rezultate din analiza comparativ
internaional efectuat n ultimii doi ani n ceea ce privete alocarea financiar (ex. date suplimentare au
fost colectate de la state care au alocri semnificative de resurse financiare pentru proiectele de evaluare,
cum ar fi Frana, Ungaria i Italia).

Criteriul (3) Calitatea sistemului de monitorizare


Figura 17 Punctajul ICE obinut pentru criteriul 3 comparaie ntre ciclurile de msurare la nivel de
sub-criterii

53.9%

Calitatea sistemului de
monitorizare

62.1%
53.4%
55.7%

Indicatorii individuali

61.3%
49.8%
52.2%

Sistemul de indicatori

63.0%
57.0%

0%

20%

40%
2014

2013

60%

80%

100%

2012

Variaiile dintre cele 3 cicluri de msurare au fost determinate de percepia asupra calitii sistemului de
monitorizare; conform datelor sondajului electronic, punctajul pentru Calitatea indicatorilor individuali a
crescut n perioada 2012-2014 cu aproximativ 12%, n timp ce punctajul pentru Calitatea sistemului de
indicatori a nregistrat o scdere de 8% n 2014 fa de 2012. Rezultatele pot fi justificate de faptul c cel
de-al treilea ciclu anual de msurare s-a suprapus cu nceputul perioadei de programare 2014-2020, n
care logica de intervenie este mult mai complex.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

34

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Criteriul (4) Funcia de evaluare este eficient i eficace


Figura 18 Punctajul ICE obinut pentru criteriului 4 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
69.6%
62.5%
66.4%

Eficiena i eficacitatea
funciei de evaluare

75.8%
Procesul de nvare

52.2%
52.3%
76.0%
73.4%
67.0%

Termenii de referin

53.2%
59.7%

Implicarea Unitilor de
Evaluare n procesul
decizional

37.3%
80.6%
81.8%
80.6%

Comitetele de
Coordonare a Evalurii
62.7%
Planurile de Evaluare

45.2%
78.0%
0%

20%

40%
2014

2013

60%

80%

100%

2012

Eficiena i eficacitatea funciei de evaluare a nregistrat o cretere de 5% comparativ cu primul ciclu,


determinat de Procesul de nvare i de Implicarea Unitilor de Evaluare n procesul de luare a deciziilor.
Aceste rezultate bune au fost confirmate i n cadrul ntrevederilor cu GLE i ADER: personalul care
lucreaz n Unitile de Evaluare este mai bine instruit i pregtit pentru implementarea proiectelor de
evaluare.
Pe de alt parte, sub-criteriul Planurile de evaluare a nregistrat o scdere de aproximativ 20% n 2014
fa de 2012. ntruct majoritatea Planurilor Multianuale de Evaluare sunt revizuite frecvent, variaia
criteriului pe parcursul celor trei cicluri de msurare este determinat n principal de diferitele rate de
execuie ale PME-urilor incluse n analiz.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

35

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Criteriul (5) Disponibilitatea i fiabilitatea datelor socio-economice


Figura 19 Punctajul ICE obinut pentru criteriul 5 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
51.3%
51.5%
50.3%

Disponibilitatea i
fiabilitatea datelor socioeconomice

39.3%
40.3%

Alte date
20.0%

63.3%
62.7%

Datele socio-economice

80.7%
0%

20%
2014

40%
2013

60%

80%

100%

2012

Acest criteriu a nregistrat o cretere de 2% n 2014 fa de 2012. La nivel de sub-criteriu, disponibilitatea


datelor socio-economice necesare n procesul de evaluare a sczut cu 21% n 2014 fa de 2012, n timp
ce disponibilitatea altor date cu privire la beneficiari a crescut cu 96%. Aceste rezultate ar trebui tratate cu
pruden, ntruct principala surs de date o reprezint opinia respondenilor la sondajul electronic.

Criteriul (6) Disponibilitatea i calitatea expertizei de evaluare


Figura 20 Punctajul ICE obinut pentru criteriul 6 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
Disponibilitatea i
calitatea expertizei n
domeniul evalurii

74.9%
74.2%
56.7%
66.2%
68.0%

Independena
evaluatorilor
Dezvoltarea
competenelor de
evaluare

100.0%
100.0%
90.0%
85.9%

Asigurarea calitii
evalurilor
62.6%
60.6%
66.7%

Expertiza tematic i
metodologic

55.9%
56.6%
46.7%

Competitivitatea pieei
0%

20%

40%
2014

2013

60%

80%

100%

2012

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

36

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Dup cum se poate vedea n figura de mai sus, n cadrul celui de-al doilea ciclu de msurare, acest criteriu
a suferit mbuntiri metodologice semnificative; n vederea creterii relevanei rezultatelor, a fost
adugat o serie de indicatori suplimentari pentru a msura independena evaluatorilor, dezvoltarea de
abiliti de evaluare i calitatea evalurilor. Prin urmare, variaia nregistrat ntre ciclurile de msurare
(cretere de 32% n 2014 fa de 2012) ar trebui s fie interpretat cu pruden. Mai mult dect att,
principala surs de informaii a fost reprezentat de opinia respondenilor la sondajul electronic.

Criteriul (7) Diseminarea rezultatelor evalurii


Figura 21 Punctajul ICE obinut pentru criteriul 7 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
45.8%

Diseminarea realizrilor
imediate ale evalurii

50.0%
47.8%
45.8%

Diseminarea
rezultatelor evalurii

50.0%
47.8%

0%

20%

40%
2014

60%

2013

80%

100%

2012

Criteriul 7 a nregistrat o scdere de aproximativ 8% n 2014 fa de 2012. Aceast involuie poate fi


atribuit scderii numrului de rapoarte de evaluare aprobate i a numrului de evenimente publice de
diseminare a rezultatelor evalurii organizate n fiecare ciclu.

Criteriul (8) Utilizarea rezultatelor evalurii


Figura 22 Punctajul ICE obinut pentru criteriul 8 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
84.0%

Utilizarea rezultatelor
evalurii

76.8%
77.7%

Impactul evalurilor
asupra proceselor de
programare/implementar
e

79.2%
62.0%
65.2%
88.9%

Proceduri de abordare a
rezultatelor evalurii i
monitorizare (follow-up)

91.7%
90.3%

0%

20%

40%
2014

2013

60%

80%

100%

2012

Acest criteriu a nregistrat una dintre cele mai bune performane n toate cele trei cicluri de msurare.
Variaia de 8% nregistrat ntre valorile pentru 2014 i respectiv pentru 2012 poate fi explicat prin
faptul c, n cel de al treilea ciclu de msurare, cu scopul de a cuantifica utilizrii rezultatelor evalurii
pentru urmtoarea perioad de programare, n cadrul chestionarului electronic a fost adugat o nou

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

37

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

ntrebare, ceea ce a condus la nregistrarea unui scor mai bun a sub-criteriului Impactul evalurii asupra
procesului de programare / implementare.

Criteriul (9) Cadrul mental


Figura 23 Punctajul ICE obinut pentru criteriul 9 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
58.6%

Cadrul mental

57.0%
54.9%
58.6%

Valori

57.0%
54.9%

0%

20%

40%
2014

60%

2013

80%

100%

2012

Criteriul 9 a nregistrat o cretere continu n timpul celor trei cicluri de msurare, ceea ce relev faptul c
evaluarea este considerat o parte esenial n atingerea succesului la nivel instituional, att de ctre
personalul de conducere, ct i de cel executiv.

Criteriul (10) Contextul legal al evalurii


Figura 24 Punctajul ICE obinut pentru criteriul 10 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
25.0%

Contextul legal al
evalurii

25.0%
25.0%
25.0%

Prevederi legale

25.0%
25.0%

0%

20%

2014

40%

2013

60%

2012

80%

100%

Punctajul nregistrat de acest criteriu a rmas constant n toate cele trei cicluri de msurare, deoarece
legislaia nu a suferit modificri substaniale, iar elemente care mpiedic procesul de evaluare au fost
identificate att prin cercetare documentar, ct i n cadrul grupurilor de lucru cu reprezentanii GLE.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

38

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Criteriul (11) Politica evaluativ privind resursele umane


Figura 25 Punctajul ICE obinut pentru criteriul 11 comparaie ntre ciclurile de msurare la nivel de
sub-criterii

66.5%

Politica evaluativ
privind resursele
umane

60.9%
60.9%
66.5%

Politica de resurse
umane

60.9%
60.9%

0%

20%

40%
2014

60%
2013

80%

100%

2012

Avnd n vedere faptul c principala surs de date pentru acest criteriu este sondajul electronic,
mbuntirea punctajului depinde de opinia respondenilor n ceea ce privete participarea funcionarilor
publici la activitile de evaluare precum i referitor la activitatea susintorilor de evaluare (ex. persoane
care susin procesul de evaluare), att la nivel de PO, ct i CSNR. Pe de alt parte, procentul de
funcionari publici instruii n domeniul tiinelor sociale (spre deosebire de pregtire strict juridic), a
nregistrat o tendin de scdere, mai exact cu 12% n 2014 fa de 2012.

Criteriul (12) Cererea de evaluare ncorporat/pornit de jos n sus (n SIS)


Figura 26 Punctajul ICE obinut pentru criteriul 12 comparaie ntre ciclurile de msurare la nivel de
sub-criterii

57.0%

Cererea de evaluare
ncorporat/pornit
de jos n sus (n SIS)

56.0%
56.3%
57.0%

Cererea de evaluare
ncorporat/pornit
de jos n sus (n SIS)

56.0%
56.3%

0%

20%

40%
2014

2013

60%

80%

100%

2012

Criteriul 12 a nregistrat o cretere de 1% n 2014 fa de 2012, datorit numrului de proiecte de


evaluare efectuate ca rspuns la nevoia de cunoatere empiric i nu ca o obligaie, realizate la nivel de
CSNR.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

39

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Criteriul (13) Reele


Figura 27 Punctajul ICE obinut pentru criteriul 13 comparaie ntre ciclurile de msurare la nivel de
sub-criterii

53.8%
Reele

53.5%
54.5%

65.7%

Diminuarea decalajului
dintre mediul
universitar i Guvern

63.1%
65.7%

Existena unei
organizaii naionale a
evaluatorilor
profesioniti

41.9%
43.9%
43.2%

0%

20%

40%
2014

2013

60%

80%

100%

2012

Criteriul 13 a nregistrat o scdere de 1% n 2014 fa de 2012, care reflect percepia respondenilor la


sondajul electronic cu privire la contribuia organizaiei naionale a evaluatorilor profesioniti la crearea
unei reele i la diseminarea celor mai bune practici.
Pe de alt parte, opinia respondenilor la sondajul electronic cu privire la existena unui mecanism de
cooperare ntre mediul academic i Guvern care s conduc la o mai bun formulare a politicilor a rmas la
acelai nivel ca i n primul ciclu anual de msurare.

(14) Societatea civil i mass media


Figura 28 Punctajul ICE obinut pentru criteriul 14 comparaie ntre ciclurile de msurare la nivel de
sub-criterii

27.6%

Societatea civil i mass


media

33.5%
22.6%
19.0%

Participarea Mass Media

32.4%
10.6%
36.1%

Participarea Societii
Civile

34.6%
34.6%
0%

20%

40%
2014

2013

60%

80%

100%

2012

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

40

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Criteriul 14 a nregistrat o cretere de 22% n 2014 fa de 2012, n principal datorit percepiei


respondenilor la sondajul electronic cu privire la rolul pe care mass-media ar trebui s l dein n procesul
de diseminare a rezultatelor evalurii.

(15) Guvernan
Figura 29 Punctajul ICE obinut pentru criteriul 15 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
41.7%
Guvernan

42.0%
45.8%

41.7%

Indexul de
Guvernan

42.0%
45.8%

0%

20%

40%
2014

2013

60%

80%

100%

2012

Criteriul 15 are la baz Indicatorii Mondiali de Guvernan pentru perioada 1996-2012, publicai de Banca
Mondial i prezint poziia pe care se situeaz Romnia comparativ cu toate celelalte state din lume,
referitor la urmtoarele aspecte: opinie i responsabilitate, stabilitate politic, eficiena guvernului,
calitatea reglementrilor, statul de drept, controlul corupiei. Scorurile obinute au relevat o scdere
continu, de la 45,8% n 2012, la 41,7% n 2014.

(16) Impactul pe termen lung i n afara SIS


Figura 30 Punctajul ICE obinut pentru criteriul 16 comparaie ntre ciclurile de msurare la nivel de
sub-criterii
63.1%

Impactul pe termen
lung i n afara SIS

69.0%
50.2%
63.1%

Impactul n afara SIS

69.0%
50.2%
0%

20%

40%
2014

2013

60%

80%

100%

2012

Percepia respondenilor la sondajul electronic n ceea ce privete integrarea evalurilor n strategiile i


practicile de management a fost reflectat n cadrul criteriului 16, care a nregistrat o cretere de 26% n
2014 fa de 2012.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

41

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Capitol 3

Analiza DMI 1.2 Evaluare din cadrul POAT

3.1. Prezentarea general a Metodologiei


Scopul acestui capitol este de a prezenta contribuia activitilor finanate n cadrul DMI 1.2, cuantificate
n raport cu punctajul general obinut de ICE. Pentru 54 din totalul de 56 de indicatori, a fost definit o
metodologie de msurare ce vizeaz surprinderea impactului direct sau indirect al DMI 1.2, sursele de
informaii corespunztoare (n principal analiza documentar i focus grupul cu GLE) i metodologia de
punctare.
Exemplu: pentru indicatorul nr. 2 Definirea clar a misiunii, rolurilor i atribuiilor Unitilor de Evaluare,
impactul DMI 1.2 va porni de la o valoare situat ntre 0 i 100% din valoarea obinut de indicator.
Procentajul este calculat innd cont de numrul de programe (din total) pentru care sunt definite
misiunea/rolurile i atribuiile Unitilor de Evaluare conform ghidurilor elaborate n cadrul DMI 1.2, care
vor fi definite prin analiza documentar, interviuri i focus grup.
. ,

1.2
100

Metodologia de msurare a impactului DMI 1.2 asupra nivelului de realizare a culturii de evaluare a fost
bazat pe ncercarea de a identifica posibilele corelri ntre activiti / rezultatele generate de proiectele
implementate n cadrul acestei msuri i indicatorii ICE. Fa de ciclul de evaluare anterior, metodologia
nu a fost modificat, respectndu-se astfel comparabilitatea rezultatelor.
Dup cum este evideniat n cel de al doilea Raport de Msurare Anual i specificat cu ocazia focus
grupului de validare cu GLE, atunci cnd corelarea dintre obiectivele DMI 1.2 i aspectele identificate de
ICE este redus, msurarea impactului DMI 1.2 ar trebui interpretat cu precauie.
Tabel 4 Impactul DMI 1.2: surse de informaii
Surse de informaii

Analiza
documentar

Interviuri/ discuii
de validare

Focus Grup cu GLE

Analiza materialelor aferente evalurii (ex. ghiduri, materiale de formare, studii, rapoarte, criterii de
selecie a personalului) i verificarea ncruciat cu livrabilele specificate n proiectele din cadrul DMI 1.2

Validarea corelrilor dintre ghidurile / procedurile existente aferente evalurii i livrabilele proiectelor
(raportul include informaiile colectate n timpul primului ciclu de msurare deoarece nu au survenit
modificri semnificative n timpul celui de-al doilea i de-al treilea ciclu)

Validarea cu reprezentanii GLE care se preconizeaz c vor fi printre cei care au beneficiat cel mai mult
de activitile derulate n cadrul DMI 1.2 cu privire la corelarea proiectelor cu ICE

3.2. Impactul DMI 1.2 asupra ICE, dimensiuni i criterii


Aceast seciune prezint impactul DMI 1.2 asupra nivelului general al ICE, pornind de la nivelul general
(dimensiuni i criterii) i apoi n detaliu.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

42

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Impactul general la nivel de dimensiune


Cel de-al treilea exerciiu de msurare anual indic un impact mediu al proiectelor finanate n cadrul DMI
1.2 asupra rezultatelor generale satisfctoare ale ICE. La nivel de dimensiune, DMI 1.2 pare a avea un
impact mai mare asupra diseminrii i utilizrii rezultatelor evalurii i asupra cererii de evaluare.
Figura 31 Impactul general al DMI 1.2, la nivel de dimensiuni
70%
60%
50%
40%
30%

24.50%

9.50%

18.52%

16.05%

11.67%

20%
10%
0%
Cererea de evaluare Oferta de evaluare

Diseminarea i
Instituionalizarea
utilizarea
culturii de evaluare
rezultatelor evalurii

Index general

3.3. Rezultatele la nivel de criterii


Dup cum putem vedea din figura de mai jos, impactul DMI 1.2 este mai evident asupra anumitor criterii
(ex.: diseminarea rezultatelor
evalurii,
cererea de evaluare ncorporat / pornit de jos n sus n cadrul SIS
Capacitatea
de Evaluare
i impactul pe termen lung i n afara SIS), n timp ce pentru alte criterii impactul este extrem de redus (ex.:
Cultura de Evaluare
calitatea sistemului de monitorizare, cadrul mental i societatea civil).
Figura 32 Impactul DMI 1.2, la nivelul criteriilor
(1) Structura evalurii cu
accent specific asupra
(16) Impactul pe termen 100%
(2) Resursele financiare i
lung i n afara SIS
umane alocate evalurii
80%
(3) Calitatea sistemului de
(15) Guvernan
monitorizare
60%
(14) Societatea civil i
mass media

(4) Eficiena i eficacitatea


funciei de evaluare

40%
20%

(13) Reele

(5) Disponibilitatea i
fiabilitatea datelor socio-

0%

(12) Cererea de evaluare


ncorporat/pornit de
(11) Politica evaluativ
privind resursele umane -
(10) Contextul legal al
evalurii

(6) Disponibilitatea i
calitatea expertizei n

(9) Cadrul mental

(7) Diseminarea realizrilor


imediate ale evalurii
(8) Utilizarea rezultatelor
evalurii

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

43

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

3.4. Rezultatele la nivel de sub-criterii i indicatori


n urmtoarele seciuni, rezultatele sunt examinate mai n detaliu. Impactul DMI 1.2 asupra sub-criteriilor
i indicatorilor este analizat pentru a formula concluzii preliminare i recomandri.

(1) Structura evalurii


Exist dovezi cu privire la impactul DMI 1.2 asupra tuturor celor trei indicatori afereni acestui criteriu.
Impactul general al DMI 1.2 asupra structurii evalurii este de 18% din punctajul total obinut de 63%.

Responsabiliti de Evaluare: DMI 1.2 are impact asupra structurii Unitilor de Evaluare, dar
nu asupra definirii misiunii, rolurilor i atribuiilor acestora. Raportul de Analiz a Sistemului de
Evaluare, elaborat n cadrul proiectului Dezvoltarea Capacitii de Evaluare pentru Unitile de
Evaluare din cadrul AM-urilor i ACIS4, recomand nfiinarea unor uniti dedicate n cadrul
AM-urilor, separat de alte funcii.

Coordonare: jumtate din reuniunile GLE au fost organizate n cadrul DMI 1.2. Pe de alt
parte, DMI 1.2 nu are impact asupra definirii mecanismului de coordonare a Unitilor de
Evaluare.

Corelarea funciei de evaluare cu alte funcii: n baza analizei documentare, exist dovezi cu
privire la impactul DMI 1.2 asupra corelrii funciei de evaluare cu cea de monitorizare.
Raportul de Analiz a Sistemului de Evaluare sugereaz faptul c datele de monitorizare ar
trebui s duc la realizarea de evaluri i aceast recomandare a fost integrat n toate
procedurile de evaluare, la nivelul PO i CSNR.
Figura 33 Structura evalurii: impactul DMI 1.2
0%
Responsabiliti de Evaluare

Coordonare

Corelarea funciei de evaluare cu alte


funcii
(1) Structura evalurii cu accent specific
asupra corelrii funciei de evaluare cu
cea de programare i monitorizare

20%

40%

60%

80%

100%

20%

11%

23%

18%

n baza analizei documentare a documentelor elaborate n cadrul proiectului Dezvoltarea Capacitii de Evaluare pentru Unitile
de Evaluare din cadrul AM-urilor i ACIS, finanat din PO AT DMI 1.2, am identificat numeroase legturi ntre obiectivele i
activitile de proiect i ariile aferente indexului culturii de evaluare care sunt abordate direct sau indirect. Legturile cele mai
puternice i directe sunt identificate n special cu urmtoarele criterii aferente indexului: (1) Structura Evalurii, (2) Resursele
financiare i umane alocate Evalurii n cadrul CSNR, (4) Funcia de evaluare este eficient i eficace, (7) Diseminarea rezultatelor
evalurii, (8) Utilizarea rezultatelor evalurii, (11) Politica evaluativ a resurselor umane viznd asigurarea resurselor umane
adecvate, la toate nivelele, (12) Cererea de evaluare ncorporat/pornit de jos n sus (n SIS), (14) Societatea civil i mass media.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

44

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

(2) Resursele financiare i umane alocate evalurii


Impactul general al DMI 1.2 asupra acestui criteriu este de 14% din punctajul total obinut de 43%.

Resurse financiare: contribuia financiar a DMI 1.2 la bugetele alocate evalurii la nivel de
PO este redus (i anume DMI 1.2 finaneaz doar evalurile din cadrul PO AT; celelalte 6 POuri i programele de CTE utilizeaz resurse din propriul buget de evaluare, alocat n cadrul
Axei Prioritare de Asisten Tehnic din cadrul programului), n timp ce la nivelul CSNR este de
100%.

Resurse umane: DMI 1.2 nu are impact cu privire la acoperirea salariilor personalului din
cadrul Unitii de Evaluare (i anume legislaia actual nu permite finanarea salariilor din DMI
1.2). Pe de alt parte, DMI 1.2 are impact din perspectiva acoperirii costurilor de formare a
personalului din cadrul Unitii de Evaluare: numeroase cursuri de formare au fost finanate n
cadrul proiectului Dezvoltarea Capacitii de Evaluare pentru Unitile de Evaluare n cadrul
AM-urilor i ACIS. De asemenea, proiectul a avut ca rezultat o Strategie pentru cursuri de
formare continu pe tema sistemului de evaluare a instrumentelor structurale.
Figura 34 Resursele financiare i umane alocate Evalurii: impactul DMI 1.2
0%

Resurse financiare

40%

60%

80%

100%

2%

Resurse umane

(2) Resursele financiare i umane


alocate evalurii conform CSNR

20%

25%

14%

(3) Calitatea sistemului de monitorizare


Impactul DMI 1.2 asupra acestui criteriu a fost calculat n baza unui sondaj transmis membrilor GLE.
Rezultatele arat c att sistemul de indicatori, ct i indicatorii individuali sunt concepui i revizuii
conform recomandrilor DMI 1.2. Cu toate acestea, analiza documentar nu a indicat acest lucru. Impactul
general al DMI 1.2 asupra acestui criteriu este de 20% din punctajul total obinut de 54%.
Figura 35 Calitatea sistemului de monitorizare: impactul DMI 1.2
0%

20%

Sistemul de indicatori

17%

Indicatorii individuali

22%

(3) Calitatea sistemului de monitorizare

20%

40%

60%

80%

100%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

45

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

(4) Funcia de evaluare este eficient i eficace


Am identificat o serie de recomandri formulate n cadrul DMI 1.2 cu privire la acest criteriu. Totui, dup
cum este prezentat mai jos, nu au fost toate implementate. Impactul general al DMI 1.2 este de 23% din
punctajul obinut de 70%.

Planuri de Evaluare: n cadrul DMI 1.2 au fost formulate recomandri privind actualizarea
periodic a Planurilor Anuale i Multianuale de Evaluare. n manualul Evaluarea Programelor
Operaionale. Concepte introductive elaborat n cadrul proiectului Dezvoltarea capacitii de
evaluare pentru Unitile de Evaluare din cadrul AM-urilor i ACIS se precizeaz c PME ar
trebui s fie un document dinamic, actualizat periodic, iar PAE-urile ar trebui elaborate la
nceputul fiecrui an de-a lungul ntregii perioade de programare. Cu toate acestea, doar POR
a actualizat att PME, ct i PAE-urile.
n plus, DMI 1.2 are un impact sporit asupra execuiei Planurilor de Evaluare la nivelul CSNR (i
anume toate rapoartele de evaluare au fost finanate n cadrul DMI 1.2) i un impact redus la
nivelul PO (i anume DMI 1.2 finaneaz doar rapoartele de evaluare elaborate n cadrul PO
AT, n timp ce alte evaluri sunt finanate prin Axa Prioritar Asisten Tehnic a fiecrui PO).

Comitetele de Coordonare a Evalurii: conform sondajului distribuit membrilor GLE,


Comitetele de Coordonare a Evalurii sunt organizate conform ghidurilor elaborate n cadrul
DMI 1.2. Cu toate acestea, n baza analizei documentare, nu au fost identificate dovezi cu
privire la ghiduri aferente organizrii CCE, finanate n cadrul DMI 1.2 (ghidurile existente au
fost elaborate n cadrul proiectelor Phare).

Implicarea Unitilor de Evaluare n procesul decizional: nu au fost identificate dovezi cu


privire la impactul DMI 1.2 asupra formalizrii unui proces pentru implicarea Unitilor de
Evaluare n cadrul procesului decizional.

Termeni de referin: exist Ghidurile pentru Evaluri Intermediare elaborate n cadrul DMI
1.2, care, conform discuiilor cu membrii GLE, au fost utilizate pentru realizarea TdR att la
nivelul PO, ct i la nivelul CSNR.

Procesul de nvare: dei au existat dovezi cu privire la recomandrile formulate n cadrul


DMI 1.2 cu privire la actualizarea periodic a procedurilor (i anume proiectul Dezvoltarea
Capacitii de evaluare pentru Unitile de Evaluare din cadrul AM-urilor i ACIS), procedurile
de evaluare nu au fost actualizate pentru trei PO-uri ( POS DRU, POS CCE i POS Mediu) i nu
reflect ultimele modificri organizaionale.
Figura 36 Eficiena i eficacitatea funciei de evaluare: impactul DMI 1.2
0%
Planurile de Evaluare
Comitetele de Coordonare a Evalurii

20%

40%

60%

80%

100%

13%
24%

Implicarea Unitilor de Evaluare n procesul


decizional
Termenii de referin
Procesul de nvare
(4) Eficiena i eficacitatea funciei de
evaluare

41%
38%
23%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

46

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

(5) Disponibilitatea i fiabilitatea datelor socio-economice


Nu au fost identificate dovezi cu privire la impactul DMI 1.2 asupra disponibilitii i fiabilitii datelor
socio-economice. Impactul general al DMI 1.2 asupra acestui criteriu este de 0% din punctajul total obinut
de 51%.

(6) Disponibilitatea i calitatea expertizei n domeniul evalurii


DMI 1.2 are impact doar asupra a 2 sub-criterii aferente disponibilitii i calitii expertizei de evaluare:
competitivitatea pieei i independena evaluatorilor. Impactul general al DMI 1.2 asupra acestui criteriu
este de 19% din punctajul total obinut de 75%.

Competitivitatea pieei: contractele-cadru multianuale cu valori considerabile, finanate n


cadrul DMI 1.2 au suscitat interesul att al firmelor naionale, ct i internaionale active pe
piaa de evaluare (6 din 13 firme internaionale i 4 din 7 firme naionale lucreaz la proiectele
din cadrul DMI 1.2).

Expertiza tematic i metodologic: nu au fost identificate dovezi cu privire la oportunitile


de formare finanate n cadrul DMI 1.2 pentru oferta de evaluare. Aadar, putem concluziona
c DMI 1.2 nu a contribuit la asigurarea unui nivel corespunztor de expertiz tematic i
metodologic.

Asigurarea calitii evalurilor: nu au fost identificate dovezi cu privire la ghidurile finanate


n cadrul DMI 1.2 prin care s fie recomandat o anumit structur a listelor de verificare.

Dezvoltarea competenelor de evaluare: nu au fost identificate dovezi cu privire la


oportunitile de formare pentru oferta de evaluare, finanate n cadrul DMI 1.2. Aadar,
putem concluziona c DMI 1.2 nu are impact asupra dezvoltrii competenelor de evaluare
privind oferta de evaluare.

Independena evaluatorilor: proiectul Dezvoltarea capacitii de evaluare pentru Unitile de


Evaluare din cadrul AM-urilor i ACIS a finanat elaborarea unor materiale de curs aferente
independenei evaluatorilor: Managementul conflictului de interese, independena i
imparialitatea evaluatorilor. Impactul identificat al DMI 1.2 asupra independenei
evaluatorilor, n baza focus grup-ului cu GLE, este mediu ctre ridicat.

Figura 37 Disponibilitatea i calitatea expertizei n domeniul evalurii: impactul DMI 1.2


0%
Competitivitatea pieei

20%

40%

60%

80%

100%

29%

Expertiza tematic i metodologic


Asigurarea calitii evalurilor
Dezvoltarea competenelor de evaluare
Independena evaluatorilor
(6) Disponibilitatea i calitatea expertizei n
domeniul evalurii

66%
19%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

47

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

(7) Diseminarea rezultatelor evalurii


Acest criteriu, avnd n componen un singur subcriteriu, nregistreaz un nivel de 38% aferent
impactului DMI 1.2, din punctajul obinut de 49%. O analiz la nivelul indicatorilor arat c:

ncepnd din ianuarie 2013, Ministerul Fondurilor Europene a pus la dispoziia factorilor de
decizie i publicului larg o Bibliotec de Evaluare centralizat, ce include rapoarte realizate
att la nivel de PO, ct i la nivelul CSNR, care poate fi consultat on-line pe pagina de Internet
www.evaluare-structurale.ro. Acest instrument pentru gestionarea rezultatelor evalurii a fost
realizat n cadrul proiectului mbuntirea modului de evaluare a procesului de elaborare a
politicilor publice i a procesului decizional n domeniul instrumentelor structurale din Romnia,
finanat n cadrul DMI 1.2.

Cu toate acestea, dintre cele trei rapoarte de evaluare realizate n ultimele 12 luni la nivelul
PO, nici unul nu a fost finanat prin DMI 1.2 i nici unul nu este disponibil pe pagina de Internet
a Bibliotecii de Evaluare. Proiectele de evaluare finalizate n ultimele 12 luni la nivelul CSNR,
au fost finanate prin intermediul DMI 1.2, ns niciunul nu este public.

La nivelul CSNR, toate evenimentele publice organizate n ultimele 12 luni pentru a discuta
rezultatele evalurilor au fost finanate prin intermediul DMI 1.2. La nivelul PO, dezbaterile
publice sunt finanate din alte surse i, prin urmare, impactul DMI 1.2 este limitat.

(8) Utilizarea rezultatelor evalurii


n baza analizei documentare, impactul DMI 1.2 asupra acestui criteriu este limitat. Exist proceduri
pentru implementarea rezultatelor evalurii, ns acestea nu au fost finanate n cadrul DMI 1.2. Impactul
general al DMI 1.2 asupra acestui criteriu este de 11% din punctajul total obinut de 84%.

Proceduri de abordare a rezultatelor evalurii i monitorizare (follow-up): nu au fost


identificate dovezi cu privire la ghidurile elaborate n cadrul DMI 1.2 aferente procesului de
monitorizare (follow-up) (ghidurile existente au fost finanate n cadrul proiectelor Phare).

Impactul evalurilor asupra proceselor de programare/implementare: n baza sondajului


distribuit membrilor GLE, impactul proiectelor de evaluare finanate n cadrul DMI 1.2 asupra
proceselor de programare i implementare este considerat ca fiind mediu. Cu toate acestea,
numrul de respondeni la sondaj este mai degrab sczut (14 respondeni), ceea ce poate fi
un factor limitativ pentru precizia analizei.
Figura 38 Utilizarea rezultatelor evalurii: impactul DMI 1.2
0%

20%

40%

60%

80%

100%

Proceduri de abordare a rezultatelor


evalurii i monitorizare (follow-up)

Impactul evalurilor asupra proceselor de


programare/implementare

(8) Utilizarea rezultatelor evalurii

22%

11%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

48

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

(9) Cadrul mental


Criteriul Cadrul mental a vizat msurarea, conform ICE, a valorilor comunicate de factorii care formuleaz
politici publice, echipa de management i cea executiv, cu privire la evaluare. innd cont de faptul c
msurarea impactului DMI 1.2 asupra acestui criteriu ar implica un grad sporit de subiectivitate, echipa de
evaluare a convenit cu beneficiarul ca acesta s nu fie inclus n Metodologia de Msurare.

(10) Contextul legal al evalurii


Criteriul Contextul legal al evalurii a avut scopul de a ilustra dac legislaia n vigoare include elemente
care mpiedic, n mod direct sau indirect, activitatea de evaluare. Analiza documentar a evideniat faptul
c DMI 1.2 nu are impact asupra contextului juridic al evalurii, concluzia fiind, de asemenea, susinut de
ctre membrii GLE.

(11) Politica evaluativ privind resursele umane viznd asigurarea resurselor umane
adecvate, la toate nivelele
Acest criteriu are n componen un singur subcriteriu i nregistreaz un impact de 7% al DMI 1.2, din
punctajul obinut de 67%. O analiz a nivelului de indicatori evideniaz c:

n baza sondajului completat de membrii GLE, DMI 1.2 a finanat cursuri de formare pentru
funcionari publici n domeniul tiinelor sociale.

n plus, la nivelul PO, exist participani GLE, expui la proiectele din cadrul DMI 1.2, care dein
o funcie de decizie i care pot susine procesul de evaluare (i anume susintori ai evalurii).

(12) Cererea de evaluare ncorporat/pornit de jos n sus (n SIS)


Acest criteriu este compus dintr-un singur sub-criteriu i nregistreaz un impact de 28% al DMI 1.2, din
punctajul total de 57%. Analiza la nivel de indicator evideniaz c:

31% dintre evalurile finalizate, inclusiv la nivelul PO i CSNR, au fost finanate n cadrul DMI
1.2.

13% dintre evalurile efectuate la nivelul PO ca rspuns la nevoia de cunoatere empiric, i nu


ca obligaie, au fost finanate n cadrul DMI 1.2. Procentajul la nivelul CSNR este de 100%.

(13) Reele
n baza analizei documentare, nu a fost identificat niciun proiect n cadrul DMI 1.2 care s sprijine
organizaia naional a evaluatorilor. Impactul general al DMI 1.2 asupra acestui criteriu este de 0% din
punctajul total obinut de 54%.

Organizaia naional a evaluatorilor profesioniti: nu exist dovezi cu privire la proiecte din


cadrul DMI 1.2 care s sprijine activitatea organizaiei naionale a evaluatorilor.

Reducerea discrepanei dintre mediul universitar i Guvern: nu exist dovezi cu privire la


proiectele din cadrul DMI 1.2 care s sprijine mecanismele de cooperare ntre mediul
universitar i Guvern.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

49

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

(14) Societatea civil i mass media


Impactul general al DMI 1.2 asupra acestui criteriu este de 2% din punctajul total obinut de 28%.

Participarea Societii Civile: DMI 1.2 are impact asupra participrii societii civile la
activitile de evaluare (i anume am identificat dovezi cu privire la proiecte ce implic
societatea civil, finanate n cadrul DMI 1.2).

Participarea Mass Media: DMI 1.2 nu are impact asupra implicrii mass media (i anume
niciunul dintre proiectele finanate n cadrul DMI 1.2 nu a demonstrat participarea mass
media).
Figura 39 Societatea civil i mass media: impactul DMI 1.2
0%

Participarea Societii Civile

4%

Participarea Mass Media

0%

5%

10% 15% 20% 25% 30% 35% 40%

(14) Societatea civil i mass media 2%

(15) Guvernan
Indicatorii care se ncadreaz n acest criteriu sunt msurai n baza Indexului de Guvernan al Bncii
Mondiale. DMI 1.2 nu poate avea impact asupra acestui indicator, aadar echipa de evaluare a convenit cu
beneficiarul ca acesta s nu fie inclus n Metodologia de Msurare.

(16) Impactul pe termen lung i n afara SIS


Acest criteriu include un singur sub-criteriu i nregistreaz un impact de 21% din DMI 1.2, din punctajul
obinut de 63%. O analiz la nivelul indicatorilor evideniaz faptul c:

Proiectele sau componentele proiectelor din cadrul DMI 1.2 se adreseaz instituiilor altele
dect AM i MFE (Organisme Intermediare, Beneficiari, Autoritatea de Audit, Autoritatea de
Certificare i Plat).

Proiectele din cadrul DMI 1.2 nu se adreseaz direct managerilor din administraia public.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

50

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

3.5. Compararea rezultatelor celor trei cicluri de msurare


Analiza a avut scopul de a determina contribuia direct sau indirect a proiectelor de evaluare finanate
prin intermediul DMI 1.2 al PO AT asupra culturii de evaluare din Romnia, iar rezultatele au artat c,
ntr-adevr, aceste proiecte au un impact asupra rezultatelor generale satisfctoare aferente ICE. Cu
toate acestea, n cele trei cicluri de msurare, metodologia utilizat n analiza a fost supus unor
modificri semnificative i, prin urmare, doar ultimele dou cicluri sunt comparabile din perspectiva
impactului obinut.
Figura 40 Scorul DMI 1.2 - comparaie ntre ciclurile de msurare la nivel de dimensiune
70%
60%
50%
40%
30%
20%
10%

24%

27%
19%
9%

25%
14%

10%

12%

19%

16%

0%
Cererea de evaluare Oferta de evaluare

DMI 2013, Capacitatea de Evaluare


DMI 2014, Capacitatea de Evaluare

Diseminarea i
Instituionalizarea
utilizarea
culturii de evaluare
rezultatelor evalurii
DMI 2013, Cultura de Evaluare
DMI 2014, Cultura de Evaluare

Index general

DMI 2013, Index general


DMI 2014, Index general

Aa cum este prezentat n figura de mai sus, n 2014 DMI 1.2 a nregistrat un impact uor sczut asupra
ICE, comparativ cu 2013. Avnd n vedere faptul c nu au fost identificate schimbri majore ntre cele
dou cicluri de msurare, aceast diferen poate fi integral atribuit percepiei membrilor GLE, exprimat
prin intermediul unui chestionar distribuit n cadrul grupului de lucru ce a avut loc n data de 11.07.2014.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

51

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Capitol 4

Concluziile i recomandri generale

Cea de a treia msurare anual a culturii de evaluare bazat pe ICE a continuat s indice un grad
corespunztor de diseminare a culturii de evaluare n cadrul sistemului de management al Instrumentelor
Structurale, cuantificat ntr-un nivel mediu al ICE de 59% din punctajul maxim obinut de 100% (comparativ
cu 57% n primul ciclu de evaluare).
Gradul de diseminare a culturii de evaluare a fost determinat de un nivel mediu corespunztor aferent
Programelor Operaionale, indicnd rezultate mai satisfctoare pentru POR i POS Mediu i performane
uor mai reduse pentru POS CCE.
La nivelul dimensiunilor, cele mai dezvoltate par a fi oferta de evaluare i diseminarea rezultatelor
evalurii, urmate de cererea de evaluare, n timp ce exist arii de mbuntire cu privire la
instituionalizarea culturii de evaluare.
Comparnd rezultatele ICE obinute pe parcursul celor trei cicluri de msurare, oferta de evaluare a
nregistrat cea mai semnificativ evoluie (de la 45% n primul ciclu de msurare la 63% n ultimul),
determinat n principal de percepia respondenilor la sondajul electronic asupra performanei acestei
dimensiuni. Intervalul de timp de un an cuprins ntre ciclurile de msurare a culturii de evaluare ar putea fi
prea scurt pentru a reflecta mbuntiri substaniale pentru toate cele patru dimensiuni.
Pentru a formula recomandri solide cu privire la modificrile strategice aferente conceptului DMI 1.2 sau
viitoarelor activiti care pot fi ntreprinse n cadrul DMI pentru a spori nivelul de diseminare a culturii de
evaluare, au fost intercorelate la nivelul criteriilor ICE toate dovezile din cadrul celui de-al treilea ciclu de
msurare.

Figura 41 Structura tabelului cu concluzii i recomandri


CRITERII
ICE

CONCLUZIILE AFERENTE CELEI DE A TREIA MSURRI ANUALE

PERFORMANA

PUNCTE FORTE

PUNCTE SLABE

IMPACTUL DMI 1.2

RECOMANDRI
DE
OPTIMIZARE
CULTURII DE EVALUARE
OPERAIONALE

STRATEGICE

Ca urmare a acestei abordri, pentru fiecare criteriu au fost sintetizate principalele puncte forte i puncte
slabe aferente culturii de evaluare care rezult din analiza surselor primare i secundare, au fost descrise
activitile relevante derulate aferente proiectelor contractate n cadrul DMI 1.2 i recomandrile au fost
difereniate n recomandri operaionale (i anume aciuni pe termen scurt care pot fi implementate n
cadrul structurii actuale a DMI 1.2) i recomandri strategice (i anume recomandri care necesit
schimbri ale logicii de intervenie a DMI 1.2 i care aadar pot necesita modificri ale documentelor de
programare i implementare existente) ce le reflect pe cele aferente ciclului anterior de msurare anual.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

52

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Tabel 5 Concluzii aferente msurrii anuale i recomandri pentru mbuntire

Criteriile ICE

PERFORMANA

PUNCTE FORTE

PUNCTE SLABE

IMPACTUL DMI 1.2

OPERAIONALE

STRATEGICE

ACIUNI DMI 1.2


Asigurarea continuitii
rolului UCE.

(1) Structura
evalurii

PESTE MEDIA ICE

Structura sistemului de
evaluare exist n cadrul
Unitilor de Evaluare
dedicate constituite i
care funcioneaz la
nivelul Programului,
coordonate n mod
eficace de ctre Unitatea
Central de Evaluare
nfiinat n cadrul MFE.
Misiunea, rolurile i
atribuiile UE-urilor sunt
definite i atribuite clar n
baza RdF, procedurilor i
fielor de post.

Principalul inconvenient
cu privire la structur
face referire la faptul c
Unitile de Evaluare sunt
organizate n cadrul unor
compartimente ce
ndeplinesc i alte funcii
(ex: programare,
comunicare) i c exist o
lips de proceduri formale
care s coreleze funcia
de evaluare cu cea de
programare.
Procedura aplicat cu
privire la rolul de
coordonare al GLE se afl
n stadiul de versiune
preliminar.

Exist dovezi privind


impactul DMI 1.2 asupra
structurii Evalurii
(recomandarea de a avea
uniti dedicate, separate
de alte uniti)
Jumtate din reuniunile
GLE au fost organizate n
cadrul DMI 1.2
DMI 1.2 are impact numai
asupra corelrii funciei
de evaluare cu cea de
monitorizare i nu asupra
celei dintre funcia de
evaluare i cea de
programare.

Responsabil: Ministerul
Fondurilor Europene
(MFE)
Perioada: permanent
Sprijin pentru realizarea
unui studiu de analiz
comparativ
internaional cu privire
la aspectele
organizaionale ale
culturii de evaluare.
Responsabil: Ministerul
Fondurilor Europene
(MFE)
Perioada
Data nceperii: Trim. 4
din 2014
Data terminrii: Trim. 2
din 2015

(2) Resursele
financiare i
umane alocate
evalurii

SUB MEDIA ICE

Resursele umane alocate


evalurii sunt adecvate
att din perspectiva
numrului (media de 3
persoane per unitate de
evaluare, n conformitate
cu analiza comparativ
internaional) i a
competenelor.

Resursele financiare se
afl sub valoarea aferent
analizei comparative
internaionale (0,12% din
bugetul total aferent
programului operaional
este dedicat evalurii).
Aceast diferen a fost
influenat de faptul c n
analiza comparativ
internaional au fost
incluse date agregate

DMI 1.2 a contribuit cu


resurse financiare la
evalurile efectuate la
nivel de PO (mai exact PO
AT) i la nivelul CSNR.
DMI 1.2 a finanat cursuri
de formare i dezvoltare
profesional a
personalului la nivelul PO
i CSNR.
DMI 1.2 nu are impact din
perspectiva acoperirii

ACIUNI DMI 1.2


Asigurarea disponibilitii
resurselor pentru
sprijinirea activitilor
conform ICE n cadrul
viitoarei perioade de
programare.
Responsabil: MFE

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

53

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

aferente PO-urilor care


au un grad mai mare de
alocare a resurselor
pentru evaluare
comparativ cu Romnia.

salariilor.

Perioada: permanent

ACIUNI DMI 1.2

(3) Calitatea
sistemului de
monitorizare

SUB MEDIA ICE

Calitatea sistemului de
indicatori este
considerat a fi adecvat
i capabil de a furniza
informaii prompte.

Au fost specificate arii de


mbuntire n legtur
cu sistemul de indicatori
la nivelul CSNR

Nu au fost identificate
dovezi cu privire la
proiectele finanate n
cadrul DMI 1.2 care ar
putea avea impact asupra
calitii sistemului de
monitorizare.

Identificarea
indicatorilor utilizai n
perioada 2007-2013 i
care vor fi utilizai i n
perioada 2014-2020;
evaluarea fiabilitii i
consistenei acestora n
cadrul PO-urilor i
identificarea posibilelor
soluii de optimizare.

Responsabil: MFE
Perioada:
Data nceperii: Trim. 4
din 2014
Data terminrii: Trim. 2
din 2015

(4) Eficiena i
eficacitatea
funciei de
evaluare

PESTE MEDIA ICE

Planificarea evalurii este


asigurat de existena
planurilor multianuale.
Misiunile unice de
evaluare sunt gestionate
eficace de Comitetele de
Coordonare a Evalurii
(CCE) constituite la nivel
de Program ce elaboreaz
termenii de referin de
calitate medie spre
ridicat.
Unitile de evaluare sunt
consultate de ctre AMuri n cadrul procesului
decizional, dar nu n mod
formalizat.

Planurile multianuale i
anuale nu sunt
actualizate periodic, iar
gradul de realizare a
acestora nu este
ntotdeauna satisfctor.
Planurile multianuale de
evaluare au nregistrat o
ntrziere medie de 6 luni
ntre data planificat i
data finalizrii.
Procedurile nu sunt
actualizate periodic
pentru a reflecta ultimele
modificri
organizaionale.

n urma proiectelor
finanate prin DMI 1.2 au
rezultat recomandri cu
privire la actualizarea
periodic a planurilor
multianuale de evaluare.
Nu au fost identificate
dovezi cu privire la
impactul DMI 1.2 asupra
structurilor CCE.
Exist ghiduri elaborate n
cadrul DMI 1.2 cu privire
la ntocmirea TdR
n urma DMI 1.2 au
rezultat recomandri cu
privire la actualizarea
periodic a procedurilor

ACIUNI DMI 1.2

Sprijin pentru
structurarea i
activarea sub-grupurilor
GLE concentrate asupra
temelor specifice i
asupra actualizrii
periodice a funciei de
evaluare.

Planificarea noilor
cicluri de msurare cu
intervale adecvate
pentru a reflecta
impactul aciunilor
POAT.

Responsabil: MFE

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

54

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Exist proceduri pentru


conceperea,
implementarea i
utilizarea evalurii i
implicarea Unitilor de
Evaluare n procesul
decizional.

Perioada:
Data nceperii: Trim. 4
din 2014
Data terminrii: Trim. 3
din 2016
ACIUNI DMI 1.2

(5)
Disponibilitatea i
fiabilitatea
datelor socioeconomice

SUB MEDIA ECI

Datele socio-economice
sunt disponibile n timp
util.

Alte date precum microdatele de la nivel de


beneficiar sunt doar
parial disponibile, iar
consistena acestora este
considerat de nivel
mediu.

Nu au fost ntreprinse
aciuni specifice.

Sprijin pentru un proiect n


colaborare cu Institutul
Naional de Statistic
pentru a dezvolta o baz
statistic pentru microdate care ar putea fi
utilizat n cadrul
analizelor contrafactuale i
analiza necesarului de
informaii cu privire la
conceperea indicatorilor
socio-economici care vor fi
utilizai pentru a msura
impactul
Responsabil: MFE
Perioada:
Data nceperii: Trim. 1
din 2015
Data terminrii: Trim. 4
din 2016

ACIUNI DMI 1.2


(6)
Disponibilitatea i
calitatea
expertizei n
domeniul
evalurii

PESTE MEDIA ICE

Pentru partea de ofert


de evaluare, exist
persoane ce dein
expertiza tematic i
metodologic necesar
active pe piaa din
Romnia, care este
alctuit att din
companii naionale, ct i

Pot fi fcute mbuntiri


cu privire la
competitivitatea pieei.
Implicarea universitilor
n evaluare nu este nc
suficient.

Contractele-cadru
multianuale cu valori mari
au atras numeroi actori
internaionali pe piaa
naional de evaluare.
DMI 1.2 nu finaneaz n
prezent cursuri de
formare pentru oferta de

Responsabil: MFE

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

Asigurarea
complementaritii cu
POCU pentru finanarea
opiunilor de formare i
instruire n domeniul
evalurii pentru oferta
de evaluare.

55

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

internaionale.
Sunt utilizate liste de
verificare specifice pentru
evaluarea calitii i, n
baza contribuiei
respondenilor la sondajul
electronic, rapoartele de
evaluare sunt de calitate
medie spre ridicat.
Evaluatorii sunt
considerai a fi
independeni.

evaluare.
Perioada: n paralel cu
procesul de programare

ACIUNI DMI 1.2

(7) Diseminarea
rezultatelor
evalurii

SUB MEDIA ECI

Numeroase Rapoarte de
Evaluare sunt disponibile
public pe pagina de
Internet a Grupului de
Lucru pentru Evaluare
(www.evaluarestructurale.ro) i n acest
sens au fost organizate
dezbateri publice pentru a
prezenta i discuta
constatrile evalurii.

Nu toate rapoartele de
evaluare sunt disponibile
integral publicului; unele
dintre acestea sunt
publicate doar sub forma
de Sumar Executiv.
Numrul mediu de
dezbateri publice
organizate per PO n
ultimele 12 luni pare s
fie redus.

Dezvoltarea paginii de
Internet a GLE (i a
Bibliotecii de Evaluare)
Publicarea pe pagina de
Internet a GLE a
rapoartelor de evaluare
Organizarea planificat a
unor evenimente de
diseminare la scar larg
n cadrul LOTULUI 2 al
Acordului-cadru privind
Instrumentele
Structurale.

Sprijinirea elaborrii
unui studiu ce vizeaz
identificarea celor mai
adecvate forme de
comunicare cu factorii
interesai de IS.
Continuarea includerii
n proiectele de
evaluare a
evenimentelor de
comunicare la scar
larg i publicarea
rezultatelor pe
platforma care susine
Biblioteca de Evaluare
Responsabil: MFE

Perioada: permanent
ACIUNI DMI 1.2

(8) Utilizarea
rezultatelor
evalurii

PESTE MEDIA
ICE

Exist proceduri de
abordare a rezultatelor
evalurii i de urmrire a
acestora (follow-up).
Utilizarea rezultatelor
evalurii este considerat
a avea un grad mai ridicat
la nivelul PO dect la
nivelul CSNR.

Nu au fost identificate
puncte slabe.

Discutarea periodic cu
GLE a procesului de
monitorizare (follow-up)
privind recomandrile
evalurii.

Nu au fost ntreprinse
aciuni specifice.

Responsabil: MFE
Perioada: ncepnd cu Trim.
Contract Subsecvent nr. 1

Examinarea Culturii de Evaluare, cod SMIS 43465


Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

56

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

4 din 2014

ACIUNI DMI 1.2

(9) Cadrul mental

(10) Contextul
legal al evalurii

SUB MEDIA ICE

SUB MEDIA ICE

Evaluarea este
considerat un factor
important pentru
asigurarea succesului la
nivel instituional att de
ctre echipa de
management/executiv,
ct i factorii care
formuleaz politici
publice.

nc mai pot fi fcute


mbuntiri, n special la
nivelul factorilor care
formuleaz politici
publice.

Prevederile legale
naionale ce
reglementeaz evaluarea
reprezint transpunerea
cadrului legal UE i
stipuleaz cerine
suplimentare cu privire la
ntocmirea planurilor
multianuale i anuale de
evaluare.

Exist elemente aferente


cadrului legal din
Romnia care afecteaz
evaluarea, n special
normele privind achiziiile
publice, ordonanele cu
privire la angajarea de
personal i normele
privind eligibilitatea
cheltuielilor.

Sprijin pentru organizarea


unei conferine
internaionale avnd ca
obiect schimbul de
experien privind
Impactul rezultatelor
evalurii asupra
procesului de formulare a
politicilor publice
Nu au fost ntreprinse
aciuni specifice.

Responsabil: MFE
Perioada:
Data nceperii: Trim. 4
din 2014
Data terminrii: Trim. 2
din 2015

Nu au fost ntreprinse
aciuni specifice.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

57

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

(11) Politica
evaluativ
privind resursele
umane viznd
asigurarea
resurselor umane
adecvate, la toate
nivelurile

PESTE MEDIA ICE

Exist susintori ai
evalurii att la nivelul
PO, ct i la nivelul CSNR.
Exist opiuni de formare
pe pia.

Mai puin de jumtate


dintre funcionarii publici
sunt instruii n domeniul
tiinelor sociale.
Gradul de participare a
funcionarilor publici (alii
dect cei dedicai
evalurii) poate fi
mbuntit.
Numrul de opiuni de
formare rmne limitat i
nu acoper toate nevoile
de dezvoltare i formare.

ACIUNI DMI 1.2


Asigurarea
complementaritii cu
POCU pentru finanarea
opiunilor de formare i
instruire n domeniul
evalurii pentru cererea
de evaluare i aciuni de
dezvoltare a capacitii
pentru mediul academic.

Mai muli participani la


GLE dein funcii de
decizie i pot sprijini
procesul de evaluare (i
anume susintori ai
evalurii)

Responsabil: MFE
Perioada: n paralel cu
procesul de programare

(12) Cererea de
evaluare
ncorporat/
pornit de jos n
sus (n SIS)

(13) Reele

SUB MEDIA ICE

SUB MEDIA ICE

Exist o cerere de
evaluare.
La nivelul CSNR,
evalurile sunt iniiate ca
rspuns la o nevoie de
cunoatere, i nu ca
rspuns la o cerin de
conformitate impus de
ctre UE.

Cererea general de
evaluare, precum i
numrul de evaluri
iniiate ca rspuns la o
nevoie de cunoatere pot
fi mbuntite la nivelul
PO.

Exist o organizaie
naional a evaluatorilor.
Exist un mecanism de
cooperare ntre Guvern i
mediul universitar.

Contribuia organizaiei
naionale a evaluatorilor
la diseminarea bunelor
practici este redus.
Implicarea mediului
universitar a fost extrem
de limitat pn n
prezent.

Evalurile finanate n
cadrul DMI 1.2 au fost
iniiate ca rspuns la
nevoia de cunoatere.

Nu au fost ntreprinse
aciuni specifice.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

58

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

ACIUNI DMI 1.2

Continuarea derulrii
(14)
Societatea civil
i mass media

SUB MEDIA ICE

Nu au fost identificate
puncte forte.

Gradul de participare a
societii civile la
activitile de evaluare
este redus, la fel i
numrul de evenimente
publice organizate anual.

Au fost abordate ntr-o


msur limitat (i anume
din zece proiecte ce
implic societatea civil,
dou au fost finanate n
cadrul DMI 1.2)

activitilor de
comunicare viznd n mod
special entitile care
formuleaz politici
publice i societatea civil

Responsabil: MFE
Perioada: permanent

(15) Guvernan

(16) Impactul pe
termen lung i n
afara SIS

SUB MEDIA ICE

PESTE MEDIA ICE

Opinie i responsabilitate,
calitatea reglementrilor,
statul de drept i
controlul corupiei sunt
peste media global, dup
cum a fost aceasta
msurat prin intermediul
Indexului de Guvernan
al Bncii Mondiale.

Stabilitatea politic i
Eficacitatea Guvernului
sunt sub media global,
dup cum a fost aceasta
msurat conform
Indexului de Guvernan
al Bncii Mondiale.

Receptivitatea
identificat fa de
evaluare n numele
instituiilor implicate n
cadrul Sistemului de
Instrumente Structurale
este corespunztoare. Un
aspect important este
reprezentat de prima
aciune de contractare a
misiunilor de evaluare
prin intermediul
Secretariatelor Tehnice
Comune n cadrul
Programelor CTE.

Instituiile implicate n
domeniul Instrumentelor
Structurale au
internalizat evaluarea
numai parial.

ACIUNI DMI 1.2


Pentru a optimiza
Sprijinirea proiectuluipilot cu privire la
evaluarea impactului
reglementrilor.
Nu au fost abordate n
cadrul DMI 1.2

Responsabil: MFE
Perioada:
Data nceperii: Trim. 4
din 2014
Data terminrii: Trim. 2
din 2016

Abordate numai ntr-o


msur limitat.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

59

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Anexe

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, cod SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-2013

60

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Anexa 1 Documente analizate


Documente primite din partea Autoritilor de Management i CSNR:
Programul Operaional Regional

Ministerul Dezvoltrii Regionale i Administraiei Publice Regulament de Organizare i Funcionare a


MDRAP, din octombrie 2013
Ministerul Dezvoltrii Regionale i Administraiei Publice Procedura de Evaluare, ediia a doua, din iulie
2013
Ministerul Dezvoltrii Regionale i Administraiei Publice Organigram
Ministerul Dezvoltrii Regionale i Administraiei Publice Fie de post ale personalului care deruleaz
activiti de evaluare
Ministerul Dezvoltrii Regionale i Administraiei Publice CV-urile personalului care deruleaz activiti
de evaluare
Ministerul Dezvoltrii Regionale i Administraiei Publice Programul Operaional Regional, din octombrie
2013
Ministerul Dezvoltrii Regionale i Administraiei Publice Documentul-cadru de implementare pentru
POR, din martie 2014
Ministerul Dezvoltrii Regionale i Administraiei Publice Planul Multianual de Evaluare 2007-2013, din
octombrie 2012
Ministerul Dezvoltrii Regionale i Administraiei Publice Planul anual de evaluare pentru 2011, din
octombrie 2010
Ministerul Dezvoltrii Regionale i Administraiei Publice Planul anual de evaluare pentru 2012, din
noiembrie 2011
Ministerul Dezvoltrii Regionale i Administraiei Publice Planul anual de evaluare pentru perioada 2013
- 2015, din octombrie 2012
Ministerul Dezvoltrii Regionale i Administraiei Publice Rapoarte Anuale de Implementare (2007-2012)
Ministerul Dezvoltrii Regionale i Administraiei Publice Tabele de monitorizare (follow-up)
Ministerul Dezvoltrii Regionale i Administraiei Publice Planul privind Achiziiile Publice pentru 2013 i
2014
Ministerul Dezvoltrii Regionale i Administraiei Publice Liste de verificare pentru evaluare

Programul Operaional Sectorial Creterea Competitivitii Economice

Ministerul Economiei Regulamentul de Organizare i Funcionare a ME, martie 2014


Ministerul Economiei Procedura de Evaluare, din iulie 2013
Ministerul Economiei Organigram, din iulie 2013
Ministerul Economiei Programul Operaional Sectorial, din iunie 2012
Ministerul Economiei Documentul Cadru de Implementare pentru POS CCE, din ianuarie 2011
Ministerul Economiei Planul Multianual de Evaluare 2007-2013, din iunie 2011
Ministerul Economiei Rapoarte Anuale de Implementare (2007-2012)
Contract Subsecvent nr. 1
Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

61

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Ministerul Economiei Planul privind achiziiile publice pentru 2014


Ministerul Economiei Liste de verificare pentru evaluare

Programul Operaional Sectorial Dezvoltarea Resurselor Umane

Ministerul Muncii, Familiei, Proteciei Sociale i Persoanelor Vrstnice Regulamentul de Organizare i


Funcionare a MMFPSPV, nedatat
Ministerul Muncii, Familiei, Proteciei Sociale i Persoanelor Vrstnice Procedura de Evaluare, prima
ediie, cea de-a treia revizuire, nedatat
Ministerul Muncii, Familiei, Proteciei Sociale i Persoanelor Vrstnice Organigram, nedatat
Ministerul Muncii, Familiei, Proteciei Sociale i Persoanelor Vrstnice Fie de post ale personalului care
deruleaz activiti de evaluare
Ministerul Muncii, Familiei, Proteciei Sociale i Persoanelor Vrstnice CV-uri ale personalului care
deruleaz activiti de evaluare
Ministerul Muncii, Familiei, Proteciei Sociale i Persoanelor Vrstnice Programul Operaional Sectorial
Dezvoltarea Resurselor Umane, nedatat
Ministerul Muncii, Familiei, Proteciei Sociale i Persoanelor Vrstnice Documentul Cadru de
Implementare pentru POS CCE, mai 2013
Ministerul Muncii, Familiei, Proteciei Sociale i Persoanelor Vrstnice Planul Multianual de Evaluare, din
iunie 2013
Ministerul Muncii, Familiei, Proteciei Sociale i Persoanelor Vrstnice Rapoarte Anuale de Implementare
(2007-2012)
Ministerul Muncii, Familiei, Proteciei Sociale i Persoanelor Vrstnice Tabele de monitorizare (follow-up)
Ministerul Muncii, Familiei, Proteciei Sociale i Persoanelor Vrstnice Plan privind Achiziiile Publice
pentru 2013
Ministerul Muncii, Familiei, Proteciei Sociale i Persoanelor Vrstnice Liste de verificare pentru evaluare

Programul Operaional Sectorial Mediu

Ministerul Mediului i al Schimbrilor Climatice Regulamentul de Organizare i Funcionare a MMSC, din


februarie 2014
Ministerul Mediului i al Schimbrilor Climatice Procedura de Evaluare, prima ediie, nedatat
Ministerul Mediului i al Schimbrilor Climatice Organigram, nedatat
Ministerul Mediului i al Schimbrilor Climatice Fie de post ale personalului care deruleaz activiti de
evaluare
Ministerul Mediului i al Schimbrilor Climatice CV-uri ale personalului care deruleaz activiti de
evaluare
Ministerul Mediului i al Schimbrilor Climatice Programul Operaional Sectorial Mediu, din martie 2013
Ministerul Mediului i al Schimbrilor Climatice Documentul Cadru de Implementare pentru POS Mediu,
din februarie 2014
Ministerul Mediului i al Schimbrilor Climatice Planul Multianual de Evaluare, din octombrie 2008
Ministerul Mediului i al Schimbrilor Climatice Rapoarte Anuale de Implementare (2007-2012)
Contract Subsecvent nr. 1
Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

62

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Ministerul Mediului i al Schimbrilor Climatice Tabele de monitorizare (follow-up)


Ministerul Mediului i al Schimbrilor Climatice Planuri privind Achiziiile Publice pentru 2012, 2013 i
2014

Programul Operaional Sectorial Transport

Ministerul Transporturilor Regulamentul de Organizare i Funcionare a MT, mai 2014


Ministerul Transporturilor Procedura de Evaluare, prima ediie, din aprilie 2013
Ministerul Transporturilor Organigram, din septembrie 2013
Ministerul Transporturilor Fie de post ale personalului care deruleaz activiti de evaluare
Ministerul Transporturilor CV-uri ale personalului care deruleaz activiti de evaluare
Ministerul Transporturilor Programul Operaional Sectorial Transport, din decembrie 2013
Ministerul Transporturilor Documentul Cadru de Implementare pentru POS Transport, din aprilie 2014
Ministerul Transporturilor Planul Multianual de Evaluare, din octombrie 2008
Ministerul Transporturilor Planul anual de evaluare pentru 2012, din noiembrie 2011
Ministerul Transporturilor Rapoarte Anuale de Implementare (2008-2012)
Ministerul Transporturilor Planuri privind Achiziiile Publice pentru 2013 i 2014
Ministerul Transporturilor Liste de verificare pentru evaluare

Programul Operaional Dezvoltarea Capacitii Administrative

Ministerul Dezvoltrii Regionale i Administraiei Publice Regulamentul de Organizare i Funcionare a


MDRAP, din octombrie 2013
Ministerul Dezvoltrii Regionale i Administraiei Publice Procedura de Evaluare, cea de-a patra ediie,
nedatat
Ministerul Dezvoltrii Regionale i Administraiei Publice Organigram
Ministerul Dezvoltrii Regionale i Administraiei Publice Fie de post ale personalului care deruleaz
activiti de evaluare
Ministerul Dezvoltrii Regionale i Administraiei Publice CV-uri ale personalului care deruleaz activiti
de evaluare
Ministerul Dezvoltrii Regionale i Administraiei Publice Programul Operaional Dezvoltarea Capacitii
Administrative, din ianuarie 2012
Ministerul Dezvoltrii Regionale i Administraiei Publice Documentul Cadru de Implementare pentru PO
DCA, din iunie 2012
Ministerul Dezvoltrii Regionale i Administraiei Publice Planul Multianual de Evaluare, din iunie 2012
Ministerul Dezvoltrii Regionale i Administraiei Publice Rapoarte Anuale de Implementare (2007-2012)
Ministerul Dezvoltrii Regionale i Administraiei Publice Tabele de monitorizare (follow-up)
Ministerul Dezvoltrii Regionale i Administraiei Publice Planul privind Achiziiile Publice pentru 2013 i
2014
Ministerul Dezvoltrii Regionale i Administraiei Publice Liste de verificare pentru evaluare
Contract Subsecvent nr. 1
Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

63

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Programul Operaional Asisten Tehnic / CSNR

Ministerul Fondurilor Europene Regulamentul de Organizare i Funcionare a MEF, din 2013


Ministerul Fondurilor Europene Procedura de Evaluare, prima ediie, din decembrie 2013
Ministerul Fondurilor Europene Organigram, octombrie 2013
Ministerul Fondurilor Europene Fie de post ale personalului care deruleaz activiti de evaluare
Ministerul Fondurilor Europene CV-uri ale personalului care deruleaz activiti de evaluare
Ministerul Fondurilor Europene Programul Operaional Asisten Tehnic, din 2007
Ministerul Fondurilor Europene Documentul Cadru de Implementare pentru PO AT, din noiembrie 2013
Ministerul Fondurilor Europene Planul Multianual de Evaluare pentru 2007-2013, din mai 2008
Ministerul Fondurilor Europene Planul Multianual de Evaluare pentru 2013-2015, din noiembrie 2012
Ministerul Fondurilor Europene Rapoarte Anuale de Implementare (2007-2013)
Ministerul Fondurilor Europene Tabele de monitorizare (follow-up)
Ministerul Fondurilor Europene Liste de verificare pentru evaluare

Programul Naional pentru Dezvoltare Rural

Ministrul Agriculturii i Dezvoltrii Rurale Regulamentul de Organizare i Funcionare a MARD, iunie


2013
Ministrul Agriculturii i Dezvoltrii Rurale Organigram
Ministrul Agriculturii i Dezvoltrii Rurale Fie de post ale personalului care deruleaz activiti de
evaluare
Ministrul Agriculturii i Dezvoltrii Rurale CV-uri ale personalului care deruleaz activiti de evaluare
Ministrul Agriculturii i Dezvoltrii Rurale Programul Naional pentru Dezvoltare Rural, noiembrie 2013
Ministrul Agriculturii i Dezvoltrii Rurale Rapoarte Anuale de Implementare pentru PNDR (2007-2013)
Ministrul Agriculturii i Dezvoltrii Rurale Planul privind Achiziiile Publice pentru 2013
Ministrul Agriculturii i Dezvoltrii Rurale Liste de verificare pentru evaluare

Cooperare Transfrontalier

Ministerul Dezvoltrii Regionale i Administraiei Publice Regulamentul de Organizare i Funcionare a


MDRAP, din mai 2013
Ministerul Dezvoltrii Regionale i Administraiei Publice Procedura de Evaluare pentru Programul CTE
Romnia-Bulgaria, prima ediie, din iunie 2013
Ministerul Dezvoltrii Regionale i Administraiei Publice Procedura de Evaluare pentru Programul CTE
Romnia-Serbia, prima ediie, din aprilie 2010
Ministerul Dezvoltrii Regionale i Administraiei Publice Fie de post ale personalului care deruleaz
activiti de evaluare

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

64

Raport privind msurarea culturii de evaluare din Romnia n contextul Politicii de Coeziune UE
Cel de-al treilea ciclu de msurare

Ministerul Dezvoltrii Regionale i Administraiei Publice CV-uri ale personalului care deruleaz activiti
de evaluare
Ministerul Dezvoltrii Regionale i Administraiei Publice Programul Operaional pentru Cooperare
Transfrontalier European Romnia-Bulgaria, octombrie 2007
Ministerul Dezvoltrii Regionale i Administraiei Publice Programul Operaional pentru Cooperare
Transfrontalier European Romnia-Serbia, iulie 2012
Ministerul Dezvoltrii Regionale i Administraiei Publice Planul Multianual de Evaluare pentru Programul
CTE Romnia-Bulgaria, nedatat
Ministerul Dezvoltrii Regionale i Administraiei Publice Planul Multianual de Evaluare pentru Programul
CTE Romnia-Serbia, nedatat
Ministerul Dezvoltrii Regionale i Administraiei Publice Planul anual de evaluare pentru 2012, CTE
Romnia-Bulgaria, nedatat
Ministerul Dezvoltrii Regionale i Administraiei Publice Planul anual de evaluare pentru 2009, CTE
Romnia-Serbia, nedatat
Ministerul Dezvoltrii Regionale i Administraiei Publice Tabele de monitorizare (follow-up)
Ministerul Dezvoltrii Regionale i Administraiei Publice Planul privind Achiziiile Publice pentru 2014
Ministerul Dezvoltrii Regionale i Administraiei Publice Liste de verificare pentru evaluare

Alte documente:
KPMG Raport de Analiz a Sistemului de Indicatori
Banca Mondial Indicatorii Globali de Guvernan pentru perioada 1996 2012, disponibili pe pagina de
Internet: www.worldbank.org
Rapoarte de Evaluare, disponibile pe pagina de Internet: www.evaluare-structurale.ro
Documentele Grupului de Lucru pentru Evaluare, disponibile pe pagina de Internet: www.evaluarestructurale.ro
Documentele elaborate n cadrul proiectului Sprijin pentru dezvoltarea capacitii de evaluare a
personalului din cadrul Unitii Centrale de Evaluare prin participarea la cursuri de formare, conferine i
seminarii n domeniul evalurii, disponibile pe pagina de Internet: www.evaluare-structurale.ro

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

65

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Anexa 2 Rapoarte de evaluare planificate prin PME i disponibilitatea acestora n


cadrul Bibliotecii de Evaluare
Programul Operaional Regional
Disponibilitatea n cadrul Bibliotecii de
Evaluare

Data limit conform


Planului Multianual
de Evaluare

Stadiul conform
informaiilor
extrase din
Biblioteca de
Evaluare

Evaluarea ex-ante a Programului Operaional Regional

2006

Finalizat n ianuarie
2007

Evaluare intermediar a Programului Operaional Regional

2009

Finalizat n octombrie
2009

Evaluarea implementrii prioritilor i proiectelor adresate mediului de afaceri

2010

Finalizat n 2010

Evaluarea dezvoltrii capacitii administrative a regiunilor

2010

Finalizat n noiembrie
2011

Evaluarea intermediar a Programului Operaional Regional

2011

Finalizat n aprilie
2014

Lecii rezultate din experiena implementrii POR 2007-2013

2012

Titlul raportului

Raportul
integral
publicat

Sumarul
Executiv
publicat

Nepublicat

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

66

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Programul Operaional Sectorial Creterea Competitivitii Economice


Disponibilitatea n cadrul Bibliotecii de
Evaluare

Data limit
conform Planului
Multianual de
Evaluare

Stadiul conform
informaiilor extrase
din Biblioteca de
Evaluare

Evaluarea ex-ante. Programul Operaional Creterea Competitivitii Economice

2006

Finalizat n ianuarie
2007

Evaluarea Intermediar a Programului Operaional Creterea Competitivitii


Economice pentru 2009

2009

Finalizat n 2010

Evaluarea Axelor Prioritare ale POS CCE

2010

Finalizat n 2013

Evaluarea modului de implementare a Planului de Comunicare

2010

Finalizat n August
2011

Evaluarea facilitii JEREMIE

2011

Evaluarea ex-ante a Programelor Operaionale pentru urmtoarea perioad de


programare

2011

Evaluarea ex-ante i Evaluarea Strategic de Mediu a PO pentru urmtoarea


perioad de programare

2011

Cea de-a doua Evaluare Intermediar a POS CCE

2012

Evaluarea prioritilor orizontale

2013

Titlul raportului

Raportul
integral
publicat

Sumarul
Executiv
publicat

Nepublicat

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

67

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Programul Operaional Sectorial Dezvoltarea Resurselor Umane


Disponibilitatea n cadrul Bibliotecii de
Evaluare

Data limit conform


Planului Multianual
de Evaluare

Stadiul conform
informaiilor
extrase din
Biblioteca de
Evaluare

Evaluarea ex-ante a Programului Operaional Dezvoltarea Resurselor Umane

2006

Finalizat n ianuarie
2007

Prima Evaluare Intermediar a POS DRU

Semestrul II 2009

Finalizat n iunie
2011

Evaluarea Intermediar a POS DRU

Semestrul II 2014

Prima Evaluare Intermediar a POS DRU Evaluarea ad-hoc a AP4 - Modernizarea


Serviciului Public de Ocupare

Nespecificat n PME

Finalizat n iunie 2011

Prima Evaluare Intermediar a POS DRU Evaluarea ad-hoc a AP5, DMI 5.2
Promovarea sustenabilitii pe termen lung a zonelor rurale n ceea ce privete
dezvoltarea resurselor umane i ocuparea forei de munc

Nespecificat n PME

Finalizat n iunie 2011

Titlul raportului

Raportul
integral
publicat

Sumarul
Executiv
publicat

Nepublicat

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

68

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Sectorial Programul Operaional Mediu


Disponibilitatea n cadrul Bibliotecii de
Evaluare

Data limit conform


Planului Multianual
de Evaluare

Stadiul conform
informaiilor
extrase din
Biblioteca de
Evaluare

Evaluarea ex-ante a Programului Operaional Sectorial Mediu

2006

Finalizat n ianuarie
2007

Sprijin pentru AM pentru implementarea mecanismului de evaluare

Semestrul II 2009

Evaluarea impactului i a gradului de implementare a msurilor de informare i


publicitate pentru POS Mediu

Semestrul I 2010

Evaluarea Intermediar a Programului Operaional Sectorial Mediu

Semestrul I 2011

Evaluarea ex-ante pentru perioada de programare 2014-2020

Semestrul I 2013

Titlul raportului

Finalizat n mai 2013

Raportul
integral
publicat

Sumarul
Executiv
publicat

Nepublicat

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

69

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Programul Operaional Sectorial Transport


Disponibilitatea n cadrul Bibliotecii de
Evaluare

Data limit conform


Planului Multianual
de Evaluare

Stadiul conform
informaiilor
extrase din
Biblioteca de
Evaluare

Evaluarea ex-ante a Programului Operaional Sectorial Transport

2006

Finalizat n februarie
2007

Evaluarea Intermediar a PO Transport

2009

Finalizat n mai 2014

Evaluarea Intermediar a PO Transport

2012

Evaluarea ex-ante pentru perioada de programare 2014-2020

2013

Titlul raportului

Raportul
integral
publicat

Sumarul
Executiv
publicat

Nepublicat

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

70

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Programul Operaional Dezvoltarea Capacitii Administrative


Disponibilitatea n cadrul Bibliotecii de
Evaluare

Data limit conform


Planului Multianual
de Evaluare

Stadiul conform
informaiilor
extrase din
Biblioteca de
Evaluare

Evaluarea ex-ante a Programului Operaional Dezvoltarea Capacitii Administrative

2006

Finalizat n ianuarie
2007

Evaluarea ad-hoc a PO DCA - DMI 1.3 i DMI 2.1

Semestrul II 2009

Conform PME, a fost


finalizat ( nu este
specificat data)

Prima Evaluare intermediar a Programului Operaional Dezvoltarea Capacitii


Administrative pentru perioada 1 ianuarie 2007 - 30 iunie 2010

Semestrul I 2010 Semestrul I 2011

Finalizat n
septembrie 2010

Cea de-a doua evaluare intermediar a Programului Operaional Dezvoltarea


Capacitii Administrative (PODCA) pentru perioada 2010 - 2012

Semestrul I - Semestrul
II 2012

Finalizat n martie
2013

Evaluarea performanelor i managementului implementrii PO DCA (2008 -2012)

Semestrul II 2012 Semestrul I 2013

Evaluarea ex-ante a PO DCA pentru urmtoarea perioad de programare (20142020)

Semestrul II 2013

Titlul raportului

Raportul
integral
publicat

Sumarul
Executiv
publicat

Nepublicat

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

71

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Programul Operaional Asisten Tehnic


Disponibilitatea n cadrul Bibliotecii de
Evaluare

Data limit conform


Planului Multianual
de Evaluare

Stadiul conform
informaiilor
extrase din
Biblioteca de
Evaluare

2006

Finalizat n ianuarie
2007

Semestrul I 2009

Finalizat n
septembrie 2010

Evaluarea Capacitii de Absorbie a Programului Operaional Asisten Tehnic

ianuarie - iunie 2012

Finalizat n iunie 2013

Evaluarea detaliat a AP 1 "Sprijin pentru implementarea instrumentelor structurale


i coordonarea programelor"

Semestrul I 2010

Evaluarea detaliat a AP 2 "Dezvoltare ulterioar i sprijin pentru funcionarea


Sistemului Unic de Management al Informaiei"

Semestrul I 2010

Evaluarea detaliat a AP 3 "Diseminarea informaiilor i promovarea instrumentelor


structurale"

Semestrul II 2010

Evaluarea Intermediar a PO AT

Semestrul I 2012

Evaluarea impactului asistenei tehnice dedicate managementului i implementrii


instrumentelor structurale

Februarie 2014

Evaluarea impactului aciunilor de formare n domeniul IS derulate de ACIS

August 2013

Evaluarea impactului aciunilor de diseminare a informaiei i de promovare a


instrumentelor structurale

August 2013

Titlul raportului

Evaluarea ex-ante a Programului Operaional Asisten Tehnic

Prima Evaluare Intermediar a Programului Operaional Asisten Tehnic

Raportul
integral
publicat

Sumarul
Executiv
publicat

Nepublicat

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

72

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Cooperare Transfrontalier
Disponibilitatea n cadrul Bibliotecii de
Evaluare

Data limit conform


Planului Multianual
de Evaluare

Stadiul conform
informaiilor
extrase din
Biblioteca de
Evaluare

Evaluarea ex-ante pentru Programul RO-BG

Nu se menioneaz data

Finalizat
2007

Evaluarea ex-ante pentru Programul RO-SE

Nu se menioneaz data

Finalizat, data nu este


menionat

Primul raport intermediar pentru Programul RO-BG

Nu se menioneaz data

Finalizat n 2011

Cel de-al doilea raport intermediar pentru Programul RO BG

Semestrul I 2013

Primul raport intern pentru Programul RO-SE

Nu se menioneaz data

Finalizat, data nu este


menionat

Cel de-al doilea raport intern pentru Programul RO-SE

Nu se menioneaz data

Finalizat, data nu este


menionat

Evaluarea privind realizarea indicatorilor int stabilii n cadrul programului,


evaluare ncruciat a RO-SE

Semestrul I 2011
Semestrul II 2012

Titlul raportului

aprilie

Raportul
integral
publicat

Sumarul
Executiv
publicat

Nepublicat

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

73

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Cadrul Strategic Naional de Referin


Disponibilitatea n cadrul Bibliotecii de
Evaluare

Data limit conform


Planului Multianual
de Evaluare

Stadiul conform
informaiilor
extrase din
Biblioteca de
Evaluare

O evaluare formativ a instrumentelor structurale din Romnia

Semestrul II 2010

Finalizat n iulie 2010

Sinteza Evalurilor Intermediare ale PO

Semestrul II 2010

Finalizat n martie
2011

Prognoza privind absorbia i opiunile de evaluare pentru realocarea de fonduri n


cadrul CSNR 2007-2013

Semestrul II 2011

Finalizat n 2012

Cea de-a doua evaluare ad-hoc: Revizuirea investiiilor n infrastructura de transport


i mediu

Semestrul I 2012

Finalizat n februarie
2011

Evaluarea contribuiei instrumentelor structurale la creterea competitivitii


economice din Romnia

Semestrul I 2012

Evaluarea tematic a capacitii administrative

Semestrul I 2012

Evaluarea tematic a dimensiunii teritoriale a CSNR

Semestrul I 2012

Evaluarea contribuiei instrumentelor structurale la dezvoltarea capitalului uman din


Romnia

Semestrul I 2012

Titlul raportului

Raportul
integral
publicat

Sumarul
Executiv
publicat

Nepublicat

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

74

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Disponibilitatea n cadrul Bibliotecii de


Evaluare

Data limit conform


Planului Multianual
de Evaluare

Stadiul conform
informaiilor
extrase din
Biblioteca de
Evaluare

Prima Evaluare Ad Hoc: Provocri care afecteaz capacitatea beneficiarilor publici i


privai n implementarea proiectelor finanate din Instrumentele Structurale

Nu se specific n PME

Finalizat n martie
2011

Analiza Sistemului de Evaluare actual

Semestrul II 2012

Finalizat n august
2011

Raport de msurare a culturii de evaluare din Romnia n contextul Politicii de


Coeziune a UE - Primul ciclu de msurare

Nu se specific n PME

Finalizat n ianuarie
2013

Evaluarea modului n care prevederile privind ansele egale au fost transpuse n


cadrul privind Instrumentele Structurale din Romnia

Semestrul II 2012 Semestrul I 2013

Finalizat n martie
2013

Examinarea ratei de pre-finanare aplicat proiectelor finanate din Instrumente


Structurale

Semestrul II 2012 Semestrul I 2013

Finalizat n iulie 2013

Evaluarea contribuiei Instrumentelor Structurale din Romnia la respectarea


Acquis-ului comunitar

2013

Finalizat n decembrie
2013

Evaluarea privind identificarea costurilor unitare n perioada de programare


2014-2020

2013

2013

Titlul raportului

O evaluare a mecanismelor i instrumentelor de concentrare economic i teritorial


a asistenei aferente Cadrului Strategic Naional de Referin 2007-2013

Raportul
integral
publicat

Sumarul
Executiv
publicat

Nepublicat

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

75

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Anexa 3 Chestionar principal distribuit membrilor


panelului de cercetare prin intermediul instrumentului
Sondaj electronic
EXAMINAREA CULTURII DE EVALUARE

Ministerul Fondurilor Europene i Ernst & Young deruleaz proiectul Examinarea culturii de evaluare" n Romnia - cofinanat de
Fondul European de Dezvoltare Regional prin PO Asisten Tehnic 2007-2013.
Pentru a evalua i monitoriza cultura de evaluare n cadrul sistemului de management al Instrumentelor Structurale din Romnia,
n termeni calitativi i cantitativi, prezentm acest chestionar electronic actorilor interesai (att de partea de ofert, ct i de
partea de cerere) implicai n Sistemul de Evaluare a Instrumentelor Structurale din Romnia.
Rezultatele chestionarului vor fi elaborate att la nivelul CSNR, ct i la nivel de Program.

DATE PERSONALE
1.a

Prenume

1.b

Nume

1.c

Instituia

1.d

Unitate/
Departament

1.e

Aria de
competen (ex.
evaluare,
programare,
monitorizare)

CEREREA (include att nivelul individual, ct i cel instituional)

Legtura
dintre
Funcia de
Evaluare i
alte funcii

Coordonarea ntre Funciile de Evaluare a


diferitelor Programe

Structura Evalurii cu accent specific pe corelarea Evalurii cu Programarea i Monitorizarea


(responsabiliti, coordonare, corelarea cu alte funcii)

a. Specificai la cte ntlniri ale Grupurilor de Lucru pentru


Evaluare (GLE) ai participat (n ultimele 12 luni).

Marcai cu "X"

0-1
2-3
4-5
6-7
2

>8
b. Specificai ct de des deciziile luate de GLE sunt ulterior
adoptate la nivel de PO.
Niciodat

Marcai cu "X"

Rareori
Deseori
ntotdeauna
3.1

a. Exist proceduri care coreleaz evaluarea cu Unitile de


Programare? (la nivel de PO)
Nu

Marcai cu "X"

Da, exist proceduri informale


Contract Subsecvent nr. 1
Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

76

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
Da, dar sunt n format preliminar, neaprobate
Da, exist proceduri formale
3.1

3.1

b. Dac rspunsul este "Da", v rugm s apreciai eficacitatea


procedurilor existente (la nivel de PO).

c. Cte dintre evalurile realizate au la baz aspecte relevate


de Unitatea de Programare? (la nivel de PO)
76-100%

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)
Marcai cu "X"

51-75%
31-50%
Pn la 30%

3.2

0%
a. Exist proceduri care coreleaz evaluarea cu Unitatea de
Programare? (la nivel de CSNR)
Nu

Marcai cu "X"

Da, exist proceduri informale


Da, dar sunt n format preliminar, neaprobate
Da, exist proceduri formale

3.2

3.2

b. Dac rspunsul este "Da", v rugm s apreciai eficacitatea


procedurilor existente (la nivel de CSNR).

c. Cte dintre evalurile realizate au la baz aspecte relevate de


Unitatea de Programare? (la nivel de CSNR)
76-100%

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

Marcai cu "X"

51-75%
31-50%
Pn la 30%
0%
4.1

a. Exist proceduri formale care reglementeaz interaciunea


dintre unitile de monitorizare i evaluare? (la nivel de PO)

Marcai cu "X"

Nu
Sunt n format preliminar, neaprobate

4.1

Da
b. Care este frecvena ntlnirilor (formale i informale) legate
de activitile de evaluare ntre Unitile de Monitorizare i cele
de Evaluare (n ultimele 12 luni)? (la nivel de PO)
Nu au loc astfel de ntlniri

Marcai cu "X"

Anual
Trimestrial
Lunar

4.1

Mai mult de o ntlnire pe lun


c. Cte dintre evalurile realizate au la baz aspecte relevate de
Unitatea de Monitorizare? (la nivel de PO)
76-100%

Marcai cu "X"

51-75%
31-50%
Pn la 30%
0%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

77

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

4.1

d. Unitile de Monitorizare furnizeaz date de monitorizare


care sprijin evaluarea? (la nivel de PO)
Niciodat

Marcai cu "X"

Rareori
Deseori
ntotdeauna
4.1

e. Putei identifica o arie de mbuntire a cooperrii dintre


funciile de Evaluare i de Monitorizare? (la nivel de PO)

Marcai cu "X"

Nu
Parial

4.1

4.2

Da
f. Dac rspunsul este DA / Parial, v rugm s indicai
principalele decalaje i/sau arii care necesit mbuntiri cu
privire la datele furnizate de Unitatea de Monitorizare. (la nivel
de PO)
a. Care este frecvena ntlnirilor (formale i informale) legate
de activitile de evaluare ntre Unitile de Monitorizare i cele
de Evaluare (n ultimele 12 luni) la nivel de CSNR?
Nu au loc astfel de ntlniri

Marcai cu "X"

Anual
Trimestrial
Lunar
4.2

Mai mult de o ntlnire pe lun


b. Cte dintre evalurile realizate au la baz aspecte relevate
de Unitatea de Monitorizare? (la nivel de CSNR)
76-100%

Marcai cu "X"

51-75%
31-50%
Pn la 30%
4.2

0%
c. Unitatea de Monitorizare furnizeaz date de monitorizare
care sprijin evaluarea? (la nivel de CSNR)
Niciodat

Marcai cu "X"

Rareori
Deseori
ntotdeauna
4.2

d. Putei identifica o arie de mbuntire a cooperrii dintre


funciile de Evaluare i Monitorizare? (la nivel de CSNR)

Marcai cu "X"

Nu
Parial

4.2

Da
e. Dac rspunsul este DA / Parial, v rugm s indicai
principalele decalaje i/sau arii care necesit mbuntiri cu
privire la datele furnizate de Unitatea de Monitorizare. (la nivel
de CSNR)

Alocarea resurselor
umane pentru activitile
de evaluare

Resursele financiare i umane alocate Evalurii la nivel de CSNR

5.1

Care este procentajul persoanelor din cadrul Unitii de


Evaluare care au prsit instituia n ultimele 12 luni (la nivel de
PO)?
76-100%

Marcai cu "X"

51-75%
31-50%
Pn la 30%
0%
Contract Subsecvent nr. 1
Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

78

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

5.2

Care este procentajul persoanelor din cadrul Unitii de


Evaluare care au prsit instituia n ultimele 12 luni (la nivel de
CSNR)?
76-100%

Marcai cu "X"

51-75%
31-50%
Pn la 30%

0%
a. Sunt luate n considerare cunotinele din domeniul evalurii
n cadrul procesului de recrutare a personalului Unitii de
Evaluare? (ex. exist criterii cu privire la experiena
profesional, este evaluat nivelul de cunotine din domeniul
evalurii)
Nu

Marcai cu "X"

Da
b. Dac rspunsul este Da, n opinia dvs., aceste criterii duc la
angajarea personalului cel mai adecvat?
Niciodat

Marcai cu "X"

Uneori
7

ntotdeauna
Personalul din cadrul Unitii de Evaluare beneficiaz de aciuni
de dezvoltare profesional?
Nu
Da, personalul beneficiaz de sesiuni sporadice de formare
organizate pentru ntreg personalul (de ex. formare realizat ntro sal de curs)
Da, personalul beneficiaz de sesiuni sistematice de formare
organizate pentru ntreg personalul (de ex. sesiuni de instruire
planificate anual)
Da, exist un plan individual/personalizat de dezvoltare
profesional pentru fiecare persoan (de ex. formare la locul de
munc, ndrumare, stagii de pregtire)

Marcai cu X

Calitatea sistemului de monitorizare

Calitatea sistemelor de indicatori

8.1

8.1

a. Cum apreciai sistemul de indicatori (la nivel de PO) n ceea


ce privete:
1. Acoperirea
(msura n care sistemul de indicatori ofer informaii cuantificate
despre situaia socioeconomic i de mediu i poate specifica
nevoile cantitative identificate. Sistemul ofer informaii care pot
avea impact asupra PO-urilor sau asupra crora PO-urile pot avea
impact)
2. Echilibrul
(msura n care sistemul de indicatori include o combinaie de
indicatori distribuii n mod corespunztor - context, input,
realizare imediat, rezultat, impact - i solicitri de informaii de la
diverse categorii/nivele de actori implicai)
3. Gestionabilitatea
(msura n care sistemul de indicatori permite colectarea,
msurarea, procesarea, monitorizarea i comunicarea
corespunztoare a indicatorilor)
b. Ct dureaz n medie, la nivel de PO, obinerea de informaii
din sistemul de monitorizare, referitoare la indicatori, raportat
la o anumit dat limit?
Mult, peste 2 luni

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

Marcai cu X

Mediu, 1 lun
Puin, 15 zile
Foarte puin, 1 sptmn

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

79

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

8.2

8.2

a. Cum apreciai sistemul de indicatori (la nivel de CSNR) n


ceea ce privete:
1. Acoperirea
(msura n care sistemul de indicatori ofer informaii cuantificate
despre situaia socioeconomic i de mediu i poate specifica
nevoile cantitative identificate. Sistemul ofer informaii care pot
avea impact asupra PO-urilor sau asupra crora PO-urile pot avea
impact)
2. Gestionabilitatea
(msura n care sistemul de indicatori permite colectarea,
msurarea, procesarea, monitorizarea i comunicarea
corespunztoare a indicatorilor)
b. Ct dureaz n medie, la nivel de CSNR, obinerea de
informaii din sistemul de monitorizare, referitoare la indicatori,
raportat la o anumit dat limit?
Mult, peste 2 luni

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

Marcai cu X

Mediu, 1 lun
Puin, 15 zile
Foarte puin, 1 sptmn

9.1

Cum apreciai urmtoarele caracteristici ale indicatorului


individual (la nivel de PO):

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 cea
minim)

Calitatea indicatorilor individuali

1. Conform politicii(strns corelat i eventual influenat de


aciunile programului pentru a crui evaluare este utilizat)
2. Normativitate
(avnd o interpretare clar i acceptat)
3. Robustee
(n conformitate cu standardele i metodologiile recunoscute la
nivel internaional)
4. Fezabilitate
(msurarea nu reprezint un proces mpovrtor)
9.2

Cum apreciai urmtoarele caracteristici ale indicatorului


individual (la nivel de CSNR):

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 cea
minim)

1. Conform politicii
(strns corelat i eventual influenat de aciunile programului
pentru a crui evaluare este utilizat)
2. Normativitate
(avnd o interpretare clar i acceptat)
3. Robustee
(n conformitate cu standardele i metodologiile recunoscute la
nivel internaional)
4. Fezabilitate
(msurarea nu reprezint un proces mpovrtor)

Eficacitatea Planului de
Evaluare

Eficiena i eficacitatea funciei de Evaluare (cu privire la planificare, management, controlul calitii i nvare)

10.1

Cte evaluri (care nu au fost incluse n planul de evaluare) au


fost realizate n perioada actual de programare 2007 - 2013
pentru a rspunde nevoilor specifice la nivel de PO?
<2

Marcai cu X

2-3
4-5

10.2

>5
Cte evaluri (care nu au fost incluse n planul de evaluare) au
fost realizate n perioada actual de programare 2007 - 2013
pentru a rspunde nevoilor specifice la nivel de CSNR?

Marcai cu X

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

80

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
<2
2-3
4-5

Eficacitatea Comitetelor de Coordonare a Evalurii

11.1

>5
Enumerai cele mai importante trei motive ale ntrzierilor
nregistrate ntre data la care au fost realizate i data la care au
fost programate evalurile (conform Planului Anual) la nivel de
PO.

11.2

Enumerai cele mai importante trei motive ale ntrzierilor


nregistrate ntre data la care au fost realizate i data la care au
fost programate evalurile (conform Planului Anual) la nivel de
CSNR.

12.1

Ce elemente sunt luate n considerare n procesul de revizuire a


Planurilor Anuale/Multianuale la nivel de PO?

12.2

Ce elemente sunt luate n considerare n procesul de revizuire a


Planurilor Anuale/Multianuale la nivel de CSNR?

13.1

a. Cum apreciai eficacitatea activitii Comitetului de


Coordonare a Evalurii? (din punct de vedere al asigurrii
calitii procesului de evaluare i al rezultatelor la nivel de PO)

13.1

b. Sunt invitai i ali experi tematici s fac parte din


Comitetul de Coordonare a Evalurii n funcie de subiectul
evalurii? (la nivel de PO)

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

Marcai cu X

Da
Nu, dar aceast abordare a fost luat n considerare i va fi
implementat n viitor
Nu

13.2

13.2

Nu tiu
a. Cum apreciai eficacitatea activitii Comitetului de
Coordonare a Evalurii? (din punct de vedere al asigurrii
calitii procesului de evaluare i al rezultatelor la nivel de
CSNR)
b. Sunt invitai i ali experi tematici s fac parte din
Comitetul de Coordonare a Evalurii n funcie de subiectul
evalurii? (la nivel de CSNR)
Da
Nu, dar aceast abordare a fost luat n considerare i va fi
implementat n viitor
Nu

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

Marcai cu X

Implicarea Unitilor de Evaluare n


procesul decizional

Nu tiu

14.1

Exist un proces formalizat pentru implicarea Unitilor de


Evaluare n procesul decizional la nivel de PO? (ex. participare
la Comitetele de Monitorizare ca membrii cu drept de vot,
consultai de ctre Autoritatea de Management cu privire la
principalele decizii la nivel de Program)
Nu

Marcai cu X

Consultrile au loc, dar nu n cadrul unui proces formalizat

14.2

Da
Exist un proces formalizat pentru implicarea Unitii Centrale
de Evaluare n procesul decizional la nivel de CSNR? (ex.
Consultat de ctre Ministerul Fondurilor Europene cu privire la
principalele decizii pentru toate Programele Operaionale)
Nu

Marcai cu X

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

81

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
Consultrile au loc, dar nu n cadrul unui proces formalizat

Calitatea
Termenilor de
Referin

Da

15

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 cea
minim)

Claritii
Standardizrii (elaborai pe baza unui standard/model)

16.1
Existena unui Proces de nvare

Cum apreciai Termenii de Referin de Evaluare din punct de


vedere al:

16.2

Procedurile interne aferente Unitii de Evaluare


(concepere/implementare/utilizare) sunt actualizate periodic ca
urmare a experienei dobndite (la nivel de PO)?
Nu, procedurile nu au fost actualizate
Da, procedurile au fost actualizate, dar fr mbuntiri
semnificative
Da, procedurile sunt actualizate periodic, n urma experienei
dobndite, ceea ce duce la mbuntiri substaniale
Nu tiu
Procedurile interne aferente Unitii de Evaluare
(concepere/implementare/utilizare) sunt actualizate periodic ca
urmare a experienei dobndite (la nivel de CSNR)?

Marcai cu X

Marcai cu X

Nu, procedurile nu au fost actualizate


Da, procedurile au fost actualizate, dar fr mbuntiri
semnificative
Da, procedurile sunt actualizate periodic, n urma experienei
dobndite, ceea ce duce la mbuntiri substaniale
Nu tiu
OFERTA
Datele socioeconomice sunt disponibile i sigure

Disponibilitatea altor date

Calitatea datelor
socioeconomice

17

a. Exist alte surse pentru principalele date privind indicatorii


socioeconomici la nivel naional i regional (NUTS II), n afara
statisticilor oficiale pe care le luai n considerare (ex. rapoarte
ntocmite de Camerele de Comer, asociaii patronale)?
Nu

Marcai cu X

Da
17

18

b. Dac da, apreciai coerena acestora cu datele oficiale.

a. Micro-datele de la nivel de beneficiar sunt disponibile n timp


util? (ex. date economico-financiare pentru ntreprinderi
private, statut profesional / dezavantaj profesional pentru
persoanele fizice)
Nu

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

Marcai cu X

Da, dar parial


18

Da
b. Dac da, enumerai tipul de micro-date disponibile la nivel de
beneficiar.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

82

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Disponibilitatea expertizei
tematice i metodologice

Gradul de
competitivitate a
Pieei de Evaluare

Disponibilitatea i calitatea expertizei de evaluare


19

20

Asigurarea calitii evalurilor

a. Pentru oferta de evaluare, exist expertiza tematic i


metodologic necesar?
Nu

Marcai cu X

Marcai cu X

Parial, dar ntr-o msur nesatisfctoare


Parial, dar ntr-o msur satisfctoare
20

21

Gradul de
independen al
evaluatorilor

Este competitiv piaa de evaluare?


Da, serviciile de evaluare sunt atribuite unui numr relevant de
actori diferii (mai mult de 10)
Parial, serviciile de evaluare sunt deseori atribuite unui numr
limitat de actori (5-10)
Nu, serviciile de evaluare sunt atribuite de cele mai multe ori
unui numr restrns de actori (sub 5)
Nu tiu

Da
b. Enumerai principalele tipuri de expertiz care lipsesc (pn
la 3).

a. Utilizai liste de verificare pentru a evalua calitatea


rapoartelor de evaluare?
Nu

Marcai cu X

Da

21

b. Cum apreciai calitatea rapoartelor de evaluare, n ceea ce


privete:

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

1. Relevana
2. Precizia i claritatea
21

22

3. Utilitatea
c. Indicai principalele puncte slabe ale rapoartelor de evaluare
(pn la 3)

Apreciai msura n care furnizorii de evaluare sunt


independeni de interesele clienilor.

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

DISEMINAREA I UTILIZAREA REZULTATELOR EVALURII

Diseminarea rezultatelor
imediate ale evalurii

Diseminarea rezultatelor imediate ale evalurii

23.1

Cte evenimente publice/dezbateri au fost organizate pentru


discutarea rezultatelor Evalurii (n ultimele 12 luni) la nivel de
PO?
0

Marcai cu X

1
2

23.2

mai mult de 2
Cte evenimente publice/dezbateri au fost organizate pentru
discutarea rezultatelor Evalurii (n ultimele 12 luni) la nivel de
CSNR?
0

Marcai cu X

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

83

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
1
2
mai mult de 2

Impactul evalurilor asupra proceselor de programare/ implementare

Utilizarea rezultatelor Evalurii

24

n ce msur sunt luate n calcul rezultatele evalurii de ctre


Comitetele de Monitorizare n procesul de luare a deciziilor?

25

a. n cadrul procesului de pregtire a Programelor Operaionale


2014 2020, au fost luate n calcul recomandrile evalurilor?

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

Marcai cu X

Nu
Da
25

26.1

b. Dac Da, detaliai modul n care au fost utilizate.


Care este gradul de implementare a recomandrilor de evaluare,
la nivel de PO, pentru perioada actual de programare 2007 2013?
0%

Marcai cu X

Pn la 30%
31 - 50%
51 - 75%

26.2

76 - 100%
Care este gradul de implementare a recomandrilor de evaluare,
la nivel de CSNR, pentru perioada actual de programare 2007 2013?
0%

Marcai cu X

Pn la 30%
31 - 50%
51 - 75%
76 - 100%

INSTITUIONALIZAREA EVALURII/CULTURII DE EVALUARE - N CE MSUR ESTE EVALUAREA INTEGRAT N


GUVERNANA SIS I ARE IMPACT ULTERIOR?
Contextul aferent
Cadrul mental (valori)
Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

28

Specificai n ce msur personalul de conducere/executiv al


instituiei consider evaluarea ca parte esenial n definirea
politicilor i asigurarea implementrii cu succes a acestora.

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

Valori

27

Specificai n ce msur factorii care formuleaz politici publice


consider evaluarea ca parte esenial n definirea politicilor i
asigurarea implementrii cu succes a acestora.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

84

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
Politic evaluativ privind resursele umane care vizeaz asigurarea resurselor umane adecvate la toate nivelele pentru
realizarea evalurilor

29

Indicai procentajul de funcionari publici, din cadrul structurii


organizaionale care include i biroul pentru care lucrai
dumneavoastr n mod direct (cu excepia celor care lucreaz n
cadrul Unitii de Evaluare), cu pregtire n domeniul tiinelor
sociale (de ex. economie, sociologie, tiine politice).
< 25%

Marcai cu X

25 - 50%
51 - 75 %

30

Politica de resurse umane

30

31.1

> 75%
a. Specificai nivelul de participare a funcionarilor publici, din
cadrul structurii organizaionale care include i biroul pentru
care lucrai dumneavoastr n mod direct, la activitile de
evaluare.
b. Specificai nivelul de participare a funcionarilor publici, din
cadrul structurii organizaionale care include i biroul pentru
care lucrai dumneavoastr n mod direct, la evenimentele
publice legate de evaluare (ex. prezentarea rezultatelor
evalurii, evenimente organizate de societile de evaluare).
Exist o persoan din cadrul structurii organizaionale care
include i biroul pentru care lucrai dumneavoastr n mod
direct, cu funcie de conducere, care susine procesul de
evaluare? (la nivel de PO)

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)
Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

Marcai cu X

Nu

31.2

Da
Exist o persoan din cadrul structurii organizaionale care
include i biroul pentru care lucrai dumneavoastr n mod
direct, cu funcie de conducere, care susine procesul de
evaluare? (la nivel de CSNR)
Nu

32

a. Exist opiuni viabile de instruire/formare a funcionarilor


publici n domeniul evalurii pe piaa din Romnia?

Marcai cu X

Da
Marcai cu X

Nu

32

Da, exist opiuni, dar nu sunt viabile


Da, exist opiuni viabile, dar nu acoper toate nevoile de
dezvoltare
Da
b. Exist nevoi specifice de instruire care nu sunt acoperite de
pia?
Nu

Marcai cu X

Da
Nu tiu
32

c. Dac rspunsul este da, enumerai motivele.

Cerere de evaluare
ncorporat (n SIS)

Cerere de evaluare ncorporat/pornit de jos n sus (n SIS)

33.1

Cte dintre evalurile realizate de instituia dvs. au fost


derulate ca rspuns la nevoia de cunoatere - i nu ca obligaie
(la nivel de PO)?
0%

Marcai cu X

Pn la 30%
31-50%
51 -75%
76 - 100%
Contract Subsecvent nr. 1
Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

85

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

33.2

Cte dintre evalurile realizate de instituia dvs. au fost


derulate ca rspuns la nevoia de cunoatere - i nu ca obligaie
(la nivel de CSNR)?
0%

Marcai cu X

Pn la 30%
31-50%
51 -75%
76 - 100%

Diminuarea decalajului dintre


mediul academic i cel
guvernamental

Existena unei organizaii naionale a


evaluatorilor profesioniti

Reele

34

a. n ce msur actorii relevani pentru oferta de evaluare sunt


reprezentai n cadrul organizaiei naionale a evaluatorilor
profesioniti (sunt reprezentai toi actorii relevani pentru
oferta de pe piaa de evaluare)?

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

34

b. n ce msur organizaia naional a evaluatorilor


profesioniti a contribuit la crearea unei reele de experi?

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

34

c. n ce msur organizaia naional a evaluatorilor


profesioniti a contribuit la diseminarea i schimbul de bune
practici?

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

35

a. Exist mecanisme de cooperare ntre mediul academic i cel


guvernamental care s duc la o mai bun formulare a politicilor
publice?
Da

Marcai cu X

Nu
Nu tiu
35

b. Dac da, cum le-ai evalua?

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

Participarea mass-media

Participarea societii
civile

Societatea civil i mass-media

36

36

37

a. Specificai nivelul de participare al societii civile la


activitile de evaluare.

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

b. Indicai care parte a societii civile (care nu este implicat n


mod activ n activitile legate de evaluare) ar trebui s
participe.

a. Cte evenimente publice legate de evaluare i diseminare


(implicnd mass-media) au fost organizate de instituia dvs.?
(per an)
0-2
3-5
6-8
9-10
Peste 10
Nu tiu
Contract Subsecvent nr. 1
Examinarea Culturii de Evaluare, SMIS 43465

Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

86

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Impactul n afara sistemului de management al SIS


Impactul pe termen lung n afara SIS

38

Pe baza experienei dvs. personale (de ex. disponibilitatea


pentru interviuri, formularea de comentarii cu privire la
rapoartele n versiune preliminar) care este nivelul de
receptivitate la evaluare a urmtoarelor instituii:
Organisme Intermediare

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

Autoritatea de Audit
Autoritatea de Certificare i Pli

Efecte n afara SIS

Beneficiari
39

a. n ce msur evaluarea are un impact asupra procesului de


elaborare a politicilor publice pe termen lung?

39

b. Indicai ariile aferente politicilor publice ]n cadrul crora


considerai c evaluarea are o contribuie semnificativ (indicai
3 arii).

39

c. Furnizai cteva exemple.

40

a. n ce msur evaluarea are impact asupra procesului


administrativ i operaional pe termen lung?

40

b. Furnizai cteva exemple.

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

Acordai note de la
1 la 5 (5 fiind nota
maxim, 1 fiind cea
minim)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

87

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Anexa 4 Numrul respondenilor la sondajul


electronic
Figura 42 Numrul respondenilor la sondajul electronic

5
5
7

19

16

27
Cererea de evaluare la nivelul strategiei naionale (UCE)
Cererea de evaluare la nivel de program unic utilizatorul rezultatelor evalurii (AM)
Cererea de evaluare la nivel de program unic implicat n procesul de evaluare (UE)
Oferta de evaluare factorii interesai implicai n procesul de evaluare la nivel naional i/sau la nivel de
program unic (EI, Universitate)
Cererea de evaluare factorii interesai implicai n procesul de evaluare la nivel naional i/sau la nivel
de program unic (SC, RRL AA, Beneficiari)
Cererea de evaluare la nivel de program unic - utilizatorul rezultatelor evalurii (OI)
Cererea de evaluare la nivelul de program unic - utilizatorul rezultatelor evalurii (MP)
Cererea de evaluare factorii interesai implicai n procesul de evaluare la nivel naional i/sau la nivel
de program unic (INS)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

88

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Anexa 5 Chestionar de analiz comparativ


internaional

Chestionar de analiz comparativ internaional

Instituia
Denumirea instituiei

Denumirea Programului Operaional

ara

Persoana de contact pentru chestionar


Nume

Prenume

Telefon

Adresa de e-mail

Rolul n cadrul instituiei

ntrebri
Cte evaluri au fost realizate anual de ctre instituia dvs.?
Cte evaluri au fost efectuate, pn la data actual, pentru Programul Operaional al dvs.?
Cte astfel de evaluri au fost realizate ca rspuns la o necesitate privind cunotinele empirice (din totalul
acestora) i nu ca urmare a unei obligaii?
Cum este organizat la momentul actual funcia de evaluare? Sunt prevzute schimbri pentru perioada
2014 2020?
Ce cuantum din resursele umane este dedicat Funciei de Evaluare n cadrul Programului Operaional al dvs.?
Avei reuniuni/ntlniri periodice cu reprezentanii mediului academic/centrelor de cercetare pentru o mai
bun programare i implementare a Programului Operaional al dvs.?
Aceste reuniuni/ntlniri au ca rezultat un proces optimizat de formulare a politicilor publice?
V rugm s facei o evaluare acordnd nota de la 1 (nota minim) la 5 (nota maxim) contribuiei venite din
mediul academic/centrele de cercetare la procesul de formulare a politicilor publice.
Exist n ara dvs. o organizaie profesional a Evaluatorilor?
Cte reuniuni publice organizeaz anual aceast organizaie profesional?

Comentarii i remarci suplimentare

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

89

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Anexa 6 Focus Grup cu Asociaia pentru Dezvoltarea


Evalurii din Romnia (ADER)
Lista participanilor la focus grup-ul cu ADER susinut n data de 09 iulie 2014
Nr.

Numele

Instituia

1.

Niculescu Nicoleta

ADER

2.

Ciot Gabriela

ADER

3.

Chiffa Monica

ADER

4.

Adrian Miroiu

SNSPA

5.

Aioanei Mihaela

SNSPA

6.

Melenciuc Ioana Roxana

ADER

7.

Micu Florentina

ADER

8.

Borcan Ioana Georgiana

ADER

9.

Alexandra Simbie

ADER

10.

Carausan Mihaela

ADER / SNSPA

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

90

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Anexa 7 Focus Grup de validare pentru rezultatele


exerciiilor preliminare de msurare
Lista participanilor la focus grup-ul susinut n data de 11 iulie 2014
Nr.

Numele

Instituia

1.

Claudia Mgdlina

Direcia General Analiz, Programare i Evaluare (Ministerul


Fondurilor Europene)

2.

Diana Iacob

Direcia General Analiz, Programare i Evaluare (Ministerul


Fondurilor Europene)

Loredana Suditu

Direcia General Analiz, Programare i Evaluare (Ministerul


Fondurilor Europene)

Adriana andru

Direcia General Coordonare Sistem i Asisten Tehnic


(Ministerul Fondurilor Europene)

Cristina Hodina

Direcia General Coordonare Sistem i Asisten Tehnic


(Ministerul Fondurilor Europene)

Mariana Nanu

UC POR (Ministerul Fondurilor Europene)

Ileana Geambau

UC POS CCE (Ministerul Fondurilor Europene)

Elena Cmran

UC PO DCA (Ministerul Fondurilor Europene)

9.

Anca Simion

Autoritatea de Management CTE (Ministerul Dezvoltrii Regionale i


Administraiei Publice)

10.

Simona Vasile

Autoritatea de Management CTE (Ministerul Dezvoltrii Regionale i


Administraiei Publice)

11.

Mioara Mot

Autoritatea de Management PNDR (Ministerul Agriculturii i


Dezvoltrii Rurale)

12.

Georgeta Enache

Autoritatea de Management PNDR (Ministerul Agriculturii i


Dezvoltrii Rurale)

3.

4.

5.

6.

7.

8.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

91

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Nr.

Numele

Instituia

13.

Cristina Preda

Autoritatea de Management POS DRU (Ministerul Fondurilor


Europene)

14.

Daniela Lorentz

Autoritatea de Management POP (Ministerul Agriculturii i


Dezvoltrii Rurale)

15.

Rzvan Ionescu

Autoritatea de Management PO DCA (Ministerul Dezvoltrii


Regionale i Administraiei Publice)

16.

Miruna Potaru

Autoritatea de Management POS Mediu (Ministerul Mediului i


Schimbrilor Climatice)

17.

18.

Alexandru Tacu

Laureniu Tecan

Autoritatea de Management POS Mediu (Ministerul Mediului i


Schimbrilor Climatice)
Autoritatea de Management POR (Ministerul Dezvoltrii Regionale i
Administraiei Publice)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

92

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Anexa 8 Evenimentul de diseminare


Lista participanilor la evenimentul de diseminare din 28 iulie 2014
Nr.

Numele

Instituia

1.

Guran George

Organismul Intermediar pentru Energie

2.

Oana Mihalache

Ministerul Fondurilor Europene

3.

Maxim Dumitru

Agenia Naional a Funcionarilor Publici din Romnia

4.

Diana Gradea

Agenia de Dezvoltare Regional Nord-Est

5.

Ioana Predulea

Ministerul Finantelor Publice din Romnia

6.

Adrian Purcaru

Agenia de Dezvoltare Regional - Centru

7.

Smadu Georgeta

Agenia de Dezvoltare Regional - Nord

8.

Alina Iacob

Ministerul Mediului i Schimbrilor Climatice

9.

Mihaela Kanovitis

Ministerul Muncii, Familiei i Proteciei Sociale

10.

Ciofu Daniela

Centrul Naional pentru Dezvoltare a nvmntului Profesional i


Tehic

11.

Daniela Ghiculescu

Ministerul Educaiei Naionale

12.

Daniela Breazu

Autoritatea de Management a Programului Operaional Transport

13.

Claudiu N. Cesier

Agenia de Dezvoltare Regional - Nord-Vest

14.

Mihaela Melente

Ministerul Fondurilor Europene

15.

Carlan Mircea

Ministerul Fondurilor Europene

16.

Mariana Nanu

Ministerul Fondurilor Europene

17.

Camelia Popescu

Ministerul Agriculturii i Dezvoltrii Rurale

18.

Daniel Calin

Organismul Intermediar pentru POS DRU

19.

Alexandra Ionita

Agenia de Dezvoltare Regional Bucureti-Ilfov

20.

Alexandra Manea

Organismul Intermediar pentru POS DRU

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

93

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Nr.

Numele

Instituia

21.

Gabriel Ciubuc

Organismul Intermediar POS DRU

22.

Lungulescu Irina

Ministerul Sntii

23.

Olteanu Mihaela

Organismul Intermediar POS DRU

24.

Jalia Steluta

Ministerul Dezvoltrii Regionale i Administraiei Publice

25.

Diana Iacob

Ministerul Fondurilor Europene

26.

Michele Giove

EY

27.

Michele Scataglini

EY

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

94

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Anexa 9 Fi de date privind Evaluarea Impactului


Reglementrilor (EIR)
Eficientizarea sistemelor de reglementare este o activitate complex ce acoper o serie larg de
aspecte. Aceasta poate include reducerea poverii administrative pentru activitile derulate,
adoptarea unor politici bazate mai mult pe dovezi, promovarea funcionrii pieelor i mbuntirea
percepiei publicului asupra legislaiei. Calitatea unui sistem de reglementare la nivel naional depinde
n mare msur de modul n care sunt concepute i elaborate reglementrile.
Calitatea reglementrilor face parte din Indexul de Msurare a Culturii de Evaluare. Mai exact, Indicele
de Guvernan al Bncii Mondiale reflect, printre altele, capacitatea guvernului de a formula i
implementa politici i regulamente solide care permit i promoveaz competitivitatea i dezvoltarea
durabil.
Un aspect important n procesul de optimizare a legislaiei este acela de a avea o perspectiv complet
asupra impactului acesteia. Propunerile pot fi apoi personalizate cu scopul de a avea efectul maxim
scontat i de a minimiza efectele secundare negative. Comisia European se angajeaz s examineze
impactul economic, social i de mediu al propunerilor sale. Aceasta a instituit obligativitatea evalurii
impactului pentru principalele propuneri aferente politicilor publice i, ncepnd din 2003, Comisia a
finalizat peste 150 de evaluri de impact.
n conformitate cu regulamentul UE, o Evaluare a Impactului este esenial ori de cte ori
implementarea unei politici publice (sau a unui program) impune de asemenea o modificare a
regulamentului. Pentru a mbunti calitatea reglementrilor, DMI 1.2 poate sprijini un proiect pilot
aferent Evalurii Impactului. Acest proiect trebuie s vizeze identificarea acelor intervenii publice
care vor fi realizate n urmtoarea perioad de programare i care necesit o schimbare a
regulamentului. Interveniile identificate ar putea constitui baza pentru o evaluare de impact care s
fie efectuat n paralel cu procesul de programare.
Evaluarea potenialului impact al diferitelor opiuni privind politicile publice ar putea fi util pentru
identificarea celor mai eficace instrumente de reglementare care sunt necesare pentru optimizarea
implementrii urmtoarei perioade de programare.
Liniile directoare ale CE 2009 CE (SEC(2009) 92) ofer orientare general i stabilesc procedurile i
etapele pentru evaluarea potenialului impact al diferitelor opiuni privind politicile publice. Evaluarea
Impactului Reglementrilor (EIR) este un proces continuu care ajut factorilor care formuleaz politici
publice s aib o abordare complet i s neleag consecinele interveniilor aferente politicilor
publice n sectoarele public i privat. Aceasta este un instrument care permite Guvernului s evalueze
i s prezinte rezultatele relevante cu privire la efectele pozitive i negative ale interveniilor publice,
inclusiv analiza impactului politicilor ulterior implementrii acestora. Cel mai recent sondaj referitor la
Indicatorii Sistemului de Management al Reglementrilor din statele membre OECD indic faptul c n
2005 toate statele membre au efectuat n mod sistematic o anumit form de EIR privind noile
reglementri nainte de finalizarea i implementarea acestora. Pentru optimizarea performanei
Politicii de Coeziune n perioada 2014-2020, noile prevederi privind condiionalitile vor fi introduse
pentru a asigura faptul c fondurile UE genereaz stimulente solide pentru ca statele membre s
ating obiectivele i intele strategiei Europa 2020. Acestea vor include obligativitatea din partea unui
SM de a avea un mecanism de evaluare sistematic a impactului legislaiei asupra ntreprinderilor mici
i mijlocii, innd cont de diferenele cu privire la mrimea ntreprinderilor, acolo unde este relevant.
Contract Subsecvent nr. 1
Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

95

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Principalele etape analitice care trebuie urmate atunci cnd se efectueaz o EIR sunt sumarizate n
Tabelul 6. O descriere detaliat a acestor etape este prezentat n Liniile directoare ale CE.
Pentru a aplica aceste etape n mod eficient i eficace este important corelarea EIR cu:

O agend de reglementare

Consultarea factorilor interesai

Tabelul 6 Etape analitice privind Analiza Impactului de Reglementare

Identificarea problemei
Descrierea naturii i anvergurii problemei.
Identificarea principalilor actori /categoriilor afectate.
Stabilirea factorilor determinani i a cauzelor aferente.
n ara respectiv problema necesit luarea unor msuri? Intervenia de reglementare este necesar?
Dezvoltarea unui scenariu de baz clar, inclusiv, acolo unde este necesar, analiza senzitivitii i evaluarea riscului.
Definirea obiectivelor
Stabilirea unor obiective care s corespund problemei i cauzelor principale ale acesteia.
Stabilirea unor obiective pe mai multe nivele, care pornesc de la general la specific/operaional.
Asigurarea faptului c obiectivele corespund politicilor i strategiilor UE existente
Elaborarea principalelor opiuni privind politicile publice
Identificarea opiunilor privind politicile publice, acolo unde este cazul, realizarea unei distincii ntre opiunile pentru
coninut i cele pentru mecanismele de livrare (abordri privind reglementrile/altele dect cele privind reglementrile).
Verificarea principiului proporionalitii.
Restrngerea categoriei prin selecie pentru constrngerile tehnice i de alt natur, i msurarea raportat la criteriile de
eficacitate, eficien i coeren.
ntocmirea unei liste scurte cu opiunile care ar putea fi valabile pentru analiz ulterioar.
Analiza impactului opiunilor
Identificarea (direct i indirect) a impactului economic, social i de mediu i modul de apariie a acestuia (cauzalitate).
Identificarea entitilor afectate (inclusiv a celor din afara UE) i a modului n care sunt acestea afectate.
Evaluarea impactului raportat la valoarea de baz din perspectiv calitativ, cantitativ i financiar. Dac nu este posibil
cuantificarea, explicai de ce.
Identificarea i evaluarea poverii administrative /avantajelor rezultate n urma simplificrii (sau formularea unei justificri
n cazul n care nu se realizeaz acest lucru).
Luarea n considerare a riscurilor i neregulilor privind opiunile legate de politicile publice, inclusiv obstacolele referitoare
la transpunere/conformitate.
Compararea opiunilor
Analizarea impactului pozitiv i negativ pentru fiecare opiune n baza criteriilor corelate direct cu obiectivele.
Acolo unde este fezabil, prezentarea rezultatelor globale i specifice.
Prezentarea comparaiei dintre opiuni per categorii de impact i factori interesai afectai.
Identificarea, acolo unde este posibil i adecvat, a unei opiuni preferate.
Evidenierea procesului de monitorizare i evaluare a politicilor publice
Identificarea principalilor indicatori de progres pentru principalele obiective aferente interveniilor posibile.
Furnizarea unei prezentri complexe a posibilelor aciuni de monitorizare i evaluare.

Exist dou motive pentru care agenda este important.


n primul rnd, agenda de reglementare garanteaz calitatea procesului de dezvoltare. mbuntirea
calitii procesului de formulare a politicilor publice la nivel guvernamental, utiliznd instrumentul de
reglementare ce necesit contribuii pe ntreaga perioad de derulare a procesului de formulare a
politicilor. Aceste contribuii includ colectarea de informaii i date, consultri, procese de elaborare
de documente, controlul calitii, precum i comunicare. Aceste contribuii necesit un proces ordonat
i planificat, care, la rndul su, necesit planificare n avans. Scopul agendei de reglementare este
acela de a asigura faptul c guvernul face planificarea n avans i i organizeaz procesele de
reglementare astfel nct acestea s includ contribuii calitative. De exemplu, consultarea factorilor
interesai este esenial i n cadrul unui proces de reglementare neplanificat, acesta nu se realizeaz
din cauza faptului c entitile de reglementare pur i simplu nu aloc timpul necesar pentru realizarea
acestei aciuni.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

96

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

n al doilea rnd, agenda de reglementare mbuntete transparena procesului pentru factorii


interesai. Agenda de reglementare este ntotdeauna publicat astfel nct factorii interesai s poat
vedea c apar probleme legate de reglementare i s se organizeze astfel nct s participe n mod
eficace, avnd un grad sporit de informare i consultare. Aceasta este de asemenea important
pentru investitori, deoarece reduce riscul ca guvernul s elaboreze brusc o nou politic care s
modifice nivelul de profitabilitate a activitii. Agenda de reglementare reduce riscul investiional,
care, la rndul su, sporete rata de rentabilitate a investiiilor, care, la rndul su, sporete rata
general a investiiilor n regiune.
Consultrile cu factorii interesai reprezint cel mai eficace proces de control al calitii. Acest lucru
se datoreaz n principal faptului c majoritatea informaiilor necesare pentru ca guvernul s
elaboreze politici de calitate nu sunt deinute de guvern, ci de societatea civil. Consultarea cu factorii
interesai trebuie s reprezinte un mod eficace, eficient i practic de a canaliza informaiile dinspre
societate n cadrul procesului de formulare a politicilor publice la momentul oportun. Scopul
consultrilor cu factorii interesai este acela de a:

colecta informaiile necesare pentru a stabili dac guvernul nelege problema i dac a
ales soluia potrivit

informa i educa factorii interesai cu privire la aciunea Guvernului

ncurajarea participrii societii civile la activitile guvernamentale

optimizarea gradului de respectare a politicii de ndat ce aceasta a fost adoptat,


asigurndu-se de faptul c aceasta este mai practic i mai uor de implementat.

Guvernele care utilizeaz EIR au definit patru obiective principale care ar putea fi realizate prin
integrarea acestui instrument n cadrul procesului decizional:

o mai bun nelegere a impactului real al aciunii guvernamentale, inclusiv beneficii i


costuri aferente aciunii respective

integrarea multiplelor obiective ale politicilor publice

o mai mare transparen

mbuntirea gradului de responsabilizare a Guvernului.

Optimizarea procesului de formulare a politicilor publice este un proces ce abordeaz ntregul ciclu de
via al reglementrilor, stipulnd normele generale pentru determinarea, evaluarea, aplicarea,
implementarea, precum i evaluarea ex post a normelor legale. Prin urmare, guvernele pot opta
pentru o gam larg de msuri, inclusiv simplificarea procedurilor administrative, consolidarea actelor
juridice, reducerea poverii administrative, utilizarea unor alternative favorabile pieei, evaluarea
bazat pe risc, fonduri alocate pentru elaborarea normelor, standarde pentru consultarea grupurilor
de interese, evaluarea sustenabilitii celor existente, precum i a noilor reglementri, i evaluarea ex
post a efectelor acestora. EIR reprezint doar unul dintre elementele necesare pentru un pachet de
reglementri optimizat.
n figura de mai jos este ilustrat modul n care instrumentele de reglementare (Agenda de
reglementare, consultarea cu factorii interesai, EIR, evaluri in itinere/ex post, elaborarea
reglementrilor) pot mbunti procesul de formulare a politicilor publice.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

97

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Figura 43 - Ciclul aferent politicilor de reglementare i instrumente de reglementare optimizate

Identificarea
problemei

Agenda de
reglementare

Identificarea
prioritilor

Consultarea
factorilor
interesai

Evaluarea
Impactului de
Reglementare

Consultarea
factorilor
interesai
mbuntirea
procesului de
formulare a
politicilor publice

Consultarea
factorilor
interesai

Ciclul politicii de
reglementare

Definirea
politicilor

Revizuirea
Politicilor

Elaborarea
reglementrilor

Evaluarea
ex post

Consultarea
factorilor
interesai

Procesul
decizional

Implementare,
monitorizare i
meninere

Monitorizare,
Evaluare in
itinere

Instrumente de reglementare
optimizate

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

98

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Anexa 10 Metodologia de punctare pentru ICE


CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

CAPACITATEA DE EVALUARE: CEREREA (incluznd att nivelul individual ct i cel instituional)


NA

DE LA 1 LA 3
1 = Nu exist o Unitate dedicat la nivel de PO
2 = Exist o Unitate dedicat, n majoritatea cazurilor, la nivel de
PO
3 = Exist ntotdeauna o Unitate dedicat la nivel de PO

(1) Structura Evalurii


cu accent specific pe
corelarea Evalurii cu
Programarea i
Monitorizarea
(responsabiliti,
coordonare, corelarea
cu alte funcii)

Cercetare de birou
(Organigram, ROF)

Unitate dedicat - unitate care realizeaz activiti legate de


evaluare (precum i alte activiti, unde este cazul)

NA
1. Alocarea
Responsabilitilo
r de Evaluare

DE LA 1 LA 2
1 = Nu exist o Unitate dedicat la nivel de CSNR
2 = Exist o Unitate dedicat la nivel de CSNR

1. Existena unei
Uniti de Evaluare
dedicate

a. Unitile de Evaluare se
subordoneaz exclusiv
efului AM?

DE LA 1 LA 2
1 = Nu
2 = Da

b. Unitile de Evaluare
realizeaz exclusiv activiti
de evaluare?

DE LA 1 LA 2
1 = Nu, Unitile de Evaluare sunt atribuite unor Uniti care
realizeaz i alte funcii
2 = Da, Unitile de Evaluare sunt organizate ntr-o unitate
dedicat, care realizeaz exclusiv activiti legate de evaluare

Cercetare de birou
(Organigram, ROF)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

99

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

2. Coordonarea
ntre Funciile de
Evaluare a
diferitelor
Programe

INDICATOR

INTREBARE

2. Definirea clar a
misiunii, rolurilor i
sarcinilor Unitii
de Evaluare

Exist proceduri/prevederi
oficiale care stabilesc
misiunea, rolurile i sarcinile
Unitii de Evaluare?

DE LA 1 LA 3
1 = Nu exist proceduri / prevederi
2 = Da, dar procedurile / prevederile sunt n format preliminar,
neaprobate
3 = Da, exist proceduri / prevederi

Cercetare de birou
(ROF, Procedura de
Evaluare)

3. Atribuirea clar
a rolurilor i
sarcinilor
persoanelor din
cadrul funciilor de
evaluare

Rolurile i sarcinile sunt


atribuite n mod clar
persoanelor din cadrul
Unitilor de Evaluare?

DE LA 1 LA 3
1 = Rolurile i sarcinile aferente Unitii de Evaluare nu sunt
atribuite persoanelor
2 = Rolurile i sarcinile aferente Unitii de Evaluare nu sunt
atribuite n mod clar persoanelor sau sunt atribuite parial
3 = Toate rolurile i sarcinile aferente Unitii de Evaluare sunt
atribuite persoanelor n mod clar

Cercetare de birou
(Fia postului)

4. Eficacitatea
coordonrii ntre
Unitile de
Evaluare ale
diferitelor
programe

METODOLOGIE DE PUNCTARE

a. Exist proceduri pentru


coordonarea Unitilor de
Evaluare ale diferitelor
Programe?

DE LA 1 LA 3
1 = Nu
2 = Sunt n versiune preliminar, neaprobate
3 = Da

b. Specificai la cte ntlniri


ale Grupurilor de Lucru
pentru Evaluare (GLE) ai
participat (n ultimele 12
luni)?

DE LA 1 LA 5
1 = 0-1
2 = 2-3
3 = 4-5
4 = 6-7
5 = >8

SURSA

Cercetare de birou
(mandatul
Comitetului de
Coordonare a
Evalurii)

eSurvey

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

100

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

3 Legtura dintre
Funcia de
Evaluare i alte
funcii

INDICATOR

5. Eficacitatea
cooperrii dintre
Unitile de
Evaluare i cele de
Programare (la
nivel de PO)

5. Eficacitatea
cooperrii dintre
Unitile de
Evaluare i cele de
Programare (la
nivel de CSNR)

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

c. Specificai ct de des
deciziile luate de GLE sunt
ulterior adoptate la nivel de
PO?

DE LA 1 LA 4
1 = Niciodat
2 = Rareori
3 = Deseori
4 = ntotdeauna

a. Exist proceduri care


coreleaz evaluarea cu
Unitile de Programare? (la
nivel de PO)

DE LA 1 LA 4
1 = Nu
2 = Da, exist proceduri informale
3 = Da, dar sunt n format preliminar, neaprobate
4 = Da, exist proceduri formale

Cercetare de birou
(ROF, Procedura de
Evaluare) +
eSurvey

b. Dac rspunsul este "Da",


v rugm s apreciai
eficacitatea procedurilor
existente. (la nivel de PO)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

c. Cte dintre evalurile


realizate au la baz aspecte
relevate de Unitatea de
Programare? (la nivel de PO)

DE LA 1 LA 5
1 = 76-100%
2 = 51-75%
3 = 31-50%
4 = pn la 30%
5 = 0%

a. Exist proceduri care


coreleaz evaluarea cu
Unitatea de Programare? (la
nivel de CSNR)

DE LA 1 LA 4
1 = Nu
2 = Da, exist proceduri informale
3 = Da, dar sunt n format preliminar, neaprobate
4 = Da, exist proceduri formale

eSurvey
Focus Grup cu GLE

Cercetare de birou
(ROF, Procedura de
Evaluare) +
eSurvey

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

101

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

6. Eficacitatea
cooperrii dintre
Unitile de
Evaluare i cele de
Monitorizare (la
nivel de PO)

INTREBARE

METODOLOGIE DE PUNCTARE

b. Dac rspunsul este "Da",


v rugm s apreciai
eficacitatea procedurilor
existente (la nivel de CSNR)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

c. Cte dintre evalurile


realizate au la baz aspecte
relevate de Unitatea de
Programare? (la nivel de
CSNR)

DE LA 1 LA 5
1 = 76-100%
2 = 51-75%
3 = 31-50%
4 = pn la 30%
5 = 0%

a. Exist proceduri formale


care reglementeaz
interaciunea dintre unitile
de monitorizare i evaluare?
(la nivel de PO)

DE LA 1 LA 3
1 = Nu
2 = Da, sunt n format preliminar, neaprobate
3 = Da

b. Care este frecvena


ntlnirilor (formale i
informale) legate de
activitile de evaluare ntre
Unitile de Monitorizare i
cele de Evaluare (n ultimele
12 luni)? (la nivel de PO)

DE LA 1 LA 5
1.= Nu au loc astfel de ntlniri
2 = ntlniri anuale
3 = ntlniri trimestriale
4 = ntlniri lunare
5 = Mai mult de o ntlnire pe lun

SURSA

eSurvey

eSurvey
Focus Grup cu GLE

Cercetare de birou
(ROF, Procedura de
Evaluare) +
eSurvey

eSurvey
Focus Grup cu GLE

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

102

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

c. Cte dintre evalurile


realizate au la baz aspecte
relevate de Unitatea de
Monitorizare? (la nivel de
PO)

DE LA 1 LA 5
1 = 76-100%
2 = 51-75%
3 = 31-50%
4 = pn la 30%
5 = 0%

d. Unitile de Monitorizare
furnizeaz date de
monitorizare care sprijin
evaluarea? (la nivel de PO)

DE LA 1 LA 4
1 = Niciodat
2 = Rareori
3 = Deseori
4 = ntotdeauna

e. Putei identifica o arie de


mbuntire a cooperrii
dintre funciile de Evaluare i
de Monitorizare? (la nivel de
PO)

DE LA 1 LA 3
1 = Nu
2 = Parial
3 = Da

SURSA

f. Dac rspunsul este DA /


Parial, v rugm s indicai
principalele decalaje i/sau
arii care necesit
mbuntiri cu privire la
datele furnizate de Unitatea
de Monitorizare. (la nivel de
PO)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

103

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

6. Eficacitatea
cooperrii dintre
Unitile de
Evaluare i cele de
Monitorizare (la
nivel de CSNR)

INTREBARE

METODOLOGIE DE PUNCTARE

a. Exist proceduri formale


care reglementeaz
interaciunea dintre unitile
de monitorizare i evaluare?
(la nivel de CSNR)

DE LA 1 LA 3
1 = Nu
2 = Da, sunt n format preliminar, neaprobate
3 = Da

b. Care este frecvena


ntlnirilor (formale i
informale) legate de
activitile de evaluare ntre
Unitile de Monitorizare i
cele de Evaluare (n ultimele
12 luni) la nivel de CSNR?

DE LA 1 LA 5
1.= Nu au loc astfel de ntlniri
2 = ntlniri anuale
3 = ntlniri trimestriale
4 = ntlniri lunare
5 = Mai mult de o ntlnire pe lun

c. Cte dintre evalurile


realizate au la baz aspecte
relevate de Unitatea de
Monitorizare? (la nivel de
CSNR)

DE LA 1 LA 51 = 76-100%2 = 51-75%3 = 31-50%4 = pn la 30%5


= 0%

d. Unitatea de Monitorizare
furnizeaz date de
monitorizare care sprijin
evaluarea? (la nivel de
CSNR)

DE LA 1 LA 4
1 = Niciodat
2 = Rareori
3 = Deseori
4 = ntotdeauna

SURSA

Cercetare de birou
(procedurile
unitilor de
evaluare)

eSurvey
Focus Grup cu GLE

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

104

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE
e. Putei identifica o arie de
mbuntire a cooperrii
dintre funciile de Evaluare i
Monitorizare? (la nivel de
CSNR)

METODOLOGIE DE PUNCTARE

SURSA

DE LA 1 LA 3
1 = Nu
2 = Parial
3 = Da

f. Dac rspunsul este DA /


Parial, v rugm s indicai
principalele decalaje i/sau
arii care necesit
mbuntiri cu privire la
datele furnizate de Unitatea
de Monitorizare. (la nivel de
CSNR)

(2) Resursele financiare


i umane alocate
Evalurii la nivel de
CSNR

4. Alocarea
resurselor
financiare pentru
activitile de
evaluare

5. Alocarea
resurselor umane
pentru activitile
de evaluare

7. Cuantumul
aferent bugetului
pentru evaluare (%)
(la nivel de PO)

7. Cuantumul
aferent bugetului
pentru evaluare (%)
(la nivel de CSNR)

8. Caracterul
adecvat al
resurselor umane
din cadrul
Unitilor de
Evaluare (la nivel
de PO)

NA

DE LA 1 LA 4
1 = Total insuficient (ex. mai puin de 2% din bugetul total)
2 = Insuficient
3 = Suficient
4 = Mai mult dect suficient

Cercetare de birou
(PME, PAE, Planuri
de Achiziii)
Focus Grup cu GLE

NA

DE LA 1 LA 4
1 = Total insuficient (ex. mai puin de 2% din bugetul total)
2 = Insuficient
3 = Suficient
4 = Mai mult dect suficient

Cercetare de birou
(PME, PAE, Planuri
de Achiziii)
Focus Grup cu GLE

a. Cte persoane lucreaz n


cadrul Unitii de Evaluare la
nivel de PO?

DE LA 1 LA 4
1 = Total insuficient (ex. mai puin de 2% din bugetul total)
2 = Insuficient
3 = Suficient
4 = Mai mult dect suficient

Cercetare de birou
(Situaia actualizat
a poziiilor ocupate
n cadrul AM)
+ Analiz
comparativ
internaional

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

105

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

8. Caracterul
adecvat al
resurselor umane
din cadrul
Unitilor de
Evaluare (la nivel
de CSNR)

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

b. Care este procentajul


persoanelor din cadrul
Unitii de Evaluare care au
prsit instituia n ultimele
12 luni (la nivel de PO)?

DE LA 1 LA 5
1 = 76-100%
2 = 51-75%
3 = 31-50%
4 = pn la 30%
5 = 0%

eSurvey

c. n opinia dumneavoastr,
competenele i expertiza
personalului de evaluare (la
nivel de PO) sunt adecvate
rolurilor i responsabilitilor
atribuite?

DE LA 1 LA 4
1 = Nu, sunt total inadecvate
2 = Nu, ar trebui mbuntite
3 = Da, sunt adecvate
4 = Da, sunt mai mult dect adecvate

Cercetare de birou
(CV-urile
personalului Unitii
de Evaluare)

a. Cte persoane lucreaz n


cadrul Unitii de Evaluare la
nivel de CSNR?

DE LA 1 LA 4
1 = Total insuficient (ex. mai puin de 2% din bugetul total)
2 = Insuficient
3 = Suficient
4 = Mai mult dect suficient

Cercetare de birou
(Situaia
actualizat a
poziiilor ocupate n
cadrul MA)
+ Analiz
comparativ
internaional

b. Care este procentajul


persoanelor din cadrul
Unitii de Evaluare care au
prsit instituia n ultimele
12 luni (la nivel de CSNR)?

DE LA 1 LA 5
1 = 76-100%
2 = 51-75%
3 = 31-50%
4 = pn la 30%
5 = 0%

eSurvey

c. n opinia dumneavoastr,
competenele i expertiza
personalului de evaluare (la
nivel de CSNR) sunt adecvate
rolurilor i responsabilitilor
atribuite?

DE LA 1 LA 4
1 = Nu, sunt total inadecvate
2 = Nu, ar trebui mbuntite
3 = Da, sunt adecvate
4 = Da, sunt mai mult dect adecvate

Cercetare de birou
(CV-urile
personalului Unitii
de Evaluare)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

106

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

6. Calitatea
sistemului de
indicatori

METODOLOGIE DE PUNCTARE

SURSA

a. Sunt luate n considerare


cunotinele n domeniul
evalurii n cadrul procesului
de recrutare a personalului
Unitii de Evaluare? (ex.
exist criterii cu privire la
experiena profesional, este
evaluat nivelul de cunotine
n domeniul evalurii)

DE LA 1 LA 2
1 = nu
2 = da

eSurvey

b. Dac rspunsul este Da, n


opinia dvs., aceste criterii
duc la angajarea personalului
cel mai adecvat?

DE LA 1 LA 3
1 = Niciodat
2 = Uneori
3 = ntotdeauna

eSurvey
Focus Grup cu GLE

10. Existena unor


aciuni de
dezvoltare
profesional

a. Personalul din cadrul


Unitii de Evaluare
beneficiaz de aciuni de
dezvoltare profesional?

DE LA 1 LA 4
1 = Nu
2 = Da, personalul beneficiaz de sesiuni sporadice de formare
organizate pentru ntreg personalul (de ex. formare n cadrul unui
curs)
3 = Da, personalul beneficiaz de sesiuni sistematice de formare
organizate pentru ntreg personalul (de ex. sesiuni de instruire
planificate anual)
4 = Da, exist un plan individual/personalizat de dezvoltare
profesional pentru fiecare persoan (de ex. formare la locul de
munc, ndrumare, stagii de pregtire)

eSurvey

11. Calitatea
sistemului de
indicatori la nivel

a. Cum apreciai sistemul de


indicatori (la nivel de PO) n
ceea ce privete:

9. Existena unor
criterii pentru
procesul de
angajare a
personalului

(3) Calitatea sistemului


de monitorizare

INTREBARE

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

107

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

de PO
1. Acoperirea
(msura n care sistemul de
indicatori ofer informaii
cuantificate despre situaia
socioeconomic i de mediu
i poate specifica nevoile
cantitative identificate.
Sistemul ofer informaii
care pot avea impact asupra
PO-urilor sau asupra crora
PO-urile pot avea impact)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

Cercetare de birou
(KPMG Report)

2. Echilibrul
(msura n care sistemul de
indicatori include un mix de
indicatori distribuii n mod
corespunztor - context,
input, realizare imediat,
rezultat, impact - i solicitri
de informaii de la diverse
categorii/nivele de actori
implicai)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

3. Gestionabilitatea
(msura n care sistemul de
indicatori permite
colectarea, msurarea,
procesarea, monitorizarea i
comunicarea
corespunztoare a
indicatorilor)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

b. Ct dureaz n medie, la
nivel de PO, obinerea de
informaii din sistemul de
monitorizare, referitoare la
indicatori, raportat la o
anumit dat limit?

DE LA 1 LA 4
1 = Mult, peste 2 luni
2 = Mediu, o lun
3 = Puin, 15 zile
4 = Foarte puin, o sptmn

eSurvey

eSurvey

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

108

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

a. Cum apreciai sistemul de


indicatori (la nivel de CSNR)
n ceea ce privete:

11. Calitatea
sistemului de
indicatori la nivel
de CSNR

7. Calitatea
indicatorilor
individuali

12. Calitatea
indicatorilor
individuali la nivel
de CSNR

1. Acoperirea
(msura n care sistemul de
indicatori ofer informaii
cuantificate despre situaia
socioeconomic i de mediu
i poate specifica nevoile
cantitative identificate.
Sistemul ofer informaii
care pot avea impact asupra
PO-urilor sau asupra crora
PO-urile pot avea impact)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

2. Gestionabilitatea
(msura n care sistemul de
indicatori permite
colectarea, msurarea,
procesarea, monitorizarea i
comunicarea
corespunztoare a
indicatorilor)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

b. Ct dureaz n medie, la
nivel de CSNR, obinerea de
informaii din sistemul de
monitorizare, referitoare la
indicatori, raportat la o
anumit dat limit?

DE LA 1 LA 4
1 = Mult, peste 2 luni
2 = Mediu, o lun
3 = Puin, 15 zile
4 = Foarte puin, o sptmn

Cercetare de birou
(KPMG Report)
eSurvey

eSurvey

Cum apreciai urmtoarele


caracteristici ale
indicatorului individual (la
nivel de PO):

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

109

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

12. Calitatea
indicatorilor
individuali la nivel
de CSNR

INTREBARE

METODOLOGIE DE PUNCTARE

1. Conform cu politica
(strns corelat i eventual
influenat de aciunile
programului pentru a crui
evaluare este utilizat)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

2. Normativ
(avnd o interpretare clar i
acceptat)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

SURSA

Cercetare de birou
(KPMG Report)
eSurvey

3. Robust
(n conformitate cu
standardele i metodologiile
recunoscute la nivel
internaional)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

4. Fezabil
(msurarea nu reprezint o
povar)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

Cum apreciai urmtoarele


caracteristici ale
indicatorului individual (la
nivel de CSNR):

1. Conform cu politica
(strns corelat i eventual
influenat de aciunile
programului pentru a crui
evaluare este utilizat)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

Cercetare de birou
(KPMG Report)
eSurvey

2. Normativ
(avnd o interpretare clar i
acceptat)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

110

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

(4) Eficiena i
eficacitatea funciei de
Evaluare (cu privire la
planificare,
management, controlul
calitii i nvare)

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

3. Robust
(n conformitate cu
standardele i metodologiile
recunoscute la nivel
internaional)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

4. Fezabil
(msurarea nu reprezint o
povar)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

13. Existena unor


planuri anuale i
multi-anuale de
evaluare la nivel de
PO i CSNR

NA

DE LA 1 LA 5
1 = Nu exist planuri anuale i multianuale
2 = Nu exist planuri anuale i multianuale la nivel naional, dar
uneori exist la nivel de Program
3 = Exist planuri anuale i multianuale la nivel naional i uneori
la nivel de Program
4 = Planurile anuale i multianuale exist, n majoritatea cazurilor,
la ambele nivele
5 = Planurile anuale i multianuale exist ntotdeauna la ambele
nivele

Cercetare de birou
(Planuri Multianuale
de Evaluare, Planuri
Anuale de Evaluare)

14. Gradul de
realizare a
Planurilor
Multianuale de
Evaluare (la nivel
de PO)

a. Cte din evalurile


planificate prin Planul de
Evaluare au fost realizate?

DE LA 1 LA 4
1 < 25%
2 = 25 - 50%
3 = 51 - 75%
4 = 76% - 100%

Cercetare de birou
(Rapoarte publicate
pe site-ul Biblioteca
de Evaluare)

8. Eficacitatea
Planului de
Evaluare

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

111

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

14. Gradul de
realizare a
Planurilor
Multianuale de
Evaluare (la nivel
de CSNR)

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

b. Cte evaluri (care nu au


fost incluse n planul de
evaluare) au fost realizate n
perioada actual de
programare 2007 - 2013
pentru a rspunde nevoilor
specifice la nivel de PO?

DE LA 1 LA 4
1<2
2=2-3
3 = 4- 5
4>5

Cercetare de birou Analiz


comparativ
internaional,
eSurvey

c. Cte rapoarte de evaluare


identific impactul
programului?

DE LA 1 LA 4
1<2
2=2-3
3 = 4- 5
4>5

Cercetare de birou
(Rapoarte publicate
pe site-ul Biblioteca
de Evaluare)

d. Cte rapoarte de evaluare


cuantific impactul
programului?

DE LA 1 LA 4
1<2
2=2-3
3 = 4- 5
4>5

Cercetare de birou
(Rapoarte publicate
pe site-ul Biblioteca
de Evaluare)

DE LA 1 LA 4 1 < 25%2 = 25 - 50%3 = 51 - 75%4 = 76% - 100%

Cercetare de birou
(Planuri de
evaluare, Biblioteca
de Evaluare)

a. Cte din evalurile


planificate prin Planul de
Evaluare au fost realizate?

b. Cte evaluri (care nu au


fost incluse n planul de
evaluare) au fost realizate n
perioada actual de
programare 2007 - 2013
pentru a rspunde nevoilor
specifice la nivel de CSNR?

DE LA 1 LA 4
1<2
2=2-3
3 = 4- 5
4>5

Cercetare de birou Analiz


comparativ
internaional,
eSurvey

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

112

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

15. ntrzierea
medie a evalurilor
n raport cu Planul
Anual (la nivel de
PO)

INTREBARE

METODOLOGIE DE PUNCTARE

c. Cte rapoarte de evaluare,


realizate n ultimele 12 luni
la nivel de CSNR, identific
impactul programului?

DE LA 1 LA 4
1<2
2=2-3
3 = 4- 5
4>5

Cercetare de birou
(Rapoarte publicate
pe site-ul Biblioteca
de Evaluare)

d. Cte rapoarte de evaluare,


realizate n ultimele 12 luni
la nivel de CSNR, cuantific
impactul programului?

DE LA 1 LA 4
1<2
2=2-3
3 = 4- 5
4>5

Cercetare de birou
(Rapoarte publicate
pe site-ul Biblioteca
de Evaluare)

a. Care este numrul mediu


de sptmni de ntrziere
nregistrate ntre data la
care au fost realizate i data
la care au fost programate
evalurile (conform Planului
de Evaluare) la nivel de PO?

DE LA 1 LA 5
5= Nu au fost nregistrate ntrzieri
4= 3 luni
3= 6 luni
2= 9 luni
1= Peste 12 luni

Cercetare de birou
(Planuri de
evaluare, Biblioteca
de Evaluare)

b. Enumerai cele mai


importante trei motive ale
ntrzierilor nregistrate ntre
data la care au fost realizate
i data la care au fost
programate evalurile
(conform Planului Anual) la
nivel de PO.
15. ntrzierea
medie a evalurilor
n raport cu Planul
Anual (la nivel de
CSNR)

SURSA

a. Care este numrul mediu


de sptmni de ntrziere
nregistrate ntre data la
care au fost realizate i data
la care au fost programate
evalurile (conform Planului
de Evaluare) la nivel de
CSNR?

eSurvey

DE LA 1 LA 5
5= Nu au fost nregistrate ntrzieri
4= 3 luni
3= 6 luni
2= 9 luni
1= Peste 12 luni

Cercetare de birou
(Planuri de
evaluare, Biblioteca
de Evaluare)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

113

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

b. Enumerai cele mai


importante trei motive ale
ntrzierilor nregistrate ntre
data la care au fost realizate
i data la care au fost
programate evalurile
(conform Planului Anual) la
nivel de CSNR.
16. Gradul de
revizuire a
planurilor pe
parcursul ciclului
de implementare a
Programului (la
nivel de PO)

a. Planurile Anuale i
Multianuale de Evaluare sunt
revizuite pe parcursul ciclului
de implementare a
programului, dac este
necesar?

SURSA
eSurvey

Cercetare de birou
DE LA 1 LA 2
1 = Nu
2 = Da

eSurvey
b. Dac rspunsul este da /
parial, ce elemente sunt
luate n considerare n
procesul de revizuire?

16. Gradul de
revizuire a
planurilor pe
parcursul ciclului
de implementare a
Programului (la
nivel de CSNR)

a. Planurile Anuale i
Multianuale de Evaluare sunt
revizuite pe parcursul ciclului
de implementare a
programului, dac este
necesar?

Cercetare de birou
DE LA 1 LA 2
1 = Nu
2 = Da

b. Dac rspunsul este da /


parial, ce elemente sunt
luate n considerare n
procesul de revizuire?

eSurvey

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

114

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

17. Comitetele de
Coordonare a
Evalurii sunt
create i le sunt
atribuite roluri i
responsabiliti
clare la (nivel de
PO)

Exist Comitete de
Coordonare a Evalurii cu
roluri i responsabiliti
clare?

DE LA 1 LA 3
1 = Nu, nu exist
2 = Nu, exist dar rolurile i responsabilitile nu au fost atribuite
n mod clar
3 = Da, exist iar rolurile i responsabilitile au fost atribuite n
mod clar

Cercetare de birou
(ROF, Proceduri de
evaluare)

17. Comitetele de
Coordonare a
Evalurii sunt
create i le sunt
atribuite roluri i
responsabiliti
clare la (nivel de
CSNR)

Exist Comitete de
Coordonare a Evalurii cu
roluri i responsabiliti
clare?

DE LA 1 LA 3
1 = Nu, nu exist
2 = Nu, exist dar rolurile i responsabilitile nu au fost atribuite
n mod clar
3 = Da, exist iar rolurile i responsabilitile au fost atribuite n
mod clar

Cercetare de birou
(ROF, Proceduri de
evaluare)

a. Cum apreciai eficacitatea


activitii Comitetului de
Coordonare a Evalurii? (din
punct de vedere al asigurrii
calitii procesului de
evaluare i al rezultatelor la
nivel de PO)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

b. Sunt invitai i ali experi


tematici s fac parte din
Comitetul de Coordonare a
Evalurii n funcie de
subiectul evalurii? (la nivel
de PO)

DE LA 1 LA 3
1= Nu
2= Nu, dar aceast abordare a fost luat n considerare i va fi
implementat n viitor
3 = Da

9. Eficacitatea
Comitetelor de
Coordonare a
Evalurii
18. Eficacitatea
Comitetelor de
Coordonare a
Evalurii (la nivel
de PO)

18. Eficacitatea
Comitetelor de
Coordonare a
Evalurii (la nivel
de CSNR)

a. Cum apreciai eficacitatea


activitii Comitetului de
Coordonare a Evalurii? (din
punct de vedere al asigurrii
calitii procesului de
evaluare i al rezultatelor la
nivel de CSNR)

eSurvey

eSurvey
DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

115

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE
b. Sunt invitai i ali experi
tematici s fac parte din
Comitetul de Coordonare a
Evalurii n funcie de
subiectul evalurii? (la nivel
de CSNR)

10.Implicarea
Unitilor de
Evaluare n
procesul
decizional

11. Calitatea
Termenilor de
Referin

19. Existena unui


proces formalizat
pentru implicarea
Unitilor de
Evaluare n
procesul decizional
(la nivel de PO)

19. Existena unui


proces formalizat
pentru implicarea
Unitii Centrale de
Evaluare n
procesul decizional
(la nivel de CSNR)

20. Calitatea
Termenilor de
Referin

Exist un proces formalizat


pentru implicarea Unitilor
de Evaluare n procesul
decizional la nivel de PO?
(ex. participare la Comitetele
de Monitorizare ca membri
cu drept de vot, consultai de
ctre Autoritatea de
Management cu privire la
principalele decizii la nivel de
Program)
Exist un proces formalizat
pentru implicarea Unitii
Centrale de Evaluare n
procesul decizional la nivel
de PO? (ex. participare la
Comitetele de Monitorizare
ca membri cu drept de vot,
consultai de ctre
Autoritatea de Management
cu privire la principalele
decizii la nivel de Program)

METODOLOGIE DE PUNCTARE

SURSA
eSurvey

DE LA 1 LA 3
1= Nu
2= Nu, dar aceast abordare a fost luat n considerare i va fi
implementat n viitor
3 = Da
eSurvey

DE LA 1 LA 3
1 = Nu
2 = Consultrile au loc, dar nu n cadrul unui proces formalizat
3 = Da

eSurvey

DE LA 1 LA 3
1 = Nu
2 = Consultrile au loc, dar nu n cadrul unui proces formalizat
3 = Da

Cum apreciai Termenii de


Referin de Evaluare din
punct de vedere al:

1. Claritii

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

116

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

12. Existena
unui proces de
nvare

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

2. Standardizrii (elaborai
pe baza unui
standard/model)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

21. Actualizarea
periodic a
procedurilor
interne referitoare
la evaluare
(concepere /
implementare /
utilizare) ca
rezultat al
experienei
acumulate (la nivel
de PO)

Procedurile interne aferente


Unitii de Evaluare
(concepere / implementare /
utilizare) sunt actualizate
periodic ca urmare a
experienei dobndite (la
nivel de PO)?

DE LA 1 LA 3
1 = Nu, procedurile nu au fost actualizate
2 = Da, procedurile au fost actualizate, dar fr mbuntiri
semnificative
3 = Da, procedurile sunt actualizate periodic, n urma experienei
dobndite, ceea ce duce la mbuntiri substaniale

eSurvey +
Cercetare de birou

21. Actualizarea
periodic a
procedurilor
interne referitoare
la evaluare
(concepere /
implementare /
utilizare) ca
rezultat al
experienei
acumulate (la nivel
de CSNR)

Procedurile interne aferente


Unitii de Evaluare
(concepere / implementare /
utilizare) sunt actualizate
periodic ca urmare a
experienei dobndite (la
nivel de CSNR)?

DE LA 1 LA 3
1 = Nu, procedurile nu au fost actualizate
2 = Da, procedurile au fost actualizate, dar fr mbuntiri
semnificative
3 = Da, procedurile sunt actualizate periodic, n urma experienei
dobndite, ceea ce duce la mbuntiri substaniale

eSurvey +
Cercetare de birou

22.
Disponibilitatea
indicatorilor cheie
socioeconomici
(PIB, rata
omajului,
ocuparea forei de

a. Sunt disponibile la timp


datele cheie socioeconomice
(PIB, rata omajului,
ocuparea forei de munc,
investiii n cercetare i
dezvoltare) la nivel naional
i regional (NUTS II)?

DE LA 1 LA 3
1 = Nu
2 = Da, dar parial
3 = Da

Cercetare de birou
(Eurostat, INSSE,
Raport ECO)
+ Analiz
comparativ
internaional

CAPACITATEA DE EVALUARE: OFERTA

(5) Disponibilitatea i
calitatea datelor
socioeconomice

13. Calitatea
datelor
socioeconomice

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

117

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR
munc, investiii n
cercetare i
dezvoltare) la nivel
naional i regional
(NUTS II)

14.
Disponibilitatea
altor date

23.
Disponibilitatea
altor date pentru
evaluare

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

b. Specificai principalele
lipsuri / decalaje. (pn la 3)
c. Exist alte surse pentru
principalele date privind
indicatorii socioeconomici la
nivel naional i regional
(NUTS II), n afara
statisticilor oficiale pe care le
luai n considerare (e.x.
rapoarte ntocmite de
Camerele de Comer,
asociaii patronale)?

DE LA 1 LA 2
1 = Nu
2 = Da

eSurvey

d. Dac da, apreciai


coerena acestora cu datele
oficiale.

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

DE LA 1 LA 3
1 = Nu
2 = Da, dar parial
3 = Da

eSurvey
+
Cercetare de birou
(Analiza seciunii cu
limitri din cadrul
rapoartelor de
evaluare publicate
pe site-ul Biblioteca
de Evaluare)

Micro-datele de la nivel de
beneficiar sunt disponibile n
timp util? (e.x. date
economico-financiare pentru
ntreprinderi private, statut
profesional / dezavantaj
profesional pentru
persoanele fizice).

Dac da, enumerai tipul de


micro-date disponibile la
nivel de beneficiar.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

118

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

(6) Disponibilitatea i
calitatea expertizei de
evaluare

INDICATOR

24. Numrul
firmelor
internaionale
active pe pia

24. Numrul
firmelor locale
active pe pia

15. Gradul de
competitivitate a
Pieei de Evaluare

26. Numrul
universitilor
implicate n
procesul de
evaluare

27.
Competitivitatea
pieei de evaluare

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

Cte firme internaionale


active pe piaa de evaluare
cunoatei?

DE LA 1 LA 5
1=0
2 = 1-3
3 = 4-6
4 = 7-10
5 = peste 10

Cercetare de birou
(SEAP - Atribuirea
licitaiei)

Cte firme locale active pe


piaa de evaluare
cunoatei?

DE LA 1 LA 5
1=0
2 = 1-3
3 = 4-6
4 = 7-10
5 = peste 10

Cercetare de birou
(SEAP - Atribuirea
licitaiei)

Cte universiti implicate n


procesul de evaluare
cunoatei?

DE LA 1 LA 5
1=0
2 = 1-3
3 = 4-6
4 = 7-10
5 = peste 10

Cercetare de birou
(SEAP - Atribuirea
licitaiei)

Este competitiv piaa de


evaluare?

DE LA 1 LA 3
1= Nu, serviciile de evaluare sunt atribuite de cele mai multe ori
unui numr restrns de actori (sub 5)
2 = Parial, serviciile de evaluare sunt deseori atribuite unui
numr limitat de actori (5 - 10)
3 = Da, serviciile de evaluare sunt atribuite unui numr relevant de
actori diferii (peste 10)

eSurvey / Focus
Grup cu ADER

Opiune: "Nu tiu" (considerat ca rspuns neprimit)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

119

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU
16.Disponibilitate
a unor expertize
tematice i
metodologice

INDICATOR

28. Calitatea
expertizei

INTREBARE

a. Pentru oferta de evaluare,


exist expertiza tematic i
metodologic necesar?

METODOLOGIE DE PUNCTARE

SURSA

DE LA 1 LA 4
1 = Nu
2 = Parial, dar ntr-o msur nesatisfctoare
3 = Parial, dar ntr-o msur satisfctoare
4 = Da

eSurvey / Focus
Grup cu ADER

DE LA 1 LA 2
1 = nu
2 = da

eSurvey +
Cercetare de birou
(grile de evaluare a
calitii utilizate la
nivel de PO)

b. Enumerai principalele
tipuri de expertiz care
lipsesc (pn la 3).
a. Utilizai liste de verificare
pentru a evalua calitatea
rapoartelor de evaluare?
b. Cum apreciai calitatea
rapoartelor de evaluare, n
ceea ce privete:
29. Calitatea
rapoartelor de
evaluare
17. Asigurarea
calitii
evalurilor

1. Relevana

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

2. Precizia i claritatea

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

3. Utilitatea

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

c. Indicai principalele puncte


slabe ale rapoartelor de
evaluare (pn la 3).
30. Existena unor
standarde de
calitate aprobate
pentru evaluri

NA (Existena unor
standarde de calitate
aprobate)

DE LA 1 LA 2
1 = nu
2 = da

Cercetare de birou
(Standarde de
evaluare i
documente
elaborate de GLE)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

120

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

NA (Coerena standardelor
de calitate cu standardele
Comisiei Europene)

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

Cercetare de birou
(Standarde de
evaluare i
documente
elaborate de GLE)

18. Dezvoltarea
competenelor de
evaluare

31. Existena unor


programe de
formare specifice
pentru evaluatori

NA

DE LA 1 LA 3
1 = Nu
2 = Exist programe de formare, dar acestea nu conduc spre o
calificare acreditat / recunoscut
3 = Exist programe de formare, iar acestea conduc spre o
calificare acreditat / recunoscut

Cercetare de birou /
Focus Grup cu
ADER

19. Independena
evaluatorilor

32. Gradul de
independen a
evaluatorilor
(oferta)

Apreciai msura n care


furnizorii de evaluare sunt
independeni de interesele
clienilor.

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey / Focus
Grup cu ADER

DE LA 1 LA 4
1 < 30 din analiza comparativ internaional
2 = ntre 31% i 60% din analiza comparativ internaional
3 = ntre 61% i 100% din analiza comparativ internaional
4 > 100% din analiza comparativ internaional

Cercetare de birou
(site-ul
www.evaluarestructurale.ro i
Biblioteca de
Evaluare)
+ Analiz
comparativ
internaional

CULTURA DE EVALUARE: DISEMINAREA I UTILIZAREA REZULTATELOR EVALURII

(7) Diseminarea
rezultatelor imediate
ale evalurii

20. Diseminarea
rezultatelor
imediate ale
evalurii

33. Numrul
rapoartelor de
evaluare
disponibile integral
publicului larg (din
totalul disponibil) la nivel de PO

a. Cte rapoarte de evaluare


au fost aprobate n ultimele
12 luni, la nivel de PO?

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

121

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

b. Cte rapoarte de evaluare


(realizate n ultimele 12 luni)
sunt disponibile integral
publicului larg (versiunea
complet i nu doar sumarul
executiv), la nivel de PO?

DE LA 1 LA 4
1 < 25%
2 = 25 - 50%
3 = 51 - 75%
4 = 76% - 100%

Cercetare de birou
(Rapoarte publicate
pe site-ul Biblioteca
de Evaluare)

a. Cte rapoarte de evaluare


au fost aprobate n ultimele
12 luni, la nivel de CSNR?

DE LA 1 LA 4
1 < 30 din analiza comparativ internaional
2 = ntre 31% i 60% din analiza comparativ internaional
3 = ntre 61% i 100% din analiza comparativ internaional
4 > 100% din analiza comparativ internaional

Cercetare de birou
(Rapoarte publicate
pe site-ul Biblioteca
de Evaluare) +
Analiz
comparativ
internaional

b. Cte rapoarte de evaluare


(realizate n ultimele 12 luni)
sunt disponibile integral
publicului larg (versiunea
complet i nu doar sumarul
executiv), la nivel de CSNR?

DE LA 1 LA 4
1 < 25%
2 = 25 - 50%
3 = 51 - 75%
4 = 76% - 100%

Cercetare de birou
(Rapoarte publicate
pe site-ul Biblioteca
de Evaluare)

34. Numrul
evenimentelor
publice /
dezbaterilor
organizate pentru
discutarea
rezultatelor
Evalurii la nivel de
PO

Cte evenimente
publice/dezbateri au fost
organizate pentru discutarea
rezultatelor Evalurii (n
ultimele 12 luni) la nivel de
PO?

DE LA 1 LA 4
1=0
2=1
3=2
4 = peste 2

eSurvey +
Cercetare de birou

34. Numrul
evenimentelor
publice /
dezbaterilor
organizate pentru
discutarea
rezultatelor
Evalurii la nivel de
CSNR

Cte evenimente
publice/dezbateri au fost
organizate pentru discutarea
rezultatelor Evalurii (n
ultimele 12 luni) la nivel de
CSNR?

DE LA 1 LA 4
1=0
2=1
3=2
4 = peste 2

eSurvey +
Cercetare de birou

33. Numrul
rapoartelor de
evaluare
disponibile integral
publicului larg (din
totalul disponibil) la nivel de CSNR

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

122

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU
(8) Utilizarea
rezultatelor imediate
ale Evalurii

SUB CRITERIU
21. Existena
unor proceduri
pentru utilizarea
rezultatelor
evalurii i
monitorizarea
ulterioar

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

35. Existena unor


proceduri care
specific rolurile i
responsabilitile
aferente
activitilor
ulterioare emiterii
rezultatelor
evalurii (ex. plan
de aciune,
monitorizarea
acestuia) - la nivel
de PO

Exist proceduri care


specific rolurile i
responsabilitile aferente
activitilor ulterioare
emiterii rezultatelor evalurii
(ex. plan de aciune,
monitorizarea acestuia) - la
nivel de PO?

DE LA 1 LA 2
1 = Nu
2 = Da

Cercetare de birou
(Procedura de
evaluare)
Focus Grup cu GLE

35. Existena unor


proceduri care
specific rolurile i
responsabilitile
aferente
activitilor
ulterioare emiterii
rezultatelor
evalurii (ex. plan
de aciune,
monitorizarea
acestuia) - la nivel
de CSNR

Exist proceduri care


specific rolurile i
responsabilitile aferente
activitilor ulterioare
emiterii rezultatelor evalurii
(ex. plan de aciune,
monitorizarea acestuia) - la
nivel de CSNR?

DE LA 1 LA 2
1 = Nu
2 = Da

Cercetare de birou
(Procedura de
evaluare)
Focus Grup cu GLE

36. Existena unui


Comitet de
Coordonare /
Monitorizare /
Autoritate de
Management
responsabil cu
monitorizarea
rezultatelor
evalurii (la nivel

a. Responsabilitile de
monitorizare a rezultatelor
evalurii realizate sunt
atribuite unui Comitet de
Coordonare / Monitorizare /
Autoritate de Management la
nivel de PO?

DE LA 1 LA 2
1 = Nu
2 = Da

Cercetare de birou
(Procedura de
evaluare)
Focus Grup cu GLE

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

123

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

de PO)

36. Existena unui


Comitet de
Coordonare /
Monitorizare /
Autoritate de
Management
responsabil cu
monitorizarea
rezultatelor
evalurii (la nivel
de CSNR)

22. Impactul
evalurilor asupra
proceselor de
programare/
implementare

37. Impactul
evalurilor asupra
proceselor de
programare (la
nivel de PO)

b. n ce msur sunt luate n


calcul rezultatele evalurii de
ctre Comitetele de
Monitorizare n procesul de
luare a deciziilor?

DE LA 1 LA 2
1 = Nu
2 = Da

eSurvey
Focus Grup cu GLE

Responsabilitile de
monitorizare a rezultatelor
evalurii realizate sunt
atribuite unui Comitet de
Coordonare / Monitorizare /
Autoritate de Management la
nivel de CSNR?

DE LA 1 LA 2
1 = Nu
2 = Da

Cercetare de birou
(Procedura de
evaluare)
Focus Grup cu GLE

a. Cte recomandri ale


evalurilor au fost
implementate, cu privire la
procesele de programare, la
nivel de PO?

DE LA 1 LA 5
1 = 0%
2 = pn la 30%
3 = 31 - 50%
4 = 51 - 75%
5 = 76 - 100%

Cercetare de birou
(Tabel de
monitorizare a
recomandrilor)
Focus Grup cu GLE

b. n cadrul procesului de
pregtire a Programelor
Operaionale 2014 2020,
au fost luate n calcul
recomandrile evalurilor?

DE LA 1 LA 2
1 = Nu
2 = Da

eSurvey
Focus Grup cu GLE

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

124

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

c. Dac Da, detaliai modul n


care au fost utilizate.

37. Impactul
evalurilor asupra
proceselor de
programare (la
nivel de CSNR)

Cte recomandri ale


evalurilor au fost
implementate, cu privire la
procesele de programare, la
nivel de CSNR?

DE LA 1 LA 5
1 = 0%
2 = pn la 30%
3 = 31 - 50%
4 = 51 - 75%
5 = 76 - 100%

Cercetare de birou
(Tabel de
monitorizare a
recomandrilor)
Focus Grup cu GLE

38. Impactul
evalurilor asupra
proceselor de
implementare (la
nivel de PO)

Care este gradul de


implementare a
recomandrilor de evaluare,
la nivel de PO, pentru
perioada actual de
programare 2007 - 2013?

DE LA 1 LA 5
1 = 0%
2 = pn la 30%
3 = 31 - 50%
4 = 51 - 75%
5 = 76 - 100%

eSurvey

38. Impactul
evalurilor asupra
proceselor de
implementare (la
nivel de CSNR)

Care este gradul de


implementare a
recomandrilor de evaluare,
la nivel de CSNR, pentru
perioada actual de
programare 2007 - 2013?

DE LA 1 LA 5
1 = 0%
2 = pn la 30%
3 = 31 - 50%
4 = 51 - 75%
5 = 76 - 100%

eSurvey

CULTURA DE EVALUARE: INSTITUIONALIZAREA EVALURII/CULTURII DE EVALUARE - N CE MSUR ESTE EVALUAREA INTEGRAT N GUVERNANA SIS I ARE IMPACT
ULTERIOR?
Contextul aferent

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

125

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

(9) Cadru Mental

23. Valori

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

39. Evaluarea (ca


analiz a propriilor
greeli, frica de
aceasta determin
cultura
controlului) este
binevenit,
ncurajat i
apreciat ca fiind
o parte esenial
din procesul de
obinere a
succesului la nivel
instituional
(AM/MFE) de ctre
entitile care
formuleaz politici
publice

Specificai n ce msur
factorii care formuleaz
politici publice consider
evaluarea ca parte esenial
n definirea politicilor i
asigurarea implementrii cu
succes a acestora.

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

40. Evaluarea (ca


analiz a propriilor
greeli, frica de
aceasta determin
cultura
controlului) este
binevenit,
ncurajat i
apreciat ca fiind
o parte esenial
din procesul de
obinere a
succesului la nivel
instituional
(AM/MFE) de ctre
personalul de
conducere

Specificai n ce msur
personalul de conducere a
instituiei consider
evaluarea ca parte esenial
n definirea politicilor i
asigurarea implementrii cu
succes a acestora.

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

126

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

(10) Contextul legal al


evalurii

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

NA

DE LA 1 LA 3
1 = Doar legislaie CE privind Instrumentele Structurale
2 = Legislaie CE i un cadru legal naional privind Instrumentele
Structurale
3 = Att legislaie CE (privind IS), ct i legislaie naional (alta
dect cea privind IS)

Cercetare de birou
(H.G. Nr.
457/2008,
Regulamentele UE)

42. Existena altor


prevederi legale
care mpiedic
direct sau indirect
evaluarea (de ex.
achiziii publice
se va nota cu minus)

NA

DE LA 0 LA 4 4 = niciun element care o mpiedic3 = 1 element


care o mpiedic 2 = 2 elemente care o mpiedic1 = 3 elemente
care o mpiedic 0 = cel puin 4 elemente care o mpiedic

Focus Grup cu
GLECercetare de
birou

43. Procentajul de
funcionari publici,
la toate nivelele,
cu pregtire n
domeniul tiinelor
sociale (fa de
pregtirea strict
juridic)

a. Indicai procentajul de
funcionari publici, din cadrul
structurii organizaionale
care include i biroul pentru
care lucrai dumneavoastr
n mod direct (cu excepia
celor care lucreaz n cadrul
Unitii de Evaluare), cu
pregtire n domeniul
tiinelor sociale (de ex.
economie, sociologie, tiine
politice).

DE LA 1 LA 4
1 < 25%
2 = 25 - 50%
3 = 51 - 75 %
4 > 75%

eSurvey

44.Procentajul
funcionarilor
publici, la toate
nivelurile, care
particip n mod
activ la activitile
de evaluare

a. Specificai nivelul de
participare a funcionarilor
publici, din cadrul structurii
organizaionale care include
i biroul pentru care lucrai
dumneavoastr n mod
direct, la activitile de
evaluare.

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

41. Existena
prevederilor legale
ce reglementeaz
evaluarea
24. Prevederi
legale

(11) Politic
evaluativ privind
resursele umane care
vizeaz asigurarea
resurselor umane
adecvate la toate
nivelele pentru
realizarea evalurilor

25. Politica de
resurse umane

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

127

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

b. Specificai nivelul de
participare a funcionarilor
publici, din cadrul structurii
organizaionale care include
i biroul pentru care lucrai
dumneavoastr n mod
direct, la evenimentele
publice legate de evaluare
(e.x. prezentarea
rezultatelor evalurii,
evenimente organizate de
societile de evaluare).

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

45. Campionul(ii)
este / sunt
prezeni la nivel de
PO

Exist o persoan din cadrul


structurii organizaionale
care include i biroul pentru
care lucrai dumneavoastr
n mod direct, cu funcie de
conducere, care susine
procesul de evaluare? (la
nivel de PO)

DE LA 1 LA 2
1 = Nu
2 = Da

eSurvey

45. Campionul(ii)
este / sunt
prezeni la nivel de
CSNR

Exist o persoan din cadrul


structurii organizaionale
care include i biroul pentru
care lucrai dumneavoastr
n mod direct, cu funcie de
conducere, care susine
procesul de evaluare? (la
nivel de CSNR)

DE LA 1 LA 2
1 = Nu
2 = Da

eSurvey

46. Existena pe
pia a opiunilor
de instruire /
formare n
domeniul evalurii

a. Exist opiuni viabile de


instruire/formare a
funcionarilor publici n
domeniul evalurii pe piaa
din Romnia?

DE LA 1 LA 4
1 = Nu
2 = Da, exist opiuni, dar nu sunt viabile
3 = Da, exist opiuni viabile, dar nu acoper toate nevoile de
dezvoltare
4 = Da

eSurvey +
Cercetare de birou

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

128

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE
b. Exist nevoi specifice de
instruire care nu sunt
acoperite de pia?

METODOLOGIE DE PUNCTARE

SURSA

DE LA 1 LA 2
1 = Nu
2 = Da

eSurvey

Cercetare de birou
(SEAP) + Analiz
comparativ
internaional

c. Dac rspunsul este da,


enumerai motivele.

(12) Cerere de evaluare


ncorporat/pornit de
jos n sus (n SIS)

26. Cerere de
evaluare
ncorporat n SIS

47. Exist o cerere


semnificativ
pentru evaluare
(toate tipurile /
toate nivelele)

Exist o cerere semnificativ


pentru toate tipurile de
evaluare (ex ante / interim /
ex post) ?

DE LA 1 LA 4
1 < 30 din analiza comparativ internaional
2 = ntre 31% i 60% din analiza comparativ internaional
3 = ntre 61% i 100% din analiza comparativ internaional
4 > 100% din analiza comparativ internaional

48. Procentajul
evalurilor
realizate ca
rspuns la nevoia
de cunoatere - i
nu ca obligaie (la
nivel de PO)

Cte dintre evalurile


realizate de instituia dvs. au
fost derulate ca rspuns la
nevoia de cunoatere - i nu
ca obligaie (la nivel de PO) ?

DE LA 1 LA 5
1 = 0%
2 = pn 30%
3= 31-50%
4= 51 -75%
5= 76 - 100%

48. Procentajul
evalurilor
realizate ca
rspuns la nevoia
de cunoatere - i
nu ca obligaie (la
nivel de CSNR)

Cte dintre evalurile


realizate de instituia dvs. au
fost derulate ca rspuns la
nevoia de cunoatere - i nu
ca obligaie (la nivel de
CSNR) ?

DE LA 1 LA 5
1 = 0%
2 = pn 30%
3= 31-50%
4= 51 -75%
5= 76 - 100%

eSurvey
Cercetare de birou

eSurvey
Cercetare de birou

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

129

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

(13) Reele

27. Existena unei


organizaii
naionale a
evaluatorilor
profesioniti

28. Diminuarea
decalajului dintre
mediul academic
i cel
guvernamental

49. Existena unei


organizaii solide la
nivel naional a
evaluatorilor
profesioniti care
contribuie la
crearea unei reele
i la diseminarea
celor mai bune
practici

50. Existena unor


mecanisme de
cooperare ntre
mediul academic i
cel guvernamental
care s duc la o

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

a. n ce msur actorii
relevani pentru piaa de
evaluare sunt reprezentai
n cadrul organizaiei
naionale a evaluatorilor
profesioniti (sunt
reprezentai toi actorii
relevani pentru piaa de
evaluare)?

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

b. Cte evenimente publice


realizeaz organizaia
naional a evaluatorilor
profesioniti, per an ?

DE LA 1 LA 4
1 = 0-1
2 = 2-5
3 = 6-10
4 = peste 10

Cercetare de birou
(site-ul ADER) +
Analiz
comparativ
internaional

c. n ce msur organizaia
naional a evaluatorilor
profesioniti a contribuit la
crearea unei reele de
experi?

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

d. n ce msur organizaia
naional a evaluatorilor
profesioniti a contribuit la
diseminarea i schimbul de
bune practici?

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

a. Exist mecanisme de
cooperare ntre mediul
academic i cel
guvernamental care s duc
la o mai bun formulare a
politicilor publice?

DE LA 1 LA 2
1 = Nu
2 = Da

eSurvey +
Cercetare de birou
(site-ul ADER) +
Focus Grup ADER

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

130

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR
mai bun
formulare a
politicilor publice

(14) Societatea civil i


mass-media

(15) Guvernan

INTREBARE

SURSA

b. Dac da, cum le-ai


evalua?

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

a. Specificai nivelul de
participare al societii civile
la activitile de evaluare.

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

DE LA 1 LA 51 = 0-22 = 3-53 = 6-84 = 9-105 = peste10

eSurvey

DE LA 1 LA 5
1 = 0-25
2 = 25-50
3 = 51-75
4 = 76-90
5 = 91-100

Cercetare de birou

29. Participarea
societii civile

51. Societatea
civil particip n
mod activ la
activitile legate
de evaluare

30. Participarea
mass-media

52. Gradul de
participare a massmedia la
evenimentele
publice aferente
evalurii i
diseminrii

Cte evenimente publice


legate de evaluare i
diseminare (implicnd massmedia) au fost organizate de
instituia dvs.? (per an)

53. Indexul de
guvernan

NA

31. Indexul de
guvernan
(compus din 6
dimensiuni Indicele 59
Guvernan)

METODOLOGIE DE PUNCTARE

b. Indicai care parte a


societii civile (care nu este
implicat n mod activ n
activitile legate de
evaluare) ar trebui s
participe.

Clasarea procentual privind


exprimarea liber a opiniei i
responsabilitatea la nivel de
stat
(0-100)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

131

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE

NA
Clasarea procentual privind
stabilitatea politic la nivel
de stat
(0-100)

NA
Clasarea procentual pentru
eficacitatea guvernului la
nivel de stat
(0-100)

NA
Clasarea procentual privind
calitatea reglementrilor la
nivel de stat
(0-100)

NA
Clasarea procentual privind
statul de drept la nivel de
stat
(0-100)

METODOLOGIE DE PUNCTARE

SURSA

DE LA 1 LA 5
1 = 0-25
2 = 26-50
3 = 51-75
4 = 76-90
5 = 91-100

Cercetare de birou

DE LA 1 LA 5
1 = 0-25
2 = 26-50
3 = 51-75
4 = 76-90
5 = 91-100

Cercetare de birou

DE LA 1 LA 5
1 = 0-25
2 = 26-50
3 = 51-75
4 = 76-90
5 = 91-100

Cercetare de birou

DE LA 1 LA 5
1 = 0-25
2 = 26-50
3 = 51-75
4 = 76-90
5 = 91-100

Cercetare de birou

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

132

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

DE LA 1 LA 5
1 = 0-25
2 = 26-50
3 = 51-75
4 = 76-90
5 = 91-100

Cercetare de birou

- Organisme Intermediare

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

- Autoritatea de Audit

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

- Autoritatea de Certificare i
Pli

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

NA
Clasarea procentual privind
combaterea corupiei (0100)

IMPACTUL N AFARA SISTEMULUI DE MANAGEMENT AL SIS


16) Impactul pe termen
lung n afara SIS

32. Efecte n
afara SIS

54. Internalizarea
evalurii de ctre
instituiile
implicate n SIS,
altele dect AM i
MFE (OI-uri,
Beneficiari,
Autoritatea de
Audit, Autoritatea
de Certificare i
Plat)

Pe baza experienei dvs.


personale (de ex.
disponibilitatea pentru
interviuri, formularea de
comentarii cu privire la
rapoartele n versiune
preliminar) care este nivelul
de receptivitate la evaluare a
urmtoarelor instituii:

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

133

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare
CRITERIU

SUB CRITERIU

INDICATOR

55. Integrarea, n
toate ariile politice,
a evalurii n
strategiile i
practicile de
management

56. Integrarea, la
toatele nivelele
administrative i
guvernamentale, a
evalurii n
strategii i practici
de management

INTREBARE

METODOLOGIE DE PUNCTARE

SURSA

- Beneficiari

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

a. n ce msur evaluarea
are un impact asupra
procesului de elaborare a
politicilor publice pe termen
lung?

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

b. Indicai ariile politice


asupra crora considerai c
evaluarea are o contribuie
semnificativ (indicai 3 arii).

eSurvey

c. Furnizai cteva exemple.

eSurvey

a. n ce msur evaluarea
are impact asupra procesului
administrativ i operaional
pe termen lung?

DE LA 1 LA 5
de la 1 (cea mai mic valoare) pn la 5 (cea mai mare valoare)

eSurvey

b. Furnizai cteva exemple.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

134

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

Anexa 11 Metodologia de punctare pentru impactul DMI 1.2


CRITERIU

SUBCRITERIU

INDICATOR

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

CAPACITATEA DE EVALUARE: CEREREA (incluznd att nivelul individual ct i cel instituional)


(1) Structura Evalurii cu
accent specific pe corelarea
Evalurii cu Programarea i
Monitorizarea (responsabiliti,
coordonare, corelarea cu alte
funcii)

1. Alocarea Responsabilitilor de
Evaluare

1. Existena unei Uniti de


Evaluare dedicate

% de Programare care
nfiineaz o unitate de
evaluare pe baza ghidurilor
elaborate prin DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

Unitatea Central de Evaluare


a fost nfiinat pe baza
ghidurilor elaborate prin DMI
1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

% de Programe pentru care


Unitile de Evaluare sunt
structurate conform ghidurilor
elaborate prin DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

135

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

2. Coordonarea ntre Funciile de


Evaluare a diferitelor Programe

INDICATOR

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

2. Definirea clar a misiunii,


rolurilor i sarcinilor Unitii
de Evaluare

% de Programe pentru care


misiunea, rolurile i sarcinile
sunt definite conform
ghidurilor elaborate prin DMI
1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

3. Atribuirea clar a rolurilor


i sarcinilor persoanelor din
cadrul funciilor de evaluare

% de Programe pentru care


misiunea, rolurile i sarcinile
sunt atribuite conform
ghidurilor elaborate prin DMI
1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

4. Eficacitatea coordonrii
ntre Unitile de Evaluare
ale diferitelor programe

Mecanismele existente pentru


coordonarea Unitilor de
Evaluare a diferitelor
programe au la baz ghidurile
elaborate prin DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

136

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

3 Legtura dintre Funcia de


Evaluare i alte funcii

INDICATOR

5. Eficacitatea cooperrii
dintre Unitile de Evaluare
i cele de Programare (la
nivel de PO)

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

% de ntlniri GLE organizate n


cadrul proiectelor finanate
prin DMI 1.2.

Cercetare de birou

% de abordri discutate de
ctre GLE, ca rezultat la
proiectelor finanate prin DMI
1.2, adoptate la nivel de PO.

Cercetare de birou privind


Agenda GLE n scopul
identificrii numrului de
abordri; Focus Grup cu GLE

De la 0% la 100%

% de Programe ale cror


proceduri sunt structurate
conform ghidurilor elaborate
prin DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

De la 0% la 100%
Interviu cu UCE

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

137

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

% de evaluri stabilite de
unitile de programare,
finanate prin DMI 1.2 a PO
AT.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

Existena unei proceduri


structurate conform ghidurilor
elaborate prin DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

% de evaluri iniiate de
unitile de programare,
finanate prin DMI 1.2 al PO
AT.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

5. Eficacitatea cooperrii
dintre Unitile de Evaluare
i cele de Programare (la
nivel de CSNR)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

138

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR
6. Eficacitatea cooperrii
dintre Unitile de Evaluare
i cele de Monitorizare (la
nivel de PO)

NTREBAREA

% de Programe pentru care


procedurile care
reglementeaz interaciunea
dintre unitile de
monitorizare i cele de
evaluare sunt structurate
conform ghidurilor elaborate
prin DMI 1.2.

SURSA

METODOLOGIA DE
PUNCTARE

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

% de evaluri iniiate de
unitile de evaluare, finanate
prin DMI 1.2 al PO AT.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

% de recomandri de evaluare
(furnizate prin DMI 1.2) legate
de identificarea datelor de
monitorizare necesare pentru
evalurile implementate.

Cercetare de birou (tabel cu


recomandri privind
monitorizarea ulterioar)

De la 0% la 100%

% de Programe pentru care


frecvena ntlnirilor dintre
unitile de monitorizare i
cele de programe este
conform cu ghidurile
elaborate prin DMI 1.2.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

139

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

6. Eficacitatea cooperrii
dintre Unitile de Evaluare
i cele de Monitorizare (la
nivel de CSNR)

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

n/a

n/a

n/a

n/a

n/a

n/a

Existena unor proceduri care


reglementeaz interaciunea
dintre unitile de
monitorizare i cele de
evaluare, structurate conform
ghidurilor elaborate prin DMI
1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

Frecvena ntlnirilor dintre


unitile de monitorizare i
cele de evaluare au loc
conform ghidurilor elaborate
prin DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

140

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

% de evaluri iniiate de
unitatea de monitorizare care
sunt finanate prin DMI 1.2 al
PO AT.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

% de recomandri de evaluare
implementate care au fost
furnizate prin DMI 1.2 n
legtur cu calitatea datelor
de monitorizare pentru
sprijinirea evalurii

Cercetare de birou (tabel cu


recomandri privind
monitorizarea ulterioar)

De la 0% la 100%

n/a

n/a

n/a

n/a

n/a

n/a

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

141

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

(2) Resursele financiare i


umane alocate Evalurii la nivel
de CSNR

INDICATOR

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

7. Cuantumul aferent
bugetului pentru evaluare
(%) (la nivel de PO)

Ponderea bugetului DMI 1.2


alocat evalurilor la nivel de
PO i activitilor de
dezvoltare a capacitii, la
bugetul pentru evaluare la
nivel de PO

Cercetare de birou

De la 0% la 100%

7. Cuantumul aferent
bugetului pentru evaluare
(%) (la nivel de CSNR)

Ponderea bugetului DMI 1.2


alocat evalurilor la nivel de
PO i activitilor de
dezvoltare a capacitii, la
bugetul pentru evaluare la
nivel de CSNR

Cercetare de birou

De la 0% la 100%

% de angajai ai Unitii de
Evaluare, pltii prin DMI 1.2
(momentan, salariile nu pot fi
pltite prin DMI 1.2)

Cercetare de birou

De la 0% la 100%

% de angajai ai Unitii de
Evaluare, angajai prin DMI
1.2, care prsesc instituia n
fiecare an.

Cercetare de birou

De la 0% la 100%

% de resurse umane care


lucreaz n unitile de
evaluare, instruite prin DMI
1.2.

Focus Grup cu GLE

De la 0% la 100%

4. Alocarea resurselor financiare


pentru activitile de evaluare

5. Alocarea resurselor umane


pentru activitile de evaluare

8. Caracterul adecvat al
resurselor umane din cadrul
Unitilor de Evaluare (la
nivel de PO)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

142

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

8. Caracterul adecvat al
resurselor umane din cadrul
Unitilor de Evaluare (la
nivel de CSNR)

9. Existena unor criterii


pentru procesul de angajare
a personalului

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

% de angajai ai Unitii de
Evaluare, pltii prin DMI 1.2
(momentan, salariile nu pot fi
pltite prin DMI 1.2)

Cercetare de birou

De la 0% la 100%

% de angajai ai Unitii de
Evaluare, angajai prin DMI
1.2, care prsesc instituia n
fiecare an.

Cercetare de birou

De la 0% la 100%

Existena unor criterii pentru


selectarea angajailor
Unitilor de Evaluare,
elaborate prin DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

Existena unor criterii pentru


selectarea angajailor
Unitilor de Evaluare,
elaborate prin DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

Existena unor criterii pentru


selectarea angajailor
Unitilor de Evaluare,
elaborate prin DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

143

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

NTREBAREA

10. Existena unor aciuni de


dezvoltare profesional

Existena unor strategii de


instruire pentru angajaii
Unitii de Evaluare, elaborate
prin DMI 1.2.

SURSA

METODOLOGIA DE
PUNCTARE

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

Cercetare de birou (Tabel de


monitorizare a
recomandrilor furnizate de
evalurile DMI 1.2)

De la 0% la 100%

(3) Calitatea sistemului de


monitorizare

6. Calitatea sistemului de
indicatori

11. Calitatea sistemului de


indicatori la nivel de PO

% de Programe care au
proiectat / revizuit sistemul de
indicatori n conformitate cu
recomandrile elaborate prin
DMI 1.2.

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

144

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

Cercetare de birou (Tabel de


monitorizare a
recomandrilor furnizate de
evalurile DMI 1.2)

Cercetare de birou (Tabel de


monitorizare a
recomandrilor furnizate de
evalurile DMI 1.2)

11. Calitatea sistemului de


indicatori la nivel de CSNR

% de Programe care
furnizeaz informaii din
sistemul de monitorizare, n
perioada de timp recomandat
de ghidurile elaborate prin DMI
1.2.

Focus Grup cu GLE

De la 0% la 100%

n/a

n/a

n/a

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

145

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

7. Calitatea indicatorilor individuali

INDICATOR

12. Calitatea indicatorilor


individuali la nivel de PO

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

Existena unui sistem de


indicatori proiectat / revizuit
conform recomandrilor
elaborate prin DMI 1.2.

Cercetare de birou (Tabel de


monitorizare a
recomandrilor furnizate de
evalurile DMI 1.2)

0% sau 100%

Informaiile din sistemul de


monitorizare sunt furnizate n
perioada de timp recomandat
de ghidurile elaborate prin DMI
1.2.

Cercetare de birou (Tabel de


monitorizare a
recomandrilor furnizate de
evalurile DMI 1.2)

0% sau 100%

n/a

n/a

n/a

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

146

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

12. Calitatea indicatorilor


individuali la nivel de CSNR

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

% de Programe care au
modificat indicatorii individuali
n conformitate cu
recomandrile elaborate prin
DMI 1.2.

Cercetare de birou (Tabel de


monitorizare a
recomandrilor furnizate de
evalurile DMI 1.2)

De la 0% la 100%

n/a

n/a

n/a

Existena unor indicatori


individuali la nivel de CSNR,
care au fost modificai n
conformitate cu
recomandrile DMI 1.2.

Cercetare de birou (Tabel de


monitorizare a
recomandrilor furnizate de
evalurile DMI 1.2)

0% sau 100%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

147

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

(4) Eficiena i eficacitatea


funciei de Evaluare (cu privire
la planificare, management,
controlul calitii i nvare)

INDICATOR

13. Existena unor planuri


anuale i multi-anuale de
evaluare la nivel de PO i
CSNR

METODOLOGIA DE
PUNCTARE

NTREBAREA

SURSA

% de Planuri Multianuale de
Evaluare, structurate pe baza
ghidurilor elaborate prin DMI
1.2.

Cercetare de birou (Planurile


Multianuale de Evaluare),
Focus Grup cu GLE

De la 0% la 100%

% din evalurile planificate la


nivel de PO, finanate prin DMI
1.2, care au fost realizate.

Cercetare de birou

De la 0% la 100%

8. Eficacitatea Planului de
Evaluare
14. Gradul de realizare a
Planurilor Multianuale de
Evaluare (la nivel de PO)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

148

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

14. Gradul de realizare a


Planurilor Multianuale de
Evaluare (la nivel de CSNR)

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

% din evaluri neplanificate la


nivel de PO, finanate prin DMI
1.2, careu au fost realizate.

Cercetare de birou

De la 0% la 100%

% de rapoarte care identific


impactul, finanate prin DMI
1.2.

Cercetare de birou (Rapoarte


publicate pe site-ul Biblioteca
de Evaluare)

De la 0% la 100%

% de rapoarte care cuantific


impactul, finanate prin DMI
1.2.

Cercetare de birou (Rapoarte


publicate pe site-ul Biblioteca
de Evaluare)

De la 0% la 100%

% de evaluri la nivel de CSNR,


finaate prin DMI 1.2, care au
fost realizate.

Cercetare de birou

De la 0% la 100%

% de evaluri neplanificate la
nivel de CSNR, finanate prin
DMI 1.2, care au fost realizate

Cercetare de birou

De la 0% la 100%

% de rapoarte care identific


impactul, finanate prin DMI
1.2.

Cercetare de birou (Rapoarte


publicate pe site-ul Biblioteca
de Evaluare)

De la 0% la 100%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

149

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

15. ntrzierea medie a


evalurilor n raport cu
Planul Anual (la nivel de PO)

15. ntrzierea medie a


evalurilor n raport cu
Planul Anual (la nivel de
CSNR)

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

% de rapoarte care cuantific


impactul, finanate prin DMI
1.2.

Cercetare de birou (Rapoarte


publicate pe site-ul Biblioteca
de Evaluare)

De la 0% la 100%

% de evaluri la nivel de PO,


finanate prin DMI 1.2, care au
fost realizate cu ntrziere.

Cercetare de birou

De la 0% la 100%

n/a

n/a

n/a

% de evaluri la nivel de CSNR,


finanate prin DMI 1.2, care au
fost realizate cu ntrziere.

Cercetare de birou

De la 0% la 100%

n/a

n/a

n/a

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

150

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR
16. Gradul de revizuire a
planurilor pe parcursul
ciclului de implementare a
Programului (la nivel de PO)

16. Gradul de revizuire a


planurilor pe parcursul
ciclului de implementare a
Programului (la nivel de
CSNR)

9. Eficacitatea Comitetelor de
Coordonare a Evalurii

17. Comitetele de
Coordonare a Evalurii sunt
create i le sunt atribuite
roluri i responsabiliti clare
la (nivel de PO)

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

% de Planuri de Evaluare care


au fost revizuite n
conformitate cu ghidurile /
indicaiile realizate prin
proiectele DMI 1.2.

Cercetare de birou
Focus Grup cu GLE

De la 0% la 100%

n/a

n/a

n/a

% de Planuri de Evaluare care


au fost revizuite n
conformitate cu ghidurile /
indicaiile realizate prin
proiectele DMI 1.2.

Cercetare de birou
Focus Grup cu GLE

0% sau 100%

n/a

n/a

n/a

% de programe pentru care


CCE este organizat conform
ghidurilor elaborate prin DMI
1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

151

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

17. Comitetele de
Coordonare a Evalurii sunt
create i le sunt atribuite
roluri i responsabiliti clare
la (nivel de CSNR)

18. Eficacitatea Comitetelor


de Coordonare a Evalurii (la
nivel de PO)

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

CCE este organizat conform


ghidurilor elaborate prin DMI
1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

% de Programe pentru care


CCE este organizat conform
ghidurilor elaborate prin DMI
1.2.

Focus Grup cu GLE

De la 0% la 100%

% de Programe pentru care


CCE este organizat conform
ghidurilor elaborate prin DMI
1.2.

Focus Grup cu GLE

De la 0% la 100%

% de Programe pentru care


CCE este organizat conform
ghidurilor elaborate prin DMI
1.2.

Focus Grup cu GLE

De la 0% la 100%

% de Programe pentru care


CCE este organizat conform
ghidurilor elaborate prin DMI
1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

18. Eficacitatea Comitetelor


de Coordonare a Evalurii (la
nivel de CSNR)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

152

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

SURSA

METODOLOGIA DE
PUNCTARE

INDICATOR

NTREBAREA

19. Existena unui proces


formalizat pentru implicarea
Unitilor de Evaluare n
procesul decizional (la nivel
de PO)

% de Programe care au
procese formalizate pentru
implicarea Unitii de Evaluare
n procesul decizional,
conform ghidurilor elaborate
prin DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

Existena unui proces


formalizat pentru implicarea
Unitii de Evaluare n
procesul decizional, conform
ghidurilor elaborate prin DMI
1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

n/a

n/a

n/a

% de Programe care au
realizat Termenii de Referin
conform ghidurilor elaborate
prin DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

10.Implicarea Unitilor de
Evaluare n procesul decizional

19. Existena unui proces


formalizat pentru implicarea
Unitii Centrale de Evaluare
n procesul decizional (la
nivel de CSNR)

11. Calitatea Termenilor de


Referin

20. Calitatea Termenilor de


Referin

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

153

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

21. Actualizarea periodic a


procedurilor interne
referitoare la evaluare
(concepere / implementare /
utilizare) ca rezultat al
experienei acumulate (la
nivel de PO)

% de Programe care au
revizuit proceduri interne
legate de evaluare, n
conformitate cu
recomandrile elaborate prin
DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

21. Actualizarea periodic a


procedurilor interne
referitoare la evaluare
(concepere / implementare /
utilizare) ca rezultat al
experienei acumulate (la
nivel de CSNR)

Procedura intern legat de


Evaluare a fost revizuit n
conformitate cu
recomandrile elaborate prin
DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

Existena unor proiecte


finanate prin DMI 1.2 ce au
avut ca scop colectarea de
date socio-economice.

Cercetare de birou

0% sau 100%

n/a

n/a

n/a

12. Existena unui proces de


nvare

CAPACITATEA DE EVALUARE: OFERTA

(5) Disponibilitatea i calitatea


datelor socioeconomice

13. Calitatea datelor


socioeconomice

22. Disponibilitatea
indicatorilor cheie
socioeconomici (PIB, rata
omajului, ocuparea forei
de munc, investiii n
cercetare i dezvoltare) la
nivel naional i regional
(NUTS II)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

154

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

14. Disponibilitatea altor date

(6) Disponibilitatea i calitatea


expertizei de evaluare

INDICATOR

23. Disponibilitatea altor


date pentru evaluare

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

Existena unor proiecte


finanate prin DMI 1.2 ce au
avut ca scop colectarea de
date socio-economice.

Cercetare de birou

0% sau 100%

n/a

n/a

n/a

Existena unor proiecte


finanate prin DMI 1.2 ce au
avut ca scop colectarea de
date socio-economice.

Cercetare de birou

0% sau 100%

n/a

n/a

n/a

% de firme internaionale care


au participat la procesul de
achiziie public, finanat prin
DMI 1.2.

Informaii furnizate de ctre


MFE Unitatea de Evaluare

De la 0% la 100%

15. Gradul de competitivitate a


Pieei de Evaluare
24. Numrul firmelor
internaionale active pe
pia

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

155

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

24. Numrul firmelor locale


active pe pia

% de firme locale care au


participat la procesul de
achiziie public, finanat prin
DMI 1.2.

Informaii furnizate de ctre


MFE Unitatea de Evaluare

De la 0% la 100%

26. Numrul universitilor


implicate n procesul de
evaluare

% de universiti care au
participat la procesul de
achiziie public, finanat prin
DMI 1.2.

Informaii furnizate de ctre


MFE Unitatea de Evaluare

De la 0% la 100%

27. Competitivitatea pieei


de evaluare

Numrul companiilor de
evaluare contractate prin DMI
1.2.

Informaii furnizate de ctre


MFE Unitatea de Evaluare

De la 0% la 100%

28. Calitatea expertizei

Existena unor cursuri de


instruire finanate prin DMI
1.2, disponibile pentru oferta
de evaluare.

Cercetare de birou

0% sau 100%

16. Disponibilitatea unor expertize


tematice i metodologice

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

156

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

29. Calitatea rapoartelor de


evaluare

17. Asigurarea calitii evalurilor

30. Existena unor


standarde de calitate
aprobate pentru evaluri

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

n/a

n/a

n/a

Existena unor liste de


verificare structurate conform
ghidurilor dezvoltate prin DMI
1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

n/a

n/a

n/a

n ce msur listele de
verificare elaborate prin DMI
sunt luate n considerare de
ctre evaluatori i contribuie
la relevana, claritatea i
utilitatea rapoartelor?

Focus Grup cu GLE

De la 0% la 100%

n/a

n/a

n/a

Existena unor standarde de


calitate elaborate prin DMI
1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

157

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

18. Dezvoltarea competenelor de


evaluare

19. Independena evaluatorilor

31. Existena unor programe


de formare specifice pentru
evaluatori

% de cursuri de instruire
finanate prin DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

32. Gradul de independen


a evaluatorilor (oferta)

Existena unor ghiduri


elaborate prin DMI 1.2, care
abordeaz problematica
independenei evaluatorilor.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

% de rapoarte aprobate,
finanate prin DMI 1.2.

www.evaluare-structurale.ro/

De la 0% la 100%

% de rapoarte de evaluare
finanate prin DMI 1.2, care
sunt disponibile publicului larg

Cercetare de birou (Rapoarte


publicate pe site-ul Biblioteca
de Evaluare)

De la 0% la 100%

CULTURA DE EVALUARE: DISEMINAREA I UTILIZAREA REZULTATELOR EVALURII

(7) Diseminarea rezultatelor


imediate ale evalurii

20. Diseminarea rezultatelor


imediate ale evalurii

33. Numrul rapoartelor de


evaluare disponibile integral
publicului larg (din totalul
disponibil) - la nivel de PO

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

158

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

33. Numrul rapoartelor de


evaluare disponibile integral
publicului larg (din totalul
disponibil) - la nivel de CSNR

(8) Utilizarea rezultatelor


imediate ale Evalurii

21. Existena unor proceduri


pentru utilizarea rezultatelor
evalurii i monitorizarea
ulterioar

NTREBAREA

METODOLOGIA DE
PUNCTARE

% de rapoarte aprobate
finanate prin DMI 1.2.

www.evaluare-structurale.ro/

De la 0% la 100%

% de rapoarte de evaluare
finanate prin DMI 1.2, care
sunt disponibile publicului larg

Cercetare de birou (Rapoarte


publicate pe site-ul Biblioteca
de Evaluare)

De la 0% la 100%

34. Numrul evenimentelor


publice / dezbaterilor
organizate pentru discutarea
rezultatelor Evalurii la nivel
de PO

% de evenimente publice
organizate prin DMI 1.2.

34. Numrul evenimentelor


publice / dezbaterilor
organizate pentru discutarea
rezultatelor Evalurii la nivel
de CSNR

% de evenimente publice /
dezbateri organizate prin DMI
1.2. o

35. Existena unor proceduri


care specific rolurile i
responsabilitile aferente
activitilor ulterioare
emiterii rezultatelor evalurii
(ex. plan de aciune,
monitorizarea acestuia) - la
nivel de PO

SURSA

Cercetare de birou pe site-ul


www.evaluare-structurale.ro

De la 0% la 100%

Focus Grup cu GLE

% de Programe care revizuiesc


procedurile interne pentru
monitorizarea ulterioar (a
recomandrilor de evaluare) n
conformitate cu ghidurile
elaborate prin DMI 1.2.

Cercetare de birou pe site-ul


www.evaluare-structurale.ro

De la 0% la 100%

Focus Grup cu GLE

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

159

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

NTREBAREA

35. Existena unor proceduri


care specific rolurile i
responsabilitile aferente
activitilor ulterioare
emiterii rezultatelor evalurii
(ex. plan de aciune,
monitorizarea acestuia) - la
nivel de CSNR

Existena unei proceduri


interne revizuite pentru
monitorizarea ulterioar (a
recomandrilor de evaluare) n
conformitate cu ghidurile
elaborate prin DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

Existena unor responsabiliti


specifice adiionale, atribuite
ctre un organ decizional, n
baza ghidurilor elaborate prin
DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

Existena unor recomandri


specifice elaborate n cadrul
proiectelor finanate prin DMI
1.2 , cu privire la utilizarea
rezultatelor evalurii de ctre
Comitetele de Evaluare

Focus Grup cu GLE

De la 0% la 100%

36. Existena unui Comitet


de Coordonare /
Monitorizare / Autoritate de
Management responsabil cu
monitorizarea rezultatelor
evalurii (la nivel de PO)

SURSA

METODOLOGIA DE
PUNCTARE

INDICATOR

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

160

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR
36. Existena unui Comitet
de Coordonare /
Monitorizare / Autoritate de
Management responsabil cu
monitorizarea rezultatelor
evalurii (la nivel de CSNR)

22. Impactul evalurilor asupra


proceselor de programare/
implementare

37. Impactul evalurilor


asupra proceselor de
programare (la nivel de PO)

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

Existena unor responsabiliti


specifice adiionale, atribuite
ctre un organ decizional, n
baza ghidurilor elaborate prin
DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

0% sau 100%

% recomandri de evaluare
furnizate prin proiectele
finanate prin DMI 1.2, care
abordeaz programarea la
nivel de PO, care au fost
implementate

Cercetare de birou (Tabel de


monitorizare a
recomandrilor furnizate de
evalurile DMI 1.2)

De la 0% la 100%

% recomandri de evaluare
furnizate prin proiectele
finanate prin DMI 1.2, care
abordeaz programarea
pentru perioada 2014-2020,
care au fost implementate

Cercetare de birou (Tabel de


monitorizare a
recomandrilor furnizate de
evalurile DMI 1.2)

De la 0% la 100%

n/a

n/a

n/a

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

161

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR
37. Impactul evalurilor
asupra proceselor de
programare (la nivel de
CSNR)

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

% recomandri de evaluare
furnizate prin proiectele
finanate prin DMI 1.2, care
abordeaz programarea la
nivel de CSNR, care au fost
implementate

Cercetare de birou (Tabel de


monitorizare a
recomandrilor furnizate de
evalurile DMI 1.2)

De la 0% la 100%

38. Impactul evalurilor


asupra proceselor de
implementare (la nivel de
PO)

% recomandri de evaluare
furnizate prin proiectele
finanate prin DMI 1.2, care
abordeaz implementarea la
nivel de PO, care au fost
implementate

Cercetare de birou (Tabel de


monitorizare a
recomandrilor furnizate de
evalurile DMI 1.2)

De la 0% la 100%

38. Impactul evalurilor


asupra proceselor de
implementare (la nivel de
CSNR)

% recomandri de evaluare
furnizate prin proiectele
finanate prin DMI 1.2, care
abordeaz implementarea la
nivel de CSNR, care au fost
implementate

Cercetare de birou (Tabel de


monitorizare a
recomandrilor furnizate de
evalurile DMI 1.2)

De la 0% la 100%

CULTURA DE EVALUARE: INSTITUIONALIZAREA EVALURII/CULTURII DE EVALUARE - N CE


MSUR ESTE EVALUAREA INTEGRAT N GUVERNANA SIS I ARE IMPACT ULTERIOR?
Contextul aferent

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

162

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

39. Evaluarea (ca analiz a


propriilor greeli, frica de
aceasta determin cultura
controlului) este
binevenit, ncurajat i
apreciat ca fiind o parte
esenial din procesul de
obinere a succesului la nivel
instituional (AM/MFE) de
ctre entitile care
formuleaz politici publice

(9) Cadru Mental

23. Valori

40. Evaluarea (ca analiz a


propriilor greeli, frica de
aceasta determin cultura
controlului) este
binevenit, ncurajat i
apreciat ca fiind o parte
esenial din procesul de
obinere a succesului la nivel
instituional (AM/MFE) de
ctre personalul de
conducere

(10) Contextul legal al evalurii


24. Prevederi legale

41. Existena prevederilor


legale ce reglementeaz
evaluarea

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

n/a

n/a

n/a

n/a

n/a

n/a

Existena unor Documente


elaborate prin KAI 1.2 care au
devenit parte a cadrului
legislativ.

Informaii furnizate de ctre


MFE Unitatea de Evaluare

0% sau 100%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

163

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

(11) Politic evaluativ


privind resursele umane care
vizeaz asigurarea resurselor
umane adecvate la toate
nivelele pentru realizarea
evalurilor

INDICATOR

NTREBAREA

42. Existena altor prevederi


legale care mpiedic direct
sau indirect evaluarea (de
ex. achiziii publice se va
nota cu - minus)

Existena unor soluii propuse


prin DMI 1.2, ce au ca scop
eliminarea elementelor care
mpiedic evaluarea.

43. Procentajul de
funcionari publici, la toate
nivelele, cu pregtire n
domeniul tiinelor sociale
(fa de pregtirea strict
juridic)

% de funcionari publici
instruii prin aciuni finanate
prin DMI 1.2.

SURSA

Informaii furnizate de ctre


MFE Unitatea de Evaluare

eSurvey

METODOLOGIA DE
PUNCTARE

0% sau 100%

De la 0% la 100%

25. Politica de resurse umane


44.Procentajul funcionarilor
publici, la toate nivelurile,
care particip n mod activ la
activitile de evaluare

n/a

n/a

n/a

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

164

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

n/a

n/a

n/a

45. Campionul(ii) este / sunt


prezeni la nivel de PO

% de participani GLE (expui


la DMI 1.2) care ocup poziii
decizionale

Cercetare de birou (Fia


postului pentru membri GLE)

De la 0% la 100%

45. Campionul(ii) este / sunt


prezeni la nivel de CSNR

% de participani GLE (expui


la DMI 1.2) care ocup poziii
decizionale

Cercetare de birou (Fia


postului pentru membri GLE)

De la 0% la 100%

% de opiuni de instruire
pentru funcionarii publici
existente pe pia, sprijinite
prin DMI 1.2.

Informaii furnizate de ctre


MFE, Unitatea de Evaluare

De la 0% la 100%

46. Existena pe pia a


opiunilor de instruire /
formare n domeniul
evalurii

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

165

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

(12) Cerere de evaluare


ncorporat/pornit de jos n
sus (n SIS)

26. Cerere de evaluare


ncorporat n SIS

INDICATOR

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

% de opiuni de instruire
pentru funcionarii publici
existente pe pia, sprijinite
prin DMI 1.2.

Informaii furnizate de ctre


MFE, Unitatea de Evaluare

De la 0% la 100%

n/a

n/a

n/a

47. Exist o cerere


semnificativ pentru
evaluare (toate tipurile /
toate nivelele)

Numrul evalurilor finanate


prin DMI 1.2, comparat cu
numrul total al evalurilor.

Cercetare de birou

De la 0% la 100%

48. Procentajul evalurilor


realizate ca rspuns la
nevoia de cunoatere - i nu
ca obligaie (la nivel de PO)

% de evaluri realizate ca
rspuns la ghidurile /
indicaiile furnizate prin
proiectele DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

48. Procentajul evalurilor


realizate ca rspuns la
nevoia de cunoatere - i nu
ca obligaie (la nivel de
CSNR)

% de evaluri finanate prin


DMI 1.2.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Focus Grup cu GLE

De la 0% la 100%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

166

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

NTREBAREA

(13) Reele

27. Existena unei organizaii


naionale a evaluatorilor
profesioniti

28. Diminuarea decalajului dintre


mediul academic i cel
guvernamental

49. Existena unei


organizaii solide la nivel
naional a evaluatorilor
profesioniti care contribuie
la crearea unei reele i la
diseminarea celor mai bune
practici

50. Existena unor


mecanisme de cooperare
ntre mediul academic i cel
guvernamental care s duc
la o mai bun formulare a

SURSA

METODOLOGIA DE
PUNCTARE

Existena proiectelor DMI 1.2


care sprijin organizaia
naional a evaluatorilor.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Informaii furnizate de ctre
MFE Unitatea de Evaluare

0% sau 100%

Existena proiectelor DMI 1.2


care sprijin organizaia
naional a evaluatorilor.

Informaii furnizate de ctre


MFE Unitatea de Evaluare

0% sau 100%

Existena proiectelor DMI 1.2


care sprijin organizaia
naional a evaluatorilor.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Informaii furnizate de ctre
MFE Unitatea de Evaluare

0% sau 100%

Existena proiectelor DMI 1.2


care sprijin organizaia
naional a evaluatorilor.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Informaii furnizate de ctre
MFE Unitatea de Evaluare

0% sau 100%

Existena proiectelor DMI 1.2


care sprijin organizaia
naional a evaluatorilor.

Informaii furnizate de ctre


MFE Unitatea de Evaluare

0% sau 100%

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

167

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

NTREBAREA

politicilor publice

METODOLOGIA DE
PUNCTARE

Existena proiectelor DMI 1.2


care sprijin organizaia
naional a evaluatorilor.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Informaii furnizate de ctre
MFE Unitatea de Evaluare

0% sau 100%

% de proiecte DMI 1.2 care


preconizeaz implicare
societii civile.

Cercetare de birou pentru


proiectele DMI 1.2; Interviu
cu managerii de proiect;
Informaii furnizate de ctre
MFE Unitatea de Evaluare

De la 0% la 100%

n/a

n/a

n/a

30. Participarea mass-media

52. Gradul de participare a


mass-media la evenimentele
publice aferente evalurii i
diseminrii

% de evenimente publice
organizate prin DMI 1.2 la
care este invitat mass-media.

Cercetare de birou pe site-ul


www.evaluare-structurale.ro;
Interviu cu managerii de
proiect;Focus Grup cu GLE

De la 0% la 100%

31. Indexul de guvernan


(compus din 6 dimensiuni Indicele 59 Guvernan)

53. Indexul de guvernan

n/a

n/a

n/a

(14) Societatea civil i massmedia


29. Participarea societii civile

(15) Guvernan

SURSA

51. Societatea civil


particip n mod activ la
activitile legate de
evaluare

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

168

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

n/a

n/a

n/a

n/a

n/a

n/a

n/a

n/a

n/a

n/a

n/a

n/a

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

169

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

n/a

n/a

n/a

n/a

n/a

n/a

Existena proiectelor /
componentelor de proiect DMI
1.2 care abordeaz instituii,
altele dect AM i MFE.

Cercetare de birou
Focus Grup cu GLE

0% sau 100%

Existena proiectelor /
componentelor de proiect DMI
1.2 care abordeaz instituii,
altele dect AM i MFE.

Cercetare de birou
Focus Grup cu GLE

0% sau 100%

Existena proiectelor /
componentelor de proiect DMI
1.2 care abordeaz instituii,
altele dect AM i MFE.

Cercetare de birou
Focus Grup cu GLE

0% sau 100%

IMPACTUL N AFARA SISTEMULUI DE MANAGEMENT AL SIS


16) Impactul pe termen lung n
afara SIS

32. Efecte n afara SIS

54. Internalizarea evalurii


de ctre instituiile implicate
n SIS, altele dect AM i
MFE (OI-uri, Beneficiari,
Autoritatea de Audit,
Autoritatea de Certificare i
Plat)

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

170

Raport privind msurarea culturii de evaluare n contextul Politicii de Coeziune UE din Romnia
Cel de-al treilea ciclu de msurare

CRITERIU

SUBCRITERIU

INDICATOR

55. Integrarea, n toate ariile


politice, a evalurii n
strategiile i practicile de
management

56. Integrarea, la toatele


nivelele administrative i
guvernamentale, a evalurii
n strategii i practici de
management

NTREBAREA

SURSA

METODOLOGIA DE
PUNCTARE

Existena proiectelor /
componentelor de proiect DMI
1.2 care abordeaz instituii,
altele dect AM i MFE.

Cercetare de birou
Focus Grup cu GLE

0% sau 100%

Existena unor ghiduri DMI 1.2


care abordeaz n mod
specific entitile cu rol
decizionale.

Cercetare de birou
Focus Grup cu GLE

0% sau 100%

n/a

n/a

n/a

n/a

n/a

n/a

Existena unor ghiduri DMI 1.2


care abordeaz n mod
specific managerii
administraiei publice.

Cercetare de birou
Focus Grup cu GLE

0% sau 100%

n/a

n/a

n/a

Contract Subsecvent nr. 1


Examinarea Culturii de Evaluare, SMIS 43465
Proiect co-finanat din Fondul European de Dezvoltare Regional prin POAT 2007-201

171

S-ar putea să vă placă și