Lansarea unei evaluari: scop, motive, distribuirea rolurilor, formularea intrebarilor de evaluare.

Decizia ca o evaluare sa fie realizata poate fi sau ceva punctual, ca dorinta expresa de a se obtine anumite informatii, sau ceva prevazut a fi realizat de la bun inceput cum ar fi in cazul proiectelor cu finantare din fonduri structurale. Daca ne aflam in cel de-al doilea caz, nu ar trebui sa fie subestimata importanta evaluarii si, pe acest fond, sa devina o procedura uniforma, birocratica. Decizia de evaluare constituie in sine o oportunitate de a defini limitele actiunii in termeni cum ar fi cei de tip institutional, temporal, sectorial, geografic etc. Definirea scopului evaluarii consta in a raspunde la intrebarea ce urmeaza a fi evaluat?. Atunci cand este lansata o evaluare se recomanda ca sa fie specificate motivele ce stau la baza deciziei de evaluare si sa fie redactata o lista de utilizatori potentiali. Chiar daca evaluarea este prevazuta a se realiza in mod obligatoriu inca de la debutul programului, definirea motivelor si a listei de utilizatori este necesara pentru a ne asigura ca nu se realizeaza nicio activitate in mod inutil. De asemenea, trebuie specificat cat de departe se asteapta sa se implice echipa de evaluare: este de asteptat sa fie obtinute doar o serie de concluzii sau se spera in definirea unor recomandari de natura strategica sau operationala? In mod evident, aceste asteptari sunt diferite in functie si de momentul la care are loc evaluarea (ex-ante, intermediar sau ex-post). Este foarte important de retinut ca, pentru a obtine o evaluare utila, deciziile ce se vizeaza a fi luate si in sprijinul carora se doreste ca evaluare a sa vina trebuie sa fie definite cat se poate de precis. Deseori acest lucru nu se face de teama ca ar putea in acest fel sa fie influentata activitatea evaluatorilor, insa realitatea a aratat faptul ca fara o asemenea definire exista riscul ca atentia echipei de evaluatori sa se indrepte in alte directii in fapt, exista intotdeauna un mare numar de observatii si posibilitati de imbunatatire. Astfel, se poate intampla ca sa fie analizate si verificate o intreaga serie de ipoteze interesante in sine, dar prea departe de realitate in ochii managerilor, finantatorilor, politicienilor, comunitatii etc.

Distribuirea rolurilor in cadrul unei evaluari Definirea cadrului evaluarii se refera la distribuirea rolurilor si responsabilitatilor procesului de evaluare si la clarificarea relatiilor dintre evaluare, monitorizare si managementul programului. Stabilirea unor reguli de conduita clare si corecte contribuie la calitatea evaluarii si elimina blocajele. Momentul cheie este legat de constituirea echipei/comitetului/comisiei responsabila cu evaluarea, rol ce include, in principal, elaborarea termenilor de referinta, selectarea echipei de evaluare si validarea raportului acesteia.

Cadrul unei evaluari

1. Decizia de evaluare

Institutia coordonatoare/finantatoare/ autoritati publice

Grupul de coordonare a evaluarii

5. Validarea raportului final

6. Decizii, directii, comunicare

4. Rapoarte

2. Termeni de referinta

Public interesat

Operatori Echipa de evaluare

3. Interviuri

Schematic, definirea cadrului unei evaluari poate fi redusa la distribuirea rolurilor intre urmatorii jucatori cheie: organizatia/institutia coordonatoare, comisia/grupul de coordonare a evaluarii, echipa de evaluare, operatorii si publicul implicat/interesat. Responsabilitatile acestor entitati sunt descrise de rolurile pe care acestea le joaca pe parcursul celor 6 pasi ce compun procesul de evaluare: Pasul 1: Organizatia coordonatoare/finantatoare/autoritatile publice si utilizatorii evaluarii formuleaza instructiunile destinate comitetului coordonator al evaluarii materializate de obicei intr-un document de progamare. Pe baza mandatului acordat, comitetul de coordonare a evaluarii elaboreaza termenii de referinta. Acest document foloseste pentru lansarea licitatiilor de selectare a echipei de evaluare si pentru alegerea echipei castigatoare. Comitetul de coordonare a evaluarii va interactiona cu echipa de evaluare atat de mult cat este necesar pentru a se asigura ca aceasta nu actioneaza divergent in raport cu liniile directoare prevazute in cadrul termenilor de referinta ci in sensul obtinerii de raspunsuri la intrebarile puse. Echipa de evaluare colecteaza informatii primare si secundare de la operatori si publicul interesat si le analizeaza; acesta este pasul ce necesita cel mai indelungat timp. Un raport ce poate fi caracterizat drept tehnic este elaborat de catre echipa de evaluare. Acest raport include concluzii si, acolo unde este relevant, recomandari preliminarii pentru comitetul de coordonare a evaluarii.

Pasul 2:

Pasul 3:

Pasul 4:

Pasul 5:

Concluzile sunt validate partial sau in totalitate de catre comitetul de coordonare a evaluarii. Acest grup formuleaza pe mai departe recomandari catre cei interesati (institutia/ organizatia finantatoare, autoritati publice etc.) in raportul de evaluare, care fie include raportul tehnic sau il are drept anexa. Evaluarea este diseminata catre cei interesati (utilizatori ai evaluarii, public etc.) si/sau sunt decise noi criterii/standarde/linii directoare ce urmeaza a fi implementate. Acest pas crucial este deseori izolat de procesul de evaluare propriu-zis, aceasta deoarece comitetul de coordonare a evaluarii poate fi dizolvat dupa inaintarea raportului si de aceea se poate afla in imposibilitatea de a a fi parte a deciziilor subsecvente.

Pasul 6:

Este important de retinut faptul ca acesti pasi nu pot fi aplicati intocmai pentru orice tip de evaluare sau pentru orice tip de proiect; spre exemplu, in cazul evaluarii ex-ante, ei sunt mult diminuati. Insa indiferent de proiect, aceasta este gama de actiuni ce trebuie intreprinse pentru a avea o buna definire a cadrului evaluarii.

Formularea intrebarilor de evaluare Probabil ca aspectul fundamental al fazei de proiectare a evaluarii consta in formularea intrebarilor de evaluare, acestea fiind in fapt intrebarile care constituie punctul central al exercitiului de evaluare. Gama de intrebari va contine: - intrebari descriptive menite sa observe si sa masoare schimbarile (ce s-a intamplat?) - intrebari cauzale care urmaresc sa faca intelese si sa analizeze relatiile cauza-efect (cum si in ce masura ceea ce s-a obtinut poate fi atribuit programului?) - intrebari normative care aplica criterii de evaluare (sunt rezultatele si impactul obtinut satisfacatoare?) La modul ideal, o intrebare de evaluare trebuie sa imbrace formele de mai sus si sa prezinte urmatoarele calitati: - Intrebarea trebuie sa corespunda unei nevoi reale de informatie, sa contribuie la intelegerea si/sau identificarea de noi solutii, in caz contrar nefiind decat o intrebare de tip obtinere de alibi menita, de exemplu, sa sustina o decizie deja luata. Daca o intrebare prezinta interes doar in termeni de tip obtinere de noi cunostinte, fara a avea efect imediat asupra procesului de luare a deciziilor sau a dezbaterii publice, acea intrebare este mai mult o chestiune de cercetare stiintifica si nu ar trebui inclusa intr-o evaluare. - Intrebarea ar trebui sa vizeze un tip de impact, un grup de tipuri de impact, un rezultat sau o nevoie. Cu alte cuvinte, intrebarea trebuie sa se refere, cel putin partial, la elemente externe programului, in special la cei carora li se adreseaza programul sau mediului economic si social al acestora. Daca o intrebare se refera doar la managementul intern al resurselor si iesirilor, aceasta ar trebui probabil sa se regaseasca pe parcursul perioadei de monitorizare sau poate in cadrul activitatilor de audit. - Intrebarea vizeaza un singur criteriu de judecata. Acest criteriu poate fi uneori dificil de identificat, insa experienta a aratat ca aceasta cerinta este un factor cheie in ceea ce priveste utilitatea unei evaluari. Fara criterii de judecata clar definite de la bun inceput raportul final rareori furnizeaza concluzii.

Atunci cand includ un criteriu de judecata, intrebarile de evaluare se incadreaza, de cele mai multe ori, intruna din urmatoarele patru categorii: - Referitoare la relevanta programului: in ce masura obiectivele programului se justifica in raport cu nevoile? Corespund acestea prioritatilor organizatiei/institutiei, prioritatilor locale, nationale/europene? - Privind eficacitatea programului: in ce masura obiectivele vizate au fost indeplinite? Instrumentele utilizate au produs efectele asteptate? Puteau fi obtinute mai multe efecte utilizand alte instrumente? - Referitatoare la eficienta programului: au fost indeplinite obiectivele la cel mai scazut cost posibil? Ar fi putut fi obtinute efecte mai bune la acelasi cost? - Privind utilitatea programului: sunt efectele asteptate sau neasteptate satisfacatoare din punct de vedere al adresantilor directi sau indirecti? Aceste criterii nu sunt exclusive. Alte criterii cum ar fi coerenta, echitatea, sinergia, capacitatea de replicare pot fi de asemenea utilizate.

Principalele criterii de evaluare

Societate Economie Mediu
Nevoi Probleme Impact

Rezultate

Program
Obiective Intrari Iesiri

Evaluare

Relevanta

Eficienta

Eficacitate

Utilitate