Cap.

III (continuare)

Utilizarea criteriilor de evaluare Adecvarea criteriilor de evaluare pe care le folosim poate fi apreciat corect doar pornind de la nelegerea modului n care criteriile respective sunt folosite. 1. Identificarea criteriilor pornind de la obiectivele programului i descrierea interveniei (Obiectivele menionate de cei ce realizeaz planul de intervenie nu sunt ntotdeauna formulate clar. Evaluatorul trebuie s conceap o list de obiective pe baza tuturor informaiilor pe care le deine despre aceasta, ceea ce justific includerea unei descrieri a interveniei n orice plan de evaluare.) 2. Stabilirea unor msuri concrete care s reflecte ndeplinirea criteriilor (indicatori de performan) 3. Selecia unor standarde de performan pe criteriile respective care s reprezinte n mod convenional succesul sau eecul interveniei. 4. Msurarea performanei efective pentru fiecare criteriu i compararea acestui rezultat cu standardul. 5. Integrarea judecilor de valoare formulate ntr-un set de afirmaii generale ce servete drept concluzie a evalurii. (Toate etapele anterioare ofer informaii preioase, dar sintetizarea i mai ales interpretarea lor nu este o sarcin uoar. De aceea,un raport de evaluare bine conceput trebuie s conin n mod obligatoriu un capitol de concluzii.) n stabilirea criteriilor de evaluare pot fi adoptate dou mari strategii: a. Adoptarea unor judeci de valoare descriptive - Evaluatorul nu face nimic altceva dect s se foloseasc de preferinele i valorile celorlali pentru a stabili criteriile i standardele. - Evaluatorul se va raporta exclusiv la viziunea agenilor i beneficiarilor implicai n program. - Aceasta presupune ca el s afle i s neleag punctele de vedere cele mai importante ale acestora.

- Nu va trebui niciodat s se rezume la perspectiva unui singur actor.

b. Adoptarea unor judeci de valoare prescriptive - Evaluatorul impune propriile valori ca fundament al criteriilor i standardelor pe care le folosete. - Aceast poziionare i permite s evalueze programul dintr-un punct de vedere exterior lui, s judece lucrurile pornind de la presupoziii independente de cele ale actorilor implicai. O astfel de evaluare ar putea fi mai obiectiv, pentru c elimin premisele eronate de cei direct implicai se folosesc uneori. (Ex: Afirmaia Descentralizarea este favorabil creterii calitii serviciilor oferite de spitalele publice poate fi considerat o premis eronat n cazul n care autoritile locale nu dispun de fondurile i expertiza necesare pentru a administra instituiile de sntate public. Premisa c informarea este cel mai important mod de a combate consumul de droguri este eronat dac porneti de la cauzele sociale profunde ce determin consumul de droguri.) - Evaluatorul are libertatea de a interpreta intervenia ntr-un context larg, pornind de la principii de bun guvernare mai severe. - Singurul defect major al acestei abordri este riscul de a ignora pluralitatea valorilor ce se manifest n societate n numele unor interpretri unice.

Ambele perspective sunt ndreptite n sine, dar evaluatorul trebuie s prezinte n mod explicit argumentele pentru care o alege pe oricare dintre ele ntr-un caz particular. Abordarea descriptiv poate fi justificat cu mai mult uurin, este aleas cel mai frecvent, este recomandat n cele mai multe cazuri

Criteriile de eficacitate - Sunt, n principiu, cel mai uor de stabilit deoarece criteriile i standardele decurg n mod direct din obiectivele formulate de iniiatorii programului - n practic, formularea prea general, prea vag sau prea succint a obiectivelor unui program poate impune dificulti considerabile

Ex: Dac obiectivul politicii de aprare a Suediei este evitarea conflictului armat, n ce msur absena conflictelor armate reprezint un criteriu adecvat de evaluare a politicii de aprare a acestui stat? E un obiectiv prea general pentru a fi considerat drept baz pentru un criteriu de evaluare.

Dac nu tim nimic despre importana pe care o are fiecare obiectiv din lista propus evaluarea este si mai dificil.

Criterii de eficacitate descriptive 1. Atingerea obiectivelor a. Scopuri convenite global (scopuri general acceptate) b. Scopuri de politic naionale (ale statului) c. Scopuri ale agenilor naionali d. Scopuri ale agenilor regionali e. Scopuri ale agenilor municipali 2. Preferinele de calitate ale clienilor 3. Concepiile profesionitilor despre valoarea unei activiti 4. Ateptrile i valorile clienilor 5. Criteriile impuse de diveri ageni relevani (stakeholders)

6. Evaluare ce ignor obiectivele prestabilite Criterii de eficacitate prescriptive 1. Contribuia interveniei la rezolvarea problemelor 2. nelegerea nevoilor clientului de ctre autorii programului 3. Distribuia echitabil a resurselor/beneficiilor 4. Respectarea interesului public

Criteriile de eficacitate orientate ctre client sunt utilizate n special n evaluarea serviciilor (servicii medicale, ngrijirea copiilor, ngrijirea btrnilor, servicii culturale oferite de biblioteci, teatre, amenajri sportive, parcuri, etc). Metodele adecvate pentru msurarea eficacitii se bazeaz pe exprimarea opiniilor beneficiarilor (anchete pe baz de chestionar, sondaje de opinie, interviuri, focus grup) Criteriile profesionale, stabilite de profesionitii ntr-un domeniu oarecare (experi) sunt utilizate pentru aprecierea unor programe n care se consider de plano c beneficiarii nu au suficiente informaii despre natura activitilor respective (ingineri n cazul lucrrilor publice, medici n cazul serviciilor medicale, profesorii n cazul serviciilor educaionale). Metodologia anchetelor de tip expert are ca element specific stabilirea unui grup relevant de profesioniti i sintetizarea opiniilor acestora cu ajutorul unor scale. Evaluarea independent de obiective este o abordare radical care pare mai apropiat de evaluarea prescriptiv dect de cea descriptiv. n fapt, nu este vorba de impunerea valorilor i criteriilor alese de evaluator ci de ncercarea de a reflecta prin indicatori sintetici faptele, rezultatele politicii. Evaluatorul nu face nimic altceva dect s descrie rezumativ rezultatele interveniei, fr s emit judeci de valoare. Ne vom ntreba n ce msur mai vorba aici de evaluare? Ea este prezent, numai c nu o face evaluatorul ci beneficiarul evalurii. Evaluatorul are doar rolul de a organiza informaiile.

Elemente de referin pentru selectarea criteriilor de evaluare 1. Trecutul. Ex: comparaii de cost ntre prezent i trecut 2. Comparaii intra-naionale 3. Comparaii inter-naionale 4. Comparaii de tip benchmark. Care este nivelul actual prin comparaie cu cel mai bun nivel cunoscut? 5. Obiectivele 6. Ateptrile clienilor 7. Solicitrile agenilor semnificativi (stakeholders) 8. Standardele profesionitilor 9. Valoarea minim acceptabil oferit de proiect 10. Valoarea optim posibil oferit de proiect