Volum coordonat de

Mirela Cerkez

EVALUAREA PROGRAMELOR I POLITICILOR PUBLICE

Teorii, metode i practici

POLIROM 2009

CAPITOLUL I INTRODUCERE N TEORIA I PRACTICA EVALURII PROGRAMELOR I POLITICILOR PUBLICE Mirela Cerkez

Rezumat Scopul acestui capitol este acela de a facilita nelegerea fundamentelor i aplicabilitii modelelor de evaluare care s duc la o bun practic n domeniul evalurii n Romnia. Capitolul prezint succint principalele teorii cu privire la evaluare i cele mai importante probleme specifice domeniului pentru a ilustra modul n care acestea influeneaz forma practic pe care o mbrac evaluarea modelul de evaluare. Acest demers are i o implicaie secundar i anume aceea c reprezint un punct de plecare util n ncercarea de a cunoate i aprofunda domeniul ntruct prezentarea este foarte structurat i poate constitui un ghid pentru lecturi viitoare. O bun nelegere a acestor aspecte reprezint baza de selectare corect sau de construire a unui model de evaluare.

Evaluarea este o investiie n oameni i n progres. Guba i Lincoln, Fourth Generation Evaluation, 1989 INTRODUCERE Fiind unul dintre primele demersuri teoretice din Romnia cu privire la evaluarea politicilor i programelor publice, consider c cel mai util este s construiesc o imagine de ansamblu astfel nct cititorul care dorete s aprofundeze acest domeniu s aib n acest capitol un ghid pentru dezvoltarea ulterioar a cunotinelor n domeniu. n acelai timp, capitolul constituie n sine o baz destul de solid pentru cei care sunt interesai mai puin de aspectele teoretice, dar care, dup cum afirmam n introducerea volumului, nu le pot ignora.

n momentul de fa n Romnia exist o serie de manuale i ghiduri de evaluare, dar doresc s fac o difereniere ntre acestea i o adevrat specializare n domeniu. Afirmaia mea nu face referire la utilitatea i valoarea acestora, pe care nu le contest, ci la faptul c, n teoria i practica evalurii, elaborarea de ghiduri i manuale de tipul celor care exist acum n Romnia reprezint o a doua etap. Cu alte cuvinte, consider c pentru o dezvoltare solid a unei comuniti de evaluare n Romnia trebuie ca mai nti s se disemineze cunoaterea care s ne ajute s nelegem cine, ce i cum evalueaz i abia apoi, pe baza acestei cunoateri, s elaborm ghiduri de evaluare. Nu vreau s identific vina cuiva aici, pentru c nici nu exist un vinovat anume, ci doresc s constat c i n acest domeniu Romnia a fost nevoit s ard etapele pentru a ine pasul cu practicile deja consacrate n alte ri. Pe scurt, n loc s nelegem de ce ghidurile de evaluare din educaie au un anumit coninut, iar cele din alte domenii un altul; de ce n unele cazuri se apeleaz la specialiti externi, iar n alte cazuri nu, etc., n Romnia s-a trecut direct la imitarea practicilor de evaluare din alte ri sau ale unor instituii i organizaii internaionale, urmnd ca fundamentele teoretice ale acestor practici s le recuperm, eventual, pe parcurs. Consider c n momentul de fa n Romnia ncep deja s apar primele efecte negative legate de faptul c dezvoltarea acestui domeniu a nceput cu finalul. Astfel, n numeroase contacte informale pe care le-am avut cu membri ai micii comuniti de evaluare din Romnia1 am auzit destul de des afirmaia evaluarea programelor este diferit de evaluarea politicilor. Dac dezvoltarea acestui domeniu n Romnia nu ar fi srit peste etapa teoretic pentru a o mbria direct pe cea practic, nu s-ar fi creat astfel de confuzii. Evaluarea programelor este diferit de evaluarea politicilor doar n msura n care evaluarea n domeniul infrastructurii rutiere este diferit de evaluarea n domeniul asistenei sociale, de exemplu. ntr-adevr, design-ul evalurii unui program este diferit de design-ul evalurii unei politici, dar aceasta este doar etapa final sau intermediar, dac lum n calcul i aplicarea design-ului respectiv dar ceea ce trebuie s cunoatem pentru a construi i aplica un design de evaluare de program NU este diferit de ceea ce

A nu se considera c fac aluzie la vreo entitate organizat formal, ci la contacte cu persoane care au o tangen mai mic sau mai mare cu domeniul.

trebuie s cunoatem pentru a construi i aplica un design de evaluare de politici. Trivializnd explicaia, pentru a accelera sau decelera un autoturism trebuie s tii acelai lucru s conduci. Faptul c am popularizat ghiduri de evaluare i nu cunoaterea de a le construi i aplica ne face s credem c avem nevoie de cunoatere diferit pentru situaii diferite, cnd de fapt avem nevoie de un corp de cunotine pe care s le decupm n funcie de interesul de evaluare; ne face s importm metodologii i s le aplicm unor domenii care nu sunt vizate de acestea (vezi aplicarea analizei cost-beneficiu n cazul unor politici sau programe de tipul celor de asisten social) i, mai ales, ne face venic dependeni de expertiza strin. Pe scurt, acest capitol ne va ajuta s ne dm seama ce trebuie s cunoatem pentru a fi buni evaluatori, pentru a acumula acel set de cunotine teoretice care s ne permit s construim singuri design-ul unei evaluri n funcie de situaia dat, fr a apela la ghiduri deja existente. De ce avem nevoie de astfel de specialiti? Sunt cel puin dou motive. Unul ar fi acela c este posibil s ntlnim situaii de evaluare pentru care nu exist ghiduri sau nu avem acces la ele. Un alt motiv este acela c ghidurile deja redactate nu sunt gndite neaprat n raport cu specificul situaiei concrete n care am putea fi implicai, ceea ce face ca aplicarea lor s nu duc la colectarea i interpretarea tuturor informaiilor necesare n situaia respectiv. Astfel, chiar dac apelm n continuare la ghiduri de evaluare pre-construite, trebuie s avem cel puin capacitatea de a le ajusta conform propriilor nevoi de evaluare i de a le selecta exact pe cele de care avem nevoie. n acelai timp, dat fiind structura capitolului, acesta este foarte util i celor care nu intenioneaz s aprofundeze domeniul, dar care activeaz n domenii conexe evalurii. Astfel, dup o scurt argumentare n favoarea necesitii dezvoltrii acestui domeniu n Romnia, capitolul se va concentra asupra definirii evalurii. Introducerea acestui paragraf n capitolul de fa nu are un simplu rol teoretic, nu reprezint respectarea unui canon academic, ci are scopul de a ajuta cititorul s neleag de ce avem de a face cu mai multe abordri n acest domeniu, abordri care au puternice consecine n practic. Tot n

acest scop, paragraful urmtor este dedicat familiarizrii cu marile dezbateri n domeniu, dezbateri care de asemenea au consecine practice. Pentru a completa imaginea de ansamblu cu privire la teoria i practica evalurii despre care vorbeam la nceputul capitolului, ultimul paragraf va fi alocat prezentrii unor modele de evaluare, modele care reflect opiunile autorilor vis--vis de definiiile i problematicile expuse n paragrafele anterioare. Cunoaterea principalelor abordri practice cu privire la evaluare i a fundamentelor teoretice ale acestora va ajuta cititorul s fac o opiune corect pentru un model de evaluare sau altul ntr-o situaie dat i va contribui la conturarea unei imagini a evalurii ca un domeniu distinct de simpla aplicare a metodologiei din tiinele sociale.2 * * *

Dei comport anumite costuri, rspndirea practicii evalurii la nivelul sectorului public din Romnia este un demers sntos din punctul de vedere al unei dezvoltri sustenabile a societii i economiei romneti. Astfel, dezvoltarea practicii evalurii este benefic din cel puin dou puncte de vedere. Un avantaj al evalurii programelor i politicilor publice decurge din faptul c resursele sunt limitate, iar evaluarea ne ajut s canalizm resursele ctre programele i politicile care dau rezultate i, mai ales, conform unora dintre teoreticieni3, ne ajut s alocm resurse ctre rezolvarea celor mai arztoare probleme i ctre ndeplinirea scopurilor cu cel mai mare grad de dezirabilitate din punct de vedere social. Un alt avantaj pe care l ofer practica evalurii este acela c responsabilizeaz instituiile publice i clasa politic i informeaz corect cetenii cu privire la interveniile publice.4 Odat implementat practica evalurii, nu mai este suficient ca autoritile s ia msuri, trebuie s ia msuri bune. De exemplu, foarte mult vreme dup 1989, atunci cnd aprea
Aceast etap a confundrii aplicrii metodologiei din tiinele sociale cu evaluarea este oarecum fireasc pentru stadiul actual al dezvoltrii evalurii n Romnia ntruct, pn la un moment dat, ea este specific dezvoltrii domeniului evalurii n sine (vezi Shadish, Cook i Leviton, 1991, pp. 7-35; Guba i Lincoln, 1989, pp. 22-38; Stufflebeam i Shinkfield, 2007, pp. 32-42). 3 Vor fi prezentai pe parcursul capitolului. 4 Despre avantajele evalurii la nivelul unei societi, vezi Hanberger, 2006, pp. 17-37.
2

o problem pe agenda public din Romnia, autoritile anunau un set de msuri dup care publicul nu mai era informat cu privire la ceea ce s-a ntmplat cu respectiva problem. Cumva, la nivelul percepiei, simpla anunare a unor msuri sau, i mai grav, simpla anunare a inteniei de a lua msuri era echivalat cu rezolvarea problemei. Pe msur ce anii s-au scurs, pe fondul incapacitii de a depi stadiul de ar aflat n tranziie, presiunea pentru prezentarea unor rezultate concrete ale interveniilor publice a crescut. Acest lucru se datoreaz mai multor factori. Presa, de exemplu, a ncetat treptat s nu mai confunde declaraiile de intenie cu politica n sine. De exemplu, n perioada 2005-2007 (aproximativ) cnd a fost un val destul de mare de citaii la Departamentul Naional Anticorupie adresate politicienilor romni, foarte muli jurnaliti afirmau c ateapt rezultatele respectivelor anchete i-i declarau ngrijorarea ca nu cumva aceast intervenie public anticorupie s fie doar de faad. Dar cel mai important factor, dincolo de presiunea intern, care a contribuit la apariia practicii evalurii n Romnia l constituie programele publice, dar i cele desfurate de societatea civil, care au finanare extern i mai ales cele cu finanare de la Uniunea European. Finanatorii externi sunt cei care au impus Romniei un anumit stil de a elabora intervenii publice i au condiionat finanarea de evaluarea respectivelor intervenii, nsoind finanarea de obligaia de a aplica anumite proceduri de evaluare care veneau la pachet cu restul documentaiei. Urmtorul pas care trebuie fcut este acela de a crea obinuina instituiilor publice de a-i evalua toate programele, eventual pe baza unei metodologii proprii, nu doar pe cele pe care sunt obligate s le evaluaze. CLARIFICRI CONCEPTUALE ntrind ideea necesitii dezvoltrii practicii evalurii la nivelul sectorului public din Romnia, evaluarea este teoretizat ca fiind una dintre etapele politicilor publice. Putem astfel s tragem concluzia c n Romnia am avut, i nc mai avem, politici publice incomplete. Simplificnd foarte mult, exist analiti ai politicilor publice care se raporteaz la acestea ca la nite procese care se desfoar etapizat i analiti care consider c procesul

politicilor publice este un amalgam de aciuni care nu se desfoar dup o logic anume.5 Cu ct ne deprtm mai mult de abordarea etapizat cu privire la analiza politicilor publice i ne apropiem de abordarea procesului politicilor publice care consider c diversele etape se desfoar haotic i nu pot fi delimitate, cu att evaluarea devine mai important pentru c nseamn c absena acesteia poate afecta buna desfurare a celorlalte etape. Pe lng faptul c toate etapele politicilor publice se pot influena ntre ele la un moment dat, putem considera evaluarea un fel de etap transversal, o etap care se poate desfura n raport cu toate celelalte. Cu alte cuvinte, exist o evaluare a soluiilor alternative, evaluri ale diverselor componente prevzute prin intervenia respectiv, evaluri ale etapei de implementare i chiar evaluri ale evalurii (meta-evaluare). Diversitatea componentelor unui program sau politici crora li se adreseaz evaluarea este una dintre cauzele construirii unor demersuri variate de evaluare.6 O alt cauz o constituie scopul pe care diveri autori neleg s-l asocieze evalurii prin modul n care o definesc. Nu voi recurge neaprat la prezentarea formulrii exacte a definiiilor pentru c, n general, acestea sunt mult prea restrnse pentru a ilustra ntregul set de opiuni teoretice i practice care stau la baza formulrii lor. n schimb, voi ncerca s explic succint teoriile pe care principalii autori din domeniul evalurii le-au ataat acesteia de-a lungul timpului.7 O teorie cu privire la evaluarea programului8 reprezint un set de principii conceptuale, ipotetice, pragmatice i etice care formeaz un cadru general pentru

Pentru detalii, vezi Miroiu, 2001, pp. 27-28 Lista acestor cauze se va completa pe parcursul capitolului. 7 n literatur exist multe cri i articole care prezint etapizat dezvoltarea conceptului de evaluare. n funcie de propriile opiuni cu privire la conceptualizarea acestui termen, autorii identific un numr diferit de etape. n cazul de fa, voi prezenta sensurile pe care diveri autori l dau evalurii prin referire la o etap sau alta pentru a da o coeren prezentrii, dar fac precizarea c, pe lng motivul menionat anterior, autorii prezentai pot fi ncadrai uneori ntr-o categorie, alteori n alta din mai multe motive: unii autori iau rafinat abordarea de-a lungul timpului motiv pentru care au migrat de la o generaie de evaluare la alta; criteriul pe baza cruia sunt mprite etapele este diferit, etc. 8 A nu se confunda teoria cu privire la evaluarea programului cu evaluarea bazat pe teorie care este un model de evaluare dezvoltat n principal de Chen (1990, 2005).
6

ghidarea studiului i practicii evalurii programelor (Stufflebeam i Shinkfield, 2007, p. 63). Prima generaie de evaluare Primele demersuri de evaluare sunt destul de contestate n literatur din cauza faptului c nu se difereniaz clar de practica aplicrii unor instrumente de investigare social cu scopul de a colecta date despre anumite fenomene. Din acest motiv, exist autori precum Shadish, Cook i Leviton care nici nu includ aceast perioad9 n evoluia teoriei i practicii evalurii. ns Guba i Lincoln (1989, p. 39) includ i aceast perioad i o numesc prima generaie de evaluare. Conform celor doi autori, practica din aceast perioad consta n identificarea anumitor variabile, iar informaia colectat consta din scorurile pe care le nregistreaz instrumentele care msoar respectivele variabile. Concret, principala preocupare era msurarea gradului de ndeplinire a obiectivelor. Concentrarea pe obiective este o abordare a evalurilor bazate pe metode care, conform lui Stufflebeam i Shinkfield (2007, p. 8), pun egal ntre evaluare i metodologie atunci cnd ncearc s o defineasc pe prima. ns, n prezent, se consider c evaluarea ar trebui s foloseasc orice metodologie disponibil i adecvat situaiei respective i, prin urmare, nu poate fi totuna cu metodologia este mai mult dect att. Pionierii acestui tip de evaluare sunt Ralph Tyler, Percy Bridgman i E.L. Thorndike (Stufflebeam i Shinkfield, 2007, p. 160). Dat fiind centrarea pe obiective, aceast metod de evaluare este n special aplicabil proiectelor mici, care au obiective clare i realizabile, iar rezultatele acestor evaluri prezint interes n special pentru finanatori, dezvoltatori de programe i manageri. Obiectivele n funcie de care se face evaluarea pot fi stabilite de client, de evaluator sau pot fi extrase din coninutul programului (Stufflebeam i Shinkfield, 2007, pp. 160-161). Acest tip de evaluare a fost abandonat treptat din cauza numeroaselor critici care decurg din sinonimia ntre evaluare i msurarea atingerii obiectivelor specific acestei

Cu aproximaie, este vorba despre perioada cuprins ntre anii 1930 i 1950.

perioade.10 Una dintre criticile acestui tip de demers este c o astfel de evaluare ignor efectele neintenionate, fie ele pozitive sau negative. Acest lucru se ntmpl din cauza faptului c singurele variabile crora li se acord atenie n cercetare sunt obiectivele. Astfel, cercetarea pune doar ntrebri care reflect atingerea obiectivelor i ignor orice alte efecte ale interveniei respective. Exist mai multe motive pentru care ntr-o evaluare ar trebui s fim preocupai i de efectele neintenionate ale evaluandului. De exemplu, dac efectele neintenionate sunt negative i reprezint costuri mai mari dect beneficiile aduse de efectele intenionate, atunci programul nu merit s fie continuat sau reprodus. n cazul n care efectele neintenionate reprezint beneficii foarte mari, atunci este foarte util s cunoatem acest lucru pentru a dezvolta aplicaii viitoare ale soluiei respective. O a doua critic const n faptul c, n cazul n care obiectivele n funcie de care se face evaluarea sunt stabilite de client sau extrase din coninutul programului, atunci evaluarea risc s crediteze obiective nemerituoase. Cu alte cuvinte, evaluatoarea preia necritic obiectivele respective, nu face o analiz cu privire la gradul de dezirabilitate al acestora. Chestionarea obiectivelor este important pentru c ndeplinirea unor obiective indezirabile nu poate fi benefic pentru societate i, implicit, trebuie s renunm la programul respectiv. Astfel, evaluatorii din aceast perioad puneau semnul egal ntre un program care i-a atins obiectivele i un program bun, fapt care nu este adevrat atta timp ct obiectivele nu sunt dezirabile. n cazul n care obiectivele nu se preluau nici de la client, nici din program, se apela la varianta n care cercettoarea era cea care stabilea obiectivele n funcie de care era evaluat programul. Aceast practic este ns cel puin nedemocratic ntruct reprezint impunerea unilateral a viziunii unei singure persoane (sau a unei mici echipe) asupra unui evaluand11 de importan public. A treia obiecie cu privire la acest tip de evaluare este legat de utilitatea acestora. Astfel, informaia produs de aceste evaluri nu poate fi folosit la mbuntirea programului pentru c este disponibil dup ncheierea acestuia.

10

Cele patru critici prezentate aici sunt detaliate n Chen, 1990, pp. 15-35; Stufflebeam i Shinkfield, 2007, pp. 8, 160-161 i Scriven apud. Stufflebeam i Shinkfield, 2007, pp. 370-371. 11 Ceea ce este evaluat.

n al patrulea rnd, constatarea ndeplinirii sau nu a obiectivelor nu este suficient pentru a ne pronuna cu privire la eficiena programului respectiv. Astfel, n cazul n care se contat ndeplinirea obiectivelor, trebuie s fim n continuare interesai de analiza tuturor componentelor programului din cel puin dou motive. Unul ar fi acela c este posibil s descoperim c am fi putut obine rezultate i mai bune, sau mai puin costisitoare, dac am fi adus mici mbuntiri programului. Un al doilea motiv este c, pentru a putea folosi pe viitor experiena unui program de succes, trebuie s investigm i alte componente dect obiectivele ntruct acestea nu ne ajut s nelegem cum i de ce a funcionat programul. n cazul n care se constat c obiectivele nu au fost atinse, trebuie de asemenea s cunoatem programul n detaliu pentru c este posibil ca acesta s fi fost gndit corect, dar efectele lui s fie influenate fie de factori externi12, fie de nefuncionarea anumitor componente.13 A doua generaie de evaluare Ca urmare a acestor critici, s-a dezvoltat treptat o nou generaie de evaluare, ai crei reprezentani sunt Scriven i Campbell, care era preocupat de rezolvarea problemelor sociale i de rigoarea tiinific; n special de cunoaterea valid14 cu privire la relaiile de cauzalitate care au generat efectele programelor sociale (Shadish, Cook i Leviton, 1991, p. 69). Principala metod utilizat de aceast generaie de evaluare este experimentul social. Principalele contribuii la dezvoltarea experimentului social aparin, n afara celor deja menionai, lui Lindquist, Suchman, Stanley, Cronbach, Snow, Boruch, i Nave (Stufflebeam i Shinkfield, 2007, p. 174). Prin preocuparea lor de a selecta cele mai bune
Contextul, dup cum explic Stufflebeam i Shinkfield (2007, pp. 407-408), este deosebit de important ntruct acesta poate s influeneze foarte puternic rezultatele unui program. De exemplu, pentru un program de predare, condiiile anterioare procesului de predare sunt eseniale. Astfel, dac nainte de a veni la coal elevul nu a mncat bine, nu s-a odihnit bine sau s-a mbolnvit, atunci receptivitatea lui la metodele de predare este foarte sczut. O evaluare care msoar doar rezultatele, ar cdea n capcana de a considera c programul nu d rezultate pentru c nu este bine gndit, dar dac privim contextul, putem s ne dm seama dac programul are o problem sau explicaia st n alt parte. 13 De exemplu, un program foarte bine pus la punct (din punctul de vedere al logicii interveniei) poate s nu-i ating obiectivele din cauz c a fost implementat defectuos, pentru c grupul int, din varii motive externe programului, nu a mai fost receptiv la intervenia respectiv, etc. 14 Validitatea era una dintre preocuprile principale ale acestei perioade, unii autori dnd importan anumitor tipuri de validitate n detrimentul altora Campbell considera c validitatea intern este cea mai important. Alte tipuri de validitate: extern i statistic (Radaelli i Bruno, 1996, p. 53).
12

soluii pentru societate, care implic ntr-o oarecare msur analiza, i prin atenia acordat relaiilor de cauzalitate, care implic o investigare n interiorul programului i nu doar a finalului acestuia ca n etapa anterioar, aceast generaie de evaluare reprezint un pas nainte ctre stabilirea evalurii ca disciplin distinct. Ceea ce pstreaz n comun cele dou generaii este accentul puternic pe metodele i tehnicile de investigare social. Aceast generaie de evaluare se mai numete i pozitivist, raional-analitic i tehnocrat i a aprut n anii 60 - 70 ca parte a dorinei de a face ca politica s fie o practic mai raional, mai tiinific. Conform lui Wittrock i Lindstrm (apud. Vedung, 2005, p. 26), n acea perioad domina opinia conform creia cei care elaboreaz i administreaz politici publice trebuie s aplice ntregul spectru de metode tiinifice pentru ca politicile publice bine gndite, cu viziune pe termen lung i adecvate care vor rezulta din utilizarea acestor metode s influeneze, sau chiar s nlocuiasc, jocurile nguste dintre partide i grupurile de interese. Cu alte cuvinte, plecnd de la premisa c scopul unei evaluri este acela de a identifica adevrul, pozitivitii considerau c evaluarea are funcia instrumental de a identifica cea mai bun soluie de rezolvare a unei probleme, nlocuind astfel decizia politic. Raionalitii radicali susineau c deciziile ar trebui luate doar dup ce s-a rspuns unei serii de ntrebri: ce scopuri ncearc decidenii s ating i ce problem necesit soluionare; ce alternative ar putea s duc la ndeplinirea respectivelor scopuri; care sunt consecinele diferitelor opiuni i probabilitatea ca acele consecine s apar; care ar fi costurile i necesarul de resurse pentru fiecare opiune; cum pot fi aranjate opiunile n funcie de costuri i consecine i ce criteriu de merit a trebui folosit pentru alegerea unei opiuni (Vedung, 2005, p. 26; Van Der Knaap, 2004, p. 27)? Dup cum menionam anterior, Scriven i Campbell sunt figurile cele mai proeminente ale acestei generaii; cei doi avnd multe puncte n comun. Pentru ambii primeaz interesul public, motiv pentru care nu acord atenie intereselor celor implicai. De asemenea, ei nu sunt interesai s afle cum i de ce funcioneaz anumite soluii, ci doar care funcioneaz. Astfel, ei prefer s investigheze mai multe soluii ale aceleiai probleme pentru a crete ansele de a o identifica pe cea mai bun; dup care, sistemul

politic i cel economic determin modul n care este folosit soluia respectiv (Shadish, Cook i Leviton, 1991, pp. 472-473). Pentru ambii autori, evaluatorul este un om de tiin imparial care vine din afara evaluandului. Campbell (apud. Radaelli i Bruno, 1996, p. 54) a recomandat evaluatorilor s nu fie prea activi n promovarea utilizrii rezultatelor evalurii pentru c risc s pun n pericol credibilitatea acestora i poate astfel descuraja folosirea acestora sau ncuraja folosirea prtinitoare a acestora. Conform lui Weiss15 (apud. Radaelli i Bruno, 1996, p. 54), completat de Radaelli i Bruno, abordarea celor doi are urmtorul lan logic: exist o problem de politic public definit cu precizie care se afl n ateptarea unei decizii; deficitul informaional al decidentului este recunoscut; sunt create mai multe politici care s rezolve aceste probleme; informaia este obinut printr-un studiu de evaluare; transmiterea rezultatelor evalurii n procesul politicii publice are loc n mod direct i fr prtinire; decidenii folosesc imediat i de o manier imparial rezultatele evalurii. De asemenea, Scriven i Campbell au o strategie comun de cercetare, respectiv consider c determinarea rezultatelor necesit o ipotez iniial cu privire la impactul variabilei independente (politica public) asupra celei dependente (schimbrile intervenite n privina acelor elemente asupra crora s-a aplicat politica) (Radaelli i Bruno, 1996, p. 53). Dei Scriven i Campbell au multe elemente n comun, cei doi autori nu trebuie ns confundai ntruct ei au abordri specifice. Astfel, Campbell a pornit de la abordarea lui Suchman care definea evaluarea ca determinarea ... rezultatelor ... obinute printr-o activitate ... conceput s duc la ndeplinirea unui scop sau obiectiv valorizat.... Metoda tiinific ... furnizeaz cele mai promitoare mijloace pentru determinarea relaiei dintre stimul i obiectiv n termenii unor criterii rezonabile (apud. Shadish, Cook i Leviton, 1991, p. 124). Ca urmare, Campbell nu simte nevoia s fac o difereniere ntre evaluare i aplicarea metodologiei din tiinele sociale i mbrieaz convingerea lui Suchman cu privire la metoda tiinific ca fiind optim pentru determinarea rezultatelor
15

Carol Weiss este o autoare care s-a remarcat tocmai prin preocuparea pentru modul n care sunt utilizate rezultatele evalurii i prin preocuparea pentru modul n care evaluatorii pot contribui activ la utilizarea respectivelor rezultate.

unui evaluand. Prin urmare, principala preocupare a scrierilor lui Campbell este perfecionarea instrumentelor de investigare social (n special a experimentului social) astfel nct rezultatele acestora s nu mai fie denaturate de faptul c, n sfera socialului, exist numeroi factori care nu pot fi controlai (Shadish, Cook i Leviton, 1991, pp. 120150). Preocuparea principal a lui Scriven este una diferit de cea a lui Campbell; dac cel din urm era preocupat de perfecionarea metodelor, primul a fost preocupat cu precdere de interesele consumatorilor, de idealurile societale, de bunstarea umanitii i a planetei (Stufflebeam i Shinkfield, 2007, pp. 367-370). Critic al evalurii bazate pe obiective, Scriven nelegea s promoveze interesele i idealurile menionate anterior printr-un model de evaluare care permite emiterea unor judeci de valoare bine fundamentate, pornind de la nevoile consumatorilor, cu privire la rezultatele unui program. Prin accentul pe care l pune asupra valorilor n evaluare i prin interpretarea pe care o are cu privire la obiectivitate n evaluare, Scriven se distaneaz destul de mult de cei din generaia sa i reprezint ntr-o oarecare msur o punte ctre viitoarele sensuri atribuite evalurii. Scriven afirm c obiectivitatea este o caracteristic a lucrurilor care prezint ncredere, a celor care sunt sau pot fi confirmate, dar dac pn la Scriven obiectivitatea nsemna renunarea la valori, pentru Scriven obiectivitatea este stabilirea unui consens ntre mai mult poziii subiective. Un alt element al obiectivitii n sensul atribuit de Scriven l reprezint independena fa de obiectivele programului, autorul afirmnd chiar c este de preferat ca evaluatoarea s nu cunoasc obiectivele evaluandului pentru c aceasta ar echivala cu purtarea unor ochelari de cal (Chen, 1990, pp. 62-63). Scriven se distaneaz de ideea specific generaiei lui conform creia exist o singur descriere corect a unei singure situaii, dar nu abandoneaz ideea conform creia exist o realitate obiectiv, aa cum fac relativitii. Relativismul lui Scriven are un alt sens, acesta afirmnd c este posibil s facem mici ajustri ale descrierilor realitii obiective n funcie de cine sunt beneficiarii acestora, avertiznd n acelai timp c nu trebuie s acceptm descrieri conflictuale ca fiind corecte, aa cum fac relativitii (Stufflebeam i Shinkfield, 2007, pp. 388-389).

Pe lng numeroasele nuane pe care scrierile autorilor din aceast generaie le-au mbrcat, dup cum este i cazul lui Scriven, evaluarea a nceput treptat s treac la o nou interpretare ca urmare a numeroaselor critici aduse sensului pe care generaia anilor 60 l atribuia conceptului de evaluare. Astfel, aceast generaie de evaluare a fost ndelung atacat pentru pretenia de a fi obiectiv, pentru credina n existena unui adevr unic i n posibilitatea de a-l identifica precum i pentru metodele i tehnicile aplicate n investigarea realitii. Una dintre preteniile care au prut printre cele mai nefondate n lumina cunoaterii acumulate ulterior cu privire la evaluare a fost aceea de a nlocui decizia politic. Conform lui Lundquist (apud. Vedung, 2005, p. 263), evaluarea nu poate nlocui decizia politic i nici nu este de dorit s se ntmple aa pentru c, atta timp ct nu putem identifica soluia perfect, trebuie s alegem n funcie de alte criterii - cum ar fi preferinele sau valorile alegere care ntr-o societate democratic se poate face doar prin discuii, compromis i consens. Printre contra-argumentele folosirii experimentului social se numr: imoralitatea desfurrii unui experiment n care subiecii sunt fiine umane; imoralitatea lipsirii unei categorii de ceteni de beneficiile programului evaluat doar pentru c trebuie s creezi un termen de comparaie; informaiile produse prin intermediul experimentului au o arie mult prea ngust pentru a justifica cheltuielile sau pentru a putea trage concluzii cu privire la program ca ntreg (Stufflebeam i Shinkfield, 2007, pp. 175). Un alt element care a dus la renunarea treptat la aceast abordare consta n presupoziiile care stteau la baza acestor cercetri. Una dintre presupoziiile pozitivitilor era aceea conform creia tehnicile de evaluare vor furniza rspunsuri clare cu privire la ce soluii funcioneaz mai bine, dar experimentele i variaiile acestora nu au reuit s furnizeze astfel de rspunsuri. O a doua presupoziie era aceea conform creia, odat identificate, noile soluii vor fi larg rspndite, dar diseminarea i adoptarea nu sunt procese simple, care s urmeze automat dup identificarea soluiei (Shadish, Cook i Leviton, 1991, p. 473). Campbell i Suchman foloseau scopurile programului pentru a formula ipotezele cauzale care apoi erau testate prin experimente, strategie care

utiliza o alt presupoziie care ulterior a fost contestat i anume aceea c programele sunt omogene i au scopuri explicite care pot fi msurate valid i investigate prin intermendiul experimentelor care elimin toate interpretrile nefondate. Toate aceste presupoziii au fost contestate, n special pe baza tezelor lui Kuhn. Aceste critici care in de domeniul filosofiei cunoaterii au avut implicaii foarte mari cu privire la evaluare. Astfel, evaluatorii au nceput s neleag nevoia de a extinde plaja de metode pe care o folosesc n munca lor. De exemplu, au nceput s in cont de utilitatea determinrii la faa locului a elementelor de investigat n ciuda practicii stabilite anterior de a le stabili nainte de a ncepe colectarea de date. O astfel de deschidere ne ajut s identificm rezultatele neanticipate (Guba i Lincoln; Patton), fapt care i-a determinat pe unii s aleag metodele calitative n defavoarea celor cantitative. Azi, evaluatorii nu mai cred c obiectul lor de studiu const din simple legturi cauzale ntre progam i rezultate. Guba i Lincoln acord o importan i mai mic legturilor de cauzalitate ntruct ei consider c oamenii rspund la constructe sociale cu privire la lume, nu la o realitate de sine stttoare, prin urmare nu avem cum s determinm o realitate obiectiv. Oamenii de tiin au demonstrat cum este impregnat de teorie observaia tiinific prin alegerea constructelor, prin definirea acestora, prin elimnarea anumitor elemente din analiz din cauz c nu au relevan teoretic, prin faptul c msurtorile nu reuesc s includ toate componentele, prin faptul c anumitor elemente li se acord o greutate mai mare dect altora i astfel s-au construit noi sensuri ale conceptului de evaluare (Shadish, Cook i Leviton, 1991, pp. 463-465). Acestea sunt ns discuii care vor ajunge la o dezvoltare deplin un pic mai tziu n evoluia conceptului de evaluare, odat cu a patra generaie de evaluare a lui Guba i Lincoln, dar ale cror premise ncep s se dezvolte n anii 70, n a treia generaie de evaluare. A treia generaie de evaluare Dei se distaneaz din anumite puncte de vedere de abordrile anterioare, unii autori din a treia generaie de evaluare pstreaz unele caracteristici ale acestora, dar prin scopurile

pe care consider c trebuie s le aib evaluarea nu pot fi inclui n aceeai categorie. Astfel, Rossi i Freeman pstreaz ncrederea n metodele i tehnicile de investigare social, dar le implementeaz pentru alte scopuri dect identificarea celei mai bune soluii posibile pentru rezolvarea unei probleme: Cercetarea evaluativ reprezint aplicarea sistematic a procedurilor de cercetare social pentru a face estimri cu privire la conceptualizarea, design-ul, implementarea i utilitatea programelor de intervenie social (apud. Vedung, 2005, p. 7). Astfel, dac n cazul generaiilor anterioare accentul era pus pe evalurile sumative16, acum preocuprile pentru evalurile formative17 ncep s prind teren. La fel ca n cazul lui Rossi i Freeman, principala deosebire ntre autorii acestei generaii Cronbach, Weiss, Rossi, Wholey i Stake i generaiile anterioare const n rolul atribuit evalurii, n preocuparea pentru modul n care sunt folosite rezultatele acesteia. Conform lui Shadish, Cook i Leviton (1991, pp. 172, 473-474), strategia de evaluare adoptat de autorii din aceast generaie se bazeaz pe identificarea unei explicaii i generalizarea acesteia asupra unor situaii asemntoare. Cei care adopt aceast strategie de evaluare consider c lumea este complex din punct de vedere ontologic i poate fi cel mai bine descris prin instrumente statistice care pot arta c un anumit efect poate fi prezent n anumite condiii sau absent ori inversat n altele. n al doilea rnd, acetia nu cred n posibilitatea utilizrii imediate a rezultatelor evalurii, aa cum credeau cei din generaia anterioar. De aici decurge i o a treia deosebire ntre cele dou generaii care const n diferenierea obiectului de studiu, n definirea diferit a ceea ce trebuie evaluat. Astfel, cu riscul de a produce mai puin cunoatere cu privire la legturile de cauzalitate, autorii din a treia generaie lrgesc aria de ntrebri i studiaz i alte elemente ale programului cum ar fi implementarea, scopurile, costurile, teoria i presupoziiile care
Evalurile sumative se fac la finalul implementrii programului, ceea ce nseamn c rezultatele acestora sunt folositoare pentru programele viitoare, nu pentru cel n cauz i au drept scop furnizarea unei judeci de ansamblu cu privire la evaluand. Aceste evaluri se concentreaz n principal asupra rezultatelor, motiv pentru care folosesc foarte mult comparaia (Stufflebeam i Shinkfield, 2007, p. 25). 17 Evalurile formative au scopul de a mbunti programele i, prin urmare, nu se pot face n cazul programelor finalizate. Aceste evaluri sunt destul de complexe dac avem n vedere c trebuie s ia n considerare toate componentele unui program pentru a le identifica i corecta pe cele deficiente, motiv pentru care seamn destul de mult cu nite studii de caz (Stufflebeam i Shinkfield, 2007, p. 23).
16

stau la baza acestuia, favoriznd astfel producerea de cunoatere care s ne ajute s stabilim validitatea extern a politicii sau programului respectiv pentru c singurul sens n care putem cerceta un program, conform acestei generaii, nu este acela de a-l mbunti pe el, ci pe cele viitoare. Aceast abordare cu privire la evaluare i la rolul acesteia decurge dintr-o alt poziie teoretic mai general cu privire la politicile publice i, mai ales, la modul n care se iau deciziile cu privire la acestea. De exemplu, Weiss (apud. Radaelli i Bruno, 1996, p. 5556) consider c deciziile nu apar ntr-un anumit un moment astfel nct evaluarea s poat furniza informaii intite, care s informeze procesul decizional. Cu alte cuvinte, situaia de decizie este n continu schimbare, nu o poz fix i, prin urmare, evaluarea nu are cum s se coreleze cu ceva n continu micare.18 Astfel, Weiss ajunge la concluzia c rezultatele evalurii sunt de dorit n sine, nu pentru a servi la altceva i au funcia de a ne lumina. Modalitatea prin care ne lumineaz evaluarea este promovarea de noi concepte i idei, definiri alternative ale problemelor sociale i de noi generalizri mprtite de decideni. Cu alte cuvinte, evaluarea genereaz o dezbatere public mai informat. Astfel, Weiss schimb sensul utilizrii cunoaterii de la abordarea utilizrii imediate, instrumentale la infiltrarea difuz a ideilor n modul n care neleg lumea cei care elaboreaz politici. Rolul atribuit de Weiss unui evaluator este acela al reformistului care, implicit, intr n conflict cu abordarea mai prudent a decidenilor. n condiiile n care decidenii sunt reticeni la inovrile aduse de evaluare, acestea din urm reuesc s ptrund n procesul decizional doar dac sunt mbriate i de ali actori dect cei implicai direct n formularea politicilor publice. n acel moment se creaz o mas critic de susinere a respectivelor idei care duce la scderea reticenei decidenilor i adoptarea noilor idei produse de evaluare. Astfel, rolul evaluatorului se bazeaz mai mult pe influen i persuasiune, nu mai este un fel autoritate epistemic, aa cum era n etapa anterioar.19

Aceast interpretare este nc de actualitate n sensul n care sunt autori care o susin i azi. Vezi Hanberger, 2001, p. 46. 19 Cronbach este unul dintre autorii care ntresc viziunea cu privire la evaluare lansat de Carol Weiss.

18

Aceast generaie de evaluare este ns caracterizat de diferene destul de semnificative ntre autori, n ciuda punctelor de vedere comune. Astfel, Wholey, Patton i Stake nu sunt de acord cu generalizarea rezultatelor evalurii la situaii asemntoare i afirm c prioritatea o constituie programul n cauz. Evaluarea orientat spre utilizare dezvoltat de Patton vizeaz construirea design-ului de evaluare astfel nct rezultatele evalurii s aib impact, adic s influeneze deciziile i aciunile i s mbunteasc programele. Bazele pentru interpretarea rezultatelor evalurii o constituie valorile celor care utilizeaz evaluarea i care sunt implicai activ n interpretarea rezultatelor, iar evaluatorul trebuie s contribuie la clarificarea acestor valori pentru a se asigura c informaia i interpretrile furnizate de evaluare sunt folositoare raportat la scopurile celor care au solicitat-o (Stufflebeam i Shinkfield, 2007, pp. 230233). Teoreticienii evalurii care pun accent pe utilizare sunt ntr-o oarecare msur confundai cu cei care pun accent pe decizie pentru c rezultatele acestor evaluri sunt relevante pentru problemele decizionale, dar n realitate acestea reprezint mai mult. Patton, de exemplu, consider c evaluarea trebuie s fie folositoare celor care au un interes direct n programul respectiv (grupul utilizatorilor primari ai evalurii20), ori aceast precizare extinde categoria beneficiarilor evalurii dincolo de grupul decidenilor (Stufflebeam i Shinkfield, 2007, pp. 431, 434-435). Dup cum afirmam anterior, Stake este de asemenea unul dintre autorii emblematici ai acestei perioade. Acesta a fundamentat evaluarea adaptat la nevoile clientului21 pe definiia evalurii pe care el a atribuit-o lui Scriven: evaluarea este o valoare observat comparat cu un standard (Stufflebeam i Shinkfield, 2007, p. 414). Cele dou abordri nu trebuie ns confundate. Astfel, Stake (apud. Stufflebeam i Shinkfield, 2007, pp. 212213) respinge pretenia de obiectivitate n evaluare argumentnd c nu exist rspunsuri mai bune dect altele i nici valori care s fie preferabile altora, motiv pentru care este de preferat s acceptm subiectivitatea informaiilor pe care le produce evaluarea. Subiectivitatea, n acest context, este uor diferit de sensul comun. Ceea ce vrea s

20 21

Primary users. Clienii sunt cei care solicit evaluarea.

afirme Stake nu nseamn, cum am fi tentai s credem dac lum n considerare sensul comun al termenului, c evaluatorul este prtinitor atunci cnd evalueaz sau c rezultatele sunt trecute prin filtrul propriei voine. Ceea ce ncearc Stake s fac este s se poziioneze de cealalt parte a evaluatorilor care, n numele unei realiti obiective, decid n locul clienilor care sunt acele chestiuni care ar trebui investigate cu privire la program, iau n calcul variabilele pe care ei le consider relevante, etc. Prin urmare, tot ceea ce vrea Stake s spun prin subiectivitate este c evaluatorul investigheaz acele imagini ale realitii decupate de client clientul solicit s fie investigate anumite aspecte n anumite scopuri, nu evaluatorul, dar asta nu nseamn c evaluatorul nu desfoar evaluarea folosind instrumente tiinifice i nu este obiectiv. Ceea ce face, n schimb evaluatorul, fr s i se solicite explicit acest lucru, este s promoveze echitatea i dreptatea, s-i ajute pe cei lipsii de putere, s semnaleze folosirea abuziv a puterii, s-i expun pe cei care fac nedrepti, s chestioneze ceea ce este sigur, s transforme incertitudinea n siguran i s-i ajute ntotdeauna pe oameni s vad lucrurile din puncte de vedere diferite (Stufflebeam i Shinkfield, 2007, p. 213). Abordarea lui Stake implic i un anumit grad de relativism prin aceea c nu urmrete formularea unei concluzii finale rigide, a unui verdict definitiv, ci interpreteaz informaia colectat prin prisma diferitelor valori ale celor implicai, valori care adesea se afl n conflict. Cu aceasta, Stake pune capt unei lungi perioade n care se considera c rezultatele evalurilor reprezint produsul exclusiv al experilor n evaluare (Stufflebeam i Shinkfield, 2007, pp. 404, 407) i face astfel trecerea ctre noua generaie de evaluare, cea de a patra, care se caracterizeaz printr-o schimbare radical a sensului i rolului atribuit evalurii: semnificaia evalurii se schimb de la a da un sens lumii aa cum este ea, la a da un sens modului n care diveri indivizi i grupuri dau un sens lumii (Kushner, 1996, p. 195). A patra generaie de evaluare

Aceast perioad care, cu o mic excepie22, continu pn n prezent, nglobeaz o arie larg de abordri i ar trebui neleas ca un grup de alternative mai degrab dect o abordare unitar, clar i coerent (Hanberger, 2001, p. 47), motiv pentru care n capitolul de fa se vor regsi doar unele dintre abordrile celei de a patra generaii i nu vor fi neaprat prezentate n toat complexitatea lor.23 Reprezentanii acestei etape (de exemplu, Guba i Lincoln; Torgerson; Fischer i Forester; Deleon) pun la ndoial posibilitatea de a analiza fenomenele socio-politice prin separarea faptelor de valori i resping pretenia pozitivist de a fi tiinific precum i posibilitatea de a ajunge la un singur adevr universal valabil prin utilizarea metodelor tiinifice i a logicii. Tot ceea ce se poate obine prin intermediul evalurii este un acord cu privire la imagini ale realitii24 pentru c, din cauza intereselor divergente, exist cte un Adevr pentru fiecare grup sau individ implicat (Connolly et al. apud. Boyne et. al, 2003, p. 14) n evaluand. Un alt motiv pentru care putem ajunge doar la acorduri cu privire la imagini ale realitii este capacitatea cognitiv limitat a omului raportat la complexitatea faptelor. Aceast capacitate cognitiv limitat a fost teoretizat de Simon n articolul A behavioral model of rational choice din 1955. Post-pozitivitii afirm c fenomele sociale precum politicile publice trebuie cercetate din mai multe puncte de vedere i prin metode i tehnici variate pentru c nici una dintre acestea nu este mai bun dect cealalt. Deci, ei nu resping metodele i tehnicile pozitiviste, dar le folosesc diferit i formuleaz concluzii fr pretenia de obiectivitate tiinific, fr pretenia de a putea reduce gradul de incertitudine. Din acest motiv, aceste abordri nu dau soluii-ultimatum, ci i ajut pe cei implicai s neleag procesele evaluandului i le furnizeaz alternative astfel nct acetia s fac o alegere n cunotin de cauz. Pentru a justifica folosirea mai multor metode, post-pozitivitii trebuie s apeleze la o epistemologie pluralist sau relativist (Hanberger, 2001, p. 47; Van Der Knaap, 2004, pp. 27-29).
M refer aici la a cincea generaie de evaluare a lui Caulley, Darrel N. (1993), etap pe care nu o voi detalia din cauza faptului c nu avem de a face cu o abordare distinct bine dezvoltat, ci mai degrab cu o reconsiderare a identitii evaluatorului n interiorul aceluiai corp de teorii, metode i practici cu care suntem deja familiarizai. Mai exact, Caulley vede evaluarea ca un proces de auto-reflecie. 23 Aceast diversitate de abordri i-a determinat pe Hogwood i Gunn i pe Pollitt s afirme c evaluarea este caracterizat de lipsa unor criterii comune de judecare a consecinelor politicilor (apud. Boyne et. al, 2003, p.14). 24 Semnificaii mentale, valori, credine i structuri care dau sens i crora oamenii le dau curs pentru a avea o interpretare cu privire la evenimente, contexte, activiti i situaii care intervin n vieile lor. (Lincoln, 2005 apud. Stufflebeam i Shinkfield, 2007, p. 216)
22

Dup cum afirmam anterior, aceast etap include foarte multe abordri i va trebui s m limitez la cele mai importante.25 Am ales abordarea lui Guba i Lincoln pentru c este reprezentativ pentru accentul pe relativism i pluralism care se va pstra pn n prezent, iar cea de a doua abordare pe care o voi prezenta este evaluarea bazat pe teoria programului a lui Chen pentru c, dup transformarea radical a conceptului de evaluare de ctre Guba i Lincoln, aceasta este printre cele mai inovative. n cartea lor din 1989 numit Fourth Generation Evaluation, Guba i Lincoln i numesc abordarea receptiv constructivist26. Cei doi afirm c abordarea lor este receptiv pentru c preteniile, preocuprile i problematicile celor implicai servesc drept organizatori27, iar termenul de constructivist denot metodologia folosit n evaluare i, n principal, fundamentarea pe paradigma interpretativ, opus celei tiinifice (Guba i Lincoln, 1989, pp. 38-50). De-a lungul timpului, abordarea celor doi a cunoscut mai multe nume, printre care i pe cel de abordare naturalist. O alt caracteristic a acestor evaluri este aceea c se acord o mare importan valorilor, ba chiar afirm c nu este posibil s faci o evaluare oarb la valori i respinge existena posibilitii de a evalua n ntregime un program (Stufflebeam i Shinkfield, 2007, p. 216). Chen se poziioneaz n contradicie cu Guba i Lincoln atunci cnd afirm c o evaluare bun este o evaluare care are o abordare holist, una care are n vedere toate elementele politicii respective (Chen, 2005, p. 9). Chen nu face ns aceast afirmaie cu intenia de a se diferenia de abordarea constructivist, ci pentru a construi o abordare total diferit de cea bazat pe metode. Chen consider c evaluarea bazat pe metode este limitat din mai multe puncte de vedere printre care din cauza faptului c nu poate opera cu mai multe tipuri de validitate n acelai timp. Abordrile evalurii care nu folosesc teoria tind
Imaginea cu privire la acestea se va completa pe parcursul ultimului paragraf n care voi prezenta concret diversele modele de evaluare care decurg din poziia teoretic fa de conceptul de evaluare i fa de metodele i tehnicile adecvate. 26 Responsive constructivist evaluation. 27 Bazele pentru a determina ce informaii sunt necesare i cum vor fi folosite.
25

s devin evaluri ale relaiei dintre input i rezultate, iar politica evaluat rmne ca o cutie neagr despre care nu tim nimic (Lipsey; Bickman; Chen i Rossi). Necunoscnd procesul de transformare a input-urilor n rezultate, nu putem identifica mecanismele cauzale care mpiedic sau favorizeaz obinerea rezultatelor dorite i, prin urmare, nu putem mbunti programul respectiv. Mecanismele cauzale nu sunt singurele elemente care rmn nedesluite n cazul unor astfel de evaluri, ci sunt ignorate elemente care in de contextul organizaional i politic, de relaia dintre intervenia planificat i forma pe care a luat-o aceasta prin implementare, dintre obiectivele oficiale i cele operative i, de asemenea, nu reuete s identifice efectele neintenionate. Primii pai ctre utilizarea teoriei n evaluare au fost fcui de Cronbach care a luat n calcul contextul generat de procesele politice i organizaionale pentru a facilita procesul decizional pluralist (Chen, 1990, p. 18-29). Chen folosete o definiie mai larg a termenului de teorie atunci cnd discut despre teoria programului: un set de presupoziii, principii i propoziii interconectate care explic sau ghideaz aciunile sociale (Chen, 1990, p. 40). Tot Chen mai definete teoria programului i ca o specificare a ceea ce trebuie fcut pentru a atinge scopurile stabilite, la ce alte efecte ne putem atepta i cum vor fi generate aceste efecte i situaii dorite (Chen, 1990, p. 43). Esena evalurii bazate pe teoria programului a lui Chen const n aceea c programul este mprit n componente, se identific teoria care ne spune cum ar trebui s fie componenta respectiv pentru ca programul s fie eficient i apoi se compar componentele programului, aa cum a fost implementat, cu cele prescriptive. Teoriile respective pot fi unele deja existente, unele identificate de cei implicai n formularea programului sau pot fi formulate cu intervenia evaluatorului. Concluzii preliminare n concluzie, conceptul de evaluare a suferit mai multe transformri de-a lungul timpului n jurul a cel puin zece dimensiuni: 1) adoptarea uneia sau alteia dintre teoriile cu privire la cunoatere n general i mai ales cu privire la cunoaterea tiinific; 2) poziia n ceea ce privete metodele i tehnicile de investigare social care servesc cel mai bine

scopurilor evalurii; 3) concepia cu privire la scopul evalurii; 4) rolul atribuit evaluatorului; 5) rspunsul dat la ntrebarea care este obiectul evalurii? (obiectivele, diversele componente ale programului, relaiile de cauzalitate, etc.); 6) concepia cu privire la obiectivitate; 7) concepia cu privire la utilizarea evalurii; 8) modul n care este explicat desfurarea procesului de politici publice; 9) nelegerea cu privire la procesul de luare a deciziilor; 10) criteriile n funcie de care este judecat programul. Astfel, dac lum n calcul anumite dimensiuni, unii autori se regsesc n aceeai categorie, dar pot fi n dezacord din alte puncte de vedere. ns aceasta nu nseamn c putem avea combinaii de zece puncte de vedere luate cte zece pentru c opiunea pe care o abordare o face pe o anumit dimensiune influeneaz opiunea n ceea ce privete marea majoritate celorlalte dimensiuni. Dintre acestea, poate cea mai restrictiv este poziionarea epistemologic. Astfel, dac pleci de la premisa c nu exist un singur adevr/o singur realitate obiectiv, nu poi s-i bazezi cercetarea exclusiv pe metode cantitative, nu poi avea drept scop identificarea celei mai bune politici publice; nu consideri c evaluatorul reprezint autoritatea epistemologic, i nici vreo alt categorie de actori luat separat de restul; ai o nelegere cel puin nuanat cu privire la obiectivitate (dac nu eti chiar subiectivist); crezi n pluralism; eti relativist; evii s formulezi verdicte i dai importan valorilor. Instrumentele de cercetare sunt extrem de influenate de poziionarea epistemologic. Astfel, teoriile existenialiste se bazeaz pe experiena personal, o filosofie exemplificat adesea prin studii de caz... constructivitii nu vor recurge la instrumente de cercetare foarte riguroase i foarte complexe ... sau nu le vor aplica cu strictee... pozitivitii cred n existena unei realiti obiective, a unui adevr absolut i, prin urmare, aplic instrumente sofisticate pentru identificarea acestora (Stufflebeam i Shinkfield, 2007, p. 70). nelegerea acestor dimensiuni pe care s-a construit conceptul de evaluare este important pentru nelegerea modului n care se formeaz un model de evaluare. n funcie de

rspunsul pe care diverii autori l-au dat problemelor din interiorul celor zece dimensiuni28, sau a unora dintre acestea, au luat natere diverse practici de evaluare. n cele ce urmeaz, voi prezenta i alte elemente care au provocat discuii n literatura cu privire la evaluare i care au implicaii practice. Le prezint ns separat pentru c ele nu reprezint neaprat chestiuni al cror rspuns s fie ireconciliabil cu un altul i astfel s duc la generarea unui nou model de evaluare, ci sunt mai degrab mici probleme care au aprut n domeniu i crora trebuia s li se ofere un rspuns pentru ca practica cu privire la evaluare s se rafineze. Astfel, modul n care s-a rspuns la respectivele probleme a avut implicaii practice, dar nu neaprat n sensul generrii de noi strategii de evaluare. PROBLEME ALE PROCESULUI DE EVALUARE Multidisciplinaritate O prim problem care intervine n buna desfurare a unui proces de evaluare decurge din multidisciplinaritatea acestui demers. Acest fapt genereaz dou categorii de dificulti. Prima decurge din faptul c un proiect de evaluare complex trebuie s adune laolalt specialiti care utilizeaz limbaje tiinifice diferite. De exemplu, un expert evaluator trebuie s lucreze cu un expert al ministerului sntii dac evalueaz un program de sntate public, dar evaluatorul nu are pregtire n domeniul sntii, iar expertul din minister nu are cunotine de evaluare. De aici au aprut numeroase discuii cu privire la cine trebuie s fac evaluarea: cineva care are o specializare n evaluare sau cineva care este specialist n domeniul specific evaluandului? Practica i teoria au ntrit ns ideea c evaluarea este o munc de echip, iar echipa nu este necesar numai pentru c domeniile crora li se subscrie evaluandul nu sunt ntotdeauna cunoscute evaluatorilor, ci i pentru c evaluarea n sine presupune o cercetare destul de complex care necesit conlucrarea mai multor specialiti n domeniu. Aici avem de a face cu a doua categorie de dificulti generat de multidisciplinaritatea procesului de evaluare. Astfel, chiar dac

Aceast list nu epuizeaz aria problematicilor n domeniu, dar sunt printre cele mai dezbtute n literatura de specialitate.

28

rezolvm problema necunoaterii domeniului din care face parte evaluandul (de exemplu, politici de sntate, de transporturi, sociale, etc.), rmne problema complexitii instrumentelor tiinifice aplicate n procesul de evaluare i a capacitii unui singur specialist de a le acoperi pe toate. De exemplu, o evaluare nu se poate desfura cu succes fr un buget adecvat, iar un evaluator poate fi perfect capabil s desfoare o evaluare fr a avea neaprat abilitatea de a alctui un buget. Cred ns c cel mai sugestiv lucru pe care a putea s-l fac pentru a ilustra problema pe care tocmai am evideniat-o este s fac o lista foarte scurt a principalilor autori n domeniu i a specializrilor lor de baz: Cronbach psihologia educaiei; Scriven matematic, filosofie, psihologie; Stake matematic, psihologia educaiei; Weiss sociologie, guvernare; Lincoln istorie, nvmnt superior; Patton i Rossi sociologie; etc. Dup cum se poate observa, domeniile dinspre care s-au adus diverse contribuii la evaluare sunt foarte diverse, fr a mai include i categoria acelor autori care nu s-au ocupat de evaluare n mod special, dar ale cror preocupri au avut implicaii asupra evalurii cum au fost Percy Bridgman, care era un fizician preocupat de metodele tiinifice de producere a cunoaterii, sau Thomas Kuhn, care era preocupat de istoria i filosofia tiinei. Concluzia care se desprinde de aici este aceea c evaluarea nu poate fi un proces desfurat de o singur persoan ntruct orice surs de cunoatere are potenialul de a fi legitim i relevant pentru acest demers. Chiar i atunci cnd designul este elaborat de o singur persoan este nevoie de o echip care s desfoare activitile prevzute de designul respectiv. Combinarea metodelor i tehnicilor Am afirmat c orice surs de cunoatere are potenialul de a fi util n procesul de evaluare, i nu c este, pentru c evaluatorul trebuie s fie selectiv n utilizarea diverselor informaii sau instrumente i s-i dea seama care dintre acestea sunt cu adevrat utile pentru situaia respectiv ntruct combinarea ntmpltoare a acestora poate genera erori. Astfel, una dintre cele mai mari surse de eroare o reprezint combinarea mai multor metode pentru c nu exist teorii despre cum pot fi acestea selectate i combinate. n lipsa unor astfel de teorii, evaluatorul trebuie s cunoasc foarte bine filosofia din spatele metodelor i tehnicilor astfel nct s nu ncorporeze abordri conflictuale. Shotland i

Mark (apud. Chen, 1990, p. 26) afirm c rezultatele unor astfel de evaluri sunt dificil de interpretat pentru c diferitele metode rspund la ntrebri diferite i pot astfel genera rezultate contradictorii. Anumite situaii favorizeaz utilizarea metodelor cantitative, iar altele a celor calitative. De exemplu, metodele calitative sunt foarte greu de utilizat atunci cnd cei interesai de un anumit program sunt mprii n multe grupuri cu caracteristici diferite i fiecare dintre aceste grupuri are raportri valorice i opinii diferite cu privire la rolul programului respectiv. De asemenea, utilizarea anumitor metode cantitative cu scopul de a msura eficiena unui program este posibil s fie prematur n raport cu stadiul n care se afl programul n momentul respectiv (Chen, 1990, pp. 26-28).29 Resurse i timp limitate O a treia problem cu implicaii practice pentru procesul de evaluare provine din faptul c, dei este indicat s folosim mai multe metode i tehnici pentru a afla ct mai multe informaii despre ct mai multe dintre aspectele evaluandului, resursele de timp i bani nu permit acest lucru. Ci bani sunt prea muli? n primul rnd, evaluarea nu trebuie s coste mai mult dect evaluandul. Dincolo de acest aspect, este greu de stabilit reguli. Ct timp este prea mult? Aceasta depinde de scopul n care este fcut evaluarea, dar n general ea trebuie corelat cu scopul respectiv. Astfel, dac o evaluare este fcut cu scopul de a determina dac resursele prevzute de programul respectiv sunt suficiente astfel nct programul s poat fi mbuntit pe parcurs, rezultatele evalurii nu pot veni dup ce s-a ncheiat programul. Implicaiile pentru procesul de evaluare ale faptului c resursele de timp i bani sunt limitate constau ntr-un compromis ntre rigoarea tiinific i utilitate, ceea ce nseamn c metodele i tehnicile sunt ajustate i nu se aplic aa cum sunt ele formulate n teorie (Hanberger, 2001, pp. 45-62). Rolurile multiple ale evaluatorului

Modul n care caracteristicile evaluandului se coreleaz cu metodele i tehnicile folosite va fi abordat mai pe larg n capitolul doi al acestui volum, scris de Hncean.

29

Glasman (apud. Geva-May i Pal, 1999, p. 260) afirm c evaluatorilor li se pretinde s fie n acelai timp att neutri i tiinifici ct i pe ct posibil de folositori actorilor politici. n plus, pe lng relaiile complexe pe care evaluatoarea le are cu mediul n care are loc evaluarea, ea este pus n situaia de a avea roluri diferite chiar n interiorul procesului de evaluare. De exemplu, i se poate solicita s fac parte din echipa care elaboreaz intervenia respectiv i s contribuie la dezvoltarea teoriei programului respectiv. n aceste cazuri, evaluatoarea trebuie s evite s-i impun propriile valori sau idei de intervenie, chiar dac este implicat n faza de formulare a programului. Rolul acesteia este acela de a sugera celor responsabili cu formularea programului care sunt chestiunile care trebuie discutate n astfel de situaii, care sunt opiunile acestora, trebuie s sintetizeze rezultatele discuiilor i s contribuie la stabilirea consensului n interiorul echipei cu privire la componentele programului (Chen, 2005, pp. 63-67). Dup cum afirma Patton (apud. Stufflebeam i Shinkfield, 2007, p. 232), n funcie de circumstane, de modul n care clienii vor s foloseasc evaluarea, evaluatorul joac mai multe roluri: trainer, planificator, negociator, facilitator, coleg, expert extern, analist, purttor de cuvnt, mediator sau expert n statistic. Multiplele roluri pe care le poate juca un evaluator ridic dou tipuri de probleme. Atunci cnd dou sau mai multe dintre aceste roluri au potenial de a intra n conflict, aa cum arat Glasman, evaluatorul trebuie s fie nu numai un bun profesionist, ci i s posede mult tact, s tie cum s ridice i rezolve probleme cu mult diplomaie. Chiar dac rolurile nu sunt n conflict, multitudinea rolurilor este n continuare problematic ntruct fiecare dintre acestea necesit dezvoltarea unor abiliti distincte de celelalte i care, n plus, nu sunt direct legate de pregtirea n domeniul evalurii. De exemplu, pentru a fi un bun trainer, evaluatorul are nevoie de abiliti pedagogice, iar pentru mare parte din rolurile enumerate de Patton este nevoie de abiliti de comunicare. Pentru ca lucrurile s fie i mai complicate, unele dintre aceste abiliti nu pot fi nvate ca atare, ele trebuie deprinse prin experien de exemplu, cele necesare pentru negociere i mediere. Toate aceste problematici care graviteaz n jurul rolurilor pe care le poate avea o evaluatoare n procesul de evaluare sunt importante din punctul de vedere al practicii

pentru c lipsa abilitii de a jongla cu toate aceste roluri afecteaz calitatea evalurii, chiar dac din punct de vedere teoretic design-ul evalurii este gndit dup toate regulile. Cum multe dintre aceste abiliti nu pot fi nvate ca atare, aa cum nvm o poezie dintr-o carte, putem afirma c evaluarea este o art.30 Riscul de a evalua altceva dect ceea ce este implementat Una din situaiile n care poate interveni acest risc este aceea n care evaluatorul nu are abilitatea de a opera cu distincia dintre scopurile oficiale i cele operative, care de asemenea implic art. Acest risc nu este unul permanent ntruct de obicei scopurile operative le reflect pe cele oficiale, dar evaluatorul trebuie s fie atent i s disting cazurile n care programul i asum explicit anumite scopuri, dar prin aciunile implementate urmrete altele (Chen, 1990, pp. 174-176). Exist mai multe cauze care duc la ndeprtarea scopurilor operaionale de cele oficiale (Chen, 1990, 176-180). Una dintre acestea este reprezentat de faptul c scopurile oficiale constituie o strategie de generare a consensului. Din acest motiv, ele sunt vagi i nobile. Din contr, scopurile operative implic detalii despre alocarea resurselor i compromisuri valorice. Fiind specifice, detaliate, scopurile operative accentueaz conflictele dintre diferitele interese. O a doua cauz care provoac diferenierea scopurilor oficiale de cele operative o constituie factorul uman; mai precis, a managerilor programului sau a celor care implementeaz programul. Factorul uman are o importan deosebit n cazul politicilor complexe n care la vrful ierarhiei publice se decide ndeplinirea unui scop, dar se las decizia cu privire la modul n care va fi atins acel scop n seama ierarhiilor inferioare. Astfel, modul n care acetia neleg s operaionalizeze decizia luat la vrf poate schimba complet sensul deciziei iniiale. A treia cauz const n factorii de mediu i datele de zi cu zi din desfurarea programului. Astfel, conform lui Kress, Kochler i Springer (apud. Chen, 1990, pp. 179-180), prini n situaiile spontane care apar pe parcursul implementrii programului i n ncercarea de a le face fa, este posibil s se piard din vedere direcia n care ar trebui s mearg programul.

Pentru mai multe detalii despre art n analiza politicilor publice, vezi Wildavsky, Speaking Truth to Power: The Art & Craft of Policy Analysis.

30

O alt situaie n care poate interveni riscul de a evalua altceva dect ceea ce este implementat este aceea n care nu sunt dezvluite inteniile programului. Acest lucru se poate ntmpla fie pentru c se dorete evitarea opoziiei, fie pentru c se consider c sunt evidente. n aceste cazuri, evaluatoarea trebuie s ncerce s reconstruiasc teoriile ascunse care au ghidat deciziile i aciunile (Van Der Knaap, 2004, p. 26). O alt situaie care poate aprea este aceea n care sunt dezvluite inteniile programului, dar acestea nu sunt cele reale. Cum politicile publice trebuie legitimate de o manier democratic, adesea unii dintre actorii respectivi fac parte din clasa politic. n aceste cazuri, evaluatorul trebuie s in cont de faptul c opiniile politicienilor nu sunt ntotdeauna convingeri reale cu privire la un set optim de aciuni, ci pot fi generate de un set de obligaii. De exemplu, atunci cnd propune un set de obiective, este posibil ca un politician s nu aib n minte neaprat ceea ce este dezirabil, ci un set de instrumente de implementare pe care vrea s le aplice i s-i formuleze obiectivele astfel nct acestea s aib nevoie de instrumentele respective pentru a fi atinse. Acest mod de abordare poate denatura programul i de aceea este util ca evaluatorul s elaboreze un memorandum sau o cart alb care s fixeze obiectivele astfel nct acestea s nu fie denaturate pe parcursul formulrii politicii (Van Der Knaap, 2004, p. 18). Manipularea Acest fenomen se poate manifesta n ambele direcii evaluatorul poate fi manipulat, dar i el poate manipula. De ambele pri, formele de manipulare sunt foarte variate i voi prezenta doar cteva dintre acestea. De exemplu, evaluatorul trebuie s fie foarte atent atunci cnd face evaluri ale personalului unui program pentru c risc s intre ntr-o situaie n care directorul de program sau un alt oficial al programului ncearc s scoat castanele din foc cu mna evaluatorului (Stufflebeam i Shinkfield, 2007, pp. 117-124). Cu alte cuvinte, evaluatorul trebuie s aib grij s nu fie el acela care indic cine este i cine nu este competent sau

cine i-a fcut sau nu treaba. Ceea ce poate face evaluatorul este, de exemplu, s se asigure c: directorul programului are un sistem de evaluare a personalului bine pus la punct sau s l ajute s-l construiasc; programul are suficient personal; s-au trasat sarcini clare i au sprijin adecvat pentru a-i ndeplini sarcinile; se lucreaz n echip; sunt evaluai permanent; primesc o reacie n urma acestor evaluri permanente; sunt supervizai corect i sunt recompensai pentru munca lor. Tot printre situaiile n care evaluatorul este manipulat avem i ceea ce Stufflebeam i Shinkfield (2007, pp. 152-154) numesc evaluarea ca pretext i care se refer la acel tip de evaluare n care clientul i ascunde evaluatorului adevratele motive pentru care a solicitat evaluarea. Aceast capcan pe care clientul o poate ntinde evaluatorului este unul dintre motivele pentru care n practica evalurii s-au stabilit standarde precum: evaluarea trebuie s prezinte n egal msur rezultate pozitive i negative sau evaluatorul trebuie s in cont de nevoile tuturor celor implicai. Pentru a nelege mai bine ce se poate ntmpla, m voi folosi de un exemplu dat de cei doi autori: un director nou-numit a cerut unui evaluator s identifice doar punctele slabe ale programelor care se defurau n acel moment n institut afirmnd c dorete s le mbunteasc. Evaluatorii au czut n capcan i au elaborat un raport care ignora punctele tari ale programelor respective i le meniona doar pe cele slabe, conform dorinei noului director. Odat raportul prezentat, noul director l-a folosit pentru a argumenta c programele respective reprezentau un eec i a luat decizia de a le opri i nlocui cu altele noi. Aceasta era de fapt intenia real a noului director nlocuirea programelor existente i nu mbuntirea acestora, cum declarase. Dac ns evaluatorii ar fi respectat standardul de a prezenta n egal msur aspecte pozitive i aspecte negative, planurile noului director nu ar mai fi fost att de uor de mplinit, sau nu cu ajutorul evaluatorilor. Exist ns i situaii n care evaluatorul i clientul sunt complici i ambii i manipuleaz pe cei care se informeaz cu privire la rezultatele evalurii. Clienii pentru c sunt interesai de modul n care este perceput politica respectiv, iar evaluatorul pentru c dorete s i creeze astfel o oportunitate pentru viitoare contracte. Interesele evaluatorului pot fi mai complexe de att, mai ales dac nu avem de a face cu un

evaluator privat, ci cu o agenie public specializat. Cea mai puin vinovat dintre aceste situaii este aceea numit de Stufflebeam i Shinkfield (2007, p. 154) capacitare deghizat ca evaluare i reprezint acele situaii n care se solicit expertiza unui evaluator extern care s dea gir unei evaluri interne. Astfel, echipa de evaluare este format chiar din cei care sunt evaluai, iar evaluatorul extern i coordoneaz. Aceast procedur d impresia c are loc o evaluare extern, dar de fapt cei evaluai scriu rapoarte despre ei nii. Evalurile interne nu sunt lipsite de valoare pentru c acestea i pot ajuta pe cei implicai s corecteze programul, dar trebuie s poarte eticheta de evaluare intern astfel nct cei care i consult rapoartele s le poat interpreta corect. Problema cu evaluarea care capaciteaz nu const n aceea c n realitate este o evaluare intern, ci n faptul c d impresia c este extern. Diferena de nuan este foarte important pentru c evaluarea intern este fcut astfel nct s satisfac nevoile de informare ale celor care implementeaz programul i, prin urmare, poate pune mai puin accent pe rezultate. Pe de alt parte, atunci cnd vizeaz msurarea rezultatelor, evaluarea intern trebuie anunat ca atare pentru ca cel care citete rapoartele s poat avea propria interpretare cu privire la obiectivitatea rezulatelor. Exist ns i situaii, aa-zise de evaluare, n care rezultatele sau msura n care acestea sunt pozitive sau negative sunt decise nainte de a ncepe evaluarea (Stufflebeam i Shinkfield, 2007, pp. 146-150). Astfel, exist dou situaii n care sunt prezentate doar aspectele pozitive. Prima este reprezentat de studiile inspirate din relaiile publice care prezint doar punctele tari, uneori le exagereaz, i trec cu vederea punctele slabe. Acestea mai poart i numele de: marketing ideologic; publicitate; informri comerciale. A doua situaie este reprezentat de studiile controlate politic care difer de primele n principal prin categoria de clieni i prin natura evaluandului. Dup cum spuneam, exist i cazuri n care nu numai c este stabilit tonul rezultatelor evalurii (pozitiv sau negativ), ci chiar este stabilit coninutul acestora, iar sarcina evaluatorului este aceea de a identifica argumente care s susin concluziile respective. Date fiind toate aceste probleme - i multe altele care nu i-au gsit spaiul n acest paragraf, dar care vor fi sugerate n oarecare msur n continuare - literatura referitoare

la etica evaluatorului i la capacitatea acestuia de a gestiona acest proces a generat formularea unor standarde care s reglementeze activitatea de evaluare. Respectarea acestor standarde are efecte directe asupra formei practice pe care o mbrac evaluarea, motiv pentru care le voi prezenta n completarea acestui paragraf. Standardele practicii evalurii31 Aceste standarde au aprut n perioada 1980-1990, dar nc mai pot fi ajustate n funcie de problemele nou-identificate. Stufflebeam i Shinkfield prezint standardele Joint Committee on Standards for Educational Evaluation care, dei vizeaz domeniul educaional, pot fi aplicate i n alte contexte, pe cele ale American Evaluation Association i standardele de audit ale General Accounting Office al guvernului SUA. Cele trei seturi de standarde prezentate nu se exclud reciproc; fiecare evaluare, n funcie de situaia respectiv, le poate folosi n diverse combinaii (Stufflebeam i Shinkfield, 2007, pp. 85-110). Deoarece capitolul de fa vizeaz explicarea fundamentelor teoriei i practicii evalurii, nu am s fac referire la standardele dintr-un domeniu specific cum este cel n care acioneaz General Accounting Office al guvernului SUA, ci am s le prezint pe cele ale Joint Committee, care au o arie larg de aplicabilitate chiar dac fac referire la educaie i pe cele ale American Evaluation Association. Cunoaterea acestor standarde este util mai ales n contextul dezbaterii despre elaborarea unui cod etic al evaluatorului n Romnia.32 Standardele, n numr de 30, ale Joint Committee sunt grupate n funcie de patru atribute eseniale: utilitate, fezabilitate, integritate i acuratee. Utilitatea face referire la faptul c evalurile ar trebui s satisfac nevoile de informare ale clienilor i ale tuturor celor care au dreptul s cunoasc rezultatele i ar trebui s fie de folos proceselor de mbuntire a programului. Standardele grupate sub acest atribut stabilesc ca: evaluatorul s ia n considerare toate nevoile existente n raport cu respectivul evaluand; evaluatorii s aib un comportament etic i profesional pentru c asta influeneaz modul n care sunt
Aceste standarde reprezint i criterii pentru desfurarea unei metaevaluri. Cu alte cuvinte, o metaevaluare verific dac o evaluare a respectat aceste standarde. 32 Vezi Cerkez, . - n acest volum.
31

receptate rezultatele evalurii; informaia colectat s fie variat ca s acopere toate interesele de cercetare; evaluatorul s-i susin judecile de valoare prin aducerea la cunotina beneficiarilor evalurii a modalitii prin care s-a ajuns la respectivele concluzii; rapoartele s fie pe nelesul beneficiarilor, dar i foarte la obiect; rapoartele i datele s fie furnizate nainte de a se lua deciziile pentru care au fost solicitate; procesul de evaluare s se desfoare de aa manier nct clienii s poat beneficia la maxim de acesta (Stufflebeam i Shinkfield, 2007, p. 90). Astfel, dei sunt grupate sub criteriul utilitii, putem observa c modul n care sunt formulate aceste standarde reflect n mare msur principiile unei societi democratice bazate pe pluralism, informare i legitimitatea deciziilor. Criteriul fezabilitii impune ca evaluarea s presupun proceduri operabile n mediul respectiv; s nu ntrerup i impedimenteze programul; s controleze forele politice care vor s o influeneze; nu trebuie s coste foarte mult i trebuie s fie realist, prudent, diplomat i viabil din punct de vedere politic (Stufflebeam i Shinkfield, 2007, p. 88). Cu alte cuvinte, evaluarea nu trebuie s interfereze cu desfurarea programului, acesta nu trebuie s fie distorsionat pentru c este evaluat. Integritatea impune ca evaluarea s se desfoare pe baza unor acorduri clare, scrise care s defineasc obligaiile fiecreia dintre pri (Stufflebeam i Shinkfield, 2007, pp. 8891). De exemplu, un client nu se poate atepta ca o evaluare s reflecte corect realitatea dac refuz s pun la dispoziie informaiile necesare evalurii. De asemenea, evaluarea trebuie s in cont de drepturile i demnitatea tuturor prilor implicate, iar rezultatele trebuie s fie oneste i nedistorsionate. De exemplu, evaluatorului nu i este permis s supun la interogatoriu personalul programului pentru a afla diverse informaii sau s in discursuri moralizatoare cuiva din echipa de implementare pentru c a greit ceva. Rapoartele trebuie s conin n egal msur puncte tari i puncte slabe (am artat mai devreme ce se poate ntmpla dac nu este respectat acest standard) i trebuie s existe n prealabil acorduri cu privire la msura n care ele vor fi fcute publice. De exemplu, dac o companie privat dorete s in secrete rezultatele evalurii fcute asupra propriei companii, are tot dreptul s o fac atta timp ct l anun i pe evaluator cu privire la

acest lucru (pentru c evaluatorul poate fi tentat s le fac publice n scopuri tiinifice, de exemplu). n cazul unor programe i politici publice, dezvluirea sau nu a rezultatelor evalurii este o chestiune extrem de sensibil pentru c, mai ales n cazul n care rezultatele nu sunt bune, managerii publici sunt tentai s nu fac publice aceste evaluri, dar rspunsul nu este la fel de simplu ca n cazul sectorului privat. Programele i politicile publice sunt fcute cu bani publici, iar evaluarea acestora se face tot cu bani publici i, prin urmare, pstrarea n secret a rezultatelor pune probleme de etic att pentru cei care impun acest lucru ct i pentru evaluator. De asemenea, evaluatorul trebuie s gestioneze onest i eficient resursele alocate evalurii. Acurateea se refer la o serie de proceduri care operaionalizeaz de fapt profesionalismul cu care este desfurat evaluarea precum: documentarea temeinic cu privire la program; documentarea temeinic cu privire la context astfel nct s poat fi identificate eventuale influene ale acestuia asupra programului; scopurile i procedurile evalurii ar trebui monitorizate i descrise suficient de detaliat astfel nct acestea s poat fi identificate n practic i estimate; sursele de informare ar trebui s fie fcute cunoscute astfel nct s poat fi estimat validitatea informaiei; procedurile de colectare a informaiei ar trebui selectate, dezvoltate i implementate astfel nct informaia respectiv s constituie o baz solid pentru validitatea interpretrii; informaia colectat trebuie revizuit permanent astfel nct s poat fi depistate eventualele erori; concluziile trebuie s fie justificate pentru ca cei care beneficiaz de pe urma lor s le poat judeca; rapoartele trebuie s fie impariale; procesul de evaluare i rezultatele acestuia trebuie la rndul lor evaluate, proces care poart numele de metaevaluare (Stufflebeam i Shinkfield, 2007, pp. 89-93). American Evaluation Association a elaborat cinci seturi de standarde (Stufflebeam i Shinkfield, 2007, pp. 96-97). Conform primului standard, evaluatorii desfoar cercetri sistematice, bazate pe date i, prin urmare, ar trebui: s foloseasc cele mai nalte standarde tehnice adecvate metodelor folosite; s discute cu clientul punctele tari, dar i pe cele slabe cu privire la diverse abordri ale evalurii; s comunice i celorlali

abordarea, metodele i limitele evalurii n cauz astfel nct acetia s i poat nelege, interpreta i critica munca. Evaluatorii furnizeaz expertiz i, prin urmare, ar trebui: s se asigure c echipa de evaluare deine competenele necesare unei astfel de cercetri i s fie sensibili la caracteristicile culturale ale grupurilor cu care interacioneaz. Evaluatoarele au un comportament onest i ncearc s imprime aceast caracteristic ntregului proces de evaluare, motiv pentru care ar trebui: s negocieze onest cu clienii costurile, sarcinile, limitele metodologiei, amploarea rezultatelor i folosirea datelor; s fac cunoscute eventualele relaii care ar putea genera conflicte de interese nainte de semnarea contractului; s nregistreze, raporteze i argumenteze toate schimbrile intervenite n privina modului n care se desfoar evaluarea, incluznd posibilele efecte ale acestor modificri; s fac n aa fel nct propriile interese i valori cu privire la evaluare, dar i cele ale clienilor s fie explicite; s declare de unde provine suportul financiar pentru evaluare i cine a solicitat evaluarea. Evaluatorii respect securitatea i demnitatea celor care furnizeaz informaii, particip la program, solicit evaluarea sau pur i simplu sunt afectai de desfurarea programului respectiv i, prin urmare, ar trebui: s neleag n detaliu contextul; s respecte practicile cu privire la confidenialitate i consimmnt informat; s ncerce s maximizeze beneficiile i s evite s fac ru participanilor pentru a asigura buna desfurarea a evalurii; atunci cnd este cazul, s stimuleze echitatea social astfel nct cei care contribuie la procesul de evaluare s beneficieze de pe urma acestuia; s neleag, s respecte i s in cont de diferenele de cultur, religie, vrst, etnie, orientare sexual i capaciti fizice ale celor cu care intr n contact. Evaluatorii iau n calcul diversitatea intereselor i valorilor publice i ar trebui: s in cont nu numai de rezultatele i aciunile imediate ale evalurii, dar i de implicaiile i posibilele efecte secundare ale acesteia; s disemineze informaia obinut prin evaluare i s o prezinte pe nelesul celor care nu sunt specialiti n domeniu, onornd n acelai

timp promisiunile de confidenialitate; s menin un echilibru ntre satisfacerea nevoilor celor care solicit evaluarea i satisfacerea nevoilor celor care sunt afectai de program; s in cont de binele i interesul public, dincolo de interesele particulare ale celor care au solicitat evaluarea astfel nct s nu fie afectat bunstarea societii ca ntreg. Dup cum putem observa n urma celor prezentate att n acest paragraf ct i n cel anterior, evaluarea reprezint un demers foarte complex care ridic mai multe categorii de probleme, iar n interiorul acestor categorii de probleme sunt nc i mai multe nuane ale acestor probleme care caut un rspuns fie de natur teoretic, fie practic, fie ambele. M voi opri ns aici cu prezentarea i explicarea problemelor specifice unui demers de evaluare cu precizarea c rspunsurile la acestea constituie de fapt componente ale modelelor de evaluare care vor fi prezentate n urmtorul paragraf. MODELE DE EVALUARE Modelele reprezint concepia idealizat a unui teoretician al evalurii cu privire la modul n care se evalueaz un program (Stufflebeam i Shinkfield, 2007, p. 63). Exist foarte mult modele ale procesului de evaluare, dar fiind complexe, nu pot fi prezentate ntr-un paragraf. Avnd ns n vedere scopul asumat al acestui capitol de a reprezenta un ghid pentru cei care urmresc o viziune succint, dar de ansamblu, asupra domeniului precum i pentru cei care caut un punct de plecare n aprofundarea acestuia, consider util prezentarea unor modele de evaluare. n plus, prezentarea unor modele de evaluare are rolul de a ilustra consecinele practice ale poziiilor teoretice menionate n primul paragraf i ale problemelor prezentate n cel de al doilea. Prezentarea va fi destul de pragmatic ntruct va urmri s rspund la ntrebarea ce fac evaluatorii atunci cnd evalueaz i va lsa de o parte discuiile mai abstracte cu privire la filosofia din spatele modelului, etc. Am ales s prezint evaluarea bazat pe teorie a lui Chen i modelul CIPP al lui Stufflebeam ntruct sunt dou modele contemporane, foarte cunoscute i care,

lucru specific abordrilor contemporane, nglobeaz tot ceea ce creatorii lor au considerat mai bun din ntreaga istorie a evalurii.33 Evaluarea bazat pe teoria programului - Chen Design-ul i implementarea unei intervenii sunt bazate de obicei pe un set de presupoziii explicite sau implicite ale celor implicai cu privire att la aciunea adecvat pentru rezolvarea unei probleme sociale ct i la motivele pentru care problema n cauz va fi influenat de respectiva aciune. Analiza presupoziiilor explicite i implicite care stau la baza unui program se numete teoria programului Teoria programului conine att presupoziii descriptive - acele procese cauzale care stau la baza aciunilor unui program ct i prescriptive - acele componente i activiti pe care cei n cauz le consider necesare pentru asigurarea succesului programului (Chen, 2005, pp. 16-19; Chen, 1990, pp. 37-51). Aceste dou seturi de presupoziii fac referire la componente ale programului; prin urmare, exist tot attea teorii despre un program pe cte componente are acesta (Chen, 1990, pp. 52-54). Construirea teoriei programului este o activitate fundamentat pe valori, definite ca idei sau interpretri cu privire la ceea ce ar trebui s fie. n funcie de valorile care stau la baza unui program, vor fi generate diferite teorii ale programului; unul i acelai program poate avea a teorie dac aceasta pornete de la valorile evaluatorului i alta dac se au n vedere valorile celor implicai n program. (p.58) Apare astfel ntrebarea ce seturi de valori ar trebui s fie luate n considerare atunci cnd se formuleaz teoria programului: ale evaluatoarei, ale celor care au un interes n politica respectiv sau ambele? (Chen, 1990, pp. 57-58) Setul de presupoziii descriptive constituie raionamentul/logica programului sau modelul de schimbare care are urmtoarele componente: scopuri i rezultate; factori determinani (foarte rar, acetia sunt deja identificai de cunoaterea i teoriile preexistente; cel mai adesea, acetia trebuie ns identificai de cei care elaboreaz politica); intervenie/tratament (aceasta are rolul de a induce modificri asupra factorilor determinani astfel nct acetia s produc alte rezultate) (Chen, 2005, pp. 20-22).
33

A nu se nelege c cele dou modele sunt similare Stufflebeam este unul dintre criticii lui Chen.

Indiferent dac unui evaluator i se cere ajutorul n formularea programului sau doar evalueaz, el este pus n situaia de a identifica sau reconstrui teoriile care stau la baza acestuia. Prin urmare, acesta are nevoie de strategii pentru formularea raionamentului/logicii programului: 1. Colectarea de date despre nevoile comunitii, caracteristicile grupului int i opiniile implementatorilor i ale clienilor cu privire la intervenia respectiv. Metodele de cercetare aplicate n aceste cazuri sunt chestionarele, focus grupurile i interviurile. (Chen, 2005, pp. 76-77) 2. Facilitarea conceptualizrii are loc prin workshop-uri sau interviuri intensive; stabilirea metodelor de teoretizare (alegerea tipului de raionament); stabilirea factorilor determinani n funcie de tipul de teorie a programului34 i prin alegerea interveniilor care influeneaz factorii determinani n funcie de misiunea i filosofia organizaiei respective, de resursele acesteia, de justificarea teoretic i de dovezile empirice existente cu privire la validitatea interveniei vizate (Chen, 2005, pp. 79-88). 3. Testarea relevanei factorilor determinani i a interveniei propriu-zise. Nu numai tipul de teorie a programului este relevant n selectarea factorilor determinani, ci i anumite elemente care in de context i de caracteristicile grupului int. De exemplu, n teorie informarea cu privire la metodele contraceptive pare un factor determinant plauzibil pentru influenarea numrului de sarcini nregistrate la adolescente, dar n lumea real poi s descoperi c, de fapt, adolescentele cunosc aceste metode i c factorii determinani sunt alii cum ar fi refuzul de a apela la aceste metode sau dificultatea de a le procura. La fel ca n cazul selectrii factorilor determinani, i selectarea interveniei

Dac teoria programului este o teorie tiinific deja existent sau este extras din cunoaterea acumulat n domeniul respectiv, atunci factorii determinani sunt deja cunoscui i preluai ca parte a programului. ns, cel mai adesea nu exist o astfel de teorie tiinific sau cunoatere, iar evaluatorii trebuie s i ajute pe cei care formuleaz programul s identifice factorii determinani. n aceste cazuri, evaluatorul trebuie s se asigure mai nti c cei implicai neleg conceptul de factor determinant i s le furnizeze exemple de astfel de factori astfel nct s le faciliteze nelegerea. Dac exemplele nu sunt suficiente, atunci trebuie s apeleze la termeni sinonimi precum cauzele problemei, bariere sau facilitatori. Al doilea pas este acela de a-i ruga s dea exemple de factori pe care ei i consider importani pentru programul respectiv, dup care rolul evaluatorului este acela de a analiza aceti factori prin prisma resurselor programului. Urmtorul pas este ca cei implicai s selecteze lista final a acestora (Chen, 2005, pp. 85-86)

34

propriu-zise trebuie s fie sensibil la caracteristicile grupului int pentru c un tip de intervenie care a funcionat ntr-o cultur poate fi considerat ofensator n alta. (Chen, 2005, pp. 89-90) Setul de presupoziii prescriptive constituie planul programului sau modelul de aciune care are urmtoarele componente: stabilirea protocoalelor de intervenie i furnizare a serviciului (protocolul de intervenie stabilete natura, coninutul i activitile unei intervenii, iar cel de furnizare a serviciului vizeaz cine beneficiaz de intervenia respectiv, care sunt responsabilitile personalului de implementare; n ce mediu va fi furnizat serviciul respectiv i canalele de comunicare dintre implementatori i grupul int); stabilirea organizaiilor responsabile cu implementarea (trebuie aleas cea mai bun organizaie, dar n sectorul public este de obicei una singur; dac aceasta nu are capacitatea s implementeze programul respectiv, atunci aceast capacitate trebuie construit prin training-uri, transfer de tehnologie i angajarea de experi i consultani); recrutarea i pregtirea persoanelor responsabile cu implementarea programului; stabilirea organizaiilor asociate sau a partenerilor din comunitate; obinerea consensului la nivelul mediului n care se desfoar programul cu privire la acesta; identificarea, recrutarea i servirea grupului int (Chen, 2005, pp.23-27). La fel ca n cazul modelului de schimbare, i n cazul modelului de aciune, evaluatorul are nevoie de strategii de formulare a acestuia: 1. Cercetarea formativ. Se urmrete colectarea datelor necesare pentru a rspunde la urmtoarele ntrebri: Ce factori i descurajeaz pe membrii grupului int s participe la program? Ce componente ar trebui s conin protocolul de intervenie? Ce mod de livrare a interveniei ar fi acceptabil pentru grupul int?35 Organizaia propus pentru

Stabilirea modului de livrare a interveniei este foarte important pentru succesul programului. S lum ca exemplu un program care i propune s ofere asisten mamelor singure care lucreaz n vederea rezolvrii problemelor specifice copiilor din astfel de familii. n acest caz, un mod de livrare defectuos ar fi punerea la dispoziia acestora a unui consilier psihologic care lucreaz de luni pn vineri ntre orele 9.00 i 16.00. Evident, numrul mamelor care lucreaz i care ar putea s apeleze la respectivul consilier n orarul stabilit este foarte mic.

35

implementare are capacitatea necesar? Ce training-uri vor fi necesare pentru cei responsabili cu implementarea? (Chen, 2005, p. 97) 2. Facilitarea conceptualizrii. Primul pas pe care trebuie s l fac evaluatorul este s estimeze importana pe care componentele modelului de aciune (grupul int, protocoalele de intervenie i implementare, indivizii i organizaiile responsabile cu implementarea, organizaiile cu atribuii n domeniu, partenerii din interiorul comunitii i contextul) o au pentru program (Chen, 2005, pp. 98-99). 3. Testarea pilot. Rezultatele testelor pilot nu trebuie considerate dovezi ale faptului c programul va fi eficient, ci trebuie folosite doar n scopul mbuntirii programului. Testarea pilot are rolul de a proba rapid toate componentele programului astfel nct s poat fi identificate i corectate eventualele disfuncionaliti. Astfel, testarea pilot ne poate ajuta s identificm dac intervenia este suficient de intens astfel nct s produc o schimbare sau dac implementatorii ntmpin dificulti n desfurarea activitilor. (Chen, 2005, pp. 119-124) 4. Consilierea. n acest caz, evaluatorii nu fac o cercetare, ci formuleaz comentarii pe marginea programului care se fundamenteaz pe experiena lor n domeniu. Atunci cnd au n vedere logica programului, evaluatorii urmresc dac programul specific grupul int i explic intervenia, factorii determinani, rezultatele i scopurile; dac aceste elemente sunt justificabile; dac relaia pe care programul o presupune a exista ntre aceste elemente este plauzibil i dac au fost aplicate proceduri care s asigure nelegerea corect i consensul cu privire la logica programului de ctre toi cei afectai de acesta. Atunci cnd au n vedere planul programului, evalutorii urmresc dac organizaia responsabil cu implementarea are capacitatea necesar, este suficient de sensibil la cultura i nevoile grupului int, a alocat suficiente resurse; dac exist protocoale de intervenie i implementare; dac s-au stabilit calificrile pe care trebuie s le aib indivizii responsabili cu implementarea i ce s-a fcut pentru ca acetia s fie pregtii; dac au fost identificate organizaii partenere i au fost elaborate strategii pentru a lucra cu acestea; dac contextul este favorabil programului; dac au fost stabilite criteriile de selectare a grupului int i strategiile de a-l atinge. (Chen, 2005, pp. 125127)

Dintre toate aceste componente, consider c cel mai util n cazul de fa este s detaliez evaluarea bazat pe teorie a rezultatelor. Aceasta prezint avantajul de a identifica efectele pozitive i negative neintenionate ale programului. Exist trei tipuri de evaluare a rezultatelor bazat pe teorie: evaluarea care pornete de la mecanismul de intervenie i care se centreaz pe mediere; evaluarea care pornete de la mecanismul de moderare i evaluarea integratoare care pune accent pe legtura dintre intervenie i rezultate via implementare i procese cauzale.36 Mecanismele de mediere i de moderare sunt dou mecanisme cauzale care stau la baza unui program. Mecanismul de mediere este o component a programului care intervine n relaia dintre alte dou componente ale acestuia, iar cel de moderare este o relaie dintre componentele programului care este condiionat de un al treilea factor; dac lipsete acest factor, atunci relaia dintre componente se dizolv. (Chen, 2005, pp. 195, 240-241, 262-263) 1. Evaluarea centrat pe mecanismul de mediere cerceteaz dac presupoziiile cauzale care stau la baza programului funcioneaz aa cum au fost gndite de cei care au elaborat programul. Principalul scop al acestui tip de evaluare este acela de a cerceta modelul de schimbare din teoria programului. Diferena major dintre acest tip de evaluare i evaluarea programului n condiii ideale sau evaluarea rezultatelor din lumea real ale programului const n faptul c acesta include i factorii care influeneaz relaia dintre intervenie i rezultate. Prin urmare, acest tip de evaluare este util n cazurile n care intervenia a euat n a influena factorul determinant i n cazurile n care, dei intervenia a afectat determinantul, acesta nu a produs rezultatele dorite. (Chen, 2005, pp. 241-242, 249) Exist dou modele ale evalurii centrate pe mecanismul de mediere: modelul linear i modelul dinamic. Modelele lineare presupun c relaiile cauzale dintre intervenie, factori determinani i rezultate sunt unidirecionale. Cu alte cuvinte, intervenia afecteaz factorul determinant, iar acesta influeneaz rezultatul. Exist modele lineare cu un factor determinant sau cu factori multipli care fie se influeneaz ntre ei ntr-o ordine anume, fie aleatoriu. Atunci cnd sunt determinani multipli, trebuie cercetat care dintre acetia sunt mai eficieni cu scopul de a utiliza resursele ct mai

36

Voi prezenta doar dou dintre acestea ntruct al treilea reprezint o combinaie a primelor dou.

eficient. Modelele dinamice presupun c exist relaii cauzale multidirecionale ntre intervenie, factori determinani i rezultat. (Chen, 2005, pp. 243-246, 249) 2. Evaluarea centrat pe mecanismul de moderare. Factorii de moderare pot fi: caracteristicile socio-demografice ale grupului int, abilitile celor responsabili cu implementarea, relaia dintre grupul int i implementatori, fidelitatea cu care procesul de implementare urmeaz design-ul iniial al programului, modul n care este elaborat protocolul de intervenie. O astfel de evaluare este util atunci cnd scopul evalurii este acela de a identifica dac intervenia trebuie adaptat la nevoile fiecrui grup sau atunci cnd se compar eficiena diferitelor opiuni structurale ale programului. (Chen, 2005, pp. 250, 255) Modelul CIPP37 - Stufflebeam Acest model este centrat pe evaluarea valorii programului, iar criteriile fundamentale pentru stabilirea valorii programului pornesc de la nevoile stakeholderilor programului. Scopurile principale ale acestor evaluri sunt: stimularea mbuntirii programului i a asumrii responsabilitii. Orientarea epistemologic a modelului CIPP este obiectivist i presupune ca toate evalurile s fie supuse unor metaevaluri formative i sumative conduse de ali evaluatori dect cei care au fcut evaluarea care este evaluat. Modelul CIPP este gndit astfel nct s promoveze dezvoltarea i reprezint o abordare a evalurii din perspectiva sistemelor sociale, motiv pentru care este adaptat examinrii programelor sociale i a altor programe care acioneaz n domenii inovative, complexe i aflate n permanent schimbare. (Stufflebeam i Shinkfield, 2007, p. 331-332, 347, 351) Tipurile de informaie furnizat de astfel de studii sunt: nevoi, probleme, oportuniti i obiective; abordri alternative; evaluarea planurilor procedurale, a bugetelor i a programrii; evaluarea calificrilor i performanelor personalului; evaluarea facilitilor oferite de program; monitorizarea i evaluarea activitilor; evaluarea efectelor intenionate i neintenionate, a celor pe termen lung i a celor pe termen scurt; analiza costurilor; analiza relaiilor dintre resursele, procesele i rezultatele programului;
37

context, intrri/input, proces, produs

compararea rezultatelor i costurilor programului cu cele ale unor programe similare. (Stufflebeam i Shinkfield, 2007, p. 242) Atunci cnd sunt formative, aceste evaluri rspund unor ntrebri de tipul: este adecvat grupul int; ce nevoi ale grupului int ar trebui abordate; care sunt alternativele de satisfacere a acestor nevoi i care sunt, comparativ, meritele i costurile acestora; sunt respectivele programe morale i realizabile; sunt disponibile resursele necesare; personalul este calificat; au fost responsabilitile clar delimitate; personalul i ndeplinete sarcinile; funcioneaz programul; ar trebui modificat programul; care sunt cele mai importante puncte forte ale programului; i atinge programul grupul int; funcioneaz programul cel puin la fel de bine care cele similare? Atunci cnd sunt sumative, aceste evaluri rspund unor ntrebri de tipul: a satisfcut programul nevoile grupului int; a avut costuri mai sczute sau mai ridicate dect cele similare; care au fost elementele care au contribuit la eecul, sau succesul, programului; a fost prea scump; este nevoie s continue; este sustenabil; este aplicabil n alte contexte; a meritat efortul? (Stufflebeam i Shinkfield, 2007, pp. 199-200) n cadrul modelului CIPP, Stufflebeam (apud. Stufflebeam i Shinkfield, 2007, p. 326) definete evaluarea ca fiind o investigare sistematic a valorii38 unui obiect. Din punct de vedere operaional, evaluarea este procesul de delimitare, obinere, raportare i aplicare a informaiei descriptive i a celei care conine judeci cu privire la meritul, valoarea, importana i integritatea unui obiect cu scopul de a ghida decizia, stabili responsabiliti, disemina practicile eficiente i a crete nelegerea fenomenului n cauz. Evaluarea contextului const n analizarea nevoilor, problemelor, resurselor i oportunitilor care ajut decidenii s defineasc scopurile i prioritile i i ajut pe utilizatorii relevani ai evalurii s judece scopurile, prioritile i rezultatele. Principalele obiective ale unei evaluri a contextului sunt: delimitarea i descrierea acestuia;
Definit ca oricare item dintr-un set de idealuri care aparine unei societi, grup sau individ (Stufflebeam i Shinkfield, 2007, p. 333)
38

identificarea beneficiarilor vizai de program i stabilirea nevoilor acestora; identificarea problemelor sau barierelor care stau n calea satisfacerii nevoilor respective; identificarea resurselor relevante i accesibile i a oportunitilor de finanare care ar putea fi folosite pentru satisfacerea nevoilor respective; furnizarea unui fundament pentru stabilirea unor scopuri orientate ctre mbuntire i stabilirea claritii i adecvrii acestora; furnizarea unei baze pentru judecarea rezultatelor. Metodele specifice evalurii contextului sunt: analiza de sistem, chestionarul, consultarea documentelor, analiza datelor secundare, audieri, interviuri, teste de diagnoz i metoda Delphi. Acest tip de evaluare documenteaz deciziile cu privire la situaia care va fi vizat; scopurile asociate satisfacerii nevoilor sau utilizrii oportunitilor; stabilirea prioritilor n alocarea timpului i a resurselor; planificarea schimbrilor necesare i furnizarea unei baze pentru judecarea rezultatelor. (Stufflebeam i Shinkfield, 2007, pp. 334-336) Evaluarea intrrilor const n analizarea unor abordri i planuri de aciune alternative, a unor planuri de costruire a schemei de personal i a bugetelor cu scopul de a le determina fezabilitatea i eficiena potenial. Decidenii folosesc evaluarea intrrilor pentru a alege ntre planuri concurente, pentru a scrie propuneri de finanare, aloca resurse, repartiza personal i planifica munca. Evaluarea intrrilor este util pentru prescrierea unui program prin care s se fac schimbrile necesare i i informeaz pe cei interesai cu privire la alternativa selectat i de ce. Aceast evaluare poate avea mai multe etape, dar acestea nu se desfoar ntr-o anumit ordine. De exemplu, este posibil ca iniial un evaluator s treac n revist practica cu privire la satisfacerea nevoilor i atingerea obiectivelor stabilite. Aceasta poate include mai multe componente: parcurgerea literaturii de specialitate; documentarea amnunit cu privire la programele de succes n domeniu; consultarea unor experi i reprezentani ai guvernului; solicitarea unor propuneri din partea personalului implicat. n continuare, evaluatorul poate s-i sftuiasc clientul dac s dezvolte o nou soluie sau s foloseasc una care deja a fost aplicat. Dac este aleas varianta cutrii unei noi soluii, evaluatorul mpreun cu clientul trebuie s stabileasc criteriile pe care trebuie s le ndeplineasc noul program i s selecteze diversele propuneri de aciune n conformitate cu respectivele criterii. Dac nicio propunere nu este pe deplin acceptat, evaluatorul i poate ajuta pe clieni s ia ceea

ce este mai bun din fiecare propunere i s construiasc o alta pe baza acestor puncte tari ale celorlalte propuneri. Obiectivul acestui tip de evaluare este identificarea i analizarea capacitilor sistemului, a strategiilor alternative i a design-urilor pentru implementarea strategiilor, bugetelor i orarelor de aciune. Unele dintre cele mai folosite metode sunt: consultarea literaturii de specialitate; documentarea, chiar la faa locului, cu privire la programe de succes n domeniu, etc. Rezultatele acestui tip de evaluare faciliteaz decizia cu privire la selectarea surselor de sprijin; a strategiilor i a aciunilor propriu-zise. Cu alte cuvinte, evaluarea intrrilor structureaz activitile care induc schimbarea, bugetul i orarul activitilor i constituie o baz de judecare a procesului de implementare. (Stufflebeam i Shinkfield, 2007, pp. 326, 335, 338-339) Evaluarea proceselor const n analizarea modului de implementare a planurilor pentru a ajuta personalul s-i desfoare activitile i, mai trziu, s-i ajute pe toi cei care folosesc rezultatele evalurii s judece modul n care a fost implementat programul i s interpreteze rezultatele programului. Scopul evalurii procesului este acela de a detecta disfuncionalitile n modul n care a fost formulat i implementat programul, de a furniza informaie pentru deciziile care urmeaz a fi luate i de a nregistra i analiza evenimentele i activitile. Printre cele mai rspndite metode ale evalurii procesului de numr: monitorizarea barierelor care stau n calea desfurrii activitilor i pstrarea ateniei pentru cazurile n care intervin anumite piedici neprevzute, obinerea de informaii care s sprijine deciziile, descrierea procesului i interaciunea i observarea continu a personalului proiectului i a celor implicai. Astfel, acest tip de evaluare susine deciziile cu privire la implementarea i rafinarea programului, controlarea procesului i furnizarea unei imagini a procesului efectiv care s poat fi folosit n interpretarea rezultatelor. (Stufflebeam i Shinkfield, 2007, pp. 326, 335) Evaluarea produselor const n identificarea i analizarea produselor intenionate sau nu, pe termen lung sau scurt pentru a ajuta personalul responsabil cu implementarea s rmn concentrat asupra obinerii produsului dorit i, n cele din urm, s-i ajute pe cei interesai de rezultatele evalurii s judece succesul programului. Componenta de evaluare a produsului poate fi mprit n evaluarea impactului, a eficienei, a

sustenabilitii i a transportabilitii.39 Aceste subcomponente ale evalurii produsului ncearc s identifice dac grupul int a fost atins, dac le-au fost satisfcute acele nevoi pentru care a fost dezvoltat programul, dac beneficiile i mecanismele de a obine aceste beneficii au fost susinute i dac procesele care au produs respectivele ctiguri pot fi folosite sau adaptate unui alt caz. n varianta formativ, modelul ncearc s afle ce trebuie fcut, cum trebuie fcut i dac operaiunile sunt duse la ndeplinire cu succes. n varianta sumativ, modelul CIPP ncearc s identifice dac au fost satisfcute principalele nevoi, dac formularea i bugetul programului au fost adecvate, dac programul a fost pus n practic aa cum a fost gndit i modificat acolo unde era nevoie i dac programul a fost sau nu un succes i de ce. Scopul evalurii de produs este acela de a colecta judeci i descrieri cu privire la produse; de a le raporta la obiective i la informaia cu privire la context, intrri i proces; i de a interpreta meritul, valoarea, semnificaia i integritatea produselor. Metodele cele mai folosite de acest tip de evaluare sunt: operaionalizarea i msurarea criteriilor care se aplic rezultatelor; colectarea de judeci cu privire la rezultate de la cei implicai n program; analize cantitative i calitative; compararea rezultatelor cu nevoile estimate. Rezultatele acestui tip de evaluare asist deciziile cu privire la continuarea, ncheierea, modificarea sau stabilirea unei alte inte pentru activitile respective sau fac o prezentare clar a efectelor prin comparaie cu nevoile i obiectivele stabilite. (Stufflebeam i Shinkfield, 2007, pp. 326-327, 335) Ceea ce este interesant de observat este faptul c, dei pleac de pe poziii teoretice ireconciliabile, paii teoretici ai modelului de evaluare au multe puncte n comun la autori diferii. Ceea ce difer ns, fapt care nu va fi detaliat aici, ci doar menionat pe alocuri, este soluia metodologic concret la care s-a recurs pentru parcurgerea respectivilor pai logici. De exemplu, toate modelele de evaluare au o etap de colectare a datelor, dar unele apeleaz la metode cantitative, iar altele la metode calitative pentru a face acest lucru. Pentru a demonstra aceast observaie, dar i pentru utilitatea diseminrii acestui gen de cunoatere pentru practica evalurii din Romnia, voi prezenta n continuare paii teoretici ai evalurii n cadrul modelului CIPP (Stufflebeam i Shinkfield, 2007, pp. 1520, 493-495) comparativ cu cei ai modelului constructivist al lui Guba i Lincoln (1989,
39

Msura n care programul respectiv poate fi reprodus i n alte situaii.

pp. 72-74), dou modele care se bazeaz pe opiuni ontologice i epistemologice ireconciliabile. Guba i Lincoln nu sunt preocupai att de forma pe care o ia n practic abordarea lor cu privire la evaluare ct de fundamentele teoretice ale acesteia. Prin urmare, n Fourth Generation Evaluation, prezint nou pai n desfurarea unei evaluri, pai despre care afirm c nu trebuie urmai neaprat n ordinea prezentat de ei. Ceea ce nu fac cei doi autori este s detalieze procesele exacte care au loc n cadrul fiecruia dintre cei nou pai, dar enunarea acestora este destul de sugestiv. Acolo unde nu am o suprapunere clar ntre enunurile lui Guba i Lincoln i cele ale lui Stufflebeam i Shinkfield, m voi folosi de cunoaterea teoretic sintetizat pe parcursul acestui capitol pentru a argumenta dac este vorba sau nu despre aceeai logic de etapizare a procesului de evaluare. Prima etap identificat de Guba i Lincoln o reprezint identificarea tuturor categoriilor care pot fi afectate de evaluare. Dat fiind c cei doi autori au menionat c etapele teoretizate de ei nu trebuie s aib o ordine de desfurare anume, eu susin c aceast prim etap, mpreun cu cea de a treia furnizarea unui context i a unei metodologii n, respectiv prin care diversele interpretri cu privire la situaia respectiv, dar i preteniile, preocuprile i ngrijorrile [celor implicai] pot fi nelese, criticate i luate n considerare este comparabil cu focusarea evalurii a lui Stufflebeam i Shinkfield. Dei unele procese descrise de cei din urm ca fcnd parte din aceast etap nu se regsesc la Guba i Lincoln, acest lucru nu se ntmpl pentru c etapele ar fi fundamental diferite, ci pentru c fiecare urmrete altceva prin procesul de evaluare. Astfel, la Guba i Lincoln nu vom gsi n aceast etap aciuni de tipul identificrii beneficiarilor evalurii sau a stabilirii criteriilor pe care trebuie s le ndeplineasc evaluandul, dar asta pentru c evaluarea constructivist consider c toi cetenii trebuie s fie beneficiarii evalurii, respectiv toate criteriile sunt subiective i nici unul nu poate fi luat ca referin. Aceste diferene vin ns din interpretarea diferit a conceptului de evaluare i nu pentru c efectiv se ntmpl altceva n aceast etap. Pentru a-mi susine argumentul, am s dau cteva exemple de procese specifice acestei etape pe care cele dou modele de evaluare le au n comun: identificarea celor afectai de procesul de

evaluare, a contextului evaluandului cu toate posibilele dificulti n colectarea datelor, dar i date despre programe similare precum i descrierea structurii, activitilor i rezultatelor evaluandului. Stabilirea ntrebrilor la care trebuie s rspund evaluarea are un echivalent constructivist n pregtirea unei agende de negocieri pentru c evaluarea constructivist i propune s creeze consens cu privire la interpretri ale evaluandului. Stufflebeam i Shinkfield mai menioneaz cteva aciuni pentru aceast etap pe care Guba i Lincoln nu le sugereaz, dar care sunt compatibile cu teoria lor cu privire la evaluare: discuii purtate cu clientul direct al evalurii cu privire la durata i costurile procesului de evaluare (chiar dac Stufflebeam i Shinkfield vor ncerca s dea termene fixe, iar constructivitii vor explica de ce este nevoie s fie flexibili din aceste puncte de vedere). A doua etap este cea de colectare a informaiei, chiar dac fiecare dintre cele dou modele caut tipuri diferite de informaie. Guba i Lincoln urmresc interpretarea fiecrei categorii de actori cu privire la evaluand, precum i informaia care rezult a fi necesar din agenda de negocieri. Cei doi autori urmresc acest tip de informaii pentru c ei consider c un evaluator nu trebuie s emit judeci de valoare cu privire la evaluand, ci s faciliteze crearea unui consens al diverselor interpretri pe care grupurile implicate le au cu privire la evaluand. Dat fiind ns c metodologia preferat a celor doi autori const n studiile de caz, precum i meniunea fcut anterior conform creia se colecteaz acele informaii care reies a fi necesare pentru procesul de negociere n vederea stabilirii unui consens cu privire la evaluand, putem afirma cu certitudine c ceea ce ei sugereaz prin colectarea informaiei nu este diferit de ceea ce Stufflebeam i Shinkfield neleg prin asta: colectarea unei arii largi de informaii cu privire la evaluand pe baza unei anumite metodologii i n urma stabilirii anumitor surse de informare. Redundana colectrii informaiei se regsete de asemenea la ambele modele de evaluare. Atribuirea responsabilitilor pentru colectarea informaiei, menionat de Stufflebeam i Shinkfield, nu este incompatibil cu constructivismul. Urmtoarea etap specific modelului CIPP organizarea informaiei nu este sugerat de constructiviti, dar poate fi inclus n orice model de evaluare ntruct nu implic

incompatibiliti teoretice. Aceast etap prevede proceduri de codificare, verificare, ndosariere i control ale informaiei precum i sprijinul logistic i de personal necesar acestor operaiuni. A patra etap la Stufflebeam i Shinkfield se numete analizarea informaiei. La Guba i Lincoln nu gsim o etap care s poarte exact acest nume, dar avnd n vedere c analizarea informaiei este procesul efectiv de producere a rezultatelor evalurii, iar rezultatele evalurii constructiviste sunt reprezentate de generarea consensului, putem afirma c generarea consensului cu privire la ct mai multe interpretri... echivaleaz cu etapa de analizare a informaiei. E drept ns c, dat fiind natura diferit a produsului evalurii n cele dou modele, unele procese specifice acestei etape sunt diferite la cele dou modele. Astfel, dac la Guba i Lincoln se poart un dialog i o negociere permanent ntre prile implicate n evaluare, modelul CIPP prevede pentru aceast etap procese de tipul: identificarea bazelor pentru interpretarea informaiilor sau specificarea procedurilor i tehnologiei IT de analiz. Procese de tipul sintetizrii informaiilor, anticiparea unor noi solicitri din partea celor implicai sau transparena stabilirii concluziilor evalurii (care la Guba i Lincoln ia forma crerii unui forum al reprezentanilor intereselor care nu au ajuns la un consens) sunt ns comune ambelor modele. Cea de a cincea etap comun celor dou modele de evaluare este raportarea informaiei. La Guba i Lincoln, raportul vizeaz consensurile stabilite, dar i interesele care nc nu au fost conciliate. La Stufflebeam i Shinkfield, rapoartele conin ceea ce s-a stabilit n prima etap c vor conine. De asemenea, cei doi autori dau o serie de specificaii tehnice privind redactarea coninutului acestor rapoarte. Astfel, cei doi autori recomand discutarea formatului adecvat a raportului (printat, oral, electronic, multimedia, narativ sau socio-drama) i a orarului furnizrii rapoartelor cu cei care au solicitat evaluarea. n privina coninutului, cei doi autori recomand evidenierea... modalitii n care rezultatele din surse i metode diferite sunt sintetizate astfel nct s rspund principalelor ntrebri de evaluare. De asemenea, se recomand mprirea raportului n trei subrapoarte care s conin antecedentele programului, implementarea acestuia,

precum i rezultatele. O a treia recomandare de coninut face referire la existena unor anexe tehnice care s conin rezumate cu privire la personalul i consultanii folosii n procesul de evaluare, instrumentele i protocoalele de colectare a informaiei, rapoarte ale rezultatelor obinute prin fiecare procedur de colectare a datelor, tabele de date, un jurnal al activitilor de colectare a datelor, o list a rapoartelor intermediare, contractul de evaluare, un rezumat al costurilor evalurii i o estimare intern cu privire la msura n care evaluarea a respectat standardele profesionale. Etapa a asea presupune, pentru ambele modele, metaevaluare. La Guba i Lincoln rezultatele evalurii trebuie revizuite pentru ca nu cumva s fi fost omise anumite puncte de vedere ale diverselor grupuri de actori afectai ntr-un fel sau altul de evaluandul respectiv. La Stufflebeam i Shinkfield, metaevaluarea presupune verificarea de ctre un evaluator independent a respectrii standardelor profesiei de evaluator i procesului de evaluare (detaliate mai sus, n acest capitol). A aptea etap, transversal, este numit de ctre Stufflebeam i Shinkfield administrarea evalurii. Aceasta nu este menionat de Guba i Lincoln, dar procese precum stabilirea resurselor i a personalului, negocierea i semnarea contractului sau pstrarea pstrarea posibilitii de revizuire a proceselor evalurii i, implicit, a contractului pot fi incluse n orice model de evaluare, indiferent de fundamentele lui teoretice. * * *

n concluzie, capitolul de fa a demostrat c modelele de evaluare au fundamente teoretice pronunate. Acestea trebuie cunoscute foarte bine de ctre cei care sunt pui n situaia de a selecta sau construi un model de evaluare pentru c altfel modelele vor fi inadecvate pentru investigarea evaluandului n cauz, dar i pentru necesitile de informare n raport cu respectivul evaluand.

n final, opiunile teoretice se reflect n forma concret a evalurii modelul de evaluare, care presupune parcurgerea anumitor pai pe baza unor metodologii specifice.

Bibliografie Boyne, George A.; Farrell, Catherine; Law, Jennifer; Powell, Martin; Walker, Richard M. (2003), Evaluating Public Management Reforms. Principles and Practice, Open University Press, Buckingham, Philadelphia Chen, Huey-Tsyh (1994): Theory-Driven Evaluations, Sage, Newbury Park Chen, Huey-Tsyh (2005): Practical Program Evaluation: Assessing and Improving Planning, Implementation and Effectiveness, SAGE, Thousand Oaks Geva-May, Iris i Pal, Leslie A. (1999), Good Fences Make Good Neighbours: Policy Evaluation and Policy Analysis Exploring the Differences, n Evaluation, Vol 5(3), 259-277 Guba, Egon G. i Lincoln, Yvonna S. (1989), Fourth Generation Evaluation, Sage, Newbury Park Hanberger, Anders (2001), What is the Policy Problem? Methodological Challenges in Policy Evaluation, n Evaluation, Vol 7(1): 45-62 Hanberger, Anders (2006), Evaluation of and for Democracy, n Evaluation, Vol 12(1): 17-37 Kushner, Saville (1996), The Limits of Constructivism in Evaluation, n Evaluation, Vol 2(2): 189-200 Miroiu, Adrian (2001), Introducere n analiza politicilor publice, Editura Punct, Bucureti Radaelli, Claudio M. i Dente, Bruno (1996), Evaluation Strategies and Analysis of the Policy Process, n Evaluation, Vol 2 (1): 51-66 Shadish, William R. jr.; Cook, Thomas D. i Leviton, Laura C. (1991), Foundations of Program Evaluation. Theories of Practice, Sage, Newbury Park

Stufflebeam, Daniel L. i Shinkfield, Anthony J. (2007): Evaluation Theory, Models, and Applications, Jossey-Bass, San Francisco Van Der Knaap, Peter (2004): Theory-based Evaluation and Learning: Possibilities and Challenges, in Evaluation, Vol. 10(1), pp. 16-34 Vedung, Evert (2005): Public Policy and Program Evaluation, Transaction Publishers, New Brunswick