METODE UTILIZATE N EVALUAREA PROGRAMELOR: ANALIZA IMPACTULUI SOCIAL Raluca Grboan

Argument .........................................................................................................................................3 I. EVALUAREA PROGRAMELOR..........................................................................................5 Capitolul 1. Evaluarea programelor.................................................................................................6 Capitolul 2. Tipuri i sisteme de evaluare......................................................................................14 Capitolul 3. Metode de cercetare utilizate n evaluare...................................................................20 Capitolul 4. Metode i modele de evaluare a programelor ............................................................46 II. IMPACTUL SOCIAL AL PROGRAMELOR .........................................................................57 Capitolul 1. Impactul social al programelor -stadiul actual al cunoaterii ....................................58 Capitolul 2. Principii ale impactului social....................................................................................64 Capitolul 3. Metodologia de evaluare a impactului social.............................................................67 Capitolul 4. Designul indicatorilor unui studiu de impact social...................................................74 III. APLICAII ..............................................................................................................................83 Capitolul 1. Evaluarea impactului unui parc industrial Analiza contextului, identificarea nevoilor i a problemelor sociale, elemente de benchmarking ......................................................84 Capitolul 2. Impactul social al unui Centru de Zi pentru copiii provenii din familii defavorizatedesignul unei evaluri ....................................................................................................................93 Capitolul 3. Impactul social al unui muzeu-indicatori de performan i raport executiv............96 Concluzii: Cultura evalurii n administraia public romneasc ...............................................97

Argument Pentru ca programele finanate sau co-finanate din bani publici s i ndeplineasc scopul i obiectivele cu maxim eficien este necesar evaluarea lor i msurarea impactului pe care l au asupra indivizilor, grupurilor i comunitilor. Scopul acestei cri este de a evidenia beneficiile evalurii n general i a studiilor de impact n special n managementul proiectelor i programelor finanate sau co-finanate din bani publici. Un accent deosebit va fi pus pe studiile de impact social i pe metodele utilizate pentru realizarea acestora. Analiza impactului social reprezint o metod specific de evaluare a politicilor, programelor i proiectelor. Impactul social va fi prezentat n contextul evalurii politicilor, programelor i proiectelor finanate sau co-finanate din bani publici. Accentul pe sfera public se justific prin necesitatea de a pune la dispoziia autoritilor publice centrale i locale un set de instrumente cu ajutorul crora s-i fundamenteze tiinific deciziile legate de politicile, programele i proiectele iniiate i s poat anticipa rezultatele anumitor aciuni. Guvernele statelor occidentale, instituiile financiare internaionale i ali finanatori responsabili cer i utilizeaz astfel de studii. Este timpul ca administraia public din Romnia s fac acelai lucru, avnd n vedere pe de o parte orientarea administraiei publice spre munca pe baza unor programe i proiecte, iar pe de alt parte dimensiunile finanrilor prin proiecte odat cu accesul Romniei n Uniunea European. Prezentul studiu este de asemenea un ghid care are intenia de a aduce evaluarea pe masa de lucru a coordonatorilor de proiecte din Romnia, proiecte finanate sau co-finanate din bani publici. Acetia pot fi funcionari publici, sau colaboratori ai instituiilor publice (provenii din sectorul non-profit sau privat). Cartea se adreseaz i altor membri din echipele de proiect cu responsabiliti n procesul de evaluare, evaluatorilor externi i factorilor de decizie implicai n susinerea i derularea proiectelor. Se urmrete furnizarea de informaii despre stadiul actual al cunoaterii n evaluarea de proiecte, despre cum se organizeaz o evaluare i cum se realizeaz aceasta n practic. Personalul implicat n managementul proiectelor, far cunotine prealabile de evaluare sau cu noiuni elementare n acest sens, va reui cu ajutorul acestui ghid s realizeze evaluarea intern, necesar i util proiectelor, pornind de la criterii tiinifice, riguroase. Astfel, se vor reduce abordrile intuitive cnd se pune problema evalurii unor proiecte sau programe n instituiile publice romneti. n acest sens vor fi amintite i fcute accesibile principalele metode i tehnici de cercetare utilizate n evaluarea de proiecte. Celor deja familiarizai cu metodele si tehnicile evalurii de proiecte n sectorul public, aceast carte le ofer un interlocutor i o nou perspectiv asupra ultimelor orientri n domeniu, sintetizate i adaptate realitilor romneti. Cartea este dedicat studenilor la Administratie public, viitori manageri i evaluatori de programe i proiecte finanate sau co-finanate din bani publici, cu mesajul: evaluarea nu reprezint un scop n sine sau ndeplinirea formal a unei condiii impuse de ctre finanator; ea este un instrument prin care putem sprijini eficientizarea administraiei publice romneti. Oportunitatea momentului publicrii acestei cri este dat mai ales de necesitatea stringent de a dezvolta capacitatea de evaluare din administraia public romneasc n contextul fondurilor europene. Programele i proiectele finanate din fondurile de pre-aderare (PHARE, ISPA, SAPARD) au beneficiat de sisteme de monitorizare bine stabilite. Aceasta a condus la o anumit dezvoltare a capacitii de monitorizare n instituiile administraiei publice romneti. Au rmas ns dou principale probleme de rezolvat: extrapolarea practicii de monitorizare - utilizarea unor sisteme de monitorizare i pentru activitile i proiectele nefinanate din fonduri europene, i dezvoltarea unei capaciti de evaluare intern n general i a evalurii impactului social n special. Capacitatea intern de evaluare exist actualmente n instituiile administraiei publice centrale, ns este aproape absent n cazul administraiilor locale. La nivel central, Ministerul Finanelor Publice, n colaborare cu Ministerul Administraiei i Internelor a iniiat un amplu proces de creare a capacitii de evaluare. Astfel, s-a nfiinat Unitatea Central de Evaluare, n cadrul Ministerului Finanelor Publice. Scopul acesteia este de a coordona crearea i dezvoltarea capacitii de evaluare la nivelul administraiei publice romneti. Fiecare minister are actualmente, n cadrul Autoritii de Management, o Unitate de Evaluare. Funcionalitatea acestora

depinde de dezvoltarea unui cadru legislativ n domeniul evalurii i, desigur, de dezvoltarea continu a acestei capaciti. Este necesar suplimentarea pregtirii unor funcionari publici prin specializarea n evaluarea de programe. Aceast specializare este actualmente posibil n Romnia prin frecventarea cursurilor de Evaluare a Programelor oferite de Departamentul de Administraie public al Facultii de tiine Politice, Administrative i ale Comunicrii, Universitatea Babe-Bolyai, Cluj-Napoca i, ncepnd din 2007, a unui program profesional de masterat organizat de ctre acelai Departament de Administraie public n domeniul evalurii de programe. Programul de masterat profesional care va introduce funcionarul public n domeniul programelor, precum i cursurile de evaluare a programelor oferite rspund i nevoilor de existente la nivel local n administraia public romneasc. Tot la nivel local, ca exemplu practic poate fi menionat cazul Primriei Cluj-Napoca, la nivelul creia a fost nfiinat un evaluare a programelor. evalurii evaluare de bun birou de

Cartea este organizat n trei pri. Primele dou pri cuprind cte patru capitole, iar cea de-a treia parte este format din trei capitole. Alturi de acestea, exist o seciune introductiv i una destinat concluziilor. La nceputul fiecrui capitol din primele dou pri sunt prezentate noiunile eseniale. Prima parte introduce unele dintre noiunile cheie n domeniul evalurii. Aceasta rspunde la ntrebri precum: Ce este evaluarea? Care sunt principalele tipuri de evaluare? Care este diferena dintre evaluare i alte concepte similare?, De ce apelm la evaluare? Care sunt actorii implicai? Care sunt principalele metode i tehnici de evaluare utilizate? Ce presupune designul unei evaluri? Care sunt paradigmele i modelele dominante n evaluarea de proiecte? etc. Tot n prima parte sunt incluse elemente privind pregtirea i realizarea unei evaluri n practic. Astfel, i vor gsi rspunsul ntrebri precum: Care este materia prim a evalurii? n ce constau elementele-cheie ale evalurii? Cum colectm datele necesare evalurii? Care sunt metodele de cercetare utilizate n evaluare? Cum analizm i interpretm datele ntr-un studiu de evaluare? Aplicarea metodelor de cercetare va fi exemplificat pornind de la cazuri concrete ns transformate pentru pstrarea anonomatului instituiilor, programelor, proiectelor i persoanelor implicate. n cea de-a doua parte vom analiza principiile i metodele fundamentale ale analizei impactului social al proiectelor i programelor. De asemenea vor fi explicitate legturile pe care analiza de impact le are cu dezvoltarea serviciilor publice i metodologia de realizare a studiilor de impact. Care sunt etapele sale? La ce trebuie s ne gndim cnd realizm designul unui astfel de studiu? Care sunt constrngerile ntlnite n practic i cum le putem face fa? A treia parte are n vedere ilustrarea unor fragmente adaptate dup studii de evaluare i impact realizate n practic, n intervalul 2005-2006. Sunt prezentate etape din trei studii de caz, pornind de la trei proiecte, fiecare analiznd o etap esenial a evalurii impactului social. Studiile de caz prezentate sunt inspirate din cazuri reale, ns prelucrate pentru a fi ct mai ilustrative pentru subiectul abordat i pentru a fi respectat confidenialitatea datelor. Principalele concluzii att referitor la evaluare n general, ct i la evaluarea impactului social al programelor i proiectelor, sunt prezentate n seciunea final. Rolul acestei pri este i acela de a pune n discuie unele aspecte problematice legate de capacitatea de evaluare n sistemul administraiei publice din Romnia i de necesitatea consolidrii acesteia n contextul programelor europene i nu numai.

I.

EVALUAREA PROGRAMELOR

Capitolul 1. Evaluarea programelor Concepte: Program orice efort sistematic care i propune atingerea unui obiectiv strategic ntr-un anumit domeniu. Proiect un efort specific, concret, organizat, de implementare a unei anumite pri a unui program.

Politic public o direcie de aciune, stabilit la nivel strategic, cu un nalt grad de generalitate prin care se ncearc rezolvarea unei probleme. Evaluarea de programe efortul sistematic de analiz a unui program sau proiect cu scopul de a determina msura n care au fost ndeplinite obiectivele propuse, au fost consumate resursele avute la dispoziie, s-a respectat designul iniial sau ar fi necesare anumite modificri ale acestuia datorit schimbrii contextului. Monitorizarea procesul continuu de-a lungul vieii unui program sau proiect de cuantificare a gradului de implementare a unui proiect, de msurare a modificrilor survenite n urma procesului de implementare.

Capitolul 1. Evaluarea programelor Studiul evalurii este relativ nou, ndeosebi n Romnia. ns una dintre primele nregistrri ale unei evaluri este evaluarea eficacitii terapeutice a sucului de lmie n rndul marinarilor realizat de marina britanic n secolul al XVIII 1 -lea. Evaluarea a debutat ca un domeniu practic i a devenit o disciplin recunoscut a cercetrii tiinifice ncepnd din anii 1960. Pe parcursul evoluiei s-au remarcat o serie de dispute privind terminologia, metodologia i etica evalurii. n 2004, FitzPatrick, Sanders i Worthern au identificat aproape 60 de modele aprute ntre 1960 i 1990 2 . Anul 1965, a nsemnat startul masiv n Statele Unite a unor programe destinate combaterii srciei (War on Poverty rzboi mpotriva srciei, denumirea general a setului de programe) 3 .

Eficacitatea sucului de lmie n combaterea scorbutului la marinari comandat de marina britanic n secolul XVIII! Francezii pretind c au realizat prima cercetare de acest gen chiar mai devreme cd armatele normande au realizat o evaluare privind eficacitatea relativ a diferitelor tipuri de arcuri n Models for the evaluation of elearning, http://wiki.ossite.org/index.php?title=Models_for_the_evaluation_of_elearning 2 J.L. Fitzpatrick, Sanders, J.R., i Worthen, B.R.,(2004), Program Evaluation. (3rd Edition) Boston: Pearson 3 Sorin Dan andor, (2005), Analiz i cercetare n administraia public, Accent, p.73

Caseta 1: Marea Societate. Revoltele din Watts. Rzboiul mpotriva srciei.

Un pachet de reforme n educaie, sntate, nvmnt, protecie social i protecia mediului fceau parte din planul preedintelui Johnson de a reconstrui America ca pe o Mare Societate (The Great Society) . Iniial, acesta are suportul total al opiniei publice. Marea Societate urma s Lyndon reprezinte cea mai complex reform de la Noua nelegere (New Deal) Preedintele Baines Johnson - iniiator promovat de Ronald Reagan. n 1960, n pofida climatului de al Rzboiului mpotriva prosperitate, aproape un sfert din familiile americane triau sub limita srciei. Regiuni ntregi nu beneficiaser de prosperitatea economic din srciei prin programele perioada postbelic. Mai mult, evoluia tehnologic din industrie i lsa pe Marii Societi cei nepregtii fr locuri de munc. n 1964, 44% dintre persoanele peste 65 de ani nu aveau asigurare de sntate. Starea precar de snatate, datorat naintrii n vrst determina intrarea lor automat n rndul celor sraci. n realitate, mai mult de unul din trei Americani sub 65 de ani triau sub limita srciei. Prin urmare, preedintele Johnson a considerat c Rzboiul mpotriva sraciei(War on Poverty) trebuia s ocupe centrul preocuprilor pentru construcia Marii Societti. Un imbold semnificativ n iniierea Rzboiului mpotriva srciei l-au constituit Revoltele din Watts. Revoltele din Watts (Watts Riots ) au fost o serie de conflicte civile de mari dimensiuni, care au izbucnit n cartierul Watts din sudul oraului Los Angeles din Statele Unite ale Americii. Acestea au nceput in 11 August 1965 i au durat 6 zile. n urma lor, au fost ucii 34 de oameni, 1100 au fost rnii, 4000 de persone au fost arestate, 600 de cldiri au fost incendiate i s-au produs pagube de aproximativ 100.000.000 de dolari. Majoritatea daunelor s-au nregistrat n cazul afacerilor care au cauzat resentimente in cartier datorit nedreptilor sociale percepute. Domiciliile nu au fost atacate, ns unele eu luat foc din cauza apropierii de alte cldiri incendiate. O comisie guvernamental a investigat revoltele. Principalele cause au fost stabilite ca fiind: omajul, colile slabe i srace precum i alte condiii inferioare de via. Costurile cauzate de rzboiul din Vietnam, alturi de costurile programelor de reform, au determinat o mare presiune asupra economiei americane. Odat cu scderea n popularitate a rzboiului din Vietnam, preedintele Johnson i-a pierdut capitalul politic necesar pentru continuarea reformelor. Criticii Marii Societi pretend c aceste programe de reform au avut efecte departe de cele ateptate, dac nu chiar inverse, n pofida unor investiii publice de mari dimensiuni. S-au creat doar noi sisteme birocratice care au nghiit banii, fr a produce rezultatele scontate. Exemplul cel mai vehiculat este reforma privind asistena social care a produs o fragmentare a oraelor, cu consecinte dintre cele mai nocive. Aceasta a fost fcut responsabil pentru crearea dependenei de asisten social n rndul sracilor, pentru crearea unor cercuri vicioase ale srciei.

dup John Gardner- Engineer of the great Society n http://www.pbs.org/johngardner/chapters/4.html (tr.n.) http://en.wikipedia.org/wiki/Watts_Riots

Sume substaniale au fost investite pentru eradicarea unor probleme sociale, ns rezultatele dorite s-au lsat ateptate. S-a ajuns la concluzia c nu existau suficieni bani pentru rezolvarea tuturor problemelor existente. De asemenea, s-a observat c pentru rezolvarea problemelor cu care se confrunt comunitile, banii nu reprezint singura problem. Evaluarea programelor s-a lansat prin asumarea acestor dou constrngeri, 4 dar i prin adoptarea sistemului de bugetare Planning-Programming Budgeting System (PPBS), care ncuraja monitorizarea i evaluarea programelor. Opinia public a devenit din ce n ce mai precaut, cernd dovezi pentru succesul programelor care urmau a fi susinute din bani publici. n aceste condiii, evaluarea a cunoscut un adevrat boom, numrul celor care o consider esenial pentru reuita unui program crescnd spectaculos. Dup cum se anticipa 5 , evaluarea se diversific metodologic nencetat, depete graniele naionale, i devine extrem de util ntr-o sfer din ce n ce mai larg de preocupri. Materia prim a evalurii Materia prim a evalurii este constituit din proiecte, programe i politici publice. Proiectele reprezint unitatea cu gradul cel mai sczut de generalitate. Un proiect este efortul organizat de a pune n practic o idee. Desigur, ne referim n acest studiu mai ales la proiectele de dezvoltare socio-economic. Ele pot avea o form standardizat, sau pot s nu fie standardizate. Printre elementele eseniale ale unui proiect standardizat se numr: scopul, obiectivele, actorii implicai (iniiatori, beneficiari direci i indireci, finanatori, etc.) activitile, calendarul, resursele i efectele multiplicatoare. Proiectele stansardizate sunt cele scrise de obicei scrise pornind de la un anumit formular, care impune precizarea tuturor acestor elemente. Adesea, n administraia romneasc, exist eforturi mai puin sau deloc standardizate, dar care oricnd pot fi considerate proiecte, avnd elementele eseniale unui proiect, chiar dac nu sunt consemnate n scris, conform unui formular. Orice proiect co-finanat prin PHARE este un exemplu de proiect standar Proiectele pot fi iniiate i implementate de diferite entiti printre care: instituiile administraiei publice, organizaiile non-guvernamentale i chiar firmele din sfera privat. De regul proiectele reprezint punerea n aplicare a obiectivelor specifice ale unor programe. Programul este unitatea cu gradul de generalitate mai ridicat dect proiectul, ns cu o structur asemntoare. Implementarea unui program se realizeaz prin implementarea mai multor proiecte, care detaliaz i pun n aplicareunul sau mai multe dintre obiectivele programului. Politica public reprezint unitatea cu gradul cel mai ridicat de generalitate, ce corespunde unei direcii strategice de aciune ntr-un anumit domeniu. Un exempu de politic public, specific administraiei publice din Romnia este dezvoltarea capacitii administrative; un program subsecvent acestei politici este Modernizarea Administraiei Publice Locale, iar unul dintre proiectele care pun n aplicare acest program este Evaluarea Programelor n Administraia Public. Proiectul este impelmentat la nivelul unei primrii i detaliaz i aplic unul dintre obiectivele programului: creterea responsabilitii pentru cheltuirea banilor publici. Programele i proiectele pot fi finanate de instituii ale administraiei publice centrale i locale, de organizaii internaionale (Uniunea European, Banca Mondial, etc.), organizaii non-profit i alte entiti. De obicei, finanatorul este cel interesat de rezultatele proiectului, de evaluarea ndeplinirii obiectivelor propuse. n numeroase cazuri, instituiile publice co-finaneaz sau sunt parteneri n proiectele de dezvoltare care afecteaz grupurile de oameni, comunitile din raza lor de aciune. Mai mult, un management performant presupune organizarea activitii instituiilor publice pe baz de proiecte, pentru a fi mai uor administrat, mbuntit, urmrit i verificat. Este o tendin susinut i ncurajat n ntreaga Uniune European. Nevoia de evaluare n sistemul administrativ este n continu cretere. Reforma administraiei publice, dezvoltarea capacitii administrative presupune dezvoltarea capacittii de evaluare. Aceasta poate fi realizat prin crearea unui cadru legislativ, a unei capaciti instituionale i prin dezvoltarea resursei umane n domeniul evalurii.
Michael Quinn Patton Utilization-Focused Evaluation: The New Century Text, 3rd ed., Beverly Hills: Sage Publications, 1997 5 E. Chelimski, W.R. Shadish (Editori) Evaluation for the 21st Century, SAGE Publications Inc., 1997
4

Definiii ale evalurii Evaluarea proiectelor i programelor n administraia public este o etap specific, extrem de util n planificarea i managementul proiectelor, o tehnic de cercetare i un instrument pentru realizarea politicilor publice, utilizat cu succes de ctre responsabili de managementul instituiilor i al organizaiilor, de coordonarea proiectelor i a programelor derulate din fonduri publice sau private. nali funcionari publici, politicieni, manageri, directori de instituii i organizaii, directori de programe i coordonatori de proiecte utilizeaz diferite modele de evaluare pentru a sesiza, n timp util, efectele interveniilor pe care le implementeaz sau intenioneaz s le implementeze. Scopul este de a sesiza i a contracara la timp efectele nedorite asupra grupurilor de oameni, comunitilor i societii, precum i pentru a ncuraja elementele pozitive ale programelor i proiectelor. Mai mult, scopul implicit al evalurii este de a colecta sistematic informaii despre rezultate, output si administrarea proiectelor pentru mbuntirea implementrii i generarea unor decizii performante n viitor. Pe scurt, diferitele modele de evaluare sunt utilizate pentru a minimiza pierderile i a maximiza beneficiile interveniilor asupra grupurilor sociale de mici sau mari dimensiuni. De-a lungul evoluiei sale, evaluarea a primit numeroase definiii. O sintez a definiiilor evalurii date de diferite dicionare relev anumii termini-cheie: determinarea meritului, a valorii, estimare, preuire etc. Evaluarea de proiecte sau programe este strns legat de sensul acestor termeni, fr a se rezuma ns la ei. n definiiile evalurii apar de asemenea ca o constant o serie de elemente legate de metodologie. n cartea sa despre Analiz i cercetare n administratia public, Dan andor descrie sintetic faptul c pentru un program, evaluarea implic o analiz sistematic cu scopul de a afla dac i n ce msur proiectele i programele au fost implementate conform inteniilor i i-au atins obiectivele 6 . Comisia European propune cinci criterii relevante n evaluare: relevan, eficien, eficacitate, sustenabilitate i impact 7 . Pornind de la acestea, putem defini evaluarea ca fiind procesul prin care, cu ajutorul unor metode i instrumente specifice, putem msura gradul n care proiectele au obiective i rezultate relevante, resursele sunt consumate economic, pentru a atinge obiectivele propuse, dac proiectul are anse de a continua i dup ncheierea finanrii, msura n care activitile i ating grupul int i dac impactul lor este resimit pe termen lung. Cheia unei nelegeri corecte este diferena ntre sistematic i continuu din care rezult diferena ntre evaluare (sistematic dar secvenial- realizat n anumite momente din viaa unui program) i monitorizare (proces continuu de colectare a datelor n timpul implementrii unui program). La fel trebuie neleas i definiia dat de N.C Allum, M.W. Bauer, G. Gasgell - Quality, Quantity and Knowledge interests, Avoiding confusion in Bauer and Gasgell, Qualitative research. Termenul de evaluare se refer la activitatea de colectare, analiz i raportare sistematic a informaiilor care pot fi utilizate pentru schimbarea atitudinilor i pentru mbuntirea unui proiect sau program.(tr.n., Allum, 1990)8 Sintetiznd, putem reliefa urmtoarele elementele eseniale ale unei evaluri: Evaluarea este un instrument util n managementul politicilor, programelor i proiectelor; Implic aprecieri pe baza unor criterii; Evaluarea este util n oricare dintre stadiile dezvoltrii unui program: o n stadiul de design; o nainte de implementare- evaluarea ex-ante; o n timpul implementrii- evaluarea concomitent; o Ulterior implementrii- evaluarea ex-post; Evaluarea este un proces explicativ: pornete de la anumite ntrebri pentru care gsete rspunsuri; Este mai comprehensiv dect monitorizarea; Evaluarea este o activitate sistematic i implic analize tiinifice (colectarea de date, analiza lor, compararea lor pe baza anumitor criterii);
6 7

Sorin Dan andor- Analiz i Cercetare n Administraia Public, Ed. Accent, Cluj-Napoca, 2005, p.73 www.evalsed.info 8 N.C Allum, M.W. Bauer, G. Gasgell - Quality, Quantity and Knowledge interests, Avoiding confusion in Bauer and Gasgell, Qualitative research, London, Sage, 2000 , citat de Jenny Hughes n Project Manager's Guide ot Evaluation, p.3, http://www.evaluate-europe.net/handbook/handbookpdf

10

Evaluarea st la baza lurii unor decizii n legatur cu programul evaluat : modificarea designului sau a modului de implementare. Deciziile se pot referi la continuarea, modificarea sau chiar stoparea programului. n opinia unuia dintre autorii clasici n domeniul evalurii, Michael Quinn Patton, Evaluarea este colectarea sistematic de informaii despre activitile, caracteristicile i rezultatele programelor pentru a fi utilizate de anumite personane cu scopul de a reduce nesiguranele, pentru a spori eficacitatea i a lua deciziile oportune n legtur cu programele respective(tr.n.) 9 . Aceast definiie, dac nu este neleas adecvat poate produce confuzii. Cheia unei nelegeri corecte este diferena ntre sistematic i continuu din care rezult diferena ntre evaluare (sistematic dar secvenial- realizat n anumite momente din viaa unui program) i monitorizare (proces continuu de colectare a datelor n timpul implementrii unui program). Pentru a ntelege ce este evaluarea, trebuie fcut distincia intre aceasta i ali termini cu utilizare paralel, interanjabili. Diferite autoriti sau agenii dau sensuri diferite acelorai termeni. Pentru a ne ncadra n contextul general al integrrii europene i pentru c ne referim la evaluarea de programe n sfera public, vom adopta terminologia utilizat de ctre Comisia European n domeniul evalurii de programe. Monitorizarea Monitorizarea se refer la cuantificarea pe tot parcursul implementrii proiectului sau programului a evoluiei privind atingerea obiectivelor, consumarea resurselor, atingerea grupului int, cuantificarea sistematic a schimbrilor generate de implementarea programului sau proiectului. n urma monitorizrii se poate sesiza n mod permanent raportul input output, venituri-cheltuieli, activitti planificateactiviti realizate, grup int propus-grup int atins, nregistrndu-se eventualele discordane. Evaluarea explic de ce respectivele discordane exist (dac exist). Monitorizarea este descriptiv, n timp ce evaluarea este explicativ. Legtura dintre monitorizare i evaluare este foarte strns. Evaluarea nu poate fi realizat (sau poate fi realizat extrem de dificil), dac nu exist un sistem coerent de monitorizare. Acest sistem presupune de regul un set de indicatori i un plan de monitorizare. Deasemenea anumite resurse trebuie alocate procesului de monitorizare. De obicei, resursele umane pentru monitorizare sunt mobilizate din echipa de implementare a proiectului. Dar nu este exclus, mai ales n cazul unor proiecte de mari dimensiuni, ca monitorizarea s fie asigurat de persoane specializate din afara echipei de implementare a proiectului. Auditul Auditul reprezint o verificare a prevederilor financiare ale unui proiect i a msurii n care acestea sunt ndeplinite n conformitate cu criteriile legale i financiare specifice. Auditorii Comisiei Europene i agenii lor atribuie termenului de audit o sfer mult mai larg de semnificaii: verificarea necesitii proiectului, a msurii n care activitile i rezultatele proiectului sau programului justific investiia financiar, a existenei i vizibilitii n practic a unei plus-valori generate de proiectul sau programul respectiv 10 .(tr.n.) Scopul evalurii Evaluarea reprezint un proces prin care se msoar performana unui program i se identific soluii la problemele existente. Mai exact, evaluarea poate avea, printre altele, urmtoarele scopuri: Analiza rezultatelor,output-ului i impactului unui program; Compararea rezultatelor cu costurile unui program; Identific eventualele mbuntiri necesare privind designul i implementarea programelor;
9

Michael Quinn Patton - Utilization-focused evaluation, ediia a doua, Newbury Park, CA, SAGE Publications, 1986, citat de Jenny Hughes n Project Manager's Guide ot Evaluation, p.3, http://www.evaluateeurope.net/handbook/handbookpdf 10 Jenny Hughes - Project Manager's Guide ot Evaluation, p.3, http://www.evaluateeurope.net/handbook/handbookpdf

11

Ajut autoritile s rspund n faa cetenilor pentru aciunile lor; D indicii pentru alocarea resurselor; Ajut la mbuntirea managementului programelor; Ajut, prin investigatii sistematice, la realizarea calitativ superioar a designului, implementrii i livrrii programelor i serviciilor publice (Gidul UE) Identific modele de bun practic ce pot fi diseminate i utilizate n programele viitoare Datele rezultate n urma evalurii sunt utile att pentru mbuntirea procesului de implementare, ct i a celui de luare a deciziilor. Prin evaluare este determinat eficacitatea proiectelor i programelor, prin rspunsul pe care l d ntrebrilor: ce funcioneaz?, pentru cine? i n ce condiii?. Evaluarea susine deasemenea procesul de planificare a activittilor viitoare, de repartizare a resurselor umane, financiare etc. Evaluarea este un instrument de baz n managementul organizaiilor publice (i private) asigurnd o baz informativ robust care vine n sprijinul celor care trebuie s ia decizii. Soluiile identificate prin evaluare i deciziile care se iau pornind de la date furnizate de studiile de evaluare vor fi foarte bine documentate i vor beneficia de dovezi clare, tiinifice, n favoarea lor. Rezumnd multiplele abordri ale utilitii evalurii, ajungem la concluzia c evaluarea este necesar n creterea performanei proiectelor i programelor i n procesul de dare de seam pentru banii utilizai. Cu ajutorul evalurii, putem demonstra c programul respective este necesar, funcioneaz i trebuie continuat sau dimpotriv. Putem investiga dac banii investii i-au atins inta, dac standardele de calitate au fost respectate etc. n ceea ce privete creterea performanei programelor , evaluarea contribuie la identificarea problemelor i recunoaterea punctelor tari. Totui evaluarea poate fi utilizat i n scopuri ne-etice. Ne referim aici la manipularea datelor obinute din evaluri pentru susinerea diferitelor interese politice. Criterii de evaluare Pe ce se bazeaz aprecierile evaluatorilor? Rspunsul este simplu: criteriile de evaluare. Abordarea UE are la baza 5 criterii: Relevan Eficacitate Eficien Impact Sustenabilitate Figura 1 . Principalele criterii de evaluare 11

Context socioeconomic

Nevoi, Probleme

Impact

Rezultate

Program

Obiective

Input

Output

Evaluare

Relevanta

Eficienta Eficacitate Utilitate, Sustenabilitate

11

Tavistock Institute et all, The Evaluation of Socio-Economic Development: The GUIDE, 2003

12

Relevana se refer la msura n care programul analizat reuete s rspund nevoilor reale ale actorilor implicai. De asemenea are n vedere eventualele schimbri de context care ar putea avea ca rezultat anumite modificri n tipul nevoilor la care programul ar trebui s se adreseze sau schimbri n ierarhia acestora. Un program este relevant dac pe tot parcursul implementrii sale ine cont de aceste modificri de context, are flexibilitatea necesar de a se replia de cte ori este necesar pentru a rspunde nevoilor la care i propune s rspund. Iar un program devine irelevant n momentul n care, pe parcursul existenei sale, eueaz n acoperirea nevoilor pe care-i propune s le acopere sau le acoper n mod defectuos, raportat la planul iniial. Un aspect al relevanei este i necesitatea ca anumite programe s fie susinute din bani publici. Care sunt aceste programe? Care sunt motivele pentru care statul trebuie s se implice n implementarea sa? Sectorul privat sau non-profit nu a reuit s acopere nevoile actorilor implicai? De ce? Pentru a afla dac un program este relevant i n ce msur, trebuie apreciate toate aceste elemente. Eficacitatea are n vedere msura n care programele i ating obiectivele propuse. De asemenea, gradul n care rezultatele proiectului corespund nevoilor identificate n faza de design este o msur a eficacitii unui program. Eficiena ia n calcul un aspect suplimentar, esenial n existena proiectelor i programelor: cel financiar. Mai mult, eficiena are n vedere i urmtoarele aspecte: Ar fi putut fi obinute aceleai rezultate cu mai puine resurse? Sunt costurile unitare prea ridicate? Chiar dac obiectivele sunt atinse, este proiectul/programul prea costisitor pentru a putea fi continuat? Impactul reprezint efectul net pe care un program l produce. Datorit variabilelor externe, distorsionante, impactul unui proiect este greu de calculat cu exactitate. Este greu s difereniezi efectul unui program ntr-un context socio-economic este extrem de complex. Totui folosind metode adecvate este posibil, cu o marj de eroare asumat s dm rspunsul la urmtoarele ntrebri: Ce schimbri au rezultat n urma programului? Exist alte beneficii ale programului, alturi de cele preconizate? O alt accepiune a impactului este aceea n care impactul prezint efectele unui program pe termen lung. Sustenabilitatea se refer la continuitatea programului dup ntreruperea finanrii din sursa iniial. Efectele programelor sau programele nsele continu dup ncheierea implementrii? Pot fi identificate surse alternative de finanare? Sustenabilitatea d, alturi de celelalte criterii msura performanei unui proiect sau program. Alturi de aceste criterii mai pot fi menionate i altele, la fel de importante pentru aprecierea performanelor unui program. Cele la care ne vom referii n continuare sunt echitatea i implicarea comunitii. Echitatea se refer la aspecte precum: accesul la serviciile furnizate de proiect indiferent de: vrst, sex, condiii materiale i sociale. De regul sunt promovate proiecte care descurajeaz discriminarea de orice tip. Participarea comunitii este un alt criteriu de care se ine cont n evaluarea anumitor proiecte. Desigur, este vorba despre proiectele care permit aceasta. Toate aceste criterii, alturi de altele pe care nu le-am menionat, dar care pot fi la fel de importante, sunt utilizate n precesul de evaluare. ns, n funcie de programul sau proiectul evaluat, se poate apela doar la o parte dintre acestea. Pe lng luarea n considerare a ct mai multe dintre criteriile enumerate, evaluarea ar trebui s fie analitic, sistematic, de ncredere, orientat pe probleme sau pe utilizatori, in funcie de modelul de evaluare utilizat.

13

Capitolul 2. Tipuri i sisteme de evaluare Concepte Evaluarea sumativ un tip de evaluare, realizat de regul la finalul unui program sau proiect sau la ncheierea anumitor etape ale programelor i proiectelor cu scopul de a verifica msura i modul n care au fosta atinse obiectivele propuse. Evaluarea formativ tip specific de evaluare prin care se urmrete mbuntirea designului unui proiect sau program, aducerea de mbuntiri modului de implementare pentru minimizarea pierderilor i maximizarea beneficiilor. Evaluarea ex-ante evaluarea realizat nainte de etapa implementri unui program sau proiect cu scopul de a aduce eventuale corecii necesare designului programului sau proiectului pentru a asigura realizarea cu succes a obiectivelor propuse. Evaluarea ex-post evaluarea realizat ulterior etapei de implementare a unui program sau proiect pentru a sesiza gradul de ndeplinire a obiectivelor, prin compararea acestora cu rezultatele atinse. Evaluarea interim evaluarea realizat pe parcurs pentru a sesiza eventualele modificri care trebuie aduse designului proiectului sau programului evaluat pentru a obine ndeplinirea obiectivelor calitative i cantitative propuse.

14

Capitolul 2. Tipuri i sisteme de evaluare

Exist numeroase criterii n functie de care putem clasifica tipurile de evaluare: dup scopul evalurii, dup momentul de timp n care se desfoar evaluarea, dup unitatea de analiz, dup poziia membrilor echipei de evaluare, etc. 1. Dup scopul evalurii: a. Evaluarea sumativ, care analizeaz rezultatele la un anumit moment de la nceperea programului cu scopul de a stabili performana programului i de a estima valoarea sa b. Evaluarea formativ se face de obicei n timpul implementrii (este o evaluare intermediar) cu scopul de a analiza situaia i de a uura mbuntirea programului. Aceasta terminologie a fost utilizata pentru prima data de Michael Scriven, (1991), ulterior fiind preluat de toate sursele relevante n domeniu. Robert Stake ofer n Standards-Based and Responsive Evaluation o definiie extrem de sugestiv a evlurii sumative i formative: Cnd buctarul gust supa, este evaluare formativ, iar cnd oaspeii gust supa, este evaluare sumativ 12 (tr.n). Robert Stake, evaluator de programe educaionale n Statele Unite ale Americii n perioada anilor 60-70, este unul dintre primii susintori ai metodelor calitative n evaluarea programelor sociale. n conformitate cu tradiia Verstehen, Stake percepe evaluarea ca serviciu i ca reflectare de valori. Stake recomand evaluarea selectiv, pe care o definete ca fiind o abordare care sacrific o anumit precizie a selectrilor n sperana de a crete valoarea descoperirilor pentru persoanele din afara i din interiorul programelor 13 . Tot la Stake se regsete diferenierea ntre evaluarea prestabilit, recunoscut prin: afirmarea obiectivelor, utilizarea testelor obiective, utilizarea standardelor deinute de responsabilii programelor i a rapoartelor de tip cercetare i evaluarea reactiv, caracterizat prin urmtoarele elemente: Pune un accent mai mare asupra activitilor unui program, dect asupra inteniilor sale. Rspunde necesitilor publicului. Perspectivele valorice ale actorilor sunt luate n considerare n menionarea eecurilor i a succeselor unui program. Termenul reactiv (provenit din relaia stimul rspuns) asociat procesului de evaluare promoveaz ideea evaluatorului-stimul n contrast cu evaluatorul-rspuns. Unul dintre principalele dezavantaje ale evalurii prestabilite este faptul c cercettorii (tradiional cantitativiti) se concentreaz asupra unor variabile care nu pot fi controlate de management, prin aceasta pierznd din utilitate. Stimulii standardizai generai de evaluarea prestabilit s-au dovedit adesea mai puin relevani dect stimulii care apar spontan n cadrul programului(cum ar fi reaciile actorilor, discuiile ulterioare desfurrii unei activiti, etc.). Cteva trsturi eseniale ale evalurii reactive sunt: accentul pus pe observaie i flexibilitate, preferina pentru metodele calitative i accentul pe mbuntirea practicilor locale. Evaluarea reactiv are o serie de avantaje i dezavantaje. Printre avantaje se numr: relevarea unor variabile importante ale programului, ncurajarea eforturilor de schimbare ale celor implicai ntr-un program, ncurajarea creterii controlului local. Totui, evaluarea prestabilit ar trebui preferat evalurii reactive atunci cnd este important s tim dac anumite scopuri au fost atinse, dac anumite promisiuni au fost inute i cnd urmeaz s fie investigate ipoteze sau aspecte predeterminate. ne putem atepta ca msurtorile prestabilite s fie mai obiective i mai de ncredere. 14 n concluzie, trebuie avute n vedere ambele tipuri de evaluare n funcie de program.

12 13

Robert Stake, Standards-Based and Responsive Evaluation, 2003, p.52 Stake, Robert E. Program evaluation, particularly responsive evaluation n W.B. Dockrell&D. Hamilton (Eds.) Rethinking educational research (pp72-87). London: Hodder and Stoughto citat n William R. Shadish Jr., Thomas D. Cook, Laura C. Leviton (1999), Fundamentele evalurii programelor: Teorii ale practicii , FIMAN, p. 278 14 Idem, p.283

15

Evaluarea reactiv are o serie de elemente comune cu evaluarea formativ, n timp ce evaluarea prestabilit se suprapune parial evalurii sumative 15 . Caseta 2. Puncte comune ntre evaluarea reactiv i formativ pe de o parte i evaluarea prestabilit i sumativ pe de alt parte Evaluarea Evaluarea reactiv Flexibilitatea metodologic formativ Preferina pentru metode calitative Concentrarea pe activiti Accentul pe mbuntirea practicilor Se realizeaz de regul pe parcursul unui program Evaluarea Evaluarea Preferina pentru metode cantitative prestabilit Concentrarea pe obiective i pe gradul de realizare sumativ a acestora Se realizeaz, de obicei, la finalul unui program Caracterizat de anumii critici ca fiind atractiv superficial 16 , distincia reactiv-prestabilit rmne valabil n teoria evalurii deoarece elucideaz anumite aspecte ale procesului de evaluare care, neconceptualizate rmn n penumbr: importana flexibilitii metodologice, utilitatea metodelor calitative, accentul care trebuie pus i pe activiti, nu numai pe obiective etc. Ambele sunt considerate relevante i utile pentru sectorul public.

2. Dup momentul evalurii: a. Evaluarea ex-ante b. Evaluarea interim c. Evaluarea ex-post Evaluarea ex-ante 17 Exaluarea ex-ante este un tip de evaluare realizat n cea dinti etap a ciclului unui program sau proiect (faza de planificare i design), nainte de a fi luat decizia de implementare a sa, nainte de a se manifesta presiunea termenelor limit. Evaluarea ex-ante presupune o analiz SWAT, n cadrul creia vor fi luate n considerare caracteristicile definitorii ale localitii, regiunii, statului n care se implementeaz proiectul, o analiz a nevoilor i anumite simulri ale efectelor socio-economice. Acest tip de evaluare asigur relevana i coerena programului n functie de context. n cazul n care este vorba de un program care urmeaz a fi pus n aplicare prim mai multe proiecte, iar acestea vor fi selectate prin licitatie, evaluarea ex-ante a programului ajut la determinarea criteriilor de selecie a proiectelor i la selectarea proiectelor care urmeaz a fi finanate. De asemenea cu noul statut al Romniei de stat membru al Uniunii Europene trebuie acordat o atenie specific respectrii regulamentelor i standardelor Uniunii Europene de calitate n furnizarea de bunuri i servicii. Evaluarea interim Evaluarea interim se realizeaz n cea de-a doua etap a ciclului unui proiect sau program, n timpul implementrii. Scopul acestei evaluri este mbuntirea designului i a procesului de implementare a unui proiect sau program. Evaluarea interim are elemente comune cu evaluarea formativ n sensul c: urmrete gradul de realizare a obiectivelor pn n momentul evalurii, gradul de respectare a calendarului, ncadrarea n buget, gradul de utilizare a celorlalte resurse, etc. Prin comparaia cu situatia iniial, n cursul evalurii interim, pot fi semnalate anumite schimbri relevante n contextul socioEste vorba de conceptele promovate de Scriven. Shadish, William R. Jr., Thomas D. Cook, Laura C. Leviton (1995),Fundamentele evalurii peogramelor: Teorii ale practicii, SAGE Publications, Inc., p. 317 17 Tavistock Institute et all, The Evaluation of Socio-Economic Development: The GUIDE, 2003, pp. i, ii.
16 15

16

economic care pot afecta programul. Tot n cursul evalurii interim trebuie sesizat orice deviere de la normele europene n furnizarea de bunuri i servicii. Evaluarea interim utilizeaz informaiile obinute n urma monitorizrii i n urma evalurii ex-ante. De regul evaluarea interim presupune analize ale rezultatelor intermediare ale proiectului, ns este recomandabil i o anali detaliat a impactului probabil care nc nu a avut timp s se manifeste, ns este inerent. Pe baza concluziilor evalurii interim poate fi mbuntit att designul ct i managementul programelor analizate, pot fi prevenite eventuale impacturi negative.. Evaluarea ex-post Evaluarea ex-post vizeaz analiza ntregului program n principal din perspectiva rezultatelor comparate cu obiectivele iniiale ct i din perspectiva impactului pe care l are. Exist numeroase elemente comune ntre evaluarea ex-post i evaluarea sumativ. Pe lng metode de evaluare precum analiza rezultatelor i a impactului, evaluarea ex-post mai poate utiliza urmtoarele metode: benchmarking, analiza cost-beneficiu i cost-eficien, analiza proceselor i analiza multi-atribut. Scopul evalurii ex-post este multiplu: cuantificarea rezultatelor i efectelor intenionate sau nu ale unui program, analiza calitativ i cantitativ a performanelor, nvarea unor lecii pentru mbuntirea managementului unor programe viitoare, compararea performanelor programului evaluat cu performanele altor programe similare, etc. 3. Dup poziia membrilor echipei de evaluare exist dou tipuri eseniale de evaluare: a. Evaluarea intern b. Evaluarea extern a. Evaluarea intern este evaluarea realizat de personal specializat din interiorul instituiei care implementeaz programul. De regul, instituia implementatoare are personalul calificat i datele necesare pentru realizarea evalurii. Totui, n Romnia exist numeroase instituii (dac ne referim la sectorul public) sau organizaii (dac lum n calcul i sectorul non-profit) care nu beneficiaz de o capacitate intern de evaluare (nu au persoane specializate n domeniul evalurii), dei au specialiti pe diferite sectoare relevante pentru proiectul evaluat. Aceste instituii vor apela, chiar i pentru evaluarea intern a programelor la serviciile unor experi n evaluare din exterior, de preferin independeni (fr alte conexiuni cu proiectul evaluat sau cu echipa de implementare a proiectului). Scopul evalurii interne este furnizarea unei analize din perspectiva implementatorului care are acces la date mai uor dect orice alt actor implicat (fie el finanator sau evaluator extern). Prin urmare acest tip de evaluare este extrem de bogat n date, iar raportul de evaluare este unul foarte explicit i explicativ. Cei care au implementat proiectul cunosc cel mai bine teoria, procesele i rezultatele acestuia i motivele pentru care s-au implementat anumite modificri n designul iniial, eventual motivele pentru care nu a fost respectat calendarul iniial, s-a depit bugetul sau, dimpotriv, nu s-au utilizat resursele, care au fost elementele distorsionante aprute pe parcurs i ce efecte au avut aceste elemente asupra programului. Evaluare intern este foarte potrivit pentru evaluarea formativ, ajutnd la controlul calitii evalurii i la dezvoltarea capacitii interne de evaluare. Dezavantajele evalurii interne sunt: lipsa unor expertize sectoriale i lipsa independenei. c. Evaluarea extern reprezint evaluarea realizat de ctre evaluatori independeni, de regul din afara instituiei sau organizaiei care implementeaz programul sau care se numr printre actorii care particip la realizarea programului. Avantajele principale ale acestui tip de evaluare sunt independena i potenialul unei game largi de expertiz. Evaluarea este potrivit mai ales evalurilor sumative. Dezavantajele acestui tip de evaluare sunt posibilele presiuni care pot limita independena, faptul c nu ajut la dezvoltarea capacittii interne de evaluare i costurile ridicate pe care le presupune. 4. Alte tipuri de evaluare Alturi de tipurile de evaluare amintite anterior, n literatura de specialitate sunt menionate i o serie de alte tipuri de evaluare, printre care evaluarea participativ i evaluarea bazat pe teorie. n evaluarea participativ, perspectiva evaluatorului este pe poziie de egalitate cu perspectivele actorilor implicai n program. Intenia este de a avea un proces de evaluare cu concluzii i recomandri relevante i utile pentru proiectele viitoare ale actorilor implicai. Acest tip de evaluare se potrivete attcu

17

evaluarea sumativ ct i cu cea formativ. Implicarea tututor participanilor pe poziii de egalitate aduce de obicei un plus semnificativ de informaie n procesul de evaluare. Evaluarea participativ este adesea prezentat ca un tip modern de evaluare i este prezentat n opoziie cu evaluarea tradiional. 18 Evaluarea bazat pe teorie aplicat de anumii cercettori n domeniul abuzului de substane care creeaz dependen 19 sau n evaluarea iniiativelor comunitare comprehensive 20 . Acest tip de evaluare se caracterizeaz prin faptul c nu permite realizarea unor analize statistice ale datelor obinute, de cele mai multe ori datorit diveritii acestora. Prin urmare, vor fi utilizate preponderent metode calitative de cercetare. Utilitatea acestui tip de evaluare este evident mai ales n cazul evalurilor unor iniiative comunitare, ale cror efecte nu pot fi analizate statistic, dar care pot furniza informaii despre eficacitatea acestui tip de iniiativ. Anumii cercettori 21 susin c, prin combinarea datelor legate de rezultatele unui program cu informaii privind desfurarea procesului de implementare a proiectului, putem obine informatii valoroase privind efectele programului i impactul acestuia. Evaluarea bazat pe teorie pornete de la premisa c orice program de intervenie social are la baz o teorie despre cum funcioneaz un anumit proces, n ce condiii va atinge eficiena i eficacitatea maxim etc. Aceast teorie poate fi implicit sau explicit. Teoria unui program este, n linii mari, echivalent cu modelul logic al acestuia care explic modul su de funcionare. Acest tip de evaluare ofer numeroase informaii edificatoare pentru modul de implementare a unor programe complexe similare, indicnd riscurile, elementele-cheie i leciile nvate pe parcursul implementrii. Evaluarea impactului. n cadrul analizelor de impact, se msoar pe de o parte efectele nete ale interveniei (impactul net), iar pe de alt parte se cuantific efectele programului sau proiectului pe termen mediu i lung. Principala problem a determinrii impactului net este diferenierea efectelor datorate programului i a cele datorate altor cauze. Impactul net poate fi determinat att naintea implementrii (preconizarea impactului), n timpul implementrii i ulterior acesteia. Impactul pe termen mediu i lung poate fi anticipat anterior implementrii i n timpul acesteia, i poate fi calculat ulterior implementrii. Indiferent dac este vorba de determinarea impactului net sau a efectelor pe termen mediu i lung, evaluarea impactului poate fi extrem de util pentru mbuntirea designului proiectelor actuale i viitoare, pentru fundamentarea deciziilor privind continuarea sau stoparea anumitor iniiative. O abordare detaliat a analizelor de impact va fi prezentat n a doua parte a lucrrii. Sisteme de evaluare: Evaluarea centralizat i evaluarea descentralizat

Problema care se ridic n cazul sistemelor de evaluare este un loc comun n problematica administraiei publice: care este nivelul optim de centralizare/descentralizare n activitatea de evaluare a programelor. Ca i n cazul serviciilor publice, exist avantaje i dezavantaje, fie c se opteaz pentru centralizare, fie c se alege descentralizarea ca model de organizare a sistemului de evaluare a programelor n Romnia. n timp ce o centralizare excesiv imprim lips de flexibilitate i induce lipsa discreiei administrative, descentralizarea poate atrage dup sine lipsa coerenei, utilizarea deficitar a metodologiei, etc. Din acest motiv se opteaz de cele mai multe ori pentru o soluie intermediar: nici centralizare, dar nici descentralizare excesiv. O atenie deosebit trebuie acordat nevoilor fiecrui domeniu de activitate. Chiar dac iniial dezvoltarea unui sistem de evaluare este legat de un anumit
18 19

De vzut Sorin Dan andor, Analiz i cercetare n administraia public, Accent, 2005, p.81 H.T. Chen, (1990). Theory-driven evaluation. Thousand Oaks, CA: Sage Publications.

Weiss, Carol Hirschon, 1995, Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation for Comprehensive Community Initiatives for Children and Families. n James P. Connell, Anne C. Kubish, Lisbeth B. Schorr and Carol H. Weiss (eds.) New Approaches to Evaluating Community Initiatives. Vol.1: Concepts, Methods, and Contexts. Washington, D.C.: The Aspen Institute Schorr and Kubisch, 1995, New approaches to evaluating community initiatives. Washington DC: The Aspen Institute
21

20

18

minister, ulterior, trebuie analizat nevoia de evaluare i la nivelul celorlalte ministere. Mai mult, dei o atenie deosebit va fi acordat evalurii programelor cu finanare european (PHARE, SAPARD, Fonduri Structurale, etc), nu trebuie ignorate i celelalte programe finanate din surse interne, dar i din alte surse externe. Sistemul de evaluare va ctiga astfel n complexitate. Irlanda este un exemplu n care au fost ncercate ambele modele. Modelul centralizat a fost adoptat n intervalul 2000-2006. Activitatea de evaluare a fost organizat i coordonat de ctre Unitatea de Evaluare a Ministerului Finanelor. n acest interval s-a asigurat o concentrare a eforturilor de evaluare pe programele operaionale. A fost o abordare consecvent i s-au semnalat costuri reduse. Un alt avantaj al sistemului centralizat de evaluare este faptul c Unitatea de Evaluare e exterioar Autoritii de Management care implementeaz programul operaional respectiv. Modelul descentralizat a fost implementat n intervalul 1994-1999. Evaluarea reprezenta n aceast perioad responsabilitatea fiecrei Autoriti de Management responsabile cu un Program Operaional. i aceast abordare are o serie de avantaje: permite Autorittilor de Management s conceap evalurile conform propriilor nevoi, iar acestea pot apela la Unitatea Central de Evaluare pentru expertiz tehnic. Modelul Propus pentru Romnia pe perioada 2007-2013 este o combinaie ntre modelul centralizat i cel descentralizat.

19

Capitolul 3. Metode de cercetare utilizate n evaluare Concepte

Metode cantitative metodele de cercetare care au n vedere studiul unor realiti prin cuantificarea fenomenelor care prezint interes i generarea unor teorii generalizabile pe baza datelor obinute n urma cuantificrii; printre acestea se numr: ancheta sociologic i analiza cantitativ a documentelor.

Metode calitative metode de cercetare care se concentreaz pe studiul intensiv al fenomenelor sociale, cu accent pe aprofundarea problematicii i detalierea aspectelor care prezint interes; aici se nscrie interviul individual, focus-grupul, analiza calitativ a documentelor i observaia.

Paradigma multi-metod un nou model de abordare n privina metodelor de cercetare, care pune accent pe complementaritatea dintre acestea; acesta propune utilizarea conjugat a metodelor cantitative i calitative, pentru a obine rezultate optime.

Date primare datele care sunt colectate direct de ctre cercettorii care realizeaz un anumit studiu, cu ajutorul unor metode i instrumente de cercetare specifice. Date secundare- datele care sunt utilizate ntr-o cercetare, dar au fost colectate anterior i cu alte scopuri.

Metode statistice metodele utilizate pentru analiza datelor obinute cu ajutorul metodelor de cercetare; se refer la metode specifice de testare a unor ipoteze utiliznd asocieri, modele de regresie, diferii coeficieni statistici etc.

20

Capitolul 3. Metode de cercetare utilizate n evaluare Pentru fiecare tip de evaluare a fost dezvoltat o gam larg de metode de cercetare n conformitate cu scopul evalurii, cu tipurile de ntrebri la care evaluarea urmeaz s rspund, cu contextul organizaional i socio-economic, cu bugetul disponibil, cu capacitatea de cercetare i cu ali factori semnificativi. Evaluarea unui proiect sau program presupune utilizarea att a metodelor calitative de cercetare ct i a celor cantitative. Abordarea cel mai des utilizat este cea a metodelor multiple-o combinaie funcional ntre cele dou tipuri de metode. Un anumit grad de cuantificare este necesar n toate studiile de evaluare pentru a aprecia succesul interveniilor i amploarea efectelor adverse. n acelai timp, metodele calitative de cercetare sunt extrem de utile n rafinarea instrumentelor de cercetare i n aprofundarea informaiei colectate. n sociologie n particular i n tiinele socio-umane n general, termenii cantitativ i calitativ ajung s desemneze dou mari paradigme. Diferena ntre calitativ i cantitativ se face att la nivel epistemologic general, ct i privind anumite aspecte precum: rolul cercettorului, relatia cu subiectul, relaia teoretic-empiric, metodele principale utilizate i natura datelor obinute. 22 Traian Rotariu i Petru Ilu n Ancheta sociologic i sondajul de opinie: Teorie i practic demasc falsa opoziie dintre cele dou mari paradigme 23 . De ce opoziie i de ce fals? Ideea de opoziie ntre cantitativ i calitativ are la baz distincia dintre abordarea pozitivist i cea fenomenologic, dintre Erklaren i Verstehen 24 . Erklaren- explicaia obiectiv, din afar i verstehenntelegerea subiectiv-din interior. Modelul cantitativist presupune descrieri i explicaii de tip pozitivist, dintr-o perspectiv exterioar, obiectiv-structural. Spre deosebire de acesta, modelul calitativist are la baz subiectivitatea uman. Socialul este construit prin interaciunea simbolurilor i reprezentrilor individuale sau de grup, iar cunoaterea este de tip comprehensiv. Una dintre diferenele majore dintre cele dou modele, la nivel metodologic este faptul c modelul cantitativ utilizeaz metode structurate, n timpce modelul calitativ se bazeaz pe metode i tehnici nestructurate. Exist numeroase motive pentru care opoziia dintre cantitativ i calitativ este un construct artificial. Dnd un rspuns la ntrebarea: Ce este abordarea calitativ a socio-umanului?, P. Ilu genereaz o definiie a calitativului axat pe 12 dimensiuni 25 : orientarea general epistemologic, nivelul realitii vizat, natura realitii vizate, relevana punctului de vedere n explicarea i ntelegerea realitii, relatia dintre cercettor i subiect, relaia dintre teorie i cercetarea empiric, selecia unitilor de cercetat efectiv din populaia vizat, timpul afectat culegerii datelor, metodele principale utilizate, natura datelor obinute, stilul raportului de cercetare (al textului elaborat), preponderena n disciplinele socioumane(n sens restrns). Astfel, abordarea calitativ a socio-umanului este modelul care are la baz orientarea epistemologic fenomenologico-comprehensiv, idiografic, care se aplic la nivel microsocial, local, contextual, care vizeaz realitatea procesual i construit social de actor, care utilizeaz punctul de vedere al subiecilor n explicarea i nelegerea realitii, n care relaia dintre cercettor i subiect este una apropiat, iar relaia teoretic-empiric este una de emergen a teoriei pe parcursul cercetrii empirice. Acelai model calitativist utilizeaz ca uniti de cercetat ntrega populaie sau o eantionare teoretic, datele sunt culese pe parcursul unei perioade lungi, continue, iar metodele principale utilizate sunt: observatia participativ, interviul intensiv, (auto)biografiile, analiza calitativ a documentelor. Datele obinute sunt complexe, de profunzime, este utilizat un limbaj natural, metaforic, cu putine date statistice i reprezentri grafice i e utilizat cu preponderen n antropologie cultural i istorie. Pentru a reliefa ct mai clar specificitatea modelului calitativ, autorul l prezint n comparaie, deci nu opoziie cu cantitativismul. Urmnd aceeai arhitectur a definiiei, orientarea general epistemologic a modelului cantitativ este una pozitivist-explicativist. Cercetarea cantitativ se aplic prepondernt nivelului macrosocial, global, formal, vizeaz realitatea static i exterioar actorului social, utilizeaz perspectiva cercettorului, intre cercettor i subiect exist o relaie distant(din exterior). n cercetarea cantitativ teoria este verificat prin cercetarea empiric(ipotezele sunt testate), selecia unitilor de cercetat din
22

Adaptare dup Brayman, A.(1992), Quantity and Quality in Social Research, Londra, New York, Routlege, n Traian Rotariu i Petru Ilu (2001) Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom, p. 25 23 Traian Rotariu i Petru Ilu (2001) Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom, p. 24 24 Dup Petru Ilu(1997) Abordarea calitativ a socioumanului, Polirom, Iai, p.40 25 Petru Ilu(1997) Abordarea calitativ a socioumanului, Polirom, Iai, p.63

21

populaia vizat se face preponderent prin eantionare statistic, culegerea datelor se face episodic, i se ntinde pe perioade scurte de timp, metodele principale utilizate sunt: experimentul, ancheta cu chestionar standardizat, analiza cantitativ a documentelor i observaia sistematic din exterior. Datele obinute n urma cercetrilor cantitative sunt tari(valide, de mare fidelitate), ns nu surprind la fel de multe detalii ca i cercetarea calitativ i nu ating profunzimea coleciilor de date calitative. Totui, datele cantitative sunt generalizabile, pot sta la baza contructiei unor noi axiome, teorii. Raportul de cercetare n cazul modelului cantitativist este consistent n cifre, tabele, grafice i comentarii n limbaj natural, iar frecvena cea mai mare a utilizrii acestui model este ntlnit n sociologie i psihologie social. Evident rmne faptul c cele dou paradigme sunt puse fa n fa cu scopul de a face o comparaie i nu pentru a sublinia un raport de opoziie. n Ancheta sociologic i sondajul de opinie: teorie i practic, Rotariu i Ilu expun cel puin patru motive pentru care opoziia cantitativ-calitativ este un construct artificial: 1. Tot ceea ce este subsumabil comprehensiunii poate servi ca punct de plecare n proiectarea unor cercetri pozitiviste(prin experiment, anchet cu ajutorul chestionarului, sau prin observaie neparticipativ). Mai mult, acelai bagaj comprehensiv este inevitabil prezent n faza de analiz i interpretare calitativ-globalist a unor date statistice 26 . 2. Intuiia se poate nscrie alturi de procesele de cunoatere (inducie, deducie, asociere i imaginaie) ca un plus semnificativ nc neexplicat psiho-fiziologic 27 . tiinele tari nu exclud intuiia(intuiionismul n matematic), deci comprehensiunea nu poate fi opus modelului pozitivist de tiin i exclus din modelul cantitativist. 3. Diverse alte dimensiuni ale comprehensiunii(e.g. empatia) pot fi cercetate n cadrul raionalului i descrise i explicate n termeni cantitativiti. 4. Expresiile subiectivitii umane (cuvintele rostite, gesturile, comportamentele, atitudinile, valorile, credinele) pot fi analizate nu doar prin metode intensive, specifice arsenalului metodologic calitativ ci i cu ajutorul unor metode i tehnici specifice modelului cantitativist(este ceea ce se ntmpl n general n sondaje, n cadrul ntrebrilor de opinie). Iar metodele intensive de cercetare nu pot pretinde c au acces la perspectiva actorului n esena sa, depind interpretat-construitul. Prin urmare, relaia dintre cantitativ i calitativ este neleas inexact de ctre cei care pretind c este vorba despre un raport de opoziie. Aceast iluzie este indus de cele mai multe ori de prezentarea lor fa n fa nu pentru c s-ar opune, ci pentru c sunt complementare, iar explicaia uneia, faciliteaz comprehensiunea celeilalte. Metodele mixte de cercetare - o nou paradigm sau un magnet semantic? n Handbook of Mixed Methods in Social and Behavioral Research publicat n 2003, Tashakkori i Teddlie (editori) lanseaz noua paradigm a metodelor mixte de cercetare. Pe parcursul a douazeci i ase de capitole, Tashakkori i Teddlie, alturi de ali autori, analizeaz, nu de puine ori critic, noua paradigm. Fundamentele acestei noi paradigme se regsesc n lucrarea publicat de cei doi autori n 1998: Mixed Methodology: Combining Qualitative and Quantitative Approaches. Mai mult, dup cum se observ din analiza de mai sus, aceast paradigm a fost anunat n publicaiile autorilor romni Traian Rotariu i Petru Ilu care nc din 1997 susineau nexistena unei opoziii reale ntre calitativ i cantitativ 28 . Dincolo de reiterarea realitii inexistenei unui conflict ntre cele dou paradigme ale cercetrii clasice, Tashakkori i Teddlie aduc dou contribuii fundamentale prin popularizarea noii paradigme a metodologiei mixte: crearea unei tipologii a metodelor mixte de cercetare i a modelelor mixte de cercetare, precum i prezentarea unui ghid practic de utilizare a lor. Metodele mixte de cercetare presupun combinaii ale abordrilo cantitative i calitative n metodologia unei cercetri (spre exemplu n etapa colectrii datelor), n timp ce modelele mixte de cercetare combin cele dou abordri pe tot

26 27

Traian Rotariu i Petru Ilu (2001) Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom p. 25 ibidem 28 Traian Rotariu i Petru Ilu (1997) Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom

22

parcursul unui studiu 29 . n cartea publicat n 2003, Handbook of Mixed Methods in Social & Behavioral Research, Tashakkori i Teddlie aduc elemente noi, de rafinament care clarific dimensiunile noii paradigme. Cercetarea prin metodele mixte sau cu metode multiple (multimethod) cum mai este numit, poate fi definit succint ca fiind practica utilizrii mai multor tipuri de metode de colectare a datelor(att de natura cantitativ, ct i de natur calitativ) n acelai studiu sau program de cercetare(spre exemplu, msurarea variabilelor att cu ajutorul anchetei sociologice cu chestionar standardizat, ct i prin analiza calitativ a datelor, testarea ipotezelor att prin metode experimentale, ct i prin metode nonexperimentale, sau utilizarea metodelor calitative de cercetare empiric pentru a detalia informaiile furnizate printr-un sondaj de opinie. 30 Metodele de cercetare difer nu numai prin tipul datelor pe care le pot oferi, ci i prin vulnerabilitatea lor la diferite tipuri de erori. Abordarea metodelor mixte poate fi considerat o strategie pentru eliminarea sau cel puin reducerea gradului de vulnerabilitate la eroare a ambelor tipuri de metode. n ce msur aceast paradigm reprezint o noutate, rmne de vzut. Promotorii si recunosc c metodele implicate de noua abordare sunt, n general, metodele utilizate n cercetarea contemporan n tiinele socio-umane. n acest sens, metodele mixte nu sunt o noutate. 31 Ceea ce este nou este designul unei sinteze sistematice a celor dou modele diferite de cercetare (cantitativ i calitativ) cu scopul de a crete nivelul cunoaterii n tiinele sociale. A spune c metodele analizei statistice i cele ale analizei calitative a unui studiu de caz sunt complementare, nu este ceva nou. Cum nu este nou faptul c asocierile i corelaiile statistice pot sugera adesea noi direcii pentru cercetarea calitativ. Testarea ipotezelor prin metode de analiz cantitativ nu excludea nici pn acum utilizarea n paralel sau ulterior a unor ,etode calitative de cercetare pentru a ntri sau detalia concluziile. Dup cum susin chiar promotorii noii paradigme, nc din 1970 cercetarea multimetod sau cu ajutorul metodelor mixte era utilizat sub denumirea de triangulaie. 32 Rzboiul paradigmatic n evaluarea de programe Domeniul evalurii programelor preia aceast fals opoziie. Paradigmele dominante n metodologia evalurii de programe a anilor 70-80 sunt cantitativ versus calitativ. ncepnd cu deceniul nou, aceast lupt pierde teren 33 . Natura specific a investigaiilor calitative deriv din deschiderea acestora, din legtura strns a evaluatorului cu programul, din utilizarea observaiei i mai ales a interviului nestructurat care comunic respect respondenilor prin transformarea opiniilor proprii (exprimate n propriile lor cuvinte) ntr-o surs important de date pentru evaluare. 34 Metodele cantitative implic analiza statistic a unor date obiective, de regul cifre. Acestea sunt obinute prin numrarea beneficiarilor unui program, sau prin analiza secundar a unor date. Metodele calitative utilizeaz informaiile obinute n urma unor discuii, n urma unor observaii participative sau non-participative care sunt analizate i organizate tematic ulterior, urmnd a fi raportate ntr-un stil narativ. Metodele cantitative sunt utilizate pentru a insera diverse opinii i experiene n categorii predeterminate, pentru a ajunge la rezultate semnificative din punct de vedere statistic i generalizabile. Cu ajutorul metodelor calitative pot fi studiate n profunzime diverse probleme ale unui program. Ele genereaz date detaliate, de multe ori n propriile cuvinte ale participanilor dintr-un anumit program i nu exist metode cantitative adecvate pentru a descrie comportamentul variabilelor investigate. Studiile metodologice orientate spre cantitativ, apreciaz metodologia calitativ ca avnd prea puin impact asupra rezultatelor cercetrii, i c este util doar n fazele incipiente, exploratorii ale unei cercetri. Din aceast perspectiv, metodele calitative de cercetare sunt necesare pentru a produce ceea ce numim de obicei familiarizarea cu subiectul investigaiei, pregtind astfel terenul pentru cercetarea cantitativ. Aceasta presupune faptul c validitatea cercetrii este dat n tiinele sociale exclusiv de datele experimentale, de statisticile oficiale i de eantionarea aleatorie.
29

Abbas Tashakkori, Charles Teddlie (1998) Mixed Methodology: Combining Qualitative and Quantitative Approaches, SAGE Publications, Inc., p. ix 30 Dup Tashakkori, Abbas, Charles Teddlie (2003) Handbook of Mixed Methods in Social & Behavioral Research, SAGE Publications, Inc., p. 557 31 Ibidem, p.578 32 Ibidem, p.579 33 Dup William Shadish Jr, Thomas D. Cook i Laura C, Leviton (1991) Foundation of Program evaluation: Theories and Practice, Newbury Park, CA, SAGE 34 Dup Michael Q. Patton (2002), Qualitative Research and Evaluation Methods, SAGE, p.124

23

Criticii metodelor cantitative susin c metodologia cantitativ nu este singurul mod n care poate fi demonstrat validitatea rezultatelor unei cercetri. 35 . Experimentele, statisticile oficiale i sondajele de opinie pot fi inadecvate pentru cercetarea anumitor probleme din tiinele sociale. Acetia accept faptul c n anumite circumstane metodele cantitative pot aduce informaii noi cercettorilor, dar, n acelai timp, pot lsa n umbr anumite aspecte eseniale. Iniial, evaluarea programelor a fost dominat de paradigma naturalist a metodologiei ipoteticodeductive care pune accentul pe cantitativ, pe designul experimental i pe analiza statistic. n 1995, la Conferina Internaional de Evaluare din Vancouver William Shadish Jr, Thomas D. Cook i Laura C. Leviton anun victoria paradigmei calitative 36 . Thomas D. Cook i Donald T. Campbell militeaz n acest sens nc din 1979 n Quasi-experimentation: Design and Analysis Issues for Field Settings 37 . Totui, validitatea metodelor experimentale i a metodelor cantitative utilizate n mod adecvat nu a fost contrazis. Acum ns, metodele calitative i-au ctigat drepturi egale celor cantitative. n 1991, Preedintele Asociaiei Americane pentru Evaluare, Lee Sechrest, punea preferina pentru metodele calitative pe seama simplitii acestora comparativ cu metodele cantitative mult mai dificil de abordat. Totui, Sechrest recunoate necesitatea metodelor calitative, ns doar n combinaie cu cele cantitative. 38 Paradigma metodologic alternativ (calitativ) i are originile n antropologie, n sociologia calitativ i n fenomenologie. Doctrinar, aceast paradigm a fost plasat sub girul Verstehen-ului. Principalul motiv l reprezint faptul c oamenii au scopuri i emoii, i fac planuri, construiesc culturi i susin anumite valori, iar comportamentul lor este influenat de aceste valori, planuri i scopuri 39 . Tradiia Verstehen pune accent pe capacitatea uman de a cunoate i nelege alteritatea prin introspecie empatic i prin reflecii avnd la baz descrieri detaliate rezultate din observaia direct, interviuri nestandardizate i studii de caz. Paradigma alternativ cantitativului/experimentalului acord o atenie crescut semnificaiei comportamentului uman, contextului interaciunii sociale i legturii dintre strile subiective i comportament. n domeniul evalurii paradigma alternativ ctig din ce n ce mai muli adepi. Unul dintre cei dinti care se face auzit este Robert Stake. Analiza cantitativ a documentelor Datele culese trebuie s aib o legatur direct cu proiectul sau programul care urmeaz a fi analizat. Informaia necesar poate fi adunat n mai multe moduri. Un prim pas l poate constitui revizuirea unor cercetri sau studii realizate anterior. n cazul evalurii unui program pot exista cercetri anterioare care s furnizeze informaii legate de programe similare, activiti cotidiene i diverse caracteristici ale unui anumit grup de persoane. Alteori nu exist asemenea informaii. n acest din urm caz se va apela la alte metode de colectare a datelor consecutiv operaiunilor preliminarii de analiz a situaiei. Uneori evalurile anterioare pot fi utilizate ca surse importante de date. Uneori, pentru comparaia dintre prezent i trecut se va recuge la memoria persoanelor implicate sau afectate de diverse intervenii sociale. Un caz particular l constituie problematica schimbrii instituionale. Pentru aprecierea schimbrii instituionale se vor cuta indicatori utilizai n anii precedeni privind modul de aciune al instituiilor. Este dificil de definit n avans obiectul investigaiilor. Aceasta presupune de obicei studiul unor documente mai vechi sau discuii cu diferite persoane care pot duce la identificarea schimbrilor i a elementelor constante.
David Silverman (2001) Interpreting Qualitative Data: Methods for analysing Talk, Text and Interaction, 2nd ed. Sage, p.32 36 Michael Quinn Patton (1997)Utilization-Focused Evaluation: The New Century Text, Sage Publication, p. 266 37 Thomas D. Cook, i Donald T. Campbell (1979) Quasi-experimentation: Design and Analysis Issues for Field Settings Chicago, Rand McNally 7 Idem 4. Kenneth Strike, (1972) Explaining and Understanding the Impact of Science on Our Concept of Man, n Philosophical Redirection of Educational Research: The Seventy-First Yearbook of the National Society for the Study of Education, editor: Lawrence G. Thomas, Chicago, University of Chicago Press, p.28, citat n Michael Quinn Patton (1997), Utilization-Focused Evaluation, The New Century Text, Sage Publication, p. 271.
39 35

24

O surs de date necesare pentru realizarea unui studiu de iunei evaluri este cercetarea arhivelor, a datelor provenite din recensminte i al celorlalte date statistice existente. Este necesar colectarea unui set de principal de date cantitative care s se refere la calitatea vieii, nivelul veniturilor, al cheltuielilor etc. la nivel de comunitate. Aceasta mai ales cnd sunt studiate diferite comuniti pentru a asigura comparabilitatea tematic ntre acestea. Alturi de datele obinute prin cercetarea crilor i a articolelor publicate, o atenie deosebit ar trebui acordat informaiilor oferite de lucrrile de la diverse conferine, de rapoartele tehnice realizate n urma anumitor proiecte, intervenii sau cercetri. Este extrem de important ca rezultatul analizei documentelor s includ referiri la toate studiile empirice realizate, cu scopul unei abordri comparative privind domeniul, metodele i validitatea evalurii. Analiza documentelor va furniza informaii referitoare la probleme i variabile sociale relevante pentru proiectul sau programul respectiv care este n curs de implementare sau n faz de proiectare. ns, din moment ce fiecare proiect i program este unic, trebuie adunate informaii suplimentare depre situaia concret. Pentru fiecare program evaluat vor fi necesare date legate de variabile precum: participarea anterioar sau implicarea prezent n programe similare, stilul de via, angajarea, atitudinile, valorile sociale i credinele care caracterizeaz comunitile, organizarea social a acestora, dinamica populaiei, coordonatele demografice ale comunitaii i regiunii. Analiza cantitativ a documentelor are avantajul de a fi mai puin costisitoare n termeni de timp i alte resurse dect sondajele de opinie, dar potenialul de eroare este mai ridicat. Prin utilizarea bazelor de date existente, analistul poate formula modele despre performana unui program, impactul social potenial la nivelul grupurilor i al comunitilor, etc. Informaia care contrazice modelul construit, determin revizuirea acestuia, mai ales dac datele care nu se potrivesc modelului sunt considerate relevante. Analiza documentelor este preferat ca metod primar de culegere a datelor pentru evaluare. Aceasta datorit virtuilor sale privind economia de resurse. Totui ea este de obicei utilizat mpreun cu alte metode, att cu scopul completrii informaiei, ct i cu scopul examinrii validitii datelor. Pentru a observa utilizarea metodelor de cercetare in evaluarea de proiecte, am nceput prin a analiza o parte din studiile de evaluare a impactului derulate de experii Bncii Mondiale n intervalul 2003-2005. Am realizat un eantion aleatoriu, stratificat, de evaluari, dup urmtoarele variabile: domeniul proiectelor evaluate (dezvoltare economic, educaie, infrastructur) i numrul beneficiarilor acestora (sub 50.000 indivizi, ntre 50.001 si 100.000 i peste sau egal cu 100.001 indivizi) (Tabelul 18). Am selectat aceste variabile pentru c: domeniul - d specificitatea analizelor la care se preteaz un proiect n cursul evalurii i numrul indivizilor din grupul int al proiectului ilustreaz de regul dimensiunea proiectului. Iar metodele de cercetare utilizate n evaluarea proiectelor sau programelor pot varia n funcie de aceste dou variabile. Aceasta este ipoteza de la care am pornit. Scopul a fost obinerea unei selecii omogene de studii de evaluare. Ulterior am notat care este metoda de cercetare utilizat cu predilecie (i am numit-o metoda principal), precum i metodele utilizate n completarea acesteia (metoda secundar i metoda teriar). Ulterior am notat apariia fiecrei metode de cercetare in studiile de evaluare, precum i poziia (primar, secundar sau teriar) pe care o ocup n studiul de evaluare. Am sesizat utilizarea n principal a trei metode de cercetare-analiza documentelor, sondajul de opinie i interviul individual-metode pe care le-am luat n calcul pe tot parcursul analizei realizate. Dup cum reiese din Tabelul 1 i 2, n eantionul de 40 de studii de evaluare a impactului social realizate de ctre Banca Mondial, 45% (18) utilizeaz analiza cantitativ a documentelor ca metod principal, iar alte 20 % (8) ca metod secundar. Tabelul 1. Metoda principal de cercetare utilizat n evalurile realizate de Banca Mondial Frecvena Procentul 18 45,0 analiza doc 9 22,5 sondaj 7 17,5 interviu ind 6 15,0 alta 40 100,0 Total Este interesat de notat faptul c, dei ca metod primar este preferat analiza documentelor, urmat de ancheta sociologic, n topul metodelor secundare (de suport) ancheta este devansat de interviu. Este o dovad a utilitii paradigmei multimetod. Tabel 2. Metoda secundar de cercetare utilizat n evalurile realizate de Banca Mondial

25

analiza doc sondaj interviu ind focus group Delphi Total

Frecvena Procentul 8 20,0 10 12 2 8 40 25,0 30,0 5,0 20,0 100,0

Ancheta sociologic i sondajul de opinie 40 Conjuncia copulativ i din Ancheta sociologic i sondajul de opinie atrage atenia asupra unor deosebiri ntre ancheta sociologic i sondajul de opinie, chiar dac anumii cercettori tind s pun semnul egalitii, echivalenei i chiar al identitii ntre cele dou noiuni. Diferenele ntre o anchet sociologic i un sondaj de opinie sunt ilustrate ct se poate de clar n cartea profesorilor Traian Rotariu i Petru Ilu (Ancheta sociologic i sondajul de opinie: teorie i practic). Se remarc astfel existena a cel puin apte note distinctive ntre cele dou forme de cercetare: 1. O prim caracteristic specific a sondajului de opinie spre deosebire de ancheta sociologic se detaeaz din semnificaia termenului la nivel semantic. Sondajele de opinie au n centru pe de o parte sondajul, iar pe de alt parte opinia. Termenul sondaj este sinonim cu sintagma cercetare selectiv, iar sensul s se poate reduce n mod strict la operaia de selectare a indivizilor care urmeaz a fi chestionai 41 . -Aspect prin excelen subiectiv al realitii sociale, prin opinie se nelege o stare sau o predispoziie mental fa de un anumit referent. 42 Opinia are la baz diverse credine, valori, atitudini, sentimente i aprecieri personale ale celor care o exprim. De multe ori, sondajul de opinie este utilizat interanjabil cu sintagma sondaj de opinie public. Dan andor prezint un model al formrii i manifestrii opiniilor n sfera public, i mai concret n sistemul administrativ i politic: 43 Fig.2 Nivelul de manifestare al opiniilor n sistemul administrativ i politic. (Sursa: Sorin Dan andor,

Instituii Preedinte Parlament Tribunale Administraia central Administraia

Opinii Atitudini i credine pe termen scurt sau lung privind instituiile publice i politicile acestora

Participare Interaciuni cu administraia Votul Participarea n aciuni de lobby

(2004),Analiz i cercetare, Cluj-Napoca: Accent, p.59, adaptare dup Robert G. Lehnen, American Institutions, Political Opinion & Public Policy, Dryden Press, 1976, p. 32)
dup Traian Rotariu i Petru Ilu (1997),(2001), Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom 41 dup Traian Rotariu i Petru Ilu (2001), Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom, p. 52 42 Sorin Dan andor, (2004),Analiz i cercetare, Cluj-Napoca: Accent, p.58 43 adaptare dup Robert G. Lehnen, American Institutions, Political Opinion & Public Policy, Dryden Press, 1976, p. 32, n Sorin Dan andor, (2004),Analiz i cercetare, Cluj-Napoca: Accent, p.59
40

26

Detaliind noiunea de opinie public, sunt subliniate trei aspecte fundamentale: intensitatea opiniei, importana subiectului, i stabilitatea opiniilor 44 . Aceste elemente dau msura n care opinia public este relevant. Opinia public este ns considerat complex i greu de definit operaional 45 . 2. O alt caracteristic specific a sondajului de opinie n comparaie cu ancheta sociologic este specificul problemelor cercetate. n cazul sondajului de opinie public, problemele sau temele abordate au un caracter de interes general (opiuni politice, atitudini fa de probleme instituionale, etc.), pe cnd ancheta sociologic poate fi centrat pe probleme care preocup un grup mai restrns(e.g. beneficiarii unui program sau proiect, o anumit categorie ocupaional, etc). Din acest motiv, n evaluarea de programe vom vorbi mai degrab de anchet sociologic dect de sondaj de opinie. 3. Sondajul de opinie este o subspecie a anchetei sociologice, care se remarc printr-un puternic caracter descriptiv. De cele mai multe ori, sondajele de opinie nu stau la baza unor cercetri explicative. 4. Spre deosebire de anchet, sondajul de opinie necesit, de regul, un timp mai scurt de desfurare. ntrebrile din chestionarele folosite sunt de cele mai multe ori clar structurate i relativ simple. Eantioanele selectate asigur o reprezentativitate rezonabil pentru evalurile cu caracter general urmrite. Ancheta sociologic, dimpotriv, necesit un timp mai indelungat de organizare i desfurare, ntrebrile din cadrul chestionarului specific anchetei pot fi structurate, semistructurate i chiar nestructurate, iar eantionarea se face dup proceduri mai complexe. 5. Rezultatele sondajului sunt prezentate ntr-o form uor accesibil Ancheta sociologic are urmtoarele caracteristici: 46 presupune un numr mare de cazuri, selectarea acestora trebuie fcut dup criterii riguroase de eantionare;datele trebuie colectate n situaii normale, ct mai apropiate de viaa de zi cu zi; colectarea se face n conformitate cu proceduri standardizate iar datele sunt ntr-o form msurabil cantitativ, cea mai simpl fiind prezena sau absena unui atribut. n evaluarea de proiecte i programe pentru administraia public cel mai adesea este utilizat ancheta sociologic. Aceasta poate avea ca populaie statistic cetenii-clieni ai unei anumite instituii (administraia financiar, poliia, cu sistemul educaional, etc.), beneficiarii unui program sau proiect. Populaia statistic poate consta i n membrii unei uniti administrativ-teritoriale sau ai unui grup dintr-o anumit comunitate, int a unor intervenii susinute din bani publici. Toate acestea de mai sus sunt mai mult problematici din care pot fi puse ntrebri. Putem pune ntrebarea ntr-un mod apropiat de formularea propus sau pentru fiecare dintre ele putem formula mai multe ntrebri, astfel nct s nelegem mai bine fenomenul. Sondajul de opinie este utilizat ca surs principal de culegere a datelor n 22.5 %(9) din cazuri(Tabelul 1), ca metod secundar n 25%(10) din cazuri(Tabelul 2), iar ca metod teriar, tot n 25%(10) dintre cazuri dupa cum reiese din Tabelul 3. Tabelul 3.Metoda teriar Frecvena Procentul 10 25,0 analiza doc 10 25,0 sondaj 4 10,0 interviu ind 6 15,0 focus group 8 20,0 Delphi 2 5,0 observaia 40 100,0 Total Dac prin analiza documentelor este ncurajat utilizarea datelor deja existente, din motive de economie i eficient, analiza va evidenia de cele mai multe ori carene n datele avute la dispoziie ca o
Sorin Dan andor, (2004),Analiz i cercetare, Cluj-Napoca: Accent, p.59 Traian Rotariu i Petru Ilu (2001), Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom, p. 52 46 H.H. Hyman, 1973, Surveys in the Study of Political Psichology, n J.N. Knutson ed., Handbook of Political Psichology, Jossey Bass
45 44

27

consecin a unor studii anterioare. Datele obinute prin sondajul de opinie aplicat n cadrul studiului de impact trebuie interpretate prin prisma i n contextul datelor regsite n arhive, datelor provenite din recensminte i al celorlalte date statistice existente. Scopul unui astfel de sondaj ar fi : 1. s verifice valabilitatea datelor obinute iniial, pe un eantion mai larg i mai reprezentativ 2. adresarea unor ntrebri n legatur cu probleme care nu au fost abordate anterior Astfel se obin date predominant cantitative (legate de nivelul de angajare a forei de munc, sursele de venit). Dac se utilizeaz sondajul de opinie, trebuie avute n vedere urmatoarele elemente: utilizarea ntrebrilor potrivite construcia eantionului alegerea celor mai relevante tehnici de analiz a datelor

ntrebrile ar trebui s se concentreze pe problemele sociale cu care are legatur proiectul. Trebuie s existe o legatur direct ntre variabilele cu ajutorul crora se msoar impactul i ntrebrile chestionarului. Numrul i coninutul ntrebrilor trebuie s se plieze pe importana relativ a variabilelor. Accentul trebuie pus pe claritatea formulrii ntrebrilor. nc din aceast etap, o importan semnificativ o are influena variabilelor externe. Validitatea concluziilor depinde de masura n care poate fi anticipat i controlat influen acestora. Claritatea i relevana ntrebrilor, precum i ordinea n care ntrebrile sunt prezentate poate avea un impact semnificativ asupra validitii analizei. Problema variabilelor externe i a oportunitii ntrebrilor poate fi rezolvat prin pre-testarea instrumentului. n acest context, unii cercettori vorbesc despre procesul de clarificare sau de curare a instrumentului. nainte de a ncepe construcia unui chestionar n vederea utilizrii lui pentru evaluarea impactului social al unui proiect sau program, specialistul n tiinte sociale trebuie s in cont de dou realiti: realizarea unor cercetri noi presupun, de regul mult timp, i n al doilea rnd, este recomandabil utilizarea cercetrilor anterioare. Studiile cantitative trebuie corelate cu tehnicile inductive de analiz a informaiei existente, cu analiza informaiei calitative i cu observaia. Metode calitative complementare Interviul semi-structurat Similar unui sondaj de opinie, interviul semi-structurat utilizeaz un ghid foarte asemntor cu un chestionar cu mai multe ntrebri deschise. Utilizat n EIS de doar 17.5% dintre cercettori ca metod principal (vezi Tabelul 1), el are supremaia ca metod secundar utilizat n evaluarea impactului social (vezi Tabelul 2), fiind apreciat ca metod predilect n procesul de aprofundare i clarificare a informaiei. n utilizarea interviurilor semistructurate, tehnicile de interpretare i vizualizare a datelor pot oferi informaii semnificative privind impactul unui anumit program. n anumite cazuri se utilizeaz povestile de via sau documentele care atest cheltuirea veniturilor, cu scopul de a stabili amplitudinea i combinaia strategiilor de existena urmate (i cine le urmeaz). Focus-group-ul i metoda Delphi Focus-group-ul i metoda Delphi pot fi considerate ca metode fie complementare, fie alternative analizei documentelor i sondajului de opinie, dar construite pe baza lor. Att focus-group-ul ct i metoda Delphi ofer date mai robuste din punct de vedere stiinific dect abordrile inductive. Focus-group-ul poate conine ase sau mai multe persoane, reprezentative pentru grupul asupra cruia se calculeaz impactul. n urma discuiilor pot fi identificate i cuantificate o serie de probleme i tipuri de impact social. Utilizarea acestei tehnici necesit o pregatire special a celui care modereaz discuiile. El trebuie sa fie mai mult dect familiar cu metodele i tehnicile de cercetare i mai ales de intervievare. Metoda Delphi utilizeaz tehnici specifice cercetrii etnografice; un eantion de respondeni este selectat i sunt puse o serie de ntrebri ntr-o prima etap de interviuri individuale. Cercettorul compar informaiile, se ntoarce la membrii eantionului i le pune o serie de ntrebri referitoare la discrepanele

28

ntre rspunsurile lor la primul val de ntrebri. De obicei, aceast rund de ntrebri lmureste discrepanele din runda anterioar. Un al treilea val de interviuri confirm datele plasate n centrul distribuiei care pot fi utilizate pentru evaluarea impactului. Ca i n cazul focus-group-ului, metoda Delphi impune o pregtire special n tehnici de intervievare pentru cercettor. n practica EIS, focus-group-ul i metoda Delphi sunt rareori utilizate cumulativ. De obicei se recurge fie la una fie la cealalt. Aceasta are sens, avnd n vedere faptul c metoda Delphi are anumite caracteristici comune focus-group-ului: se adreseaz unor grupuri relativ restrnse de persoane i exploreaz divergena de opinii. Ele sunt utilizate cu precdere ca metod secundar i teriar de colectare a informaiilor pentru EIS (Tabelele 1,2 i 3) Eantionarea Eantionarea unei populaii implicate ntr-un anumit proiect este ntotdeauna dificil din mai multe motive: participarea ntr-un anumit proiect nu este ntotdeauna bine delimitat, rolul de beneficiar primar, secundar ,teriar ntr-un proiect nu este ntotdeauna clar. Un proiect sau program poate fi conceput pentru a se adresa unui anumit grup int. Mai ales n cazul proiectelor din zona public, grupul int nu contientizeaz ntotdeauna i nu i asum prin urmare rolul de beneficiar. Pentru o eantionare reuit, trebuie identificat un eantion echilibrat de indivizi alei n funcie de gradul de participare n proiect, de rolul pe care l au, de reziden i de caracteristicile demografice: vrsta, sex, etc. Regulile de eantionare trebuie urmate cu consecven pentru a avea un studiu valid din punct de vedere stiintific. Cunoaterea tehnicilor de eantionare pentru EIS presupune cunoaterea problematicii eantionarii n general i specificitatea grupurilor afectate de un anumit program, al crui impact social intenionm s l calculm. Prin urmare, pentru eantionare conteaz att numrul indivizilor ct i calitatea acestora. Este dificil de adoptat o metod specific de eantionare, valabil pentru EIS. Construcia eantionului difer n funcie de natura programului sau proiectului analizat. Este interesant de observat cum numrul metodelor de cercetare utilizate depinde de numrul indivizilor care fac parte din grupul int (T4 i T5), dar i de domeniul specific n care se ncadreaz proiectul/programul analizat. Tabelul 4. Asocierea ntre numrul metodelor utilizate i numrul indivizilor din grupul tint al proiectului nr indivizi gr.int >50.000 ntre > sau egal 50.001 si cu 100.001 100.000 8 2 6 8 6 6 4 14 14 12 Total

numr metode utilizate Total

2 3 4 5

10 20 6 4 40

Tabelul 5. Testul hi-ptrat. Asocierea ntre numrul metodelor utilizate i numrul indivizilor din grupul tint al proiectului Valoare Grade de Semnificaia libertate 6 ,000 Pearson 30,381 Hi-Ptrat 40 Nr. de cazuri valide O legatur interesant se stabilete i ntre numrul de indivizi din grupul int i metoda principal utilizat (T6 i T7) i nu la fel de semnificativ ntre domeniul proiectului i metoda principal

29

(T8 i T 9). Chiar dac n acest din urm caz, legtura nu este att de puternic, se poate identifica un model dup care se face alegerea metodelor de cercetare: pentru proiectele cu un numr mare i foarte mare de indivizi n grupul-int (peste 50.000), remarcm o predilecie pentru analiza documentelor i sondaj ca metode principale de cercetare a impactului social. Pentru proiecte care au un grup int mai mic sau egal cu 50.000, se prefer analiza de documente combinat cu interviul individual. Este absolut firesc dac avem n vedere amploarea mai redus i, n acelai timp, bugetul mai redus al acestora. Tabelul 6. Asocierea ntre numrul indivizilor din grupul tint al proiectului i metoda principal utilizat n evalurile Bncii Mondiale metoda principal Total analiza sondaj interviu alta doc ind 5 3 6 14 <50.000 nr indivizi ntre 5 9 14 gr.int 50.001 i 100.000 8 4 12 > sau egal cu 100.001 18 9 7 6 40 Total

Tabelul 7. Testul hi-ptrat. Asocierea ntre numrul indivizilor din grupul tint al proiectului i metoda principal utilizat n evalurile Bncii Mondiale Valoare Grade de Semnificaia libertate 6 ,000 Pearson 33,938 Hi-Ptrat 40 Nr. de cazuri valide Pentru analiza impactului social al unui proiect economic se va opta ca metod principal de colectare a datelor pentru analiza documentelor. La fel pentru un proiect educational. Pentru un proiect legat de infrastructur se va opta fie pentru analiza documentelor, fie pentru sondaj sau interviu individual ca metod principal de cercetare. (T8) Totui nu se poate spune c exist o relaie de asociere ntre domeniul proiectului i metoda principal.(T9) Tabelul 8. Asocierea ntre domeniul proiectului evaluat i metoda principal utilizat n evalurile Bncii Mondiale metoda principal Total analiza sondaj interviu alta doc ind economic educaional infrastructura altul 7 6 4 1 18 3 4 2 9 3 4 7 3 2 1 6 13 11 12 4 40

domeniu proiect

Total

Tabelul 9. Testul hi-ptrat. Asocierea ntre domeniul proiectului evaluat i metoda principal utilizat n evalurile Bncii Mondiale

30

Pearson Hi-Ptrat Nr. de cazuri valide

Valoare Grade de Semnificaia libertate 13,615 9 ,137 40

Se remarc o asociere i ntre metoda secundar de colectare a informaiei i domeniul specific proiectului(T10 i T11). Astfel, pentru un proiect de natur economic, se va prefera ca metod secundar interviul individual, pentru unul de natur educaional , sondajul de opinie, iar pentru un proiect legat de infrastructur, metoda Delphi(T10). Tabelul 10. Asocierea ntre domeniul proiectului evaluat i metoda secundar utilizat n evalurile Bncii Mondiale metoda secundar Total analiza docsondajinterviu indfocus groupDelphi domeniul proiectului economic educaional infrastructura altul 3 2 2 1 8 8 2 2 2 12 2 2 6 8 13 11 12 4 40

Total

7 2 1 10

Tabelul 11. Testul hi-ptrat. Asocierea ntre domeniul proiectului evaluat i metoda secundar utilizat n evalurile Bncii Mondiale Valoare Grade de Semnificaia libertate 32,509 12 ,001 40

Pearson Hi-Ptrat Nr. de cazuri valide

O asociere aproape la fel de semnificativ se remarc i n privina legturii dintre domeniul proiectului i metoda teriar(vezi T12 i 13), i ntre metoda principal i cea secundar (T14 i T15). Tabelul 12. Asocierea ntre domeniul proiectului i metoda teriar utilizat n evalurile Bncii Mondiale metoda teriar Total sondajinterviu indfocus groupDelphi observatia alta 2 3 4 4 2 2 2 5 6 2 2 2 1 2 1 10 4 6 8 2 10

domeniul proiectului

economic educaional infrastructur altul

Total

13 11 12 4 40

31

Tabelul 13. Testul hi-ptrat. Asocierea ntre domeniul proiectului evaluat i metoda teriar utilizat n evalurile Bncii Mondiale Valoare Grade de Semnificaia libertate 15 ,052 Pearson 24,862 Hi-Ptrat 40 Nr. de cazuri valide Tabelul 14. Asocierea ntre metoda principal i metoda secundar utilizat n evalurile Bncii Mondiale metoda secundar Total analiza doc sondajinterviu ind.focus group Delphi 7 7 4 18 analiza doc metoda principal sondaj 2 5 2 9 3 4 7 interviu ind 6 6 alta 8 10 12 2 8 40 Total Tabelul 15. Testul hi-ptrat. Asocierea ntre metoda principal utilizat i metoda secundar utilizat n evalurile Bncii Mondiale Valoare Grade de Semnificaia libertate 12 ,000 Pearson 51,349 Hi-Ptrat 40 Nr. de cazuri valide Aceeai asociere semnificativa se remarc i ntre metoda principal i metoda teriar.(T16 i T17). Tabelul 16. Asocierea ntre metoda principal i metoda teriar utilizat n evalurile Bncii Mondiale metoda teriar Total sondaj interviu focus Delphi observaia alta ind group 6 4 1 7 18 analiza doc 7 2 9 sondaj metoda interviu ind 4 3 7 principal 6 6 alta 10 4 6 8 2 10 40 Total Tabelul 17. Testul hi-ptrat. Asocierea ntre metoda principal utilizat i metoda teriar utilizat n evalurile Bncii Mondiale ValoareGrade de libertateSemnificaia 15 ,000 Pearson Hi-Ptrat 78,452 Nr. de cazuri valide 40 Rezumnd, n funcie de natura proiectului al crui impact se dorete a fi calculat, n funcie de numrul indivizilor care constituie grupul int (ca un indicator al amplorii proiectului) putem avea o serie de combinaii. Din metaanaliza celor 40 de studii EIS , se configureaz modelele din tabelul 18.

32

Tabelul 18. Analiza metodelor de cercetare utilizate n 40 de studii de evaluare selectate de pe site-ul Grupului pentru Evaluare Independent a Bncii Mondiale (http://www.worldbank.org/oed/) Domeniul proiectului Numarul indiv. n gr.int </=50.000 ntre 50.001 si 100.000 Economic >/=100.001 </=50.000 ntre 50.001 si 100.000 Educaional >/=100.001 Infrastructura </=50.000 Intre 50.001 si 100.000 >/=100.001 Analiza doc/interviu ind Analiza doc/interviu ind Analiza doc. / Sondaj Analiza doc/interviu ind Met.princ. Analiza doc/alta Sondaj/ Analiza doc. Analiza doc. Analiza doc/interviu ind/ alta Analiza doc Met. sec. Analiza doc./Delphi Interviu individ/ Analiza doc. Interviu individ/ Delphi Sondaj/ Analiza doc. Interviu individ/ Analiza doc. Sondaj/ Interviu individ Delphi/Sondaj/ Analiza doc Analiza doc. Delphi/Sondaj Met. ter. Focus Group Sondaj Sondaj Focus Group Sondaj Sondaj/ Interviu individ Alta Sondaj/Delphi Sondaj/ Interviu individ

Prin urmare, ipoteza de la care am pornit se confirm doar parial: domeniul de intervenie nu dicteaz metodele utilizate n evaluare, dar numrul indivizilor din grupul int are un impact major asupra metodologiei utilizate. Fie c este vorba de un proiect de dezvoltare economic, fie c este vorba de un proiect esducaional sau de infrastructur, metodele selectate nu prezint diferene semnificative. Aceste diferene apar cnd este vorba de dimensiunea grupului int. Un proiect de mici dimensiuni (sub 50.000 de persoane) este mai permisiv i presupune, de regul utilizarea complementar a mai multor metode. Analiza statistic a informaiei cantitative Nivelul de masur a caracteristicilor utilizat ( nominal, ordinal, interval sau raport ) va determina tipul instrumentelor utilizate pentru msurarea variabilelor. Pentru c marea parte a caracteristicilor msurate n tiinele sociale sunt nominale, sunt utilizate, de obicei, metode de analiz statistic elementare referitoare la asociere i semnificaie. i pentru evaluarea impactului social (EIS) metodele descriptive predomin, n defavoarea celor infereniale. Unde este posibil aplicarea unui chestionar, se poate recurge la metode de analiz statistic mai sofisticate. Anumite informaii de natur cantitativ vorbesc de la sine. Este cazul n care un grup de participani ntrun anumit proiect obin o crestere semnificativ a veniturilor n comparaie cu un grup de control comparabil. n alte cazuri, pentru a ajunge la concluzii pertinente este necesar o analiz statistic sofisticat. Teoretic limitele de ncredere ntre care pot fi pstrate prin analiza statistic ar trebui s arate ct sunt de pertinente rezultatele. La nivel practic erorile sistematice nedetectate la nivelul datelor pot depi cu mult incertitudinile luate n calcul. Rezultatele vor mima riguarea tiinific, fr a o atinge. Totui, tehnicile pur calitative pot avea un grad ridicat de subiectiviate. O comparaie ntre tehnicile calitative i cantitative este adesea necesar. La fel cum pot ajuta la explicarea rezultatelor, inconsistenele evideniate prin triangulaia rezultatelor generate prin diferite metode de analiz pot ajuta i la identificarea erorilor sistemetice i a unor false interpretri care altfel ar trece neobservate.

33

Acolo unde potenialul pentru erori sistematice este ridicat, metodele cantitative care presupun analize statistice sofisticate pot avea un raport cost-eficien mai sczut, iar n final s fie mai puin relevante dect o combinaie a unor metode cantitative i calitative mult mai simple. Pentru a determina ct de mare i ct de semnificativ este impactul unui proiect, cel mai important lucru este formularea ntrebrilor semnificative, implicarea persoanelor potrivite, inclusiv a evaluatorilor potrivii. Caseta 3. Studiu de impact care utilizeaz analiza statistic Studiu de impact a microcreditelor asupra srciei n Zambia 47 Studiul de impact a avut la baz trei surse de date : Un sondaj de opinie cu un chestionar aplicat pe un eantion din participanii la program . Un al doilea sondaj de opinie cu un chestionar aplicat pe o populaie mai larg de firme si gospodrii. Un set de focus-group-uri calitative n cascad. Analiza programului a avut trei scopuri: Identificarea caracteristicilor primitorilor de credite (gen, nivel de srcie, vechimea afacerii) pentru a estima nivelul atins de program Identificarea i estimarea impacturilor directe ale imprumuturilor asupra debitorilor, asupra afacerii lor i asupra gospodariilor acestora Identificarea efectelor indirecte ale programului Studiul de impact a comparat datele obinute din sondajul aplicat participanilor cu datele furnizate de trei surse secundare: Un sondaj de opinie oficial pentru determinarea nivelului actual al srciei n raport cu limita srciei calculat n funcie de consum Un studiu participativ de evaluare a gradului de urbanizare i un sondaj de opinie naional aplicat pe ntreprinderi mici i mijlocii Unde a fost posibil chestionarul utilizat pentru studiul eantionului participant n program a preluat ntrebri utilizate n aceste surse secundare. Acesta acoperea: Caracteristici ale respondenilor Activitile gospodariilor i afacerilor pe parcursul unei perioade standard de o lun. Respondenii au fost, de asemenea, rugai s estimeze care ar fi fost rspunsurile lor n aceeai lun, anul trecut / cu un an nainte. Chestionarul a inclus de asemenea ntrebri deschise i ntrebri de opinie, n timp ce informaiile despre mprumuturile primite au fost obinute direct din documentele proiectului. Regresia a fost utilizat pentru a evalua impactul direct al programului asupra afacerilor celor care au primit credite. Acesta a scos n eviden urmatoarele aspecte: Diferena ntre profitul mediu obinut de ctre firmele care au apelat la credit i cel obtinut de ctre grupul de control nu a fost semnificativ statistic. Diferena privind rata de cretere a profiturilor a fost semnificativ statistic. Profitul celor care au apelat la credite coreleaz cu trainingul oferit ca parte a programului. Datele cantitative au fost completate cu cele obinute n urma ntrebrilor calitative prin care respondenilor li s-au cerut s explice motivele pentru schimbrile profitabilitii principalei lor afaceri de-a lungul ultimului an. O proporie mai mare a celor care au luat credit(comparativ cu cei care nu au luat) ale cror profituri s-au mrit au atribuit aceast cretere, creterii nivelului investiiilor, banilor reinvestii i diversificrii produciei. Acest caz ilustreaz avantajele utilizrii mai multor metode de cercetare n studiile de impact. O abordare pozitivist a fost util n identificarea i cuantificarea celor mai importante impacturi. Analiza interpretativ (att a datelor obtinute prin metode cantitative ct i calitative) a fost necesar pentru a explica rezultatele, pentru a relata efectele variaiei n jurul mediei i pentru a plasa rezultatele analizei ntr-un context mai larg. Studiul de caz ilustreaz de asemenea importana comparaiilor nainte i dup intervenie.

Adaptat dupa James Copestake, et al (2000)-Assessing The Impact of Microcredit on Poverty: a Zambian Case Study Centre for Development Studies

47

34

Pentru a avea un rezultat optim, metodele de cercetare se utilizeaz n combinaii de dou, trei sau chiar mai multe. Tabel 19. Numr metode utilizate Numrul metodelor utilizate cumulativFrecvena 10 2 20 3 6 4 4 5 40 Total Dintr-un eantion de 40 de studii de evaluare a impactului social, observm c n 75% din cazuri(30) utilizeaz combinaii de doua sau trei metode. Nu exist nici un caz de EIS care are la baza o singur metod, 10%(4) utiliznd cinci metode. Surse de documentare Sursele de date secundare Printre cele mai utilizate surse de date secundare se numar datele obinute prin recensmnt, datele oferite de statisticile oficiale, datele geografice, datele oferite de diferite institute, organizaii nonguvernamentale sau fundaii (ICCV, SOROS, MMT, INSOMAR, ISOP etc.), datele oferite de diverse instituii publice centrale sau descentralizate (direcii, inspectorate, agenii etc.) sau provenite din diverse cercetri publicate sub form de articole sau cri. O alt surs de date secundare sunt arhivele. Aceste surse de date pot fi utilizate n coroborare cu informaiile oferite n cadrul unor interviuri de persoane care au o legatur direct cu producerea sau administrarea lor. O atenie deosebit trebuie acordat verificrii ncruciate a memoriei celor intervievai, precum i potenialelor surse de eroare sau influen a datelor. Date primare Sondajele de opinie i interviurile de diverse tipuri reprezint exemple de date primare, colectate pentru a verifica datele din alte surse. Dac un evaluator al impactului social susine c impactul unui proiect este diferit ntr-o anumit zon, n comparaie cu alte zone, va trebui sa apeleze la aceste surse de date primare, pe care i va fundamenta n cele din urm concluziile. Datorit unui background specific, i a structurii unice, fiecare comunitate poate reaciona n modul sau propriu la diferitele proiecte care aduc schimbarea. Managementul datelor insuficiente Datorit resurselor limitate de cele mai multe ori, specialitii sunt nevoii sa dezvolte strategii pentru a face fa situaiei n care datele sunt insuficiente. Urmtoarele trei elemente trebuie luate n considerare de cte ori resursele se dovedesc insuficiente pentru a obine toate datele necesare. Ele asigur o prioritizare absolut necesar: 1. Este mai important identificarea celor mai probabile impacturi sociale, dect msurarea exact a impacturilor evidente. 2. Este de preferat o abordare conservatoare n descrierea impactului social probabil. 3. Cu ct avem date mai insuficiente sau de o calitate mai ndoielnic, cu att pentru utilizarea lor este necesar un personal mai specializat. Standarde de verificare i de documentare Preocuprile privind lipsa datelor, precizia informaiei i schimbarea sistemelor sociale n procesul de adaptare la noi condiii de mediu face importanta fixarea standardelor de verificare i documentare n vederea realizrii evaluarii impactului social.

35

Primul standard care trebuie respectat este acurateea factual. Toate datele utilizate n EIS trebuie sa fie verificabile. Al doilea standard este validitatea extern. Pot fi datele rezultate din evaluarea impactului social al unui program fie generalizate pentru alte programe i comunitai similare? Cheia verificrii acurateii datelor i rezultatelor este validarea repetat(incruciat), sau verificarea dac prin investigarea unor situaii similare se obin rezultate asemntoare. Spre exemplu, aceast validare poate fi facut prin compararea datelor obinute din dou sau mai multe focus-group-uri, sau analiznd seturile de date din surse diferite i comparnd rezultatele. Dac analizele ajung la aceleai concluzii, EIS poate fi considerat valid. Sursele de documentare, metodele de cercetare i ipotezele utilizate pot fi o surs suplimentar a verificrii validitii EIS. Cercettori independeni ar trebui s poat utiliza aceleai seturi de date, aceleai metode i aceleai ipoteze i s ajung la aceleai rezultate. Documentarea riguroas n EIS reprezint un element important al validitii EIS.

Metode calitative utilizate n evaluarea de proiecte Selectarea unei metodologii pentru evaluarea unui proiect sau a unui program i pune amprenta asupra ntregului proces de evaluare. De cele mai multe ori, selecia se fcea din rndul metodelor cantitative. Recent cercettorii metodelor de evaluare au observat anumite limitri ale tehnicilor cantitative privind rspunsul care trebuia dat anumitor ntrebri de evaluare. n acest referat voi sublinia anumite diferene existente ntre metodele cantitative i calitative de cercetare utilizate n procesul de evaluare. Tendina actual este de a combina cele dou abordri metodologice. Metodele calitative de colectare a datelor la care m refer cu predilecie sunt: interviurile individuale, observaia participativ i analiza documentelor. Toate acestea particip uneori la constructia unui studiu de caz. Evaluarea reactiv la Robert Stake Robert Stake, evaluator de programe educaionale n Statele Unite ale Americii n perioada anilor 60-70, este unul dintre primii susintori ai metodelor calitative n evaluarea programelor sociale. n conformitate cu tradiia Verstehen, Stake percepe evaluarea ca serviciu i ca reflectare de valori. Stake recomand evaluarea selectiv, pe care o definete ca fiind o abordare care sacrific o anumit precizie a selectrilor n sperana de a crete valoarea descoperirilor pentru persoanele din afara i din interiorul programelor 48 . Tot la Stake se regsete diferenierea ntre evaluarea prestabilit, recunoscut prin: afirmarea obiectivelor, utilizarea testelor obiective, utilizarea standardelor deinute de responsabilii programelor i a rapoartelor de tip cercetare i evaluarea reactiv, caracterizat prin urmtoarele elemente: Pune un accent mai mare asupra activitilor unui program, dect asupra inteniilor sale. Rspunde necesitilor publicului. Perspectivele valorice ale actorilor sunt luate n considerare n menionarea eecurilor i a succeselor unui program. Termenul reactiv (provenit din relaia stimul rspuns) asociat procesului de evaluare promoveaz ideea evaluatorului-stimul n contrast cu evaluatorul-rspuns. Unul dintre principalele dezavantaje ale evalurii prestabilite este faptul c cercettorii (tradiional cantitativiti) se concentreaz asupra unor variabile care nu pot fi controlate de management, prin aceasta pierznd din utilitate. Stimulii standardizai generai de evaluarea prestabilit s-au dovedit adesea mai puin relevani dect stimulii care apar spontan n cadrul programului(cum ar fi reaciile actorilor, discuiile ulterioare desfurrii unei activiti, etc.).
48

Stake, Robert E. Program evaluation, particularly responsive evaluation n W.B. Dockrell&D. Hamilton (Eds.) Rethinking educational research (pp72-87). London: Hodder and Stoughto citat n William R. Shadish Jr., Thomas D. Cook, Laura C. Leviton (1999), Fundamentele evalurii programelor: Teorii ale practicii , FIMAN, p. 278

36

Cteva trsturi eseniale ale evalurii reactive sunt: accentul pus pe observaie i flexibilitate, preferina pentru metodele calitative i accentul pe mbuntirea practicilor locale. Evaluarea reactiv are o serie de avantaje i dezavantaje. Printre avantaje se numr: relevarea unor variabile importante ale programului, ncurajarea eforturilor de schimbare ale celor implicai ntr-un program, ncurajarea creterii controlului local. Totui, evaluarea prestabilit ar trebui preferat evalurii reactive atunci cnd este important s tim dac anumite scopuri au fost atinse, dac anumite promisiuni au fost inute i cnd urmeaz s fie investigate ipoteze sau aspecte predeterminate. ne putem atepta ca msurtorile prestabilite s fie mai obiective i mai de ncredere. 49 n concluzie, trebuie avute n vedere ambele tipuri de evaluare n funcie de program. Caracterizat de anumii critici ca fiind atractiv superficial 50 , distincia reactiv-prestabilit rmne valabil n teoria evalurii deoarece elucideaz anumite aspecte ale procesului de evaluare care, neconceptualizate rmn n penumbr: importana flexibilitii metodologice, utilitatea metodelor calitative, accentul care trebuie pus i pe activiti, nu numai pe obiective etc. Utilizarea metodelor calitative n evaluarea de programe Prin utilizarea metodelor calitative n evaluarea de programe, se obin o serie de descrieri ale organizrii i funcionrii programului, ale experienelor pe care le au cei implicai n program. Scopul acestor descrieri este oferirea unei imagini despre programul respectiv. Prin utilizarea metodelor calitative se ncearc gsirea unui rspuns la urmtoarele tipuri de ntrebri: 1. Cum funcioneaz programul? 2. Care este perspective participanilor n programul respective? Ct sunt ei de mulumii cu desfurarea sau cu rezultatele programului? Care este rolul fiecrui actor implicat? Care sunt principalele nemulumiri i care sunt cauzele acestora? 3. Cum s-au desfurat anumite activiti ale programului? Se urmrete descrierea tuturor aspectelor care pot fi relevante pentru nelegerea unui program. Din totalitatea informaiilor colectate prin interviuri, studii de caz, observaii de teren, vor fi ulterior selectate pentru raportul de evaluare acele informaii care ofer un rspuns pentru ntrebrile evalurii. Observaia Observaia este o metod cu multiple avantaje n evaluarea de proiecte. Caracterul su noninvaziv este esenial n obinerea unor informaii nedistorsionate, spre deosebire de cele obinute prin interviu sau prin sondajul de opinie unde efectul de dezirabilitate social este mai pregnant. Evaluatorul poate realiza observaia i poate beneficia de informaiile culese prin aceast metod n cursul participrii n implementarea unui proiect, cu ocazia ntlnirilor i interaciunilor ocazionate de derularea proiectului. Datele astfel obinute trebuie notate imediat, nregistrrile fiind indicat s fie fcute ntr-un jurnal de observaie care urmeaz a fi analizat ulterior. Acest tip de date pot fi extrem de utile n evalurile de proces. De asemenea, evaluatorul poate colecta o serie de date prin analiza activitilor specifice unui program. n cursul interaciunilor cotidiene, un numr de detalii aparent nesemnificative se pot dovedi ulterior ca fiind eseniale. Ele pot atrage atenia evaluatorului asupra unor aspecte care urmeaz a fi analizate formal ulterior. De exemplu, dac n cazul evalurii activitii unui centru de zi pentru copii provenii din familii defavorizare, evaluatorul observ materialele didactice care se presupune c sunt utilizate zilnic n stare perfect(neatinse, neuzate) i poate pune ntrebri n legtur cu utilizarea efectiv a materialelor in timpul activitilor zilnice. Dac, n aceeai situaie, evaluatorul observ o atitudine de mirare a copiilor care intr n sala de mese la vederea fructelor i a feelor de mas, evaluatorul poate investiga ulterior condiiile n care copii iau masa de obicei, precum i dac sunt hrnii corespunztor. n evaluarea programelor observaia nu este folosit la adevrata sa valoare. O prim cauz este explicarea problemelor prin cauze sociale sau economice (de genul: srcia este datorat situaiei economice generale, salariilor mici, educaiei reduse, provenienei dintr-o familie cu mijloace reduse,
Idem, p.283 Shadish, William R. Jr., Thomas D. Cook, Laura C. Leviton (1995),Fundamentele evalurii peogramelor: Teorii ale practicii, SAGE Publications, Inc., p. 317
50
49

37

etc.). n anumite cazuri astfel de explicaii nu sunt suficiente, comportamentul putnd fi cauza real, iar pentru studiul comportamentelor observaia este cea mai bun metod. O a doua cauz este costul n timp i for de munc pentru a face suficiente observaii referitoare la un grup mare de oameni sau la o comunitate. Cercetrile efectuate pe astfel de teme dureaz perioade mari de timp, exact ceea ce lipsete de obicei ntr-o evaluare. Ca s dm un exemplu, cercetarea unui clasic al observaiei, William Foot Whyte, Street Corner Society: The Social Structure of an Italian Slum (1943) a durat 5 ani! Interviul individual Interviul individual este cel mai adesea utilizat in evaluarea unor programe de mici dimensiuni, cnd sunt implicai un numr relativ restrns de indivizi-cheie n implementarea unui program. Cnd utilizeaz acest tip de interviu, evaluatorul urmrete fie clarificarea modului de funcionare a programului, fie determinarea unor soluii pentru realizarea de schimbri n modul de funcionare. 51 Interviul individual este o ncercare de a obine informaii pentru evaluarea unui program prin intermediul unor ntrebri i rspunsuri din cadrul unor convorbiri ntre evaluator i participanii ntr-un anumit program. La baza interviului, fie c este individual, fie c este de grup, st un ghid de interviu care precizeaz mai mult sau mai puin exact ntrebrile care urmeaz a fi utilizate n cursul interviului. Spre exemplu, pentru evaluarea unui program al crui obiect l constituie un Centru de Zi pentru educarea copiilor precolari provenii din familii defavorizate, putem recurge la un interviu semi-structurat. Interlocutorii vor fi prinii copiilor-beneficiari direci ai programului. n acest caz, putem utiliza urmtorul ghid de interviu: Caseta 4. Ghid de interviu utilizat n evaluare Ghid de interviu pentru evaluarea Centrului de Zi pentru educarea copiilor precolari provenii din familii defavorizate

Vrsta interlocutorului ____________ Sexul interlocutorului_____________ Data _____________________________ Bun ziua, numele meu este ____________. Scopul acestui interviu este s aflm prerea dumneavoastr despre acest CZ unde v aducei zilnic copilul. Sunt interesat n special de problemele pe care le-ai ntmpinat i de recomandrile pe care le avei. Dac suntei de acord, voi nregistra aceast convorbire, pentru a putea evita orice denaturare a conversaiei noastre. Tot ce vom vorbi aici rmne confidenial, doar un rezumat al prerilor tuturor persoanelor implicate n program, fr referin la numele acestora, va fi fcut public. Pentru nceput v rog s ne spunei dac avei vreun copil care frecventeaz centrul de zi i dac da, cum a fost ales copilul dvs. pentru programul Centrului de Zi? (Not: n funcie de rspuns se pot adresa alte ntrebri pentru clarificare).

51

Huey T. Chen, (2005) Practical Program Evaluation: Assessing and Improving Planning, Implementation, and Effectiveness, Sage Publications Inc, p.79

38

Avei cunotin s fi existat probleme n selecia participanilor n program? (Not: dac da, se continu cu ntrebri cum ar fi: Care au fost acestea?, tii de ce au aprut?, Cum au fost rezolvate? Sau Ce sugestii avei pentru rezolvarea unor astfel de probleme?). Ct de mulumit suntei de serviciile oferite? (Not: se poate continua cernd detalii despre serviciile la care se refer, i poate fi utilizat o scal de la 1 la 10 pentru evaluarea fiecrui serviciu). Care este programul zilnic al copiilor? (Not: dup ce se primete rspunsul se poate continua cu ntrebri cum ar fi: Cum ai aprecia prestaia educatorilor?, Cum apreciai comportamentul personalului auxiliar?). Cum colaborai cu personalul angajat al Centrului de Zi? (Not: se vor cere detalii i explicaii; se poate continua seria ntrebrilor cu: Ai participat la edintele cu prinii? Ct de des? Dar la serbri? Ce alte activiti implic participarea dumneavoastr?). Ce credei c nu este bun n programul centrului de zi? Not: se vor cere detalii i explicai; se poate continua cu ntrebarea Care sunt soluiile pe care le propunei pentru eventualele probleme? Care ar fi elementele pozitive ale acestui program? De ce credei acest lucru? (Not: se va insista pe explicarea motivelor pentru care acestea au fost menionate). Dac ai mai avea un copil ntre 3 i 6 ani l-ai nscrie la Centrul de Zi? Ce prere avei despre ntregul program? (Not: se va insista pe aspectele care nu au aprut mai devreme n discuie). Ce alte lucruri ar merita tiute despre program? (Not: se vor cere detalii i explicaii). Focus grupul(FG) FG este un interviu structurat aplicat asupra unui grup special constituit cu ocazia interviului. Se folosete mult n domeniul marketingului, n care se urmrete aflarea opiniilor despre anumite produse sau servicii i pentru a completa anumite cercetri sociologice (pentru triangulare). O variant este cea n care sunt convocai experi (metoda Delphi), n care se urmrete ajungerea la o soluie sau la evaluarea unor situaii. Principalul scop al FG este surprinderea ct mai detaliat a atitudinilor, credinelor, sentimentelor, experienelor i reaciilor respondenilor ntr-o manier mai puin specific celorlalte metode calitative de cercetare fie c este vorba de observaie, interviu individual sau studiu de caz). Particularitatea FG este interaciunea. n comparaie cu interviul individual, care intenioneaz cunoaterea atitudinilor individuale, FG agreg o multitudine de perspective i procese emoionale ntr-un context de grup. Fa de observaie, FG poate furniza o cantitate mai mare de informaii ntr-o perioad mai scurt de timp, economisind astfel resurse (timp, bani, personal). n timp ce n cadrul observaiei cercettorul asteapt ca lucrurile sa se ntmple, n cadrul FG el conduce direcia investigaiei n sensul dorit, prestabilit prin ghidul de FG. n acest sens, FG nu este un eveniment spontan, ci organizat. FG poate fi utilizat n etapele preliminare sau exploratorii ale unei evaluri, n timpul acesteia, pentru a valida opiniile obtinute n interviurile individuale, i informaiile provenite din studiul documentelor sau ulterior implementrii unui program pentru a evalua impactul sau pentru a da noi direcii de evaluare. FG poate fi utilizat ca metod de evaluare de preferin n combinaie cu alte metode de cercetare pentru verificarea validitii evalurii. Organizarea interviurilor FG necesit mai multe resurse i o mai bun planificare dect celelalte tipuri de interviu. Selectarea participanilor, pregtirea i adunarea lor n locuri dotate cu toate dispozitivele tehnice necesare ia de obicei mult timp. Numrul recomandat de persoane participante la FG este de obicei ntre ase i zece (MacIntosh 1981 52 ), ns anumii cercettori utilizeaz pn la 15 persoane (Goss & Leinbach 199653 ), pe cnd alii se

MacIntosh J. (1981) Focus groups in distance nursing education, n Journal of Advanced Nursing 18: 1981-85. Citat n Anita Gibbs (1997) Social Research Update, Issue 19, Univ. of Surrey, http://www.soc.surrey.ac.uk/sru/SRU19.html 53 Goss J.D., Leinbach T.R. (1996) Focus groups as alternative research practic, Area 28 (2): 115-23. Citat n Anita Gibbs (1997), Social Research Update, Issue 19, Univ. of Surrey, http://www.soc.surrey.ac.uk/sru/SRU19.html

52

39

opresc la patru (Kitzinger 1995 54 ). Numrul grupurilor variaz deasemenea, mergndu-se de la cte o ntlnire cu cele cteva grupuri formate, (Burgess 1996 55 ), la mai multe ntlniri cu un singur grup pan la mai multe intlniri cu mai multe grupuri. FG dureaz de obicei ntre o or si dou ore. Sunt preferate locaiile neutre pentru a evita orice tip de dezirabilitate i asocierile cu influenele pozitive i negative pe care le-ar putea genera un anumit context. Dealtfel, FG utilizate pentru evaluarea unui program pot fi organizate ntr-o varietate de locuri: sli nchiriate, sli de edin (n care, eventual, subiecii ca grup pre-determinat se intalnesc si cu alte ocazii, n timpul implementrii programului)etc. Selecia participanilor pentru FG nu este nici ea un proces simplu. Dac un grup e prea eterogen, sub aspectul genului sau al categoriei sociale sau ocupaionale, diferenele dintre participani pot avea un impact considerabil asupra contribuiilor acestora n cadrul FG. Deasemenea, dac un grup e omogen din perspectiva anumitor caracteristici, diverse opinii sau experiene ar putea fi omise. (Morgan 1988 56 ). Odat ce profilul participanilor a fost stabilit, urmtoarea provocare e reprezentat de localizarea lor. Recrutarea participanilor poate necesita timp, mai ales dac tema n discuie nu prezint beneficii imediate sau nu este ntr-un alt fel atractiv pentru participani. Acesta nu este ns cazul n evaluarea de programe, mai ales atunci cnd prin FG se testeaz satisfacia beneficiarilor fa de un anumit program, sau in cazurile n care, programele sunt susinute de ctre anumii finanatori, iar actorii implicai i-au asumat obligaia transparenei. Odat ce ntlnirea a fost stabilit, rolul moderatorului devine esenial. El ofer informaii i explicaii clare n legatur cu scopul ntlnirii, i ajut pe participani s se simt n largul lor i nlesnete interaciunea dintre ei. n timpul ntlnirii moderatorul trebuie s anime dezbaterea prin ntrebri deschise, prin provocarea participanilor la a-i exprima opiniile. Rolul moderatorului se refer i la concentrarea continu a ateniei participanilor asupra subiectului. De asemenea, moderatorul trebuie s asigure fiecrui participant ansa de a interveni i n acelai timp, moderatorii trebuie s evite manifestarea propriilor opinii (Kreuger 1988 57 ), pentru a nu influena anumii participani. Moderatorul trebuie s posede caliti deosebite de comunicare interpersonal, s fie un bun asculttor neprejudiciat i adaptabil. Astfel va fi ncurajat un dialog deschis, interactiv, eficient. Nivelul controlului impus de moderatori depinde de tipul proiectului, de tipul i scopul evalurii. Dac sunt implicai doi sau mai muli moderatori trebuie s existe un acord prealabil n legtur cu aportul fiecruia. E recomandabil ca unul dintre moderatori s supervizeze interaciunea grupului, iar celalalt s ia notie n legtur cu aspecte ale discuiei care nu pot fi nregistrate, precum i cu opinii sau reacii care trebuie clarificate ulterior. n evaluarea de programe, metoda poate fi folosit n urmtoarele scopuri: 1. S nelegem de ce a aprut o anumit problem n mediul din care sunt selectai participanii i n ce msur programul respectiv o acoper; 2. Pentru identificarea nevoilor recunoscute, dar i a celor latente i a satisfaciei fat de modul n care programul rspunde la ateptrile lor; 3. Gsirea unor posibile soluii pentru eventualele probleme ale programului; 4. Pentru a afla posibilele reacii fa de anumite soluii propuse de diferiii actori implicai in program; 5. Aflarea atitudinilor fa de anumite instituii sau programe sau a ncrederii n acestea.

Kitzinger J. (1995) Introducing focus groups, British Medical Journal 311: 299-302. Citat n Anita Gibbs (1997), Social Research Update, Issue 19, Univ. of Surrey, http://www.soc.surrey.ac.uk/sru/SRU19.html 55 Burgess J. (1996) Focusing on fear, Area 28 (2): 130-36. Citat n Anita Gibbs (1997) Social Research Update, Issue 19, Univ. of Surrey, http://www.soc.surrey.ac.uk/sru/SRU19.html 56 Morgan D.L. (1988) Focus groups as qualitative research. London: Sage. Citat n Anita Gibbs (1997), Social Research Update, Issue 19, Univ. of Surrey, http://www.soc.surrey.ac.uk/sru/SRU19.html Kreuger R.A. (1988) Focus groups: a practical guide for applied research. London: Sage. Citat n Anita Gibbs (1997) - Social Research Update, Issue 19, Univ. of Surrey, http://www.soc.surrey.ac.uk/sru/SRU19.html
57

54

40

n evaluarea unui program, pot fi utilizate mai multe focus grupuri, rezultatele fiind ulterior corelate. Este chiar recomandabil ca n momentul n care avem de a face cu grupuri eterogene pe care vrem s le studiem, s construim mai multe focus grupuri. Este bine s evitm s reunim n acelai grup efii i subordonaii, persoane cu mai mult educaie i persoane mai slab educate, etc. pentru c difer modul n care se pun problemele, exist sentimente de team sau respect care pot mpiedica prezentarea unor puncte de vedere. De asemenea, populaia studiat poate fi mprit i pe faete ale problemei studiate. De exemplu, dac dorim s vorbim despre educaia contraceptiv n rndul tineretului ar fi bine s vorbim separat cu bieii i fetele. Metodele de colectare a informaiei cel mai des ntlnite n cazul evalurii programelor, precum i tipul de informaii obinute pot fi descrise astfel: 58 Caseta 5. Metodele de colectare a informaiei Surse de date Descriere Informaii obinute Date deja existente aflate n arhivele Date cantitative care ne ajut s aflm Arhive: instituiilor publice sau private care este starea actual de fapt; pot - Recensmnt aprea i indicaii ale unor anumite - Indicatori nevoi statistici - Baze de date ale instituiilor - Alte cercetri Comunicare non- Aceste tehnici utilizeaz forme sau Date calitative: valori, percepii, opinii, protocoale structurate, o varietate de observaii, judeci de valoare interactiv: - Sondaje de scale i de modaliti de rspuns opinie - Surse cheie - Tehnica incidentului critic - Grup Delphi Aceste tehnici presupun un numr mai Date n principal calitative: opinii, Comunicare mic sau mai mare de persoane judeci ca expert; interactiv: implicate n diferite grade de percepii i perspective de grup, valori - Forumuri interaciune i importan a nevoilor; ceteneti Consens asupra scopurilor sau - Tehnica grupului aciunilor; nominal Informaie asupra cauzelor; - Focus grupuri Decizii asupra prioritilor n practic se folosesc cel mai des sondajele de opinie n rndul beneficiarilor, acestea fiind percepute ca fiind mai profesionale i mai uor de administrat. Din pcate instrumentul folosit, chestionarul, este lipsit de finee i rezultatele obinute nu sunt ntotdeauna cele mai bune. De asemenea, este greu s surprinzi nevoile latente (care nu au fost contientizate nc) printr-un sondaj. De aceea este preferabil ca n limita timpului, a banilor i a personalului pe care le avem la dispoziie s ncercm s mbinm ct mai bine ct mai multe dintre metodele menionate mai sus.

Analiza documentelor Analiza documentelor este sursa de informaii cel mai adesea exploatat de ctre evaluatori mai ales din motive de economie de resurse: timp, bani, personal. n cadrul procesului de evaluare, analiza documentelor se poate referi la analiza rapoartelor, evidentelor contabile i nu numai, a planurilor anuale,
58

Adaptare dup Belle Ruth Witkin, James W. Altschuld, (1995) Planning and Conducting Needs Assessments. A

Pratical Guide, Sage Publications, p. 48 n andor, Sorin Dan (2005) Analiz i cercetare, Cluj-Napoca, Accent, p.54

41

a tuturor detaliilor legate de un anumit proiect sau program. Proveniena documentelor poate fi divers: organizaia finanatoare, implementatoare, contractant sau subcontractant. Marele avantaj este faptul c datele sunt deja adunate, nu mai este necesar organizarea unui sondaj de opinie, sau a altor metode de colectare a datelor. Una dintre problemele care apar n cazul utilizrii metode de analiz a documentelor este faptul c ele nu conin ntotdeauna totalitatea informaiilor necesare legate de rezultatele unui proiect sau program. Tocmai de aceea, n cadrul unui proces de evaluare, este necesar utilizarea mai multor metode de colectare a datelor. Informaiile obinute din analiza de documente pot fi completate prin utilizarea interviului, observaiei i chiar a chestionarului acolo unde este necesar. Documentele unui program trebuie privite critic, din punctul de vedere al informaiei coninute. O atenie deosebit trebuie acordat att cantitii informaiei, ct i calitii acesteia. Harry P. Hatry 59 ofer o clasificare a principalelor probleme care pot aprea n procesul de analiz a documentelor i a metodelor de ameliorare a acestora (Caseta 4). Caseta 6. Clasificarea principalelor probleme care pot aprea n procesul de analiz a documentelor i a metodelor de ameliorare a acestora Problema Modaliti de ameliorare Date lips sau incomplete Cercetarea documentaiei conexe Intervievarea personalului implicat n program pentru acoperirea a ct mai multe lipsuri. Reevaluarea obiectivelor i inteniilor evalurii (eventuala modificare sau anulare a unora dintre ele) Excluderea datelor lips sau estimarea ct mai exact a valorilor lips Date disponibile ntr-o form Cercetarea nregistrrii datelor, dac acestea exist i sunt extrem de agregat disponibile Realizarea unor colecii de date noi, originale Renunarea la datele detaliate care nu sunt disponibile Date care nu sunt comparabile Realizarea , acolo unde este posibil, a operaiilor prin care datele pot deveni comparabile Concentrarea ateniei asupra procentelor i mai puin asupra valorilor absolute. Renunarea la aceste date, atunci cnd problema este insurmontabil. Dup colectarea tuturor informaiilor relevante se recurge la clasificarea acestora i stabilirea categoriilor necesare pentru a oferi un rspuns ct mai clar i in acelai timp comprehensiv pentru ntrebrile evalurii. De exemplu, una dintre aceste ntrebri se poate referi la satisfacia beneficiarilor fat de un anumit program. Pentru nceput se adun toat informaia necesar, urmnd ca aceasta s fie subdivizat n categorii, modele i teme care o fac mult mai accesibil, uor de neles i de utilizat. Evaluatorul ncepe, de obicei prin lectura materialelor adunate (interviuri, studii de caz, observaii de pe teren), i prin ataarea de note pe marginea acestora. 60 Metode complexe de cercetare Studiul de caz Studiul de caz este metoda utilizat cu predilecie de Robert Stake. Cazul poate fi orice sistem delimitat care este interesant. O instituie, un program, o responsabilitate, o colecie sau o populaie poate

59

Joseph S. Wholey (Editor), Harry P. Hatry (Editor) i Kathryn E. Newcomer (Editor) (2005), Handbook of Ibidem.

Practical Program Evaluation 2nd Edition, p.398

60

42

reprezenta cazul 61 . El face o clasificare a caracteristicilor specifice studiilor de caz i identific urmtoarele categorii 62 : 1. Descrieri care sunt complete, holistice i care implic miriade de variabile care nu sunt foarte clar izolate; 2. Date care se pot aduna, cel puin n parte, prin observaii personale; 3. Un stil de scriere informal, probabil narativ, posibil cu citate ad-literam, ilustraii i chiar aluzii i metafore; 4. Comparaiile sunt mai degrab implicite dect explicite; 5. Temele i ipotezele pot fi importante, dar ele rmn subordonate pentru nelegerea cazului. Metoda studiului de caz este utilizabil in evaluarea de programe mai ales cnd sunt ndeplinite urmtoarele condiii 63 : 1. Evaluatorul opteaz pentru un spectru larg al analizei, mai degrab dect pentru fidelitate; 2. Anterior evalurii, sunt cunoscute prea puine probleme i ntrebri legate de obiectul evalurii; 3. Evaluarea va fi folosit n principal de cititori care, neavnd experiena programului, doresc o informaie contextual extensiv pentru a decide n ce msur programul acoper nevoile identificate; 4. Studiile de caz vor fi considerate ca fiind suficient de credibile de ctre client; 5. Descoperirea este o prioritate mai mare dect confirmarea. De multe ori, studiul de caz nu este menionat printre metodele clasice de colectare a datelor n cercetrile sociale. Acest lucru se ntmpl datorit faptului c nu avem de a face cu o metod n sine, ci mai degrab cu o metod care folosete la rndul ei alte metode, cum ar fi: analiza documentelor, observaia participativ sau non-participativ sau interviul 64 . Principalul punct forte al studiului de caz, recunoscut chiar de ctre criticii lui Stake este facilitarea generalizrii naturaliste, mai avantajoas pentru elaborarea unor teorii i pentru studii exploratorii, dect pentru confirmarea unor teorii sau testarea unor ipoteze 65 . n funcie de tipul i de scopul evalurii, studiile de caz pot fi exploratorii, explicative i descriptive 66 . Studiile de caz exploratorii sunt cele prin care se investigheaz o problem prea puin cunoscut pentru a fi formulate ntrebri i a fi definite probleme premergtor evalurii. Cele explicative ncearc identificarea unor relaii (de exemplu cauz-efect) care explic fenomenul studiat. Studiile de caz descriptive sunt cele care se raporteaz la o teorie i ncearc s vad n ce msur cazul studiat corespunde respectivei teorii. n How to Use Qualitative Methods in Evaluation, Michael Q Patton prezint un procesul pentru construcia unui studiu de caz care poate fi utilizat pentru evaluarea de programe. Pasul 1 al modelului const n adunarea tuturor datelor disponibile despre programul pe care dorim s l analizm. Aceasta este material prim a studiului de caz. Pasul 2 este organizarea datelor brute adunate la pasul 1, clasificarea lor astfel nct s fie uor accesibile. Pasul 3 reprezint descrierea cazului, n stil narativ. Studiul de caz este aadar, o imagine descriptiv a programului care este evaluat, care face accesibil cititorului informaia necesar pentru a nelege programul respectiv. Informaiile cuprinse n studiul de caz sunt prezentate fie cronologic, fie tematic, uneori fiind posibil i util utilizarea ambelor criterii. Studiul de caz prezint o imagine comprehensiv, holistic a programului 67 . Concluzii: Aplicarea metodelor calitative de cercetare n evaluarea programelor
Stake, Robert E. The Case-Study Method in Social Iquiry n Educational researcher (pp 5-8 ), citat n William R. Shadish Jr., Thomas D. Cook, Laura C. Leviton (1995), Fundamentele evalurii peogramelor: Teorii ale practicii, SAGE Publications, Inc., p. 286 62 Ibidem, p.287 63 Shadish, William R. Jr., Thomas D. Cook, Laura C. Leviton (1995), Fundamentele evalurii peogramelor: Teorii ale practicii, SAGE Publications, Inc., p. 320 64 andor, Sorin Dan (2005) Analiz i cercetare, Cluj-Napoca, Accent, p.54 65 Shadish, William R. Jr., Thomas D. Cook, Laura C. Leviton (1995), Fundamentele evalurii peogramelor: Teorii ale practicii, SAGE Publications, Inc., p. 321 66 Terminologie preluat din Sorin Dan andor (2005), Analiz i cercetare, Accent, p.55 67 Michael Q Patton (1987), How to Use Qualitative Methods in Evaluation, SAGE Publications. Inc., p. 149
61

43

Fie c trebuie evaluat un program avnd ca obiect nfiinarea unui centru de zi, fie c evalum un proiect prin care s-a nfiinat un muzeu, sau unul privind ordinea i curenia public, metodele calitative de cercetare sunt extrem de utile. Specificul programelor publice, prin specificitatea lor i prin impactul social pe care l au, impun utilizarea metodei complexe a studiului de caz, care implic utilizarea interviului i a analizei documentelor. Primul pas este adunarea a ct mai multe informaii despre program. Acest lucru poate fi realizat pornind de la o fi a proiectului n care apar principalele categorii de informaii necesare n procesul de evaluare. Fia proiectului trebuie s conin elemente privind contextul programului: un scurt istoric al programului (detalii despre origine, iniiator), sumarul activitilor i al metodelor de furnizare/asigurare a serviciului, informaii despre programe similare organizate/realizate de ctre alte instituii/organizaii, precum i detalii privind unicitatea programului. Un alt element al fiei programului este structura organizaional (organigrama, distribuia responsabilitilor), documentele programului, din care trebuie extrase informaii referitoare la: scopul i obiectivele programului, strategiile pentru atingerea scopurilor i obiectivelor programului cu planurile de implementare, rezultate pe termen scurt, mediu i lung, lista indicatorilor de performan, rezultatele monitorizrilor anterioare, etc. Din fia programului, nu trebuie s lipseasc descrierea activitilor programului unde vor fi incluse elemente referitoare la denumirea i catalogarea tuturor activitilor aferente proiectului, locaia activitilor, calendarul iniial al activitilor i eventualele modificri i stadiul actual de desfurare a activitilor. Se vor meniona toate informaiile disponibile legate de actorii implicai, de resursele angajate, de rezultatele ateptate i de cele efectiv realizate, precum i de colaboratori, evaluatori interni i externi, metode de marketing i publicitate (acolo unde este cazul). Orice fi de evaluare este indicat s cuprind un capitol de observaii i notificri suplimentare. Fia proiectului trebuie completat prin interviuri repetate cu prile implicate. Iniiatorii programului pot furniza informaiile referitoare la contextul programului. Detaliile organizatorice vor fi furnizate de cei care implementeaz programul. Ei vor fi i cei care pot da informaii n legtur cu documentele programului, i chiar pot pune aceste documente la ndemna evaluatorului. Documentele unui program se pot referi la: cererea de nfiinare a programului i/sau aplicaia pentru finanare, contractele care s-au semnat pentru acordarea finanrilor, pentru contractarea i subcontractarea unor activiti, instrumentele metodologice utilizate n vederea implementrii, rapoartele i planurile anuale de activiti, bugetul i execuia bugetului precum i alte evaluri realizate anterior. Dup analiza tuturor acestor informaii, avem deja o imagine de ansamblu asupra programului i suntem pregtii s trecem la construcia unor instrumente pentru obinerea unor informaii mai detaliate, sau pentru verificarea anumitor date, dac este nevoie. Aici este vorba, de obicei, de realizarea unor ghiduri de interviu prin care se va testa gradul de ndeplinire a sarcinilor, gradul de satisfacie a beneficiarilor unui program, ncrederea cetenilor ntr-un anumit program sau n echipa care l implementeaz. Fia de evaluare a unui program poate fi completat n timpul procesului de colectare a datelor, sau poate fi utilizat doar n momentul organizrii informaiilor i a clasificrii acestora. De asemenea, categoriile pe care le propune nu sunt fixe. n funcie de specificitatea programului investigat, de tipul i de scopul evalurii, aceste categorii de informaii pot fi modificate, detaliate sau anulate. Metodele de cercetare din arsenalul paradigmei calitative sunt frecvent utilizate pentru completarea informatiilor cerute n fia de proiect. Spre exemplu, pentru descrierea contextului unui program sau proiect pot fi utilizate, preferabil complementar, urmtoarele metode de cercetare: interviul, observaia, analiza calitativ a documentelor; pentru analiza structurii organizationale utilizm de regul analiza calitativ a documentelor i interviul individual; pentru analiza documentelor programului putem apela la analiza calitativ a documentelor, iar pentru descrierea activitilor unui program cele mai complete informaii ne pot fi aduse de ctre utilizarea n paralel a interviului individual (cu coordonatorul proiectului), a focus-grupului (n care pot participa reprezentani ai tuturor prilor mplicate n program), a analizei calitative a documentelor proiectului(cerere de finanare, plan metodologic, plan strategic i operaional) i a observaiei participative. Metodele calitative sunt de un real folos i n studiul actorilor implicai, a resurselor angajate, a rezultatelor ateptate i a celor efectiv realizate.

44

Prin urmare, metodele calitative de cercetare sunt arhiprezente in arsenalul evalurii de programe. n cazul proiectelor de mari dimensiuni, informaiile aduse de acestea sunt completate prin date obinute n urma aplicrii metodelor cantitative de cercetare.

45

Capitolul 4. Metode i modele de evaluare a programelor Concepte Evaluarea procesului- evaluarea modului n care programul a fost implementat i asupra proceselor i procedurilor prin intermediul crora acesta funcioneaz.

Evaluarea rezultatelor- cuantificarea rezultatelor i raportarea lor la obiectivele programului sau proiectului.

Evaluarea nevoilor- analiza nevoilor care stau la baza programului i care justific existena sa.

Analiza SWOT- analiza punctelor tari, a celor slabe, a oportunitilor i a riscurilor sau ameninrilor presupuse de implementarea unui program sau proiect.

Analiza cost-beneficiu raportarea costurilor implicare de un program la beneficiile aduse de acesta; urmrirea modului n care costurile generate de program sunt amortizate n timp. Modele explicative - urmaresc evoluia proiectului din momentul designului, pe parcursul implementrii i pn dup implementare.

Modele sistematice - analizeaz input-ul, structura, procesele i output-ul n termeni de rezultate. Evaluarea poate fi organizat pe compararea dintre input-ul, procesul i output-ul planificat i cele realizate efectiv sau pe anumite tipuri de benchmarking care compar rezultatele unui proiect cu rezultatele unor proiecte similare implementate de organizaii similare ntr-un context comparabil, care sunt considerate excelente. Modele orientate pe teorie - evalueaz validitatea teoriei programului care st la baza unei anumite intervenii. n literatura de specialitate exist cteva variante pentru modelele care intr n aceast categorie: fie teoria programului este reconstruit i comparat cu analiza empiric a programelor (Birkmayer si Weiss, 2003), fie observaia empiric este utilizat pentru analiza relaiilor dintre context, mecanisme i rezultat, dup cum este sugerat n abordarea sintezei realiste(Pawson, 2002).

46

Capitolul 4. Metode i modele de evaluare a programelor Metode de evaluare a programelor Un prim pas n nelegerea metodelor de evaluare este realizarea distinciei ntre tipuri de evaluare, metode de evaluare i tehnici de evaluare. Tipurile de evaluare reprezint perspectivele teoretice din care poate fi abordat evaluarea. Aici se ncadreaz, n funcie de diferitele tipuri de clasificare, urmtoarele: evaluarea formativ, sumativ, reactiv, prestabilit, ex-ante, interim, ex-post, analiza impactului, evaluarea bazat pe teorie etc. Metoda reprezint, ca i n cercetare, o modalitate general, strategic (din punct de vedere metodologic i nu teoretic) de abordare a realitii. Spre exemplu putem realiza o evaluare formativ utiliznd ca metod de evaluare evaluarea procesului sau evaluarea rezultatelor intermediare. Printre cele mai utilizate metode se numr: analiza nevoilor, analiza SWOT, analiza cost-beneficiu, analiza costeficien, evaluarea rezultatelor i evaluarea proceselor. Exist metode care uneori sunt considerate tipuri de evaluare, la fel cum exist tipuri de evaluare considerate uneori metode. Schematic, inventarul celor mai des utilizate metode i tipuri de evaluare este reprezentat n tabelul urmtor. n prima coloan sunt reprezentate tipurile de evaluare (explicitate mai sus), n a treia coloan sunt enumerate metodele de evaluare, iar n coloana a doua apar tipurile care uneori sunt consirate metode i metodele appreciate uneori ca fiind tipuri. Tabel.20 TIPURI DE EVALUARE 1. evaluarea formativ 2. evaluarea sumativ 3. evaluarea reactiv 4. evaluarea prestabilit 5. evaluarea ex-ante 6. evaluarea interim 7. evaluarea ex-post 8. evaluarea participativ 9. evaluarea bazat pe teorie 10. evaluarea impactlui METODE DE EVALUARE a. evaluarea procesului b. evaluarea rezultatelor c. evaluarea nevoilor d. analiza SWOT e. analiza cost-beneficiu (ACB) f. analiza cost eficien

Pentru realizarea fiecrui tip de evaluare, pot fi utilizate una sau mai multe metode de evaluare. Spre exemplu, pentru evaluarea ex-ante poate fi utilizat una sau mai multe din urmtoarele metode: Evaluarea nevoilor, analiza SWOT, ACB. Figura 3. Metode de evaluare compatibile cu evaluarea ex-ante

Evaluarea ex-ante

Evaluarea nevoilor

SWOT

ACB

47

Prin evaluarea nevoilor vom putea determina relevana proiectului. Desigur, nu este vorba doar de nevoile beneficiarilor, ci de nevoile tuturor celor implicai n proiect. Vom identifica i ierarhiza nevoile grupului int, ale implementatorilor, ale finanatorilor i ale societii n general. Dup o corect ierarhizare a acestor nevoi n funcie de obiectivele proiectului, vom putea aduce mbuntiri designului proiectului. Prin analiza SWOT pot fi identificate punctele tari, cele slabe, oportunitile i ameninrile semnificative pentru programul sau proiectul evaluat. Analiza SWOT se refer n principal la contextul proiectului. Analiza cost-beneficiu se refer la dimensiunea financiar a proiectului. Rspunde la ntrebri precum: Care sunt costurile i care sunt beneficiile preconizate ale proiectului? Aceasta n cazul unei evaluri exante. n cazul unei evaluri interim sau ex-post putem vorbi despre costurile i beneficiile realizate pn ntr-un anumit moment al programului, respectiv pn la finalul implementrii. Figura 4. Metode de evaluare compatibile cu evaluarea ex-ante

Evaluarea formativ

Evaluarea nevoilor

SWOT

ACB

Evaluarea proceselor

Evaluarea rezultatelor intermediare

Evaluarea procesului (sau a implementrii), care se concentreaz asupra modului n care programul a fost implementat i asupra proceselor i procedurilor prin intermediul crora acesta funcioneaz; Evaluarea rezultatelor are n vedere analiza raportului obiective-rezultate. Aici vor fi analizate att rezultatele intenionate, ct i rezultatele neintenionate ale programului. Benchmarking-ul reprezint o metod de evaluare care are la baz principiul comparaiei ntre cazuri similare, comparabile. Dup selecia cazurior care urmeaz a fi comparate se stabilesc criteriile de comparaie. Ulterior se colecteaz datele i se analizeaz rezultatele. De obicei, benchmarkingul este o metod de evaluare prin care se stabilesc modelele de bun practic dintr-un anumit domeniu de activitate. Metodele, ca i tipurile de evaluare, se selecteaz n funcie de prioritile strategice i de cele ale prilor implicate, de caracteristicile programului, de stadiul de implementare al programului, de datele disponibile, de stadiul evalurii i de msura n care programul poate fi evaluat. Figura 5 este ilustrativ n acest sens. Aici pot fi sesizate principalele prghii care i exercit influena n procesul de selecie a metodelor de evaluare.

48

Figura 5 . Alegerea metodelor 68

Prioriti strategice Caracteristicile programului Prioritile prilor implicate

Stadiul programului

ntrebrile evalurii

Stadiul evalurii

Tipul evalurii Datele disponibile Selectarea metodelor de evaluare Evaluabilitate

Alegerea metodelor i tehnicilor de colectare i analiz a datelor

Sursa: Tavistock Institute et al, The Evaluation of Socio-Economic Development: The GUIDE, 2003 Caracteristicile unui program se refer n primul rnd la domeniul de implementare, natura obiectivelor, natura i dimensiunile grupului int, calendarul implementrii i la dimensiunile finanrii.

Prioritile strategice sunt direciile de dezvoltare pe termen lung din domeniul specific proiectului stabilite prin legi sau prin regulamente. Prioritile prilor implicate se refer la ierarhia nevoilor actorilor care sunt implicai ntr-un proiect: finanatori, implementatori (contractani i subcontractani), beneficiari (direci i indireci), etc. Stadiul programului sau stadiul de implementare al programului se refer la momentul din viaa unui program n care este declanat procesul de evaluare: stadiul de design, nceputul programului, pe parcursul implementrii, la finalul acesteia sau la un anumit interval de la ncheierea implementrii. n funcie de stadiul evalurii se va opta pentru anumite metode de evaluare. Nu trebuie s uitm faptul c n cadrul unei evaluri pot fi utilizate concomitent sau n diferite etape, mai multe metode de evaluare.

68

Tavistock Institute et all, The Evaluation of Socio-Economic Development: The GUIDE, 2003, p.104

49

Evaluabilitatea, termen nc nencetenit n limbaromn, ns foarte expresiv, semnific gradul n care un anumit proiect poate fi evaluat, msura n care metodele de evaluare i cele de colectare a datelor pot fi aplicate n proiectele concrete. Toi aceti factori converg n selectarea ntrebrilor evalurii, a tipului i metodelor de evaluare, a metodelor i tehnnicilor de colectare i analiz a datelor. De asemenea, ntrebrile evalurii sunt hotrtoare n ceea ce privete selecia tipului i metodelor de evaluare, care la rndul lor au o influen hotrtoare asupra metodelor i tehnnicilor de colectare i analiz a datelor. Modele utilizate n evaluarea de programe
Cercetarea privind modelele de evaluare a programelor i proiectelor a cunoscut o dezvoltare deosebit n ultimii ani, ns a fost mereu n atenia cetcettorilor i practicienilor. Designul modelelor de evaluare i selectarea modelului potrivit pentru evaluarea unui anumit proiect sau program au devenit scopul a numeroase investigaii. Demersul este specific autorilor clasici in domeniul evalurii (Michael Quinn Patton, Michel Scriven, Peter H. Rossi), crora li s-au alaturat o serie de autori provenii mai ales din mediul academic (Daniel Stufflebeam, Egon Guba,Yvonna Lincoln, Ernest R. House, Kenneth R. Howe, Hanne Foss Hansen etc). Instrumentarul este vast: evaluarea formativ, evaluarea sumativ, cea care pune un accent pe beneficiari, pe experi sau pe diveri participani n proiect, evaluarea realist, cea bazat pe teorie sau orientat pe utilizarea practic sunt doar cteva exemple. Un model de evaluare stipuleaz ntrebarea la care un anumit tip de evaluare ncearc s rspund i stabilete criteriile luate n considerare pentru evaluare (Hansen, 2005). Literatura de specialitate ofer o mare varietate a abordrilor privind modelele de evaluare. Hansen (2005) i Scriven (2003) propun unele dintre cele mai noi tipologii ale modelelor de evaluare. Acestea au n vedere ase categorii de modele de evaluare, care se regsesc i n contribuiile altor autori: Birkmayer i Weiss, Pawson, Jorgensen i Stame (2004). Astfel, modelele orientate spre rezultate (modelul scopului ndeplinit i modelul efectelor produse) se nscriu n evaluarea sumativ. Modelul scopului ndeplinit este modelul clasic n care rezultatele sunt evaluate strict prin prisma scopului i a obiectivelor prestabilite ale unui program. ntrebarea de baz este n acest caz: n ce msur au fost realizate obiectivele?, iar criteriile de evaluare sunt derivate din scopul i obiectivele programului. Modelul efectelor produse urmrete identificarea tuturor consecinelor pe care un program sau un proiect le produce sau ar putea s le produc. Acest model este ns adesea criticat pentru inexistea unor criterii clare de evaluare. Evaluatorul poate reduce aceast problem prin aplicarea modelului la o analiz nainte i dup intervenie. ntrebarea fundamental n cazul acestui model este: Care sunt efectele evidente ale programului?, iar criterile de evaluare sunt deschise, din moment ce toate consecinele ar trebui dezvluite. Modelele explicative sunt modele orientate pe proces i corespund evalurii formative. Acest model de evaluare urmrete evoluia proiectului din momentul designului, pe parcursul implementrii i pn dup implementare. ntrebrile: Ct de mulumitor este nivelul activitilor?, Exist probleme de implementare? sunt specifice acestui tip de model, iar performana este analizat pe tot parcursul proiectului, de la idee pan la finalizare i la impactul asupra grupului int, i reaciile acestuia. Modelele sistemice, materializeaz o abordare sistemic n cmpul evalurii. Acestea analizeaz input-ul, structura, procesele i output-ul n termeni de rezultate. Evaluarea poate fi organizat pe compararea dintre input-ul, procesul i output-ul planificat i cele realizate efectiv sau pe anumite tipuri de benchmarking care compar rezultatele unui anumit proiect cu rezultatele unor proiecte similare implementate de organizaii similare ntr-un context comparabil, care sunt considerate excelente. ntrebarea fundamental n acest caz este dac a funcionat programul ca un ntreg, iar performana este analizat fie comparnd input-ul, procesul i output-ul realizat cu cele preconizate, fie comparndu-le cu cele dintr-un alt proiect considerat reper de bun practic. Modelele economice (cost-eficien, cost-eficacitate si cost-beneficiu) au la baz, pan la un anumit nivel, perspectiva sistemic. Ele sunt diferite de modelele sistemice pentru c raporteaz

50

rezultatele la costurile implicate de proiect. Modelul cost-eficien, are ca interogaie de baz gradul n care productivitatea este la un nivel satisfctor. Criteriul de evaluare este comparaia dintre rezultate obinute i cheltuielile implicate. Modelul cost-eficacitate este preocupat de msura n care proiectul sau programul a fost construit i implementat eficace, iar criteriul de performan pune fa n fa efectele proiectului cu resursele implicate. Modelul cost-beneficiu are ca preocupare principal msura n care utilitatea proiectului este mulumitoare, iar criteriul de evaluare este utilitatea raportat la costuri. Modelele centrate pe actorii implicai (modelul orientat pe beneficiar, modelul orientat pe participani, modelul orientat pe opinia experilor) au la baz criterii de evaluare propuse de participanii la proiect, fie c este vorba de iniiatori, implementatori, contractori, subcontractori sau de beneficiari. Modelul orientat pe beneficiar are ca ntrebare de baz nivelul de satisface al beneficiarului, iar criteriile de evaluare sunt formulate de beneficiari. Modelul orientat pe participant i propune s afle dac participanii la proiect sunt mulumii, i tot participanii sunt cei care stabilesc criteriile de evaluare. Modelul orientat pe opinia experilor i propune s investigheze msura n care calitatea profesional a proiectului este satisfctoare. Criteriile de evaluare sunt stabilite n cazul acestui model de ctre experii ntr-un anumit domeniu. Modelele centrate pe teorie evalueaz validitatea teoriei programului care st la baza unei anumite intervenii. n literatura de specialitate exist cteva variante pentru modelele care intr n aceast categorie: fie teoria programului este reconstruit i comparat cu analiza empiric a programelor (Birkmayer si Weiss, 2003), fie observaia empiric este utilizat pentru analiza relaiilor dintre context, mecanisme i rezultat, dup cum este sugerat n abordarea sintezei realiste (Pawson, 2002). Modelele centrate pe teorie sunt considerate a fi o extensie a modelelor orientate spre rezultate (Hansen, 2005). ns, modelele clasice orientate spre rezultate au n vedere obiectivele i efectele concrete ale interveniilor, iar scopul evalurii este analiza rezultatelor acestora, n timp ce, n cazul modelelor centrate pe teorie accentul se pune pe cutia neagr deschis prin teoria programului care relev mecanisme care ridic ntrebri asupra unui conglomerat de activiti i intervenii. ntrebrile specifice acestui model sunt : Ce funcioneaz i n ce context? Exist erori detectabile n teoria programului? Pentru evaluare, teoria programului este reconstituit si evaluata pe baza analizelor empirice-criteriul de evaluare cel mai sigur in acest caz. Exist un numr din ce n ce mai mare de modele propuse n literatura de specialitate. Din perspectiva actualului proiect de cercetare, pe lng modelele propuse mai sus, rein atenia i urmtoarele modele de evaluare, att prin actualitatea lor, ct i prin posibilitatea de a fi aplicate n administraia public romneasc. Modelul CIPP (Stufflebeam, 2002)-context, input, proces, produs (rezultat)- transpune evaluarea bazat pe rezultate ntr-o evaluare a eficacitii i sustenabilitii, facilitnd n acelai timp metaevaluarea i sinteza. ntrebrii de la care pornete acest tip de evaluare, Este programul un succes? i sunt subsumate ntrebri care verific impactul, eficacitatea i sustenabilitatea: A fost atins grupul int?, Au fost acoperite nevoile grupului int?, Beneficiile obinute n urma proiectului sunt sustenabile? Procesul prin care au fost obinute aceste beneficii este adaptabil pentru alte contexte? etc. Criteriile de evaluare sunt derivate din scopul i obiectivele programului. Modelul constructivist (Egon Guba & Yvonna Lincoln, 2001) are la baza trei abordri fundamentale: ontologic, epistemologic i metodologic: Abordarea ontologic a constructivismului este relativismul, potivit caruia, efortul uman de organizare a experienei ntr-o form inteligibil este un construct, independent de orice realitate fundamental. Relativismul pornete de la premisa c nu exist un adevr obiectiv. Aceasta nu nseamn c orice aciune este validat, dup cum reiese din criteriile epistemologice i metodologice; Abordarea epistemologic a constructivismului este subiectivismul tranzacional, conform cruia realitatea i adevrul depind de nivelul informrii i al sofisticrii informaiilor deinute de indivizii aflai n poziii de decizie; Abordarea metodologic a constructivismului este hermeneutica-dialectic, potrivit creia, opiniile actorilor implicai ntr-un proiect sunt ntr-o prim etap teoretice, iar apoi primesc sens practic prin confruntarea cu realitatea empiric. Potrivit acestui model, intrebarile de baza sunt: Cine este clientul pentru aceast evaluare?, Cine sunt ceilali actori implicai?, Care este perspectiva fiecruia?, Care sunt ateptrile lor?, Care este

51

nivelul de satisfacie al actorilor implicai fa de procesul i rezultatele proiectului? etc. Criteriile de evaluare sunt stabilite prin cooperare de actorii implicai n proiect. Modelul calitativ (Michael Q. Patton, 2003) propune utilizarea metodelor calitative (observaie, interviu individual, focus-group, metoda Delfi) pentru evaluarea de programe, cu precdere n anumite situaii, cnd este necesar aprofundarea unor aspecte ale programului evaluat. n cazul acestui model de evaluare ntrebrile sunt de natur calitativ: Cum au fost indeplinite obiectivele programelor?, De ce nu au fost realizate anumite obiective?, etc. Criteriile de evaluare sunt stabilite prin obiectivele proiectului. Modelul centrat pe utilizarea practic a evalurii (Michael Q. Patton, 2002) respect principiile evalurii formative. Conform acestui model, procesul de evaluare debuteaz n momentul designului unui proiect i se incheie ulterior implementrii acestuia. Accentul se pune pe utilizrile posibile pe care diferiii actori-utilizatori le pot da evalurii. n funcie de acestea, mai exact de scopul i obiectivele evalurii se profileaz structura evalurii. ntrebrile principale n cadrul acestui model sunt: Cine sunt utilizatorii evalurii? Care sunt obiectivele lor?, Care sunt informaiile de care au acetia nevoie? etc. Criteriile de evaluare sunt stabilite de catre utilizatorii evalurii. Modelul transdisciplinar privete evoluia evalurii de la stadiul de practic la cel de disciplin specializat 69 . Scriven identific principalele trei dimensiuni ale evalurii care stau la baza evalurii: epistemologic, politic i tiinific 70 . Dimensiunea epistemologic are la baz obiectivismul. Evaluarea are valoare n msura n care se bazeaz pe logic, raiune i afirmaiile fcute corespund realitii. Dimensiunea politic se traduce prin orientarea evalurii spre consumator 71 , iar Stufflebeam consider c aceast abordare este extrem de dificil, impunnd implicarea unor experi credibili i foarte bine pregtii 72 . Caracterul tiinific al evalurii se regsete n posibilitatea disciplinei de a avea un sistem metodologic i de a-l mbunti i aplica n alte discipline i n domenii interdisciplinare. Grafic, dimensiunile modelului transdisciplinar poate fi reprezentat tridimensional, fiecare dintre dimensiuni fin reprezentat pe una dintre axe: Planul vertical dintre axele x i y reprezint disciplinele (dimensiunea tiinific), planul situat ntre axele y i z reprezint domeniile evalurii (dimensiunea epistemologic), iar planul orizontal descris de x i z reprezint domeniile de aplicare a evalurii (dimensiunea politic), ca i n Figura 6 73 . Oricrei evaluri i corespunde un anumit punct sau volum. Figura 6. Modelul Transdisciplinar

M. Scriven, (2003), Evaluation in the new millennium: The transdisciplinary vision. In S. I. Donaldson & M. Scriven (Eds.), Evaluating social programs and problems: Visions for the millennium (pp. 19-42). Wahwah, NJ: Lawrence Erlbaum Associates 70 M. Scriven, (1993), Hard-won lessons in program evaluation. New Directions for Program Evaluation, 58. San Francisco, CA: Jossey-Bass 71 Idem, p.9 72 D. L.Stufflebeam, (2001), Evaluation models. New Directions for Evaluation, 89. San Francisco, CA: JosseyBass, pp.59-60
73

69

Chris L. S. Coryn, John A. Hattie, 2006, The Transdisciplinary Model of Evaluation

52

Cu ajutorul acestui model poate fi reprezentat orice evaluare. Evaluarea unui program n domeniul sntii public ar putea fi reprezentat, innd cont de cele trei dimensiuni. Figura 7. Reprezentarea spaial a evalurii unui program de sntate public, conform Modelului Transdisciplinar

Asociind Modelul Transdisciplinar cu casa evalurii descris de M. Scriven 74 , acesta poate fi mbuntit i dezvoltat dup cum reiese din Figura 8.

74

SCRIVEN, M., 1991, The evaluation thesaurus (4th ed.). Thousand Oaks, CA: Sage, p 13

53

Figura 8. Modelul Transdisciplinar i Casa Evalurii

(i) Planul orizontal reprezentnd baza cubului se refer la dimensiunea aplicativ a evalurii. Aceasta este urmat n sens ascendant de planurile corespunztoare (ii) dezvoltrii instrumentelor, (iii) metodelor, (iv) teoriei i (v) metateoriei care corespunde podului din casa evalurii. Desigur aceste trepte nu trebuie privite restrictiv, ci pot fi nuanate n funcie de scopul cercetrii. Banca Mondial (BM) utilizeaz la scar larg n special modelele economice de evaluare, fapt explicat de profilul organizaiei. ns, scopul principal al BM este combaterea srciei, de aceea evalurile centrate pe rezultate i cele orientate pe proces sunt frecvent utilizate. n acest sens, tendina imprimat de Michael Q. Patton care are n centru metodele calitative de cercetare are o rezonan aparte. Cu un ntreg departament pus n slujba evalurii, Banca Mondial realizeaz astfel de studii pentru fiecare dintre proiectele pe care le finaneaz. Experii BM realizeaz evalurile dup metodologii clar specificate. Pe site-ul BM apar actualmente 134 documente care pot fi accesate i care conin elemente ale modelelor de evaluare. Pe site sunt fcute publice metodologia utilizat, colecii de date i sursele acestora i, selectiv, anumite studii de evaluare organizate dup modelul de evaluare utilizat i dup ara n care au fost realizate. Atrag atenia numeroase studii de evaluare, datorit diversitii metodelor aplicate, a proiectelor investigate. Sunt prezentate o serie de manuale care explic metodologia i procesele presupuse de un studiu de evaluare. Printre cele mai recente este i cea a lui Judy Baker: Evaluating the Impact of Development Projects on Poverty: A Handbook for Practitioners, Directions in Development, World Bank, Washington, D.C aparut n anul 2000. n Sourcebook for Poverty Reduction Strategies, World Bank, Washington D.C., apare n acelai an Monitoring and Evaluation, scris de Prennushi, G., G. Rubio, si K. Subbarao. Trebuie menionat i impresionanta serie de articole semnate de experi ai BM printre care James J. Heckman, Jeffrey A. Smith, Nancy Clements, Christopher Taber Grossman, Jean Baldwin Karen Fulbright-Anderson, Anne C. Kubisch si James P. Connell alturi de numeroi alii. Nota distinctiv const n faptul c totalitatea studiilor sunt realizate pe proiecte finanate de BM, centrate pe combaterea srciei. Prin urmare, un accent mai mare este pus pe aspectul economic al evalurii. Dar, din perspectiva modelelor de evaluare, tocmai acest profil socio-economic al proiectelor BM avantajeaz utilizarea n complementaritate a trei tipuri de modele : economice (care subliniaz inputul financiar), cele centrate pe rezultate i a modelului calitativ. Este firesc, avnd n vedere misiunea asumata de BM : reducerea srciei. Nu exist o deosebire major ntre instrumentele propuse de BM i cele realizate de

54

comunitatea academic. Totui, aria extins de aciune din punct de vedere geografic i cultural i pune amprenta pe metodologia utilizat de BM. Recent, Comisia UE a propus o lista orientativ de indicatori care ar trebui urmrii n evaluarea programelor. Printre acetia se regasesc: coeziunea social (integrarea social, dimensiunile srciei sau ale srciei extreme, riscul srciei i al excluziunii sociale, coeziunea social, geografic, omajul de lung durat, accesibilitatea serviciilor de interes general), calitatea angajrii (sigurana profesional, drepturile muncitorilor, organizarea pieei muncii, echilibrul ntre viaa personal i cea profesional, oportunitile de angajare i integrare prin angajare, etc.) protecia social i serviciile sociale (nivelul proteciei, accesibilitate, etc.) interesele consumatorului, educaie, capital social, viaa comunitar, drepturile fundamentale ale omului, etc. Deasemenea, pe site-ul Comisiei se regsete i un manual de implementare a studiilor evaluare (www.evalsed.info). Acesta explic pas cu pas procedurile care trebuie utilizate pentru evaluarea proiectelor derulate din Fondurile Structurale. Totui, el trebuie particularizat pentru fiecare ar n parte, i nu este oportun a fi aplicat ca atare. Modelele de evaluare promovate de Comisia Uniunii Europene sunt modele mixte, situate la intersecia ntre modelele economice (care subliniaz inputul financiar), cele centrate pe rezultate si modelele calitative. Organizaiile non-profit, mai ales cele care ofer granturi sunt de regul interesate n evaluarea centrat pe rezultate i pe proces. Principalii finanatori i-au dezvoltat propriul arsenal de instrumente i modele pentru evaluare. Astfel, Fundaia Ford, USAID, Rockefeler etc. au publicat pe paginile web propriile instrumente de evaluare a programelor, nsoite de numeroase studii de caz. Unul dintre scopurile acestora este desigur afirmarea legitimitii aciunilor pe care le ntreprind. De remarcat ns c evalurile respect metodologia propus de cercetarea academic i utilizat de organizaiile internaionale. Desigur, modelele de evaluare i metodele i tehnicile de cercetare utilizate n tiinele sociale nu trebuie reinventate. Aplicarea lor este ns dirijat de interesele celor care le finaneaz i de profilul cultural al cercettorilor care au conceput instrumentul i care realizeaz efectiv studiul . n privina modelelor de evaluare a programelor, literatura romneasc n domeniu este relativ srac. Exist studii referitoare la modele de evaluare, dar cel mai adesea este vorba de evaluri tehnice, economice sau specifice altor domenii (construcii, protecia mediului, software, etc.) i nu de evaluri ale unor programe, cu att mai puin ale unor programme finanate sau co-finanate din bani publici: modele de evaluare ale riscului de ar, modele de evaluare a siguranei structurilor construciilor, modele de evaluare a dispersiei poluanilor n atmosfer, modele de evaluare a costului testrii software, etc. Totui, n materie de evaluare, n Romnia, ncepnd cu anul 2002 apar primele referiri la studii de evaluare. Acestea sunt fie contribuiile cercettorilor sau colaboratorilor Institutului de Cercetare a Calitii Vieii (ICCV), fie ale unor cercettori din sfera academic, sau practicieni din domeniul profit i non-profit. Chiar dac este vorba de cri, de anumite capitole din cri, de articole, de lucrri prezentate cu ocazia unor conferine sau de rapoarte de cercetare realizate pentru teri, majoritatea contribuiilor romneti abordeaz doar adiacent problematica modelelor de evaluare. Astfel, n 2002, S. Ilie scrie Formal and informal incomes of the Romanian Households ntr-un volum coordonat de Rainer Neef i M. Stnculescu: The Impact of Informal Economies n Eastern Europe, Ed. Ashgate U.K. n acelai volum apare studiul Households economic strategies between state, market and the informal economies al M. Stanculescu. Ambele lucrri ofer informaii pentru evaluarea impactului social al unor programe, ns nu abordeaz probleme specifice modelelor de evaluare i nici a metodologiei evalurii. n 2003, avndu-l printre co-autori pe M. Stnculescu , apare la Editura Institutul European, n ediie bilingv, Impactul pre-aderrii. Politici de coeziune i dezvoltarea regional economc i social a Romniei/PreAccesion Impact Studies. EU Cohesion Policy and Romania's Regional Economic and Social Development. Din nou, contribuia romneasc este limitat la furnizarea anumitor date, i realizarea unor analize care au doar o legatur indirect cu evaluarea. n Quality of life in Romania si in Politica Sociala. Studii 1990-2004, aprute n 2004 la editura Expert, Ioan Marginean identific anumii indicatori sociali utili ntr-o evaluare, fr a face referire la mixtura de modele de evaluare utilizate. Actualmente, n Romnia, nu exist publicaii sau cercetri care abordeaz direct problema modelelor care pot fi utilizate pentru evaluarea programelor, cu att mai puin pentru evaluarea unor programe sau proiecte finanate parial sau integral din bani publici.

55

Tendina pe plan internaional este de a utiliza concomitent mai multe modele de evaluare 75 atent alese i adaptate. Studiile i rapoartele de evaluare trebuie s rspund din ce n ce mai mult att unor ntrebri privind procesul, ct i unor ntrebri privind rezultatele; intereseaz n acelai timp efectele economice i cele de impact social. Mai ales n cazul proiectelor finanate din bani publici, tendina este de a utiliza modelele de evaluare care se concentreaz pe rezultate ct i modele de evaluare care au la baz perspectiva beneficiarilor direci ai proiectelor (cetenii). Pentru aceasta, este necesar utilizarea unor modele de evaluare orientate att pe rezultate ct i pe actorii implicai n program. Acestea sunt modele complexe, obinute prin selecia, analiza i sinteza unor modele simple de evaluare.

75

Hansen, 2005, p. 448

56

II. IMPACTUL SOCIAL AL PROGRAMELOR

57

Capitolul 1. Impactul social al programelor -stadiul actual al cunoaterii Concepte

Impact social efectele unui program exercitate asupra indivizilor, grupurilor, comunitilor i societii n general; putem avea n vedere efectele nete ale u nui program sau efectele pe termen lung ale acestuia; de regul, impactul social apare prezentat mpreun cu impactul asupra mediului i cu impactul economic. Efecte nete efectele directe ale unui program independent de efectele exercitate de ali factori contextuali. Design experimental- utilizarea unui grup experimental (supus interveniei) selectat aleatoriu. Impactul proiectului este calculat prin compararea valorilor anumitori indicatori estimate nainte i dup intervenie.

Design quasi-experimental comparaiile privind efectele unui program sunt fcute ntre dou grupuri. De aceast dat, doar grupul experimental este selectat dintre participanii la program, cel de control fiind selectat din indivizi care nu sunt inclui n program, ns au caracteristici similare grupului de control. Constituirea grupurilor experimental i de control din indivizi cu trsturi similare, ntre care diferena major este participarea, respectiv neparticiparea n program denot o selecie ne-aleatorie a subiecilor inclui n cele dou grupuri.

58

Capitolul 1. Impactul social al programelor -stadiul actual al cunoaterii Actualmente, stadiul cunoaterii n domeniu, pe plan internaional, este extrem de avansat, n pofida timpului relativ scurt (35 de ani) trecut de la apariia primelor abordri sistematice. Contribuiile eseniale vin dinspre cercetarea academic (care colaboreaz strns cu practicanii din administraiile locale i centrale din numeroase state), dinspre sectorul non -profit i din cel privat (care finanteaz diverse intervenii cu impact asupra indivizilor, grupurilor, comunitailor i societailor), i dinspre organizaii internaionale, care, la rndul lor, implementeaz o serie de programe si proiecte n numeroase state i comunitai (Comisia Uniunii Europene, Banca European pentru Reconstrucie si Dezvoltare, Banca Mondial, Fondul Monetar Internaional, OECD, USAID etc.). n privina aspectelor tehnice, a metodologiei utilizate, exist un anumit consens. Evaluarea impactului social are la baz utilizarea metodelor clasice de cercetare sociologic, att cantitative(statistice), ct i calitative (observaia, interviul, studiile de caz etc). Pentru impactul social s-a dezvoltat o metodologie variat, n funcie de contextul socioeconomic, cultural i organizaional n funcie de natura interveniei, de variabilele care prezint interes, n funcie de bugetul disponibil, de capacitatea de cercetare i de o serie de ali factori. Sintetiznd cele mai recente apariii n domeniu, n materie de design al evalurilor de proiecte i programe facem distincia ntre principalele dou tipuri de design ale evalurii: experimental i quasi-experimental. Rossi, Freeman i Lipsey prezint un catalog al categoriilor de design al analizelor de impact organizat n funcie de strategiile de selecie a grupurilor experimentale i de control, specificitatea interveniei i strategiile utilizate pentru colectarea datelor 76 . Designul experimental Planificarea oricrei evaluri pentru a stabili impactul unui program include implicit sau explicit designul experimental. n cadrul unui design experimental, programul este aplicat unui grup de subieci selectai aleatoriu. Impactul interveniei este calculat prin compararea valorilor anumitori indicatori estimate nainte i dup intervenie. De cele mai multe ori ns este ales n acelai timp, tot aleatoriu, un grup comparabil de subieci crora nu li se aplic tratamentul, fiind utilizai ca grup de control. Experimentele aleatorii se caracterizeaz mai ales prin grupurile experimentale i de control selectate aleator. Ele sunt utilizate mai ales n designul evalurii unor programe cu acoperire integral, n care intervenia vizeaz totalitatea sau quasi-totalitatea indivizilor unei populaii. n cazul acestora, datele minime necesare constau n cele obinute din msurtori post-intervenie. Ideal, se adaug i datele obinute din msurtori anterioare i consecutive interveniei. Designul quasi-experimental n acest caz, comparaiile sunt fcute ntre dou grupuri. De aceast dat, doar grupul experimental este selectat dintre participanii la program, cel de control fiind selectat din indivizi care nu sunt inclui n program, ns au caracteristici similare grupului de control. Constituirea grupurilor experimental i de control din indivizi cu trsturi similare, ntre care diferena major este participarea, respectiv neparticiparea n program denot o selecie ne-aleatorie a subiecilor inclui n cele dou grupuri. Aceasta se ntlnete cel mai adesea n cazul programelor cu acoperire parial, care au ca grup int doar o parte din indivizii care fac parte dintr-o populaie. Cvasi-experimentele (discontinuitatea regresiei), au un scop al interveniei nealeator, dar fix i cunoscut cercettorului. intele selectate sunt comparate cu intele neselectate, meninnd selecia constant. Avem de a face cu masurtori repetate, nainte i dup intervenie. n cazul cvasi-experimentelor (grupuri de control) scopul interveniei este aleator si necunoscut, grupurile de intervenie sunt comparate cu grupurile de control alese de cercettor, iar strategiile de colectare a datelor se bazeaz pe masurtori repetate, nainte i dupa intervenie. Analizele simple nainte si dup intervenie au un scop aleatoriu si neuniform, intele sunt masurate anterior si posterior interveniei, iar rezultatele sunt msurate pe anumite inte, nainte si dupa intervenie.Analizele cros-secionale pentru programe neuniforme au un scop al investigaiei nealeatoriu i neuniform, grupul tinta este expus interveniilor n mod difereniat. Pentru colectarea datelor sunt utilizate masurtori post intervenie i controlul variabilelor.Analizele panel: mai multe masurtori repetate pentru
Peter Rossi, Howard Freeman , Mark Lypsey, (1999) Evaluation, A Systematic Approach, 6th ed., SAGE Publication, p.261
76

59

programe neuniforme, au un scop nealeatoriu i neuniform al interveniei n care grupul inta este investigat anterior, consecutiv i ulterior interveniei. Pentru colectarea datelor se recurge la masurtori repetate ale expunerii la intervenie i ale rezultatelor. n cazul seriilor temporale: mai multe masurtori repetate, scopul interveniei este nealeatoriu i uniform, avem serii mari de date agregate, comparate nainte i dup intervenie. n vederea colectrii datelor, avem mai multe masurtori repetate nainte i dup intervenie. 1. CERCETAREA ACADEMIC Cercetarea academic are un aport rezonant la stadiul actual al cunoaterii EIS prin cercettori precum Christopher Barrow, Frank Vanclay, Hank Becker, Rabel J. Burdge, Allan Dale, Nicholas Taylor, Marcus Lane, Bryan Hobson i Colin G. Goodrich, alturi de muli alii. Acetia promoveaz studiul impactului social la nivel teoretic i practic prin publicaii de specialitate, prin Asociatia International a Evaluarii Impactului( IAIA-International Association for Impact Assessment), iar n cadrul acesteia prin numeroase activiti precum organizarea de cursuri, seminarii, conferine, liste de discutii, prin editarea unor publicaii de specialitate i prin actualizarea permanent a paginii web de profil: www.iaia.org .O trsatur distinct a contributiilor recente este accentul pus pe aplicabilitatea practic a informaiilor propuse. De aceea, o bun parte a publicaiilor nou aprute se concentreaz pe definiii, justificare i propun metodologii care, urmate pas cu pas, duc la realizarea studiilor de evaluare a impactului social.Un recent exemplu n acest sens este cartea lui Christopher Barrow Social Impact Assessment: An Introduction (Evaluarea Impactului Social: O Introducere(tr.n.), publicat n 2004, la Oxford University Press. Barrow prezint EIS ca fiind orientate cu predilecie spre obiective practice i avnd cel puin unul dintre urmatoarele scopuri: s ofere informaii despre schimbrile normelor, credinelor, percepiilor, valorilor i efectele lor, s anticipeze posibilele impacturi ale interveniilor sau schimbrilor de orice tip, fie ele negative sau pozitive, s sugereze dezvoltarile alternative care trebuie evitate. Pe scurt, trebuie s reduc sau s contracareze problemele i sa maximizeze beneficiile. 77 Un alt exemplu, este contribuia lui Rabel J. Burdge, A Community Guide to Social Impact Assessment, Editia a 3-a, 2004. Ghidul este un instrument pentru practicienii de la toate nivelele cercettori n stiintele sociale, angajai ai ageniilor statale, lideri comunitari, voluntari - pentru realizarea evaluarilor impactului social. Publicaia se adreseaz chiar i celor fr o pregtire consistent n domeniul tiintelor sociale. Burge organizeaz informaia astfel: n prima parte a lucrrii ofer informaii de fond, o scurt istorie a studiilor de impact social, un model conceptual i metode de colectare a datelor pentru msurarea variabilelor EIS. A doua parte se refer la cinci categorii de variabile EIS - schimbrile la nivel de populaie, organizarea comunitar i instituional, comunitai n tranziie, impactul asupra individului i a familiei, i nevoile comunitaii vis--vis de infrastructur. n ultima parte, Rabel J. Burge ofer un ghid de lucru n care face un rezumat al variabilelor EIS i a modalitatilor n care datele obinute pot fi utilizate n procesul de mbunataire a respectivelor programe/proiecte. 78 Tot n 2004, Rabel Burdge public The Concepts, Process and Methods of Social Impact Assessment, care vine n completarea ghidului descris mai sus. Aceast carte urmrete dezvoltarea conceptului EIS, descrie procesele i metodele EIS, prezint studii de caz recent realizate, descrie legatura dintre EIS i participarea public, i spre final, prezint EIS n context internaional. Aici se nscrie i Frank Vanclay care mpreun cu ali autori din IAIA public n 2003 International Principles for Social Impact Assessment. Azi, obiectivele Studiilor de Impact Social sunt de a asigura ca dezvoltarile sau interveniile planificate care au loc, maximizeaz beneficiile i minimizeaz costurile respectivelor dezvoltari, n special costurile suportate de comunitate. 79 El se refer n mod deosebit la externaliti, costuri care, de regul, nu sunt apreciate adecvat. Cei care iau deciziile, autoritaile i cei care promoveaz dezvoltarea nu le iau n calcul, parial pentru ca sunt greu cuantificabile i identificabile 80 . C. Nicholas Taylor, C. Hobson Bryan i Colin G. Goodrich public n 2004 Social Assessment: Theory, Process and Techniques. Noutatea pe care o aduc cei trei autori const n abordarea EIS la nivel strategic
Barrow, C. J.(2003) Social Impact Assessment: An Introduction. Arnold Press, London , p.3 Burge, Rabel J. 2004. A Community Guide to Social Impact Assessment: 3rd Edition (Social Ecology Press, PO Box 620863, Middleton WI 53562 79 Vanclay, Frank (2003) - The International Handbook of Social Impact Assessment: Conceptual and Methodological Advances, Edward Elgar Publishing, p.1 80 Ibidem, pp.10-25
78 77

60

Aplicarea impactului social la nivel strategic are loc n cadrul procesului de dezvoltare i implementare a programelor i politicilor. Autorii, practicieni cu experien n EIS, susin numeroase cursuri i seminarii de specializare pentru organizaii naionale i internaionale, publice, private i non-profit. i de aceasta data avem de a face cu un ghid care explic etapele realizrii EIS 81 . Chiar dac provin dintr-o varietate de surse, direcii si experiene, lucrrile aparute au urmtoarea structur tipic: 1.Aprecieri istorice 2.Definiii ale evalurii impactului social i consideraii terminologice 3.Descrierea tehnicilor i metodelor existente 4.Dezvoltarea unor noi instrumente 5.Descrierea procesului de aplicare a instrumentului 6.Identificarea metodelor de a integra EIS n activitaile de planificare i luare a deciziei. Desigur, fiecare dintre autori accentueaz cu predilectie anumite aspecte. Semnificativ este faptul c, n ciuda acestor diferente de coninut, similaritatea definiiilor, instrumentelor i a pailor metodologici propui este surprinztor de mare. Consistena denot un acord in privina nevoilor i metodelor, ns i un fenomen de repetitivitate i generalizare care impune o nevoie accentuat de a contextualiza metodologia n funcie de coordonate precum: locaia geografic, evolutia istoric, tipul de cultur, etc. Repetitivitatea se explic n parte prin faptul c acest instrument de evaluare a fost utilizat, preponderent, de ctre entitai aparinnd statelor dezvoltate, cu un anumit tip de cultur, cu o tradiie democratic ndelungat, cu o structura organizaional i instituional stabil i clar definit. Trile n curs de dezvoltare, aflate n tranziie spre un regim democratic, cu o dinamic accentuat a organizarii instituionale, din care face parte i Romnia, sau cele mai puin dezvoltate, care au un regim totalitar, i o organizare rudimentara a instituiilor i organizaiilor, nu au beneficiat dect precar de propria infrastructura de cercetare n domeniul analizei impactului social. Singurele cercetari de aceast natur au fost realizate aici de ctre instituii sau organizaii internaionale, iar interesul national nu a fost ntotdeauna apreciat. Vanclay admite faptul c exist o diferen semnificativ ntre evaluarea impactului social n medii diferite din perspective gradului de dezvoltare. De asemenea Vanclay afirm c pentru trile mai puin dezvoltate exist puin metodologie pentru studiile de impact. 82 Astfel se explic, cel putin parial, respectiva repetitivitate a literaturii n domeniu pe plan internaional i, n acelai timp, precaritatea literaturii romnesti de profil. 2. ORGANIZAII INTERNATIONALE Banca Mondial utilizeaz la scar larg EIS. Cu un ntreg departament pus n slujba evaluarii impactului social, Banca Mondial (BM) realizeaz astfel de studii pentru fiecare dintre proiectele pe care le finanteaz. Expertii BM analizeaz impactul social dup metodologii clar specificate. Pe site-ul BM 83 apar actualmente 134 documente care pot fi accesate i care contin elemente de calcul al impactului social. Pe site sunt fcute publice metodologia utilizat, colectii de date i sursele acestora i, selective, anumite studii de impact organizate dup tipul de impact i dup tara n care au fost realizate. Atrag atenia numeroase studii de impact social, datorit diversitatii metodelor aplicate, a proiectelor investigate. Sunt prezentate o serie de manuale care explic metodologia i procesele presupuse de un studio de impact. Printre cele mai recente este i cea a lui Judy Baker: Evaluating the Impact of Development Projects on Poverty: A Handbook for Practitioners, Directions in Development, World Bank, Washington, D.C aparut n anul 2000. n Sourcebook for Poverty Reduction Strategies, World Bank, Washington D.C., apare n acelasi an Monitoring and Evaluation. realizat de Prennushi, G., G. Rubio, i K. Subbarao . Trebuie menionat i impresionant serie de articole semnate de experi ai BM printre care James J. Heckman, Jeffrey A. Smith, Nancy Clements, Christopher Taber Grossman, Jean Baldwin Karen Fulbright-Anderson, Anne C. Kubisch si James P. Connell alturi de numeroi alii. Nota distinctiv const n faptul c totalitatea studiilor sunt realizate pe proiecte finanate de BM centrate pe combaterea srciei. Prin urmare un accent mai mare este pus pe aspectul economic al impactului social. Este firesc, avnd n vedere c misiunea asumat de BM este reducerea srciei. Nu exist o
81

C. Taylor, Bryan Nicholas, C. Hobson i Colin G. Goodrich (2004) Social Assessment: Theory, Process and Techniques, SAGE 82 Vanclay, Frank (2003) - The International Handbook of Social Impact Assessment: Conceptual and Methodological Advances, Edward Elgar Publishing, p.10 83 www.worldbank.org

61

deosebire major ntre instrumentele propuse de BM i cele realizate de comunitatea academic. Aria extins de actiune din punct de vedere geo-politic i cultural i pune amprenta pe metodologia utilizat de BM. Recent, Comisia UE a propus o list orientativ de indicatori care ar trebui urmrii n analizele de impact. Printre acestia se regsesc:coeziunea social (integrarea social, dimensiunile srciei sau ale srciei extreme,riscul srciei i al excluziunii sociale, coeziunea social geografic, somajul de lung durat, accesibilitatea serviciilor de interes general), calitatea angajrii (sigurana profesional, drepturile muncitorilor, organizarea pieei muncii, echilibrul ntre viaa personal i cea profesional, oportunitaile de angajare i integrare prin angajare, etc.) protecia social i serviciile sociale(nivelul protecteciei, accesibilitate,etc) interesele consumatorului, educaie,capital social, viaa comunitar, drepturile fundamentale ale omului, etc. De asemenea, pe site-ul Comisiei se regseste i un manual de implementare a studiilor de impact 84 . Acesta explic pas cu pas procedura care trebuie utilizat pentru un studiu de impact n cadrul UE. Totui el trebuie particularizat pentru fiecare tar n parte, i nu este oportun a fi aplicat ca atare. 3.ORGANIZAIILE NON-PROFIT Organizaiile non-profit, mai ales cele care ofer granturi sunt de regul interesate n EIS. Principalii finanatori i-au dezvoltat propriul arsenal de instrumente pentru EIS. Astfel, Fundaia Ford, USAID, Rockefeler etc. au publicat pe paginile web propriile instrumente de evaluare a impactului social, nsoite de numeroase studii de caz. Unul dintre scopurile acestora este desigur afirmarea legitimitaii aciunilor pe care le ntreprind. De remarcat ns, c studiile de impact respect metodologia propus de cercetarea academic i utilizat i de organizaiile internaionale. Desigur, metodele i tehnicile de cercetare n tiinele sociale nu trebuie reinventate. Aplicarea lor este ns dirijat de interesele celor care le finanteaz i de profilul cultural al cercettorilor au conceput instrumentul i care realizeaz efectiv studiul . n International Handbook for Social Impact Assessment Vanclay i colaboratorii si sesizeaz acest neajuns i ncearc sa creeze un instrument aplicabil pretutindeni. Aceasta ns este o misiune practic imposibil, fiind condamnat s rmn la un grad de generalitate i abstractizare prea ridicat 85 . Actualmente, nu exist o metodologie a studiilor de impact social adaptat specificului societii romneti. Tendine Tendina pe plan internaional este de a asocia EIS cu dezvoltarea durabil. Vanclay leag evaluarea impactului social cu problematica dezvoltrii durabile. n acest sens, definete EIS ca filosofia despre dezvoltare i democraie (care vizeaz) patologiile dezvoltrii(e.g. impacturile duntoare), scopurile dezvoltrii( ca diminuarea srciei), i procesele dezvoltrii( e.g. participarea, crearea de capacitate) 86 . Studiile Bncii Mondiale confirm aceast tendint. n contextul dezvoltrii durabile, impactul social este corelat cu impactul economic i cu cel asupra mediului. Cele trei tipuri de impact sunt considerate a constitui evaluarea integrat a impactului, a crei natur variaz n funcie de tipul interveniei, scopul acesteia i raportul cost-eficien a ntregului pachet de studii de impact. Diferena dintre EIS i alte tipuri de evaluare i analiz EIS este metoda de msurare a consecinelor sociale ale diverselor proiecte, aciuni i politici. Dac n opinia lui Howard i Rossi analiza de impact presupune cuantificarea efectelor nete ale unei aciuni, evaluarea impactului social nu este altceva dect estimarea efectelor nete ale aciunilor, proiectelor, politicilor i alternativelor acestora asupra calitii vieii oamenilor 87 . Scopul i logica EIS se suprapun n linii mari cu elementele analizei impactului asupra mediului nconjurtor: determinarea condiiilor sociale n diverse domenii sau n cadrul unor populaii care pot fi afectate de respectivele
www.evalsed.info Vanclay, Frank (2003) - The International Handbook of Social Impact Assessment: Conceptual and Methodological Advances, Edward Elgar Publishing, p.388 86 Ibidem, p.389 87 Rossi, Peter, Freeman, Howard, Lypsey, Mark, (1999) Evaluation, A Systematic Approach, 6th ed., SAGE Publication, p.261
85 84

62

proiecte sau programe. Un alt scop este anticiparea unor efecte sociale viitoare ale prezentului status quo i estimarea efectelor sociale rezultate la nivel local, regional i national, precum i descrierea alternativelor ce pot fi luate n calcul. ntrebrile de baz la care trebuie s rspund o EIS sunt: 1. Cine va fi afectat? 2. Ce se va ntmpla cu indivizii afectai? 3. Care sunt schimbrile sociale implicate de fiecare alternativ propus? 4. Cum vor afecta schimbrile respective dinamica structurii sociale? Diferena ntre evaluarea impactului social i evaluarea impactului economic Impactul social e adesea n mod eronat confundat cu impactul economic. Dei au anumite puncte comune, cele dou tipuri de analiz nu se suprapun. Desigur, economia este considerat a fi o disciplin socio-uman, iar analiza economic are un instrumentar uneori comun cu tiintele socio-umane. Aceasta nu presupune ns limitarea sferei impactului social la impactul economic. Analiza impactului economic se refer cu precdere la msura n care investiiile de capital i alte resurse sunt transformate n beneficii prezente i viitoare pentru societate. Un exemplu ar fi analiza msurii n care beneficiile economice ale unui proiect sau ale unei politici depesc costurile. Evaluarea impactului economic mai face referire la furnizarea de resurse, la preuri, locuri de munc, cerere i ofert, etc. Cele dou tipuri de analiz difer substanial n privina perspectivei de abordare a obiectului cercetrii, a ntrebrilor fundamentale i a metodelor de investigaie. Prin urmare, aceleai date pot fi analizate i interpretate diferit din punct de vedere economic i din punctul de vedere al impactului social. Spre exemplu, n timp ce impactul economic al unui proiect de nfiinare a unei prtii de schi nseamn o cretere a locurilor de munc, a comertului local i a impozitelor datorate la stat, aceleai date, supuse analizei impactului social vor indica schimbri la nivelul comunitii, datorate schimbrii tipului de angajare a indivizilor (multe locuri de munc sunt sezoniere), scad ansele ca un individ s gseasc un loc de munca permanent i apare efectul subocuprii forei de munc.

63

Capitolul 2. Principii ale impactului social Concepte Imparialitate - calitatea unei evaluri de a nu reprezenta prtinitor anumite interese.

Independen calitatea evaluatorului de a nu aparine unui grup de interese care ar putea influena maniera n care realizeaz evaluarea i prezint rezultatele sale.

Credibilitate prezentarea metodologiei utilizate, colectarea datelor necesare respectnd cerinele metodologiei cercetrii n tiinele socio-umane

Participare necesitatea de a fi luate n considerare, n timpul procesului de evaluare, perspectivele tuturor actorilor implicai

Utilitate - msura n care recomandrile fcute n urma procesului de evaluare pot fundamenta decizii care duc la mbuntirea managementului programului

Prezentare accesibil - condiie sine qua non a utilizrii unei evaluri. n funcie de utilizatorii evalurii, trebuie ales un anumit tip de limbaj, asfel nct recomandrile s poat fi aplicate.

64

Capitolul 2. Principii ale impactului social Studiile de impact sunt comune cu principiile evalurii de programe. Pentru a fi valid din punct de vedere tiinific, evaluarea trebuie s fie imparial, independent, credibil, s asigure participarea tuturor actorilor implicai, s fie util, i s fie prezentat ntr-o manier accesibil. Imparialitatea i independena se refer la calitatea unei evaluri de a nu reprezenta prtinitor anumite interese. Procesul de evaluare ar trebui s fie independent i de managementul programului. Este destul de dificil pentru cineva implicat n designul i implementarea unui program s sesizeze eventualele erori. O opinie din exterior poate fi mai obiectiv. Prin urmare, imparialitatea i independena pot fi asigurate prin separarea procesului de evaluare i a unitii responsabile de realizarea acestuia de restul echipei de proiect. Aceasta nu nseamn lipsa oricrei comunicri. Pentru c, att n faza de design, ct i n etapele de implementare implicarea evaluatorilor este esenial. Ei trebuie s adune date i s le analizeze n diferitele momente de pe parcursul unui proiect. Important este ca evaluatorii s nu fie i cei care implementeaz proiectul sau programul respectiv. Aceasta nu presupune faptul c evaluatorii externi sunt preferati celor interni. Capacitatea intern de evaluare ste binevenit i nu contrazice acest principiu. Evaluatorii din interiorul unei instituii pot aprecia uneori cu mai mult pertinen un anumit program, dect evaluatorii externi. Doar c este important s nu fie implicat aceeai persoan att n managementul programului, ct i n evaluarea lui. Ct despre sistemul de evaluare pentru administraia public, acest principiu ar putea fi respectat dac ar exista o unitate central de evaluare care s fie responsabil cu raportarea rezultatelor evalurii ministerului care coordoneaz programul, direct ministrului sau unui comitet director din ministerul respectiv. Instituiile administratiei publice responsabile cu implementarea anumitor proiecte ar putea raporta rezultatele evalurii unitii centrale de evaluare de unde ar ajunge direct la un nivel suficient de nalt pentru a sta la baza anumitor decizii. Credibilitatea este asigurat pe de o parte prin respectarea principiilor descrise anterior (impartialitate i independen). ns, pentru a fi credibil o evaluare trebuie s respecte o anumit metodologie prezentat explicit tuturor prilor implicate. Mai mult, credibilitatea este dat de acurateea datelor colectate i a procesului de analiz aacestor date. Raportul unei evaluri credibile trebuie s evidenieze att aspectele pozitive ale derulrii programului (care trebuie ncurajate), ct i aspectele negative (care necesit msuri de mbuntire). Pentru a avea un raport credibil, trebuie implicai evaluatori specializai, recunoscui n domeniile de expertiz necesare pentru analiza proiectului. Pentru evaluarea unui proiect sau program educaional vom avea nevoie n echipa de evaluare de experi n domeniul educaional. Pentru evaluarea unui program de sntate public vom avea vevoie de experi n sntate public, .a.m.d. Alturi de aceti experi pe anumite domenii echipa de evaluare trebuie s cuprind i experi n colectarea i analiza datelor. Acetia vor aduce un plus de credibilitate prin efectuarea unor cercetri pertinente din punct de vedere metodologic. Participarea tuturor actorilor implicai reprezint un principiu al evalurii n sensul necesitii de a fi luate n considerare, n timpul procesului de evaluare, perspectivele tuturor actorilor implicai n desfurarea unui program. Perspectivele multiple reprezint, alturi de un plus informaional, un plus de autenticitate. Nu este vorba de implicarea tuturor actorilor n realizarea evalurii, ci doar ca input informaional. Utilitatea evalurii i prezentarea sa ntr-o manier accesibil sunt principii ale evalurii strns legate ntre ele. Dac nu este prezentat ntr-o manier accesibil, evaluarea are puine anse de a fi util. Iar utilitatea presupune, n cazul unei evaluri, msura n care recomandrile fcute n urma procesului de evaluare pot fundamenta decizii care duc la mbuntirea managementului programului. Prezentarea ntro manier accesibil a datelor rezultate n urma evalurii este o condiie sine qua non a utilizrii

65

respectivei evaluri. n funcie de utilizatorii evalurii, trebuie ales un anumit tip de limbaj, iar prezentarea datelor trebuie s in cont de cunotinele metodologice ale utilizatorilor respectivului studiu.

66

Capitolul 3. Metodologia de evaluare a impactului social Concepte

Impact social efectele proiectelor sau programelor asupra indivizilor, asupra grupurilor de oameni, asupra comunitilor i asupra ntregii societi.

Identificarea nevoilor analiza (i pe ct posibil cuantificarea) nevoilor grupurilor de oameni, comunitilor societii care stau la baza unui proiect.

Beneficiari ai programului (proiectului) persoanele sau grupurile afectate direct sau indirect de un program sau proiect.

Variabilele unui studiu de impact social - schimbrile msurabile n populaiile umane, la nivelul comunitiilor i al relaiilor sociale ca urmare a implementrii unui proiect, program, politic public.

Caracteristicile populaiei - structura demografic actual i schimbrile anticipate, diversitatea etnic i rasial, migraia, precum i alte aspecte legate direct de populaie.

67

Capitolul 3. Metodologia de evaluare a impactului social

EIS ncepe de obicei cu un proces de analiz a contextului n care este implementat proiectul, n timpul cruia sunt identificate problemele status quo-ului i sunt descrise toate alternativele posibile. Procesul de evaluare a impactului social continu cu analiza factorului social al status quo-ului (problema de baz) i estimarea schimbrii sociale induse de fiecare alternativ a acesteia. Procesul EIS se ncheie cnd analistul redacteaz raportul de evaluare a impactului, iar cei care au prerogativele necesare integreaz rezultatele evalurii impactului social n derularea proiectelor i/sau activitilor. Exist numeroase abordri privind etapele tipice ale unei EIS. Mai ales cnd este vorba despre aciuni sau proiecte de dimensiuni mici relativ simple, n cazul n care EIS este necesar, aceasta poate fi realizat relativ rapid. Va avea la baz documentele existente i sursele de date usor de accesat ale instituiilor publice, ale librriilor, ale internetului i consultri concise cu prile implicate n proiect. Cu ct proiectul i efectele sale sunt mai complexe cu att EIS va fi mai complex. Evaluarea impactului social presupune utilizarea metodelor clasice de cercetare sociologic, att cantitative (statistice), ct i calitative (observaia, interviul, studiile de caz etc). Pentru impactul social s-a dezvoltat o metodologie variat, n funcie de contextul socioeconomic, cultural i organizaional n funcie de natura interveniei, de variabilele care prezint interes, n funcie de bugetul disponibil, de capacitatea de cercetare i de o serie de ali factori. Sintetiznd cele mai recente apariii n domeniu, s-a alctuit un catalog al categoriilor de design al analizelor de impact, sistematizat n funcie de strategiile de control, specificitatea interveniei i strategiile utilizate pentru colectarea datelor (Rossi, Freeman, Lipsey, 1998). Astfel, se utilizeaz experimentele aleatorii, cvasiexperimentele, analize simple nainte i dup intervenie, analize cros-secionale pentru programe neuniforme, analize panel: mai multe msurtori repetate pentru programe neuniforme i serii temporale: mai multe msurtori repetate. Experimentele aleatorii se caracterizeaz prin scopul aleator al interveniei, controlat de cercettor, grupurile experimentale i de control sunt selectate aleatoriu. n cazul acestora, datele minime necesare sunt cele obinute din msurtori post-intervenie. Ideal, se adaug i datele obinute din msurtori anterioare i consecutive interveniei. Cvasi-experimentele (discontinuitatea regresiei), au un scop al interveniei nealeator, dar fix i cunoscut cercetatorului. n cazul cvasi-experimentelor (grupuri de control) scopul interveniei este aleator i necunoscut, grupurile de intervenie sunt comparate cu grupurile de control alese de cercetator, iar strategiile de colectare a datelor se bazeaz pe msurtori repetate, nainte i dup intervenie. Analizele simple nainte i dup intervenie au un scop aleatoriu i neuniform, intele sunt msurate anterior i posterior interveniei, iar rezultatele sunt msurate pe anumite inte, nainte i dup intervenie. Analizele cros-secionale pentru programe neuniforme au un scop al investigaiei nealeatoriu i neuniform, grupul int este expus interveniilor n mod difereniat. Pentru colectarea datelor sunt utilizate msurtori post intervenie i controlul variabilelor independente. Analizele panel reprezint mai multe msurtori repetate pentru programe neuniforme, cu un scop nealeatoriu i neuniform al interveniei, n care grupul int este investigat anterior, consecutiv i ulterior interveniei. Pentru colectarea datelor se recurge la msurtori repetate ale expunerii la intervenie i ale rezultatelor. n cazul seriilor temporale: mai multe masurtori repetate, scopul interveniei este nealeatoriu i uniform, exist serii mari de date agregate, comparate nainte i dup intervenie. n vederea colectrii datelor, avem mai multe msurtori repetate nainte i dup intervenie. Fiecare EIS implic cercetarea contextului : dimensiunile comunitii, grupul de beneficiari direci i indireci, dimensiunile sociale, educaionale, economice i etnice, valori i nevoi. Consultarea unor experi este de obicei necesar. Interaciunea cu comunitile i grupurile afectate este esenial din moment ce aspectele sociale i culturale ale contextului, valorile indivizilor sunt intrinsec legate de

68

acestia. Exist multiple metode prin care aceast interaciune este realizabil, prin care se pot studia caracteristicile grupurilor, comunitilor, societilor. De la observaia participativ (in care analistul trieste n comunitate pentru a afla cum functioneaz aceasta) pna la interviuri de grup, individuale i sondaje de opinie. Alegerea metodelor se va face n funcie de timpul i resursele financiare disponibile, n funcie de tipul comunitaii i n funcie de opinia experilor vis-a-vis de problemele sociale i nevoile respectivei comuniti.Chiar dac fiecare proiect este diferit i fiecare EIS este unic, n majoritatea cazurilor sunt recunoscui anumii pai standard ai analizei pentru ca aceasta sa-i ating scopul. Majoritatea surselor propun ntr-o form sau alta urmatorii unsprezece pai: 1. Identificarea nevoilor i a problemelor sociale 2. Identificarea participanilor i beneficiarilor 3. Dezvoltarea unui plan de participare public astfel nct toate prile afectate s fie implicate Nivelul participrii publice necesare variaz n funcie de natura proiectului. ntr-un proiect complex poate fi necesar stabilirea caracterului necesar al comunitii, definirea grupurilor potenial afectate i cunoaterea nivelului lor de implicare. n cazul unui proiect mai simplu o consultare a liderilor i experilor locali poate fi suficient pentru obinerea datelor necesare estimrii impactului unui proiect. 4. Identificarea i descrierea alternativelor de aciune Alternativele sunt concepute pe baza scopului i a nevoii de aciune. Analistul EIS trebuie s determine alternativele i s adune datele necesare pentru fiecare dintre acestea. Urmatoarele informaii de baza sunt necesare de regul pentru identificarea fiecrei alternative: Locaia Legile i regulamentele sub incidena crora cade proiectul Nevoile de infrastructur Orarul de implementare Dimensiunile forei de munc necesare Dimensiunea i natura facilitilor (dac este cazul) Nevoia de fort de munca local Resurse instituionale 5. Definirea condiiilor iniiale Ulterior stabilirii metodelor de interaciune cu grupurile afectate i obinerii datelor de baz pentru fiecare alternativ, analistul urmeaz s defineasc condiiile existente n fiecare dintre domeniile potenial afectate. ntr-un cuvnt este necesar analiza contextului social. Analistul va cuta raspunsul la urmatoarele ntrebri: Ce grupuri de indivizi vor fi afectate? Sunt acestea concentrate sau dispersate? Cum se raporteaza fiecare grup la mediul su de viaa? Care este contextul istoric al fiecarui grup? Care sunt resursele politice i sociale, structura de putere i retelele intra-grupale n cazul fiecrui grup n parte? Sunt implicate grupuri defavorizate sau cu venit redus? Au acestea anumite nevoi speciale? Ce tip de valori culturale i ce atitudini caracterizeaz fiecare grup? Care este opinia lor vis-a-vis de instituiile politice i sociale? Cum se raporteaz la mediu? Dar la schimbare? Care sunt caracteristicile demografice i economice relevante? Exist probleme vis-a-vis de angajarea forei de munc? Sunt suficiente locuine? Exist acces la utiliti? Educaie? Transport? Exist modele stabile de imigrare i emigrare? Acestea sunt informaiile minime necesare. Ele pot fi adunate din documentele publice, din cercetrile anterioare publicate, prin consultarea experilor i a comunitaii. Pentru un proiect mai complex sunt necesare cercetri suplimentare. 6. Definirea ariei proiectului i a EIS

69

Ca orice alt studiu scopul EIS trebuie delimitat clar. Aceast operatiune asigur concentrarea pe problemele reale de investigat i alegerea metodelor potrivite care urmeaz a fi utilizate. Aceasta definire a ariei trebuie realizat prin consultaii cu grupurile afectate. n definirea ariei EIS trebuie urmrite: Probabilitatea ca un anumit eveniment s se ntmple Numrul de oameni potenial afectai Durata impacturilor poteniale Valoarea beneficiilor i costurilor pentru grupurile afectate Potenialul de reversibilitate i contracarare a efectelor nedorite Posibilitatea apariiei unor efecte secundare Relevana EIS n procesul de luare a deciziilor Incertitudinile legate de efectele probabile Controversele existente 7. Tipuri de impact probabil n funcie de aria EIS, analiza ncepe prin anticiparea efectelor probabile ale aciunilor, pornind de la datele cunoscute legate de alternativele viabile i de la caracteristicile grupurilor i ale locaiilor. Tipic, analiza implic studiul datelor provenite din cercetri anterioare, realizate pe grupuri similare n contexte comparabile, date din recensmnt, alte statistici, documente i surse secundare, cercetri de teren (observaii, interviuri, sondaje, etc.). Exist cteva metode de a anticipa impactul. Alegerea uneia sau a alteia depinde de aria de desfsurare a proiectului (domeniul i complexitate), de locaie i de existena unor date disponibile. Metodele de anticipare sau de proiecie ale impactului includ: Metode comparative prin care proiectul se compar cu alte proiecte similare Extrapolarea (straight-line trend projection) prin care se ia un trend existent i se proiecteaz n viitor. Multiplicatorul populaiei se utilizeaz pentru aciuni care implic creteri sau descreteri ale anumitor populaii; fiecare unitate de schimbare ntr-o anumit populaie implic schimbri ale altor variabile, cum ar fi: locuine, utilizarea resurselor naturale, etc. Scenarii: generarea unor modele logice sau bazate pe date i aplicarea lor n contextul dat. Sfatul experilor: investigarea opiniei experilor n legatur cu posibile scenarii sau schimbri. Calcularea riscurilor anticipabile: de ex. soarta unei afaceri deinute de un grup minoritar dac proiectul sau o anumit activitate nu se realizeaz. Modelarea computerizat: util cu oricare dintre abordrile anterioare. 8. Anticiparea reaciei la impact Pornind de la datele cunoscute despre grupurile potenial afectate i de la tipurile de impact pe care le anticipm este momentul s aflm care sunt potenialele reacii. Spre ex. un grup poate fi sau poate sa nu fie extrem de influenat de liderii si care pot avea o atitudine pozitiv sau negativ fa de proiect. Exist posibilitatea ca o populaie s se adapteze la o anumit locaie sau s se mute. Un grup poate sa i pstreze stilul de via sau poate s l schimbe. 9. Aprecierea impactului indirect i cumulativ al proiectului Acesta nu este vzut ca un pas n procesul analitic ci mai degrab ca un aspect al mai multor pai. De cele mai multe ori impactul social nu este direct. Acesta poate devenii evident la mult timp dup ce implementarea proiectului i a aciunilor presupuse de acesta este finalizat. De asemenea este posibil ca impactul sa fie resimtit n domenii i locaii fr legatur direct cu proiectul. 10. Recomandarea unor noi alternative ca necesare i fezabile

70

Odat cu identificarea unui impact negativ semnificativ trebuie propuse alternative care ar putea ameliora problemele. Printr-o colaborare strns cu coordonatorii proiectului i cu grupurile implicate trebuie vzut dac aceste alternative pot fi puse n practic. nainte de aceasta, trebuie ns analizat impactul social al acestor alternative. 11. Dezvoltarea unui plan de contracarare a efectelor nedorite Efectele sociale nedorite pot fi contracarate cu ajutorul cooordonatorilor de proiect i prin implicare grupurilor afectate. n acelai timp trebuie dezvoltate programe de monitorizare care s asigure punerea n practic a planurilor de contracarare a efectelor nedorite. Obinerea i utilizarea informaiei care duce n ultim instan la nelegerea impactului interveniei necesit un design metodologic care se pliaz pe tipul de impact investigat. Aceasta presupune n primul rnd formularea atent a ntrebrilor de identificare a proiectului a crui impact urmeaz a fi cercetat. Ulterior, e necesar definirea problemelor cheie, specificarea semnificatiei diferitelor tipuri de impact i identificarea cazurilor n care impactul social nu poate fi msurat. Aceste operaii sunt urmate de: identificarea metodelor i tehnicilor de colectare a datelor, obinerea datelor necesare, analiza preliminar a acestora i integrarea rezultatelor studiului de impact n intervenie. ntrebrile de identificare ale proiectului se refer la un scurt istoric al proiectului (originea proiectului, sumarul activitilor i al metodelor de implementare, informaii despre eventuale programe similare), la descrierea structurii organizaionale (organigrama instituiilor implicate i rolul exact al fiecrui departament), documente de planificare (scopurile, obiectivele programului, inclusiv nevoile percepute care stau la baza programului, strategiile concepute pentru atingerea scopurilor i obiectivelor cu planurile de implementare dac acestea exist, rezultatele pe termen scurt i lung propuse de program, prezentarea rapoartelor de monitorizare i evaluare a performanei dac acestea exist), descrierea activitilor i programelor, actorii implicai, resursele, procesul de diseminare i multiplicare a rezultatelor. Studiile de impact social urmresc, de regul, o serie de factori care acioneaz asupra indivizilor sau grupurilor. Spre exemplu, se urmrete 88 : 1. Impactul financiar al proiectului asupra comunitaii; analiza financiar ar trebui s ia n calcul beneficiile pe care diferite grupuri de actori implicai le au i semnificaia acestor beneficii asupra nivelului lor de trai. Astfel, de la caz la caz, se vor estima: a. salariile ctigate n urma proiectului (direct din proiect sau ca o consecin direct a acestuia) b. ctigurile realizate din vnzri ale unor bunuri realizate ca urmare a proiectului c. venituri comunitare colective provenite din taxe (nchirieri, arende) d. profituri realizate n urma proiectului (publice sau private) 2. Impactul asupra nivelului de trai al grupurilor participante: a. tangibil (e.g. venituri) i intangibil (e.g. prerogative) b. direct (e.g. servicii noi) i indirect (e.g. impactul asupra unor alte activitai) c. pozitiv i negativ d. intenionat i neintenionat 3. Impactul asupra nivelului de trai al grupurilor neimplicate a. efecte multiplicatoare ale veniturilor participanilor b. implicarea crescut a autoritailor c. acces crescut la infrastructur etc. Studiile de impact au o serie de componente care se refer la meninerea nivelului de trai i a stilului de via: 1. Raionalizarea resurselor naturale: dac n cadrul proiectului se utilizeaz resurse naturale, se urmreste gradul n care acestea sunt utilizate raional. 2. Capital uman: ctigurile bneti obinute n urma proiectului sunt investite n capital uman (educaie, sanatate) sau n alte active (fizice sau financiare)? 3. Activele se epuizeaz n cadrul proiectului?

88

Ibidem, pp.263-265

71

4. Care este raportul dintre impactul acestui proiect asupra activelor i impactul unor proiecte alternative? 5. Cum contribuie proiectul direct la mbuntirea nivelului de trai (e.g. ctiguri financiare, hran, siguran, influen etc.) Studiile de impact presupun de asemenea evaluarea semnificaiei/ importanei diferitelor tipuri de impact. De aceea este necesar abordarea unor probleme precum: 1. Realizarea unor analize cost-beneficiu i cost-eficien 2. Realizarea unor scale de impact cu referire la input-urile investite (bani, timp, munc). 3. Contribuia relativ a impactului la meninerea nivelului de trai i a siguranei indivizilor (n comparaie cu alte opiuni). 4. Valoarea pe care diferii oameni o atribuie impactului. Integrarea studiului de impact in intervenii/ derularea proiectelor: Nu toate elementele la care ne-am referit sunt absolut necesare ntr-un studiu de impact (n mod normal) mai restrns, mai specific. Ideal studiul de impact va implica cercettorii/ specialitii direct afectai de proiect. Cnd msurm si cnd nu msurm impactul social Impactul social nu este ntotdeauna msurabil. Membrii unei comuniti nu consider necesar ca toate motivele pro i contra unui proiect s fie reduse la valori numerice sau monetare, pentru c pot lua decizii identificnd valoarea relativ i nu cea absolut a proiectelor. Totui, pentru a populariza date legate de nivelul de trai, pentru a face comparaii cu alte intervenii i pentru a identifica implicaii pe care proiectele le au asupra politicilor publice este necesar o cuantificare a datelor. Aceasta nu ns cnd msurarea este att de arbitrar i artificial nct rezultatele produc mai multe ntrebri dect rspunsuri. Identificarea variabilelor unui studiu de impact social Variabilele unui studiu de impact social vizeaz schimbrile msurabile n populaiile umane, la nivelul comunitiilor i al relaiilor sociale ca urmare a implementrii unui proiect, program, politic public. Construirea unui sistem coerent i consistent de indicatori reprezint condiia de baz pentru realizarea unei evaluri i pentru realizarea unui studiu de impact. Totui, numrul indicatorilor utilizai n evaluare nu trebuie s fie foarte mare. O cantitate prea mare de informaie poate duce la pierderea esenialului. Cercetri care abordeaza probleme ale schimbarii la nivel de comunitate, industrializarea rural, dezvoltare infrastructurii, dezvoltarea resurselor naturale i schimarea social n general, propun urmatoarele variabile 89 pentru identificarea impactului social al unor proiecte sau programe: 1. Caracteristicile populaiei 2. Structurile instituionale 3. Resursele politice i sociale 4. Schimbrile la nivel individual i familial 5. Resursele comunitii Caracteristicile populaiei reprezint structura demografic actual i schimbrile anticipate, diversitatea etnic i rasial, migraia cetenilor cu reziden temporar, precum i situaia rezidenilor sezonieri i dac este cazul, a turitilor. Structurile instituionale se refer la mrimea, structura i nivelul de organizare a administraiei locale i a legturilor acesteia cu sistemul politic. Ele se refer, de asemenea la modelele de angajare prezente i trecute, la divestitatea industrial, la dimensiunea i nivelul de activitate al organizaiilor nonguvernamentale, religioase, a gupurilor de interes i a modurilor n care acestea cominic i se intercondiioneaz. Resursele sociale i politice se refera la distribuia puterii, a prerogativelor la nivel de comunitate i regiune. Schimbrile la nivel individual i familial se refer la factori care influeneaz viaa cotidian a indivizilor i a familiilor: atitudini, percepii, valori, caracteristici ale familiei i ale grupurilor de prieteni. Aceste schimbri difer de la o atitudine conservatoare la atitudini non-conservatoare de diverse tipuri. Aceste variabile stau la baza construciei indicatorilor, alegerii metodelor i a construciei instrumentelor de colectare a datelor necesare analizelor de impact. Metodele de colectare a datelor pentru un studiu de impact se refer n principal la:
89

*** - Guidelines and Priciples for Social Impact Assessment, World Bank, Mai 1994

72

analiza documentelor (alte proiecte, cercetri, situaii oficiale, statistici etc.) interviuri individuale cu actorii implicai interviuri de grup, metoda Delphi sondaje de opinie observaii pentru colectarea unor informaii privind nivelul preurilor, cererea i oferta n domeniul respectiv de activitate (cine, cnd, unde i ct) etc. Toate acestea pot oferi informaii suplimentare despre diferitele variabile sociale care prezint interes.

73

Capitolul 4. Designul indicatorilor unui studiu de impact social Concepte Indicatorii elemente ale unui studiu de impact social care msoar aspecte considerate eseniale pentru desfurarea unui program (ndeplinirea obiectivelor, respectarea calendarului, ncadrarea n buget etc.). Indicatori de context - se refer la elementele care pot influena rezultatele programului, ns nu fac parte din acesta. Indicatorii programului - ofer informaii despre un anumit program sau proiect, afecteaz rezultatele acestuia i reprezint elemente intrinseci ale programului. Indicatori de resurse - msoar resursele disponibile, gradul de consum al resurselor. Indicatori de output - produsele directe ale activitilor unui program, tot ceea ce a fost obinut prin consumarea resurselor. Indicatori de impact msoar consecinele programului pe termen lung sau, ntr-o alt accepiune, efectele nete ale programului. Indicatori sociali date din sfera socio-demografic sau indici formai din variabile care privesc aspecte ale interveniilor sociale, dar i modelele care explic obinerea anumitor efecte sociale pornind de la anumite resurse.

74

Capitolul 4. Designul indicatorilor unui studiu de impact social

Indicatorii utilizai n evluarea programelor n general i n studiile de impact social n special sunt percepui ca un suport pentru monitorizarea nivelului de trai i a schimbrii sociale. Este din ce n ce mai dificil de fcut distincia ntre schimbrile imprimate de anumite intervenii sociale (programe) i cele cauzate de tendinele socio-economice. n lipsa indicatorilor este imposibil de cuantificat efectul unui program asupra grupului int, iar n lipsa unui sistem de indicatori riguros conceput este imposibil calcularea efectelor nete ale unei intervenii asupra grupurilor, comuniii i a societii. Indicatorii sunt elemente care msoar aspecte considerate eseniale pentru desfurarea unui program. De regul, ei au legtur direct cu obiectivele programului, cu modul de desfurare a activitilor, cu calendarul, resursele,cu grupul int i cu celelealte elemente ale unui program. Un indicator este o informaie identificabil i uor de neles. Cteva exemple de indicatori: numrul beneficiarilor mulumii de un anumit program, numrul locurilor de munc create, numrul de locuinte date n folosin, etc. Un sistem de indicatori se construiete pornind de la identificarea informaiilor necesare pentru stabilirea nivelului de performan al unui program. E preferabil ca un indicator s fie msurat n mod sistematic. Colectarea datelor ar trebui fcut de ctre entiti independente, neimplicate direct n intervenie. Datele provin din numeroase surse, cum ar fi: documentele proiectului/programului (care stau la baza cererii de finanare, teoria programului, etc.), input-uri, calenarul de desfurare al programului, surse secundare (statistici oficiale, rapoarte, cercetri), surse primare (observaii, anchete sociologice, interviuri) etc. Comisia European 90 propune o clasificare complex a indicatorilor. Dintre criteriile propuse in aceast clasificare, cele mai relevante sunt: 1. Dup informaiile vizate: a. Indicatori de context b. Indicatori ai programului Indicatorii de context sunt cei care se refer la elementele care pot influena rezultatele programului, ns nu fac parte din acesta. Spre exemplu, ntr-un program de reinserie profesional, care are ca scop angajarea omerilor n urma unui training professional, un indicator de context este creterea economic. Un alt indicator de context ar putea fi cererea de pe piaa muncii din zona n care se implementeaz programul. Att o cretere economic general, ct i modificri majore n evoluia cererii de pe piaa muncii (e.g. creterea cererii de for de munc prin deschiderea unui supermarket n zon) pot influena numrul de omeri care vor fi angajai. ns, angajarea acestora poate s nu se datoreze att programului din care fac parte, ct modificrilor din context. Indicatorii de context pot avea astfel o influen major asupra rezultatelor programelor i proiectelor. Acestea pot fi alterate masiv sub influene externe programului. De aceea evoluia contextului trebuie, pe ct posibil, analizat, monitorizat i anticipat. Indicatorii programului sunt cei care ofer informaii despre un anumit program sau proiect, afecteaz rezultatele acestuia i reprezint elemente intrinseci ale programului. Dac ne referim la programul de reinserie profesional dat ca exemplu mai sus, printre indicatorii programului se pot numra: numrul omerilor cuprini n grupul int, gradul de participare a acestora la cursurile oferite, nivelul satisfaciei lor fa de treining-ul urmat etc. Acestea sunt informaii clare, care pot fi colectate n mod sistematic, pe tot parcursul desfurrii programului i care stau la baza sistemului de monitorizare i evaluare. 2. Un alt sistem de clasificare a indicatorilor ine cont de etapele specifice din desfurarea programului. Astfel avem: a. Indicatori de resurse b. Indicatori de output c. Indicatori de rezultat
90

European Commission, 1995, Common Guidelines for Monitoring and Evaluation, Luxembourg: OPOCE

75

d. Indicatori de impact Indicatorii de resurse sunt cei prin care se msoar resursele disponibile, gradul de consum al resurselor, n orice moment al programului. Acest tip de indicatori se refer la toate tipurile de resurse: umane, organizaionale, materiale, de timp, etc. Rolul acestora este de a furniza informaii legate de resursele disponibile. n cadrul monitorizrii indicatorii de resurse arat n fiecare moment din viaa proiectului gradul de epuizare a resurselor, iar n cadrul procesului de evaluare, indicatorii de resurse arat n ce msur s-a consumat bugetul, dac acesta a fost depit, care au fost resursele necesare pentru anumite activiti, etc. Exemple de indicatori de resurse: bugetul total al proiectului, numrul persoanelor implicate n implementarea proiectului, numrul instituiilor i organizaiilor implicate, proporia finanrii din fonduri publice, autofinanrii, finanrii din fonduri europene, rata absorbiei resurselor, etc. Indicatorii de output exprim produsele directe ale activitilor unui program. Mai exact, output-ul se refer la tot ceea ce a fost obinut prin consumarea resurselor. Exemple de indicatori de output: numrul de kilometri de strad construit sau reabilitat, numrul de omeri care au beneficiat de training profesional finanat printr-un anumit program. Indicatorii de rezultat se refer la beneficiile imediate care sunt resimite ca urmare a proiectului de ctre beneficiarii direci sau indireci. Spre exemplu: timpul economisit de ctre utilizatorii unei autostrzi nouconstruite, abilitile dobndite de participanii la un curs de recalificare, etc. Rezultatele pot fi cuantificate n momentul n care serviciile sunt furnizate de ctre beneficiari. Indicatorii de impact reprezint consecinele ulterioare ale programului pe termen mediu i lung. Spre exemplu, traficul de pe o autostrad la un an dup ce a fost construit, procentul omerilor angajai la un an dup absolvirea cursului de recalificare. 3. n funcie de principalele criterii de evaluare, indicatorii se mpart n: a. Indicatori de eficien b. Indicatori de eficacitate c. Indicatori de performan d. Indicatori de relevan e. Indicatori de sustenabilitate f. Indicatori de impact net Indicatorii de eficien se refer la msura n care rezultatele proiectului au fost atinse cu minimum de resurse. Spre exemplu, suma investit pentru construcia unui kilometru de autostrad ar putea fi un indicator de eficien, ca dealtfel i suma cheltuit de un angajator pentru perfecionarea unui angajat. Indicatorii de eficacitate sunt cei prin care se exprim msura n care prin rezultatele unui proiect au fost ndeplinite obiectivele. Un exemplu ar fi notele obinute la un test de aptitudini profesionale de ctre omerii cuprini ntr-un program de reconversie profesional, note care exprim msura n care omerii au dobndit noi aptitudini (obiectiv al programului). Indicatorii de relevan se construiesc pornind de la evaluarea nevoilor pe care proiectul intenioneaz s le acopere.Un exemplu de indicator de relevan este timpul necesar pentru a parcurge o anumit distan dup construcia unei autostrzi. Indicatorii de sustenabilitate se refer la msura n care programul sau proiectul supravieuiete dup ncheierea finanrii prin care a fost nfiinat. Spre exemplu, perioada de timp, de dup ncheierea finanrii, n care serviciile continu s fie livrate. Indicatorii de impact net cuantific efectele nete ale proiectului asupra grupului int. Un exemplu relevant este numrul omerilor care au fost angajai ca efect direct al unui program de reinserie profesional. Este foarte greu de cuantificat impactul net al unui proiect, pentru c, uneori, este dificil dac nu imposibil de msurat n ce msur rezultatele proiectului sunt afectate de elemente ale contextului socio-economic. n ce msur o cretere economic general este responsabil pentru angajarea unor omeri cuprini n acelai timp intr-un program de reinserie profesional? n ce msur s-au angajat ei datorit programului? Uneori este greu de spus. Alteori este ns posibil, cu ajutorul interviului sau a altor metode de cercetare specifice tiinelor socio-umane. Indicatorii de performan se refer la toi indicatorii menionai mai sus care sunt construii pe baza criteriilor de evaluare i nu numai.

76

Indicatorii sociali Termenul de indicatori sociali cumuleaz mai multe sensuri. El se refer n acelai timp la date statistice din sfera socio-demografic 91 , la indici compui din mai multe variabile 92 privind diverse aspecte ale interveniilor sociale, dar i la modelele care explic obinerea anumitor efecte sociale pornind de la anumite resurse. Ca domeniu de cercetare modern, indicatorii sociali au aprut n Statele Unite ale Americii n anii 1960. Mai exact originea acestor indicatori a fost identificat n cadrul ageniei spaiale americane, NASA, care ncerca s detecteze, s cuantifice i s anticipeze efectele programelor spaiale asupra societii americane. Acest proiect a sc os la iveal lipsa nu numai a datelor necesare ci i a conceptelor i a metodologiei adecvate. Se presupune c Raymond Bauer, directorul proiectului, care a inventat conceptul de indicatori sociali. n opinia sa, indicatorii sociali sunt statistici, serii statistice, i toate celelalte dovezi care fac posibil evaluarea situaiei prezente i anticiparea situaiei viitoare privind scopurile i valorile umane 93 . Printre predecesorii cercetrii moderne n domeniul indicatorilor sociali se numr W.F. Ogburn 94 i Jan Drenowski 95 . Heinz-Herbert Noll identific patru etape principale ale dezvoltrii indicatorilor sociali. Prima etap ncepe la mijlocul anilor 1960 i dureaz pn n anii 1970. Trstura principal a acestei perioade este contientizarea necesitii indicatorilor sociali, dezvoltarea programelor, realizarea unor cercetri i studii sociale semnificative. Cea de-a doua etap coincide cu anii 70 i const n popularizarea masiv a indicatorilor sociali la nivel internaional. Consecina imediat a fost un val semnificativ de publicaii, acceptarea indicatorilor sociali ca domeniu al cercetrii n tiinele sociale i stabilirea unor sisteme de raportare i monitorizare n numeroase ri. La fel de important este i crearea infrastructurii metodologice de generare a datelor cum ar fi: barometrele de cercetare a calittii vieii, a nivelului de trai, a opiniei publice, etc. A treia etap debuteaz la finalul anilor 70 i continu pn la jumtatea anilor 80. Este o etap n care interesul pentru indicatorii sociali stagneaz sau chiar descrete. Aceasta se observ prin scderea numrului de publicaii n domeniu, prin ntreruperea proiectelor ncepute i nu datorit lipsei fondurilor (caz valabil doar n Statele Unite) ci a scderii interesului 96 n domeniu. Au aprut i unele explicaii ale acestui trend: criza economic de la nceputul anilor 1980 care a redirecionat atenia spre problemele economice, schimbrile aprute n climatul politic i n programele de politici sociale, tranziia dinspre liberalism spre ideologia conservatoire, rutinizarea ideilor, a standardelor metodologice i a ariilor de cercetare n tiinele socio-umane, etc. Cea de-a patra etap care a nceput n anii 1980 i contiu pn n prezent reprezint o revitalizare a practicii i a cercetrii n domeniul indicatorilor sociali. Un nou val de cercetri i publicaii la nivel global, noi instrumente metodologice, noi paradigme, noi instituii pentru managementul bazelor de date,
91

Mary Bunch, 1995, Social Indicators: Annotations from the Literature, Working Paper F-02, Exploring Canadian Values: Foundations for Well-Being, Canadian Policy Research Networks Inc., Ottawa

92

Clifford Cobb, Ted Halstead and Jonathan Rowe 1995 If the GDP is up, why is America down?, The Atlantic Monthly, October.

Bauer, R.A. (Ed.)., 1966, Social Indicators, Cambridge, Mass., London: The M.I.T. Press, p. 1 autor al cunoscutului raport "Recent Social Trends in the United States" care a fost publicat n 1933 de ctre preedintele Comitetului pentru Tendine Sociale, John Hoovers. 95 mpreun cu o comisie de experi ai ONU a ncercat s mbunteasc metodologia de cuantificare a nivelului de trai prin identificarea unor indicatori sociali. 96 OECD este un exemplu n acest sens.
94

93

77

pentru monitorizarea indicatorilor sociali la nivel local, regional, naional i internaional, organizarea din ce n ce mai extensiv a activitii guvernamentale pe baz de programe i proiecte, etc. Scopul general al indicatorilor sociali const n oferirea unor informaii plauzibile, msurabile i verificabile despre situaia prezent a grupurilor de mici sau mari dimensiuni, mbuntirea bazelor de date existete i realizarea de predicii privind starea i comportamentul viitor al grupurilor. Nevoia care a condus la dezvoltarea unor sisteme de indicatori sociali a fost cea de a monitoriza i raporta mai adecvat condiiile i procesele sociale, nevoia de a dezvolta metodele de cuantificare a acestor fenomene i a crete capacitatea de a colecta i nmagazina date 97 . n accepiunea modern a termenului, indicatorii sociali au dou funcii principale: monitorizarea schimbrii sociale i cuantificarea nivelului de trai. Indicatorii sociali sunt astfel date care aduc informaii noi despre structuri i procese, scopuri i realizri, valori i opinii. Indicatorii sociali au reuit nu doar s aduc noi informaii despre condiiile sociale 98 Modelarea efectelor sociale cu ajutorul metodelor multivariate pentru stabilirea relaiilor cauzale s-a ncercat n numeroase domenii: n cel educaional 99 , n sntate 100 , cultur 101 i asisten social 102 . n toate aceste cazuri, modelele au fost construite prin introducerea variabilelor relevante pentru diversele intrvenii ca variabile independente (predictori). Heinz-Herbert Noll 103 face distincia ntre indicatori sociali obiectivi care reprezint fapte sociale independente de opiniile i evalurile personale i indicatori sociali subiectivi care au la baz percepii i evaluri individuale ale condiiilor sociale. n prima categorie, cea a indicatorilor sociali obiectivi se nscrie: rata omajului, rata srciei, orele de munc pe sptmn, rata mortalitii perinatale etc. Iar printer indicatorii sociali subiectivi se numr: nivelul satisfaciei fa de condiiile de via, fa de locul de munc, percepia fa de justiie, fa de alte instituii, etc. Knox 104 aduce n prim plan nivelul de analiz i de utilizare a indicatorilor. La nivel naionalindicatorii sociali ajut n procesul de stabilire a prioritilor naionale raportate la numrul mare de obiective, la nivelul resurselor i la natura preferinelor . La nivel regional sau local indicatorii sociali ar fi mai potrivii pentru monitorizarea schimbrilor sociale, pentru evaluarea programelor i politicilor de intervenie social. Utilizarea indicatorilor subiectivi sau obiectivi depinde de fenomenul care trebuie cuantificat i de cum este el definit. Lund ca exemplu conceptul de nivel de trai, vom observa c el este cuantificat n mod diferit n Statele Unite fa de rile scandinavice. n Statele Unite ale Americii nivelul de trai este neles din perspective calittii vieii, urmnd tradiia cercetrilor realizate n domeniul sntii mintale de
Dup D.F. Johnston, , 1988, Toward A Comprehensive 'Quality-Of-Life' Index. Social Indicators Research, 20, 473-496 98 Judith Eleanor Innes, 1990, Knowledge and Public Policy: The Search for Meaningful Indicators, Second Expanded Edition, New Brunswick, NJ: Transaction Publishers) 99 , J.C.R Rowley and N. Leckie 1977, A further look at the determinants of educational achievement, Canadian Journal of Sociology, Vol. 4, No. 2, pp. 339-353 100 Michael C Wolfson, 1994, POHEM a framework for understanding and modelling the health of human populations, World Health Statistical Quarterly, Vol. 47, pp. 157-176 101 Ekos Research Associates Inc. 1987, A Final Report of the Rationale of the Cultural Initiatives Program and a Review of its Effectiveness, for the Department of Communications, Ottawa
102 97

Bronfenbrenner, U. 1979, The ecology of human development, Cambridge, MA: Harvard University Press).

103

Heinz-Herbert Noll, 1996, The International Experience: Social Indicators, cercetare prezentat n cadrul "Symposium on Measuring Well-Being and Social Indicators", Toronto 104 Paul L. Knox, 1975, Social Well-Being: A Spatial Perspective, Oxford, London

78

ctre W.I Thomas 105 . Bunstarea subiectiv este cel mai de ncredere etalon de apreciere a nivelului de trai. Prin urmare indicatorii sociali subiectivi vor fi cei preferai. n rile scandinavice, dimpotriv, dup tradiia iniiat de Jan Drenowski i Richard Titmus msurarea nivelului de trai se face exclusive prin indicatori sociali obiectivi. Nivelul de trai este definit ca resursele deinute la nivel individual, cu ajutorul crora o persoan poate s-i controleze i s-i auto-influeneze condiiile de via; iar resursele sunt definite n termini de bani, proprieti, cunotine, energie fizic i psihic, relaii sociale, siguran, etc. 106 . Una dintre cele mai importante aplicaii ale cercetrilor realizate n domeniul indicatorilor sociali este prezentarea rapoartelor cu date agregate la nivel naional sau regional din care rezult informaii privind structurile i procesele sociale, condiiile i efectele politicilor sociale Astfel de informaii sunt colectate sistematic, continuu de ctre instituii specializate n clolectarea i prelucrarea statistic a datelor. Aceste date permit evaluarea condiiilor de via n diverse ri, monitorizarea eventualelor schimbri i realizarea de comparaii la nivel internaional i regional. n prezent, n Europa, exist foarte puine ri n care nu se realizeaz cercetri sistematice ale nivelului de trai sau ale calitii vieii care au la baz indicatori sociali (Tabelul3).Cele mai celebre i longevive iniiative de monitorizare i raportare a indicatorilor sociali n mod systematic sunt cea britanic Social Trends, olandez Social and Cultural Report, francez Donns Sociales" 107 . Tabelul 21. Rapoarte sociale din anumite ri europene 108 ara Instituia Titlul/ Numele raportului Prima ediie Ultima ediie Periodicitate

Austria Statistisches Zentralamt Danemarca Danmarks Statistics/ Socialforskninginstit. Republica Federal Germania Statistisches Bundesamt 1985ff mit Sfb 3; 1992, 1994m. WZB u. ZUMA Frana Institut Nationale de la Statistique et des Economique Marea Britanie Central Statistical Office Ungaria Tarki
105 106

Sozialstatistische Daten Levevilkar i Danmark

1977

2006

4/5 ani

1976

1996

4 ani

Datenreport

1983

1994

2 ani

Donnes Sociales

1973

2006

3 ani

Social Trends Social Report

1970 1990 english

2006 2004 english

1 an 6 ani

"If men define situations as real, they are real in their consequences" R.Erikson, H.Uusitalo, 1987, The Scandinavian Approach to Welfare Research. Swedish Institute for Social Research, Reprint Series No. 181, Stockholm, p.189 107 Heinz-Herbert Noll, 1996, The International Experience: Social Indicators, cercetare prezentat n cadrul "Symposium on Measuring Well-Being and Social Indicators", Toronto 108 adaptat dup Heinz-Herbert Noll, 1996, The International Experience: Social Indicators, cercetare prezentat n cadrul "Symposium on Measuring Well-Being and Social Indicators", Toronto

79

1992 Italia Instituto Nationale di Statistica Olanda Social and Cultural Planning Office Norvegia Statistics Norway Portugalia Instituto Nacional de Estatistica Spania Instituto Nacional de Estadistica
Romnia Institutul Naional de Statistic Romnia Institutul de Cercetare a Calittii Vieii

1992 1990 ?

Sintesi della Vita Sociale Italiana Social and Cultural Report Sosialt Utsyn Leveka i Norge Portugal Social 19851990 Indicadores Sociales Panoramica Social
Raport anual

1990

1974 1974 1993 1992 1991 1974

1859

1994 1993 1993 1992 1991

2006

2 ani 3/4 ani ? ? ? ?

1 an

Rapoarte i diagnoze

1990

2004

1 an

Raportarea datelor adunate pornind de la indicatorii sociali se practic i n afara Europei i a Statelor Unite ale Americii. n continuare sunt prezentate cteva exemple. ncepnd din 1994, Biroul Australian de Statistic public un raport annual sub denumirea de Australian Social Trends . Comisia Economic a Naiunilor Unite a publicat ncepnd din anii 90 cteva rapoarte similare cu numele de "Social Panorama of Latin America", iar Departamentul de studii sociale i de dezvoltare al Universitii din Natal monitorizeaz schimbrile din societatea sud-african elabornd raportul "Indicator South Africa: The Barometer of Social Trends" o dat la trei luni. Agenia guvernamental de planificare economic din Japonia ("Economic Planning Agency") aduce elemente noi n raportarea tendinelor sociale. n 1975, Kenneth C. Land 109 propune trei dintre principalele motive pentru construcia unui sistem de indicatori sociali. n primul rnd, Land se refer la mbuntirea capacitii de a cuantifica shimbarea social, prin completarea indicatorilor economici cu indicatori socio-demografici. Un al doilea scop identificat este cel de a monitoriza progresul social , atingerea anumitor scopuri stabilite. Land face referire i la un al treilea scop al indicatorilor sociali-cel de a ajuta la evaluarea programelor guvernamentale i de a contribui la stabilirea prioritilor n designul politicilor sociale. Mai recent, problema indicatorilor sociali apare n paradigma reinventrii guvernmntului 110 potrivit creia, guvernanii trebuie s rspund pentru aciunile lor. Efecte perverse ale indicatorilor Uneori indicatorii pot provoca efecte negative, chiar n contradicie cu scopul lor. Principalele efecte nedorite pe care le poate cauza un sistem de indicatori sunt 111 :
109

Kenneth C. Land, 1975, Social Indicator Models: An Overview, NY: Russell Sage Foundation Ekos Research Associates Inc. 1996, Rethinking Government 1995, Final Report, July 12.

110

80

1. selectarea cazurilor cu potenial de succes 2. convergena spre medie 3. subordonarea fa de sistemul de indicatori 1. Selectarea cazurilor cu potenial de succes este cazul n care performana unui training pentru reinserie profesional se msoar prin numrul de omeri angajati la finalul programului. Pentru a fi asigurat succesul, sunt selectai doar omeri considerai cu un mare potenial de a fi angajai. Acest efect este nedorit pentru c duce la concentrarea eforturilor asupra persoanelor care ar avea cel mai puin nevoie de ajutor. 2. Convergena spre medie este o alt problem cu care se poate confrunta un sistem de indicatori. Acest efect apare cnd exist tendina de a ncuraja serviciile mai puin performante, n ncercarea de a le ncuraja i a le ntri performana. Ca urmare, o parte din fondurile care, n mod normal, ar alimenta serviciile deja performante sunt redirecionate. n consecin, performana aceastora scade, aceasta n timp ce performana serviciilor anterior neperformante poate avea o tendin cresctoare. Acest efect este nedorit tocmai pentru c existena unui sistem de indicatori nu are ca scop scderea performanei anumitor servicii pentru a ridica performana altora. Scopul sistemului de indicatori este de a conduce spre excelen, i nu spre medie. 3. Subordonarea fa de sistemul de indicatori produce inevitabil efecte adverse n timp. Dup o utilizare ndelungat orice sistem de indicatori produce efecte nedorite. Soluia este revizuirea indicatorilor care produc probleme, analiza lor cu ajutorul unui panel de experi i nicidecum renunarea la msurarea performanei. Exemple de indicatori-cheie utilizai n monitorizarea i evaluarea programelor 1. Pentru un program de reconversie profesional, adresat omerilor i avnd ca obiectiv principal organizarea de cursuri de specializare n domeniul construciilor de imobile Tabelul 22. Indicatori pentru un program de reconversie profesional Tipul Exemple de indicatori indicatorilor 1.indicatori de Resurse umane: resurse Angajai temporari n echipa de implementare a proiectului (numr angajai x umr luni de activitate) Numrul institutiilor implicate n acordarea de asisten beneficiarilor Numrul de consultani mobilizai pentru a acorda consultan beneficiarilor Resurse financiare: Rata de absorbie a bugetului (% din fondurile alocate) % din buget destinat msurilor de protectie a mediului % din buget alocat aciunilor de promovare a sectorului de servicii % din buget alocat publicitii proiectului 2. Indicatori Nivelul implementrii: de output numrul obiectivelor ndeplinite/ % din obiective respectarea calendarului (%) numrul de omeri instruii Atragrea i selecia beneficiarilor % din beneficiari care aparin grupurilor prioritare (omeri de lung durat, persoane cu grad redus de colarizare) % din beneficiari provenii din zone dezavantajate Servicii finanate prin program: Numrul omerilor care au beneficiat de training
dup European Commission, 1995, Common Guidelines for Monitoring and Evaluation, Luxembourg: OPOCE
111

81

 Numrul de ore de training furnizate Numrul orelor de consiliere furnizate (dac este cazul) 3. Indicatori Satisfacia beneficiarilor de rezultat Numrul beneficiarilor multumii i foarte mulumiti de training i % din totalul beneficiarilor Utilizarea cunotintelor dobndite Numrul beneficiarilor angajai n firme de construcii de imobile 4. Indicatori Succesul pe termen lung de impact Rata angajrii (%din beneficiari care au reuit s se angajeze n domeniu) la un an dup finalizarea cursului Perspectiva beneficiarilor Valoarea adugat ( e.g. venitul beneficiarilor n euro/an/angajat) la un an dup finalizarea cursului. 2. Cazul unui program de construcie a unei autostrzi Tabelul 23. Indicatori pentru un program de construcie a unei autostrzi 1.indicatori de eficacitate 2. Indicatori de eficien 3. Indicatori de relevan 4. Indicatori de sustenabilitate 5. Indicatori de impact net Numrul de kilometri construii Vilumul traficului de marf i persoane Creterea vitezei de deplasare Costul unui km de autostrad Costul pentru un beneficiar Gradul de acoperire a nevoilor (%) Costul intreinerii raportat la venitul din taxa perceput pentru tranzit. Creterea costului propriettilor imobiliare din zon Creterea/ dezvoltarea serviciilor Creterea ocuprii forei de munc Creterea polurii (aer, ap, sol)

Tendine Pe baza informaiilor existente n literatura de specialitate pot fi identificate cteva tendine de dezvoltare ale sistemelor de indicatori. Acestea se refer n primul rnd la redefinirea conceptelor de dezvoltare socio-economic, de nivel de trai sau de calitate a vieii. O a doua direcie de dezvoltare este reevaluarea i reconstrucia periodic a indicilor compozii i promovarea unor noi indici atunci cnd este necesar 112 . Utilizarea datelor longitudinale i a analizelor dinamice este o alt tendin semnificativ alturi de accentuarea perspectivei comparate asupra indicatorilor (benchmarking social). Apar statistici realizate de ctre organizaii internaionale: Comisia European, OECD, ONU, Banca Mondial etc. care cresc nivelul de responsabilizare a factorilor de decizie n domeniul politicilor sociale.

112

J.Pronk, Haq, M. (Ed.), 1992, Sustainable Development - From Concept to Action. The Hague Report. The Hague and New York

82

III. APLICAII

83

Capitolul 1. Evaluarea impactului unui parc industrial 113 Analiza contextului, identificarea nevoilor i a problemelor sociale, elemente de benchmarking Prezentarea conceptului de incubator de afaceri i definirea obiectivelor pe termen lung, mediu i scurt Conceptul de incubator de afaceri a fost lansat n 1984 de ctre Directoratul General pentru Politici Regionale din cadrul Uniunii Europene, cu scopul iniial de a constitui un instrument pentru asistarea zonelor mai puin dezvoltate sau aflate n proces de restructurare industrial din rile membre.Mai trziu s-a dovedit c acest incubator poate sprijini dezvoltarea economica local i poate fi adaptat s funcioneze n orice regiune din lume. Accepiunea general a noiunii de incubator de afaceri const n definirea unei astfel de instituii ca fiind o structura partenerial local sau regional, care ofer ntreprinderilor mici i mijlocii o gam complex de servicii, n condiii avantajoase, fiind focalizat n principal pe introducerea proceselor inovative n industrie i n serviciile destinate industriei. 114 Incubatorul de afaceri contribuie, prin resursele alocate i prin stimularea iniiativelor inovative, la crearea locurilor de munc i la diversificarea activitilor. Deasemea, faciliteaza accesul IMM-urilor la piaa internaional promovnd relaiile de cooperare cu alte organizaii similare. Principalul scop al unui incubator de afaceri este de a aciona ca un catalizator pentru formarea i dezvoltarea unor activiti viabile, adaptate condiiilor economiei de pia i vizeaz urmtoarele obiective 115 : Stimularea spiritului antreprenorial Creterea competitivitii sectoarelor economice existente Reducerea omajului Dezvoltarea capacitii pragmatice a cercetrii tiinifice de transferare ctre industrie a rezultatelor acesteia Principalele functii 116 ale incubatorului de afaceri sunt: o Identificarea i promovarea calitilor antreprenoriale o Alegerea i selectarea proiectelor i ntreprinztorilor o Asisten interactiv

Lund ca i criteriu misiunea lor, n cadrul parcurilor industriale pot fi definite urmtoarele structuri: Parcuri tiinifice: nfiinate de universiti i de uniti de cercetare- dezvoltare. pentru lansarea unor companii(startup-uri) care vor utiliza noi tehnologii pentru transfer de tehnologii ntre unitile de producie i cele de cercetare Parcuri tehnologice: create pentru companii care utilizeaz tehnologii noi, n special n domeniul cercetrii dezvoltrii. Astfel de companii dezvolt activiti de producie, servicii i vnzare i constituie n acelai timp centre de inovare n sprijinul companiilor nou nfiinate Parcuri comerciale: ntr-un astfel de parc sunt dezvoltate diferite activiti cu caracter comercial: ambalare, vnzare, organizarea de expozoii i deci, nu este necesar o legtur strns cu unitile de cercetare. Structurile mai sus mentionate pot fi incluse n categoria parcurilor industriale, constituind un mijloc de promovare a inovaiilor i de obinere a unei valori adugate superioare. Evaluarea impactului social al programului TETAROM

113 114

Cercetare realizat n colaborare cu ing. Anda Mureanu

Incubatorul de Afaceri-manual de nfiinare i operare,Colecia manuale-FIMAN,Bucureti 1996,pag. 13 115 ibidem,pag. 50 116 ibidem,pag. 19-21

84

Identificarea nevoilor i a problemelor sociale

Situarea geografic Judetul Cluj este situat n partea de NV a rii i are o populaie de 702.755 locuitori, din care 314.000 o constituie fora de munc ocupat. Municipiul Cluj- Napoca are o populaie de 330.000 locuitori din care 154.000 populaie activ. Aici exist 9 universiti de prestigiu n care nva 44.000 strudeni, alte puncte forte fiind existena a 245 firme de IT , aeroport internaional, incubator IT. Rute de acces: a)Municipiul Cluj- Napoca are 6 penetraii rutiere: - 3 drumuri naionale ( 4 penetraii) i anume DN1 (E 60) Bucureti Braov Cluj-Napoca - Oradea; DN1C - Apahida - Dej DN1F - Cluj-Napoca - Zalu 2 drumuri judeene DJ 109 A: Cluj-Napoca- Panticeu DJ 107R: Cluj-Napoca Ciurila b) Legturi feroviare: magistrala feroviar 300 : Bucureti Oradea magistrala feroviar 400 : Braov Deda Dej - Baia Mare - Satu Mare magistrala feroviar 401 : Cluj Napoca - Dej Vatra Dornei Suceava c) Legturi aeriene: aeroport internaional cu zboruri directe spre Bucureti, Budapesta , Viena, Munchen, Frankfurt pe Main, Bologna, Florena, Bergamo, Verona, Veneia, Timioara. Cluj-Napoca ora universitar Cluj - Napoca , cunoscut prin sintagma Inima Transilvaniei a fost ntemeiat ca i municipiu acum 2000 de ani. Este capitala judeului Cluj fiind n acelai timp unul din cele mai importane centre universitare din Europa Centrala, cu o tradiie de secole, care a dat societii un numr mare de absolveni pregtii n cele mai diverse domenii. Este cel mai mare ora universitar din partea de NV a Romniei, la nivel naional fiind al treilea dup Bucureti i Iai. La nivelul judeului Cluj, educaia a fost realizat n anul 2000/2001 n 624 de uniti de nvmnt n cadrul sistemului nvmntului de stat , din care: 153 coli elementare, 388 primare, 62 licee cu profile diferite ( 27 teoretice, 17 industriale, 4 agricole, 3 economice, 1 pedagogic, 3 de art, 7 teologice i un liceu special pentru deficieni de vedere), 8 coli tehnice, 6 universiti cu 43 de faculti i colegii Universitatea Babe-Bolyai cu 20 de facuti, Universitatea Tehnic cu 8 faculti i un colegiu, Universitatea de Medicin i Farmacie cu 3 faculti i un colegiu, Universitatea de Agronomie i Farmacie Veterinar cu 4 faculti i un colegiu, Academia de Arte Vizuale cu 3 faculti ). n afar de universitile de stat exist universiti private, cum ar fi: filiala Universitii Dimitrie Cantemir din Bucureti avnd 2.974 de studeni i Universitatea Avram Iancu cu 6 faculti i cu un numr de 1.753 de studeni, Institutul Teologic- Protestant cu 249 de studeni , 3 faculti afiliate ale Universitii Bogdan Vod din Baia Mare cu 1.654 studeni. Toate acestea dovedesc potenialul forei de munc de nalt calificare existent pe plan local, necesitatea stoprii exportului necontrolat de inteligen i necesitatea valorificrii potenialului unitilor locale de nvmnt superior i cercetare (de rang european). n acelai context trebuie menionata i rata omajului la nivelul anului 2001 de 10,5 %. Identificarea participanilor i beneficiarilor Dezvoltarea unui plan de participare public astfel nct toate prile afectate s fie implicate Iniiatori autoriti publice - participare publica ridicata

85

Natura proiectului - parc industrial - firme din multiple domenii de activitate-implicarea a numeroi actori din comunitate i din afara ei (cetenii judeului Cluj (702.755 locuitori, beneficiari direci -2580 locuri de munca create i/sau indireci, comunitatea de afaceri (26 firme afectate direct, restul-indirect), autoriti publice. Ca iniiatori, autoritile publice, au n faza iniial a proiectului rolul cel mai important - coordonare a proiectului: selecia firmelor, avizarea i controlarea activitilor din parc prin eliberarea de licene tuturor utilizatorilor. Avnd n vedere grupurile implicate i afectate direct sau indirect, apreciem impactul social ca fiind unul foarte ridicat. Impactul probabil Impactul probabil poate fi dedus din indicatorii care reflect situaia actual a parcului i din analiza evoluiei unor parcuri similare n Romnia. Situatia actuala a Tetarom I este reflectata de catre urmatorii indicatori: Beneficii sociale: 1. Creterea numrului de societi comerciale active n Cluj-Napoca cu 26 2. Creterea calitii vieii la nivelul judeului Cluj, printr-un grad mai mare de ocupare a forei de munc: crearea de 2.580 de locuri de munca 3. Creterea sumelor virate la bugetul de stat, i, implicit, a celor care se ntorc la bugetul autoritilor judeene (impozit pe salarii aprox. 433.440 ROL/an). Costuri sociale 1. Costurile directe ale programului ( teren+infrastructur+personal): 5.188.679,9 Euro 2. Subvenii, faciliti: 1.826.000 Rezultate 1. numrul de firme care i desfoar activitatea n condiii proprii: 26 2. numrul de firme care funcioneaz cu profit: 26 Beneficiile programului: 1. chiriile percepute: 4200 lei (ROL)/mp/an sau 17.500 ROL/mp/an 2. alocaii bugetare: 1.826.000 3. granturi: 3.362.240,69 Costurile programului: 1. Cheltuieli de personal: 6.400/luna 2. Cheltuieli administrative: 300 3. Cheltuieli de capital sau investiii: teren+ 50.000+35000 euro*3 Output-uri: 1. Numrul de locuri de munc create: 2580 2. Numrul de firme atrase: 26 3. Numrul de parteneriate realizate de ctre companiile atrase cu alte firme:~1500 Input-uri 1. Numrul de persoane implicate n echipa de proiect: 6 2. Terenul: 27 ha Un indicator al eficienei proiectului este ncadrarea n bugetul aprobat i, mai mult, realizarea unei economii de 2.000 de euro la recepia final a lucrrilor. n Romnia funcioneaz actualmente numeroase parcuri industriale, fr a fi ns exploatat ntreg potenialul existent. Iar ca potenial, ne situm pe locul doi dup Polonia, n rndul rilor din Europa Central i de Est 117 . n total exist 39 de parcuri industriale, din care 23 sunt operaionale. Printre exemplele de bun practic din Romnia se numr Parcul Industrial Ploieti (Ploieti Industrial Parc S.A.), Parcul Industrial Prahova, Vlenii de Munte (Prahova Industrial Parc S.A. Valenii de Munte), Parcul Industrial Plopeni (SC Plopeni Industrial Parc SA), Parcul Industrial Brazi (Brazi Industrial Parc S.A.) 118 si Parcul Industrial TETAROM Cluj.
117 118

a declarat Muller Onofrei, directorul Departamentului Industrial din compania Eurisko (11 martie 2005) Datele sunt preluate de la Consiliul Judetean Prahova, http://www.cjph.ro/index.php?_init=public.parcuri_list&

86

Metoda benchmarkingului presupune comparaia unor cazuri similare dup anumite criterii. n situaia descris n acest studio, criteriile de comparaie au fost: Data nfiinrii; Suprafaa; Capitalul social; Numrul societilor comerciale atrase; Numrul locurilor de munc create; Structura acionariatului; Personalul; Situaia economic. Tabel 24. Situaia unor parcuri industriale din Romnia

87

Denumire/ data nfiinrii

Suprafa

Capital social (RON)

Nr. societi comerciale atrase 19

La nfiinare 146,27 ha Parcul Industrial Ploieti (Ploieti Industrial Parc S.A.) / 27.12.2001 530.860

30.06.05 6.444.280

Nr. Locuri de munc create 1162

Structura acionariatului

Personal

Situaia economico 31.12.2005

financiar

la

Profit brut 8024,572 Acionar unic : Numr lei total salariai Mii Consiliul la data de (RON) Judeean 01.01.2006 Prahova 28, din care: -de conducere: 3; -personal muncitor: 7; -alte categorii: 18. Acionar Consiliul Judetean Prahova

Venituri totale 12302,517 Mii lei (RON)

Cheltuieli totale 4277,945 Mii lei (RON)

23,47 ha Parcul Industrial Prahova, Vlenii de Munte (Prahova Industrial Parc S.AValenii de

4.222.930

40.654.030

22

685

4210,00 3685,00 Mii 525,00 Mii unic: Numar lei lei (RON) lei (RON) total salariati Mii la data de (RON) 01.01.2006 - 35 din care : conducer e:2;

2003 2003

88

Munte)./ 20.10.2001

personal muncitor : 16 ; alte categorii: 17. 100.000 986.850 30 344 Acionar Consiliul Judetean Prahova 105760,82 unic: Numar total salariati lei (RON ) la data de 01.01.2006 17, din care: conducer e 3 personal muncitor 6 alte categorii 8 1169485,86 lei (RON ) 1063725,04 lei (RON )

36,47 ha Parcul Industrial Plopeni (SC Plopeni Industrial Parc SA)/ 31.01.2003

Parcul Industrial Brazi (Brazi Industrial Parc S.A.) / 02.09.2004

300.000

300.000

Acionar Consiliul Judetean Prahova

78.589 Lei 2.774.750 unic: Numar Lei (RON) total salariati (RON) la data de 01.01.2006 57, din care: Conducer e-3 personal muncitor - 35 alte categorii - 19

2.696.161 Lei (RON)

89

27 ha Parcul Industrial TETAROM I Cluj/2002 (nu a fost dat in folosinta)

2.600.000

2.600.000

26

2580

Consiliul Judetean Cluj (70%) Consiliul Local Cluj, Turda, Campia Turzii, Dej, Gherla, Huedin (30%)

6 Persoane, din 3.700 lei 771.900 lei 768.200 Lei (RON) (RON) (RON) care: -de conducere: 3 -de executie: 3

90

Facilitile de care beneficiaz parcurile industriale din Romnia sunt difereniate. Astfel,dintre masurile de ajutor de stat amintite, fiecare parc industrial a ales i anume: o Deducerea suplimentar de 20% din profitul impozabil- 4 parcuri o Scutire de la plata impozitului pe teren- 8 parcuri o Scutire de la plata impozitului pe cldiri 7 parcuri o Scutire de la plata taxei pentru scoaterea terenului din circuitul agricol- 4 parcuri o TETAROM face parte din cele 6 parcuri care au beneficiat de fonduri nerambursabile Mentionm c 10 parcuri nu au beneficiat de nici un ajutor. Prin urmare, trebuie s inem cont de acest lucru cnd facem comparaia ntre indicatorii tehnicoeconomici realizai. Tabelul de mai sus ofer o imagine de ansamblu asupra implementrii conceptului de parc industrial n Romnia. Iar n acest context, Tetarom I are un impact social preconizat extrem de puternic, i, din acest punct de vedere poate fi apreciat ca un exemplu de bun practic. Prin acest proiect sunt create 2850 de locuri de munc, cu mult mai multe dect n alte parcuri industriale care utilizeaz aproximativ aceeai suprafa de teren (uneori cu mult mai mare- Parcul Industrial Ploieti : 146,27 ha). Din punctul de vedere al resurselor, capitalul social la nfiinare pare a face diferena, fiind unul dintre factorii care pot explica impactul social deosebit de puternic al TETAROM I, comparativ cu celelalte parcuri. Dac se adaug la acestea efectele multiplicatoare pe care proiectul le manifest (chiar dac nc nu este dat n folosin), impactul social preconizat este mult mai puternic. Aprecierea impactului indirect Impactul indirect i cumulativ al parcului industrial Tetarom I const, pe de o parte, n crearea unor servicii de infrastructura i aprovizionare care vor deservi societile comerciale existente n parc, crescnd numrul locurilor de munc create direct prin implicarea n proiect. Pe de alt parte, taxele revenite bugetului local n urma salariilor sunt semnificative. Acestea vor facilita realizarea unor noi investiii n funcie de prioritile comunitii. n categoria impactului indirect al acestui proiect mai putem meniona: dezvoltarea constant a mediului de afaceri, capacitarea autoritilor publice de a-i redireciona resursele spre noi investiii. Toate acestea, corelate cu durata de existen a parcului de minim 30 de ani asigur anse reale pentru dezvoltarea durabil a regiunii.

Concluzii, efecte multiplicatoare Impactul socio-economic al TETAROM I asupra comunitii clujene este unul semnificativ. Au fost create 2580 de locuri de munc. Acestea atrag pe orizontal o serie de servicii (infrastructur, aprovizionare, etc), creatoare, la rndul lor de alte locuri de munc. La aceasta data , toat suprafaa aferent parcului industrial este concesionat n prezent, chiar dac parcul nu este nc dat n folosin, i manifest efectele multiplicatoare. Astfel s-a obinut titlul de parc industrial pentru TETAROM II, unde firma Emerson prefigureaz investiii de 150.000.000 euro (constnd n dezvoltarea a ase fabrici i a unui centru de cercetare). De asemenea, sunt n derulare procedurile de obinere a titlului de parc industrial TETAROM III. Evaluarea impactului social al proiectului indic faptul c, designul proiectului este unul de success, fr a necesita ajustri. Romnia se afl n aceast perioad ntr-un proces complex de restructurare a economiei, iar pentru atenuarea consecinelor pe care le genereaz, cea mai important, far ndoial, este alternativa constituirii i dezvoltrii sectorului de ntreprinderi mici i mijlocii dar i modernizarea i diversificarea activitilor economice. Unii consider c tot ceea ce s-a fcut pn n prezent n domeniul incubatoarelor de afaceri i a parcurilor industriale, s-a fcut dezordonat , fr coeren, iar facilitile acordate , neconcludente. Este normal ca la nceput lucrurile s decurg mai anevoios, mai ales c este vorba i de un concept nou.

91

Trebuie remarcat faptul c strategiile adoptate pentru realizarea de parcuri industriale difer de la o zon la alta.Astfel, la Iai , parcul Tehnopolis va fi construit n incinta fostului combinat Fortus, n ideea valorificrii infrastructurii deja existente. La Lugoj, parcul industrial va fi construit n afara oraului, incluznd sediul nou al Direciei Vmilor Lugoj, o zon destinat turismului i fabrici pentru anvelope (investiie strin). Zona liber Galai va gzdui un parc de soft, marele avantaj al firmelor ce urmeaz a-i desfura activitatea n cadrul su este acela c vor beneficia att de facilitile acordate de parcul industrial, ct i de cele specifice zonei libere.Societatea Uzina Mecanic Cugir din cadrul Companiei Naionale Romarm se va diviza n dou societi distincte, n vederea constituirii unui parc industrial.Astfel , una din cele dou societi va fi Uzina Mecanic Cugir, care i va continua activitatea, pstrnd activele necesare produciei de tehnic i echipamente militare. Noua societate va fi pe aciuni i se va constitui n vederea administrrii unui parc industrial, prelund activele necesare nfiinrii parcului respectiv. Multitudinea de forme pe care romnii le-au gndit pentru parcuri industriale demonstreaz c acest concept nu este unul rigid, ci permite exploatarea resurselor existente n cele mai variate moduri. Numai timpul ne va putea demonstra care alternativ este viabil.

92

Capitolul 2. Impactul social al unui Centru de Zi pentru copiii provenii din familii defavorizatedesignul unei evaluri

Centrul de Zi X s-a nfiinat cu scopul asigurrii unor condiii de ngrijire i educare copiilor de vrst precolar, cu vrste cuprinse ntre 3 i 7 ani, din comunitatea Z, n vederea integrrii copiilor n nvmntul de mas pentru realizarea bunstrii copiilor n familiile proprii i pentru prevenirea marginalizrii lor ca viitori tineri i aduli. Proiectul i atinge obiectivele propuse i populaia int. Anual sunt educai i ingrijii aproximativ 30 de copii rromi ntre 3 i 6 ani provenii din comunitatea Z. Rata de succes este de 90% n privinta educrii, igienizrii i hranirii copiilor prin evitarea institutionalizrii i de 20% n privina integrrii copiilor n invmntul de mas (6 copii au fost nscrii la coal n clase cu cerine normale). Insuccesul de 10%, respectiv 80% este datorat absenteismului, mobilitii extrem de ridicate n cadrul comunitii de rromi, neimplicrii prinilor i conditiilor insalubre de via. Metodologia evalurii Tipul evalurii n cazul Centrului de Zi X vom recurge la o evaluarea impactului social, o evaluare formativ, fcut n timpul implementrii proiectului cu scopul de a analiza situaia i de a ajuta la mbuntirea acesteia. Evalurile formative sunt un instrument de management, utilizat pentru dezvoltarea i mbuntirea programelor. Evaluarea actual este n acelai timp o monitorizare sau o evaluare de rutin, participnd la colectarea continu de date despre activitile i outputurile programului. Printr-o astfel de evaluare vom oferi managerilor programului un feedback despre ndeplinirea funciilor programului, dac sunt atinse populaiile int i/sau se produc efectele dorite. O astfel de monitorizare are ca scop meninerea calitii programului, urmrirea proceselor acestuia i a rezultatelor obinute la nivel operaional, reprezentnd un factor necesar meninerii unor servicii publice de calitate. Oportunitatea momentului evalurii Evaluarea s-a desfurat n intervalul Noiembrie 2005-Februarie 2006. Momentul evalurii este oportun avnd n vedere preluarea CZ de ctre Primrie, transfer devenit operaional de la nceputul anului 2006. Identificarea datelor necesare 1. Nevoile care stau la baza programului 2. Numrul copiilor reintegrai n familii 3. Numrul copiilor nscrii la medic de familie 4. Numrul de copii beneficiari 5. Numrul de copii incadrai n invtmntul de mas 6. Tipologia activitilor 7. Structura personalului 8. Obiectivele centrului 9. ndeplinirea obiectivelor 10. Probleme ntmpinate n desfurarea activitilor i realizarea obiectivelor Alegerea i aplicarea metodelor de culegere a datelor Analiza documentelor. n cadrul acestui proces au fost analizate urmtoarele documente:

93

Proiectul prin care a fost nfiinat CZ Studiul sociologic care a fundamentat acest proiect Metodologia de lucru a centrului de zi Fiele de post Statul de funcii Planuri de aciune pe anii 2004, 2005 i 2006 Rapoartele anuale pe anii 2004 i 2005 Tabelul cu copii: intrri i ieiri n 2004 i 2005 Raportul de autoevaluare Evaluarea realizat pentru acreditare Interviul structurat. Interviuri cu Directorul Centrului de Zi, cu psihologul centrului, asistentul social, trei educatoare, doi psihopedagogi. Interviuri cu prinii copiilor beneficiari. Interviul nestructurat Discuii cu personalul centrului Discuii cu copiii beneficiari

Observaia participativ a modului de desfurare a programului zilnic al copiilor, i a condiiilor de via n afara centrului. Concluzii : Programul Centrul de Zi X i atinge obiectivele i deservete populaia int, ns exist anumite probleme, neimputabile CZ, n legtur cu impactul programului (rezultatele pe termen lung). Anual sunt educai i ingrijii aproximativ 30 de copii provenii din familii defavorizate, ntre 3 i 6 ani. Rata de succes este de 90% n privinta educrii, igienizrii i hranirii copiilor prin evitarea instituionalizrii (insuccesul n anumite cazuri se datoreaz absenteismului cauzat de lipsa de implicare a prinilor sau de mobilitatea crescut a membrilor comunitii). O rat a succesului de 20% este nregistrat n privina integrrii copiilor n invmntul de mas (6 copii au fost nscrii la coal n clase cu cerine normale). Anumite probleme apar la capitolul colaborrii cu prinii. n pofida campaniilor de informare realizate de colectivul Centrului de Zi, a aciunilor n care se ncearc implicarea prinilor (serbri, edine cu prinii), acetia nu par s susin suficient eforturile depuse de CZ. Din discuiile pe care le-am purtat n timpul procesului de evaluare, prinii copiilor nu rspund ateptrilor de cooperare n mare parte pentru c nu au posibilitatea: veniturile lor nu sunt suficiente pentru a asigura o alimentaie sntoas copiilor n mod permanent, iar condiiile de locuit sunt insalubre. Contextul nu le asigur copiilor ansa de a beneficia realmente i pe termen lung de oportunitile oferite de proiect. Impactul social al proiectului (rezultatele pe termen lung) este astfel extrem de redus. Rezolvarea problemelor privind impactul programului depinde de implicarea activ a Primriei i a Consiliului Local. Sugestii i propuneri: 1. Un grad mai ridicat de popularizare Realizarea paginii web Implicarea primriei n popularizarea misiunii i activitii centrului 2. Atragerea unor resurse financiare suplimentare pentru dezvoltarea centrului (diversificarea ariei de activiti educative i recreative) prin : Found-raising Participare la competiii de proiecte 3. Realizarea unor parteneriate pentru: asigurarea unor condiii decente copiilor n propriile case Organizarea unor activiti de educare a prinilor

94

4. O mai strns legtur cu coala. Aceast relaie nu trebuie limitat la intervenia CZ n situaiile de criz, ci trebuie permanentizat pentru a prentmpina situatiile de criz. 5. Crearea unei capaciti de monitorizare i analiz n structura intern a CZ. 6. Transformarea CZ in Complex de Servicii, prin infiintarea acestuia a unui Centru de Consiliere i Sprijin Pentru Prini.

95

Capitolul 3. Impactul social al unui muzeu-indicatori de performan i raport executiv Tabel 25. Indicatori de performan pentru evaluarea muzeului Nr. Indicator crt. 1. 2. 3. 4. 5. 6. Numrul de vizitatori Numrul evenimentelor organizate Suprafaa total a spaiului expoziional/mp

Nivel de msur: raport 2003 2004 2005 400 1 150 1000 1 150 80 3 2 1500 3 150 80 20 32

Total

2900 5 150 80 323 34

Suprafaa spaiului expoziional dat n folosin/mp 80 Numrul obiectelor de inventar furnizate de 300 Institutul X Numrul obiectelor nou achiziionate (de la nfiinarea Muzeului)

Raport executiv Amenajarea Muzeului X s-a derulat n mai multe etape. De la darea n folosin, muzeul funcioneaz la capacitate redus. O parte din ncperi nu sunt nc utilizate, datorit amenajrilor care urmeaz a fi fcute, i din cauza lipsei unui sistem central de furnizare a energiei termice pe timpul iernii. Activitile derulate n cadrul muzeului au un grup int eterogen ca vrst, condiie social, etnie, naionalitate. Satisfacia beneficiarilor este ridicat spre foarte ridicat, dup cum reiese din impresiile notate n caietul vizitatorului. Muzeul X este un proiect viabil, care poate fi optimizat, consolidnd capitalul cultural al Municipiului. Muzeul X este singurul muzeu cu acest specific din ar i al cincilea n Europa. Un alt element specific muzeului este acordarea gratuitii la vizitare, gratuitate oferit de Consiliul Local i Primria municipiului. Asocierea cu construcia medieval este un alt element original. La acestea se adaug accesul uor al grupurilor, avnd n vedere amplasamentul ultracentral centrul istoric al municipiului. Recomandrile n urma evalurii se refer la : 1. creterea vizibilitii locaiei muzeului prin montarea unor indicatoare, cu sprijinul compartimentelor abilitate din cadrul Primriei municipiului, pentru o mai bun direcionare a publicului vizitator ctre muzeu; 2. semnalizarea cldirii ca monument istoric; 3. campanie publicitar: editarea de pliante, afie, postere, articole, etc. 4. popularizare prin Inspectoratul nvmntului - avizier la coli i licee, organizarea de cercuri colare specializate ; 5. msuri privind acreditarea muzeului; 6. asigurarea coleciei; 7. specializarea personalului n domeniul muzeal; 8. introducerea muzeului n bazele de date ale Ministerului Culturii, Institutul de Memorie Cultural ; 9. montarea unei linii telefonice cu acces la Internet; 10. achiziionarea unui calculator i a unei imprimante necesare pentru organizarea bazei de date a muzeului, listarea diplomelor, chestionarelor .a.m.d.; 11. achiziionarea unui videoproiector pentru derularea proiectelor educative; 12. montarea unui interfon;

96

Concluzii: Cultura evalurii n administraia public romneasc n Romnia, ncepand cu anul 2002 apar primele referiri la impactul social. Acestea sunt contribuiile cercettorilor sau colaboratorilor Institutului de Cercetare a Calitii Vieii (ICCV) 119 . Fie c este vorba de cri, de anumite capitole din cri, de articole, de lucrri prezentate cu ocazia unor conferine sau de rapoarte de cercetare realizate pentru teri, majoritatea contribuiilor romneti abordeaz doar adiacent problematica impactului social. Astfel, n 2002, S. Ilie scrie Formal and informal incomes of the Romanian Households ntr-un volum coordonat de Rainer Neef i M. Stnculescu The Impact of Informal Economies in Eastern Europe, Ed. Ashgate U.K. 120 n acelai volum apare studiul Households economic strategies between state, market and the informal economies al M. Stanculescu. Ambele lucrri ofer informaii pentru evaluarea impactului social, ns nu abordeaz probleme metodologice specifice impactului social. n 2003, avndu-l printre co-autori pe M. Stanculescu , apare la Editura Institutul European, n ediie bilingv, Impactul preaderrii. Politici de coeziune i dezvoltarea regional economic i social a Romniei/Pre-Accesion Impact Studies. EU Cohesion Policy and Romania's Regional Economic and Social Development. Din nou, contribuia romaneasc este limitat la furnizarea anumitor date, i realizarea unor analize care au doar o legatur indirect cu studiile de impact. n Quality of life in Romania i n Politica Sociala. Studies: 19902004, aprute n 2004 la editura Expert, Ioan Marginean identific anumii indicatori sociali utili ntr-o analiz de impact. Puine publicaii sau cercetri abordeaz direct problema. Iar acestea o fac la cererea terilor care sunt, de obicei, instituii internaionale(cu preponderen Banca Mondial). Avndu-l drept co-autor pe M.S. Stanculescu, Toward Country - Led Development. A Multi-Partner Evaluation of the Comprehensive Development Framework. Findings from Six Country Case Studies: Bolivia, Burkina, Faso, Ghana, Romania, Uganda, Vietnam face referiri directe, chiar dac succincte la impactul social, prin variabilele pe care le propune analizei. Se remarc, deasemenea, D. Chiriac i C. Huma care public Impactul socioeconomic al fenomenelor naturale dezastruoase n Romnia - inundaii, alunerari de teren, secet, un studiu de 62 de pagini n Probleme Economice vol. 20-21/2002 CIDE n care abordeaz i aspecte legate de metodologia unui studiu de impact social n contextul descrierii impactului socio-economic. Pot fi identificate, deasemenea, cteva lucrri prezentate la diverse conferine, dezbateri i seminarii, n cadrul crora, autorii fac referiri la studii de impact social: S.Vonica Radutiu, Impactul integrarii europene asupra forei de munc din Romnia i trile candidate, Masa rotund despre politicile sociale. Seminar la Universitatea Lucian Blaga, Sibiu , 7-8 iunie 2002, D. Chiriac, Influena habitatului asupra calitii vieii populaiei din Romnia 2001 - 2003. Ecologizarea localitilor - indicatori de calitate a vieii, Sesiunea anual de comunicri tiinifice a I.C.C.V, 29 februarie 2002, I.C.C.V., Bucureti. n 2003, pe 29 Mai are loc la Cluj-Napoca dezbaterea Impactul Integrrii Europene asupra Comunitaii Clujene 121 . Scopul studiului era de a evidenia schimbrile de natur socio-economic i instituional, generate de etapa de preaderare pe care o parcurge Romnia i care presupune atingerea unui anumit grad de convergen a societaii i comunitaii clujene cu UE. Dei sunt aplicate metode i tehnici de cercetare specifice tiinelor sociale, metodologia cuantificrii impactului social rmne ntr-un stadiu mai de grab intuitiv, de educated guess. Aceasta pentru c, la momentul respectiv nu exista o astfel de metodologie, pus la ndemana cercettorilor din Romnia. Nici una dintre metodologiile de import nu se potriveau. Designul lor este specific societailor pentru care a fost creat. Toate sunt realizate pentru a evalua impactul social al unor activiti planificate i monitorizate. n Romnia strategiile, planificrile, dac exist sunt de cele mai multe ori formale. Iar problema monitorizrilor i a altor tipuri de evaluare nici nu se mai pune, de cele mai multe ori. O alt premis de la care pornesc metodologiile straine este existena unei legislaii n domeniu, care s reglementeze i s impun evaluarea periodic a activitailor. n Romnia nu beneficiem de o astfel de legislaie. i totui, avem nevoie de studii de impact pentru a anticipa efectele aciunilor noastre i pentru a

119
120

www.iccv.ro Ilie,S. Formal and informal incomes of the Romanian Households n Stanculescu, M, R. Neef (editori) (2002)The Social Impact of Informal Economies in Eastern Europe, Ed.Ashgate U.K. Lua, M.(coord.) Impactul Integrrii Europene asupra Comunitaii Clujene, www.casaeuropei.com

121

97

contracara efectele nedorite, sau, dimpotriv, a ncuraja efectele favorabile. Variabilele propuse de majoritatea metodologiilor importate trebuie adaptate. n administraia public romneasc exist, totui, o cultur a raportrii rezultatelor. Scopul raportrii este ns ndeplinirea unor condiii formale, impuse n sistemul instituional romnesc. Rapoartele relev de cele mai multe ori simpla existen i realizare a unor activiti, fr specificaii cantitative i calitative relevante pentru evaluarea propriu-zis a respectivelor activiti. Un astfel de exemplu este orice raportare similar cu cea din tabelul urmtor. Este un exemplu classic de evaluare realizat la un centru de zi pentru copii provenii din familii defavorizate. Evaluarea se concentreaz prea puin pe analiza cantitativ i calitativ, relevnd preponderant existena sau inexistena unor activiti. Scopul unei astfel de evaluri este mai degrab justificarea existenei unui astfel de centru i nu evaluarea real a performanei. Aceasta din urm ar presupune identificarea unor criterii clare cantitative i calitative, construcia unui sistem de indicatori i implementarea unui system de monitorizare. Tabel 26. Tip de raportare-evaluare utilizat n sistemul administrativ romnesc Indicator respectarea programului zinic i cunoaterea acestuia de ctre personal i de ctre prini. Programul zilnic cuprinde: o transportul copiilor n centru o program zilnic de igien personal o mic dejun o activitti educative o gustare o activiti educative o masa de prnz o program de odihn o activitti recreative o cina o transportul copiilor n comunitate angajaii cunosc programul zilnic al copiilor prinii cunosc programul zilnic al copiilor existenta unui educator specializat/grup de copii Valoare Metoda de cercetare Da Interviu cu directorul centrului i cu prinii Da Observaie participativ Da Observaie participativ Da Observaie participativ Da Observaie participativ Da Observaie participativ Da Observaie participativ Da Observaie participativ Da Observaie participativ Da Observaie participativ Da Observaie participativ Da Observaie participativ Da Interviu Da Interviu Da Analiza documente, Observaie participativ

O astfel de raportare, specific sistemului administrativ romnesc, poate da o imagine de ansamblu asupra ndeplinirii obiectivelor, ns aceast imagine aduce prea puine informaii privind activitatea unui astfel de centru. n acest caz, ca i n altele, se impune nevoia implementrii unui sistem de monitorizare i evaluare a impactului social i a performanelor unor proiecte i programme finanate sau cofinanate din bani publici, care s se bazeze pe un set de indicatori relevani i care s conduc la maximizarea impactului social pozitiv i a performanei serviciilor publice. La nivelul administraiei publice romneti, pentru dezvoltarea unei culturi a evalurii n general i a evalurii impactului social n special, se impun cteva schimbri la nivel legislativ i instituional. Modificrile necesare la nivel legislativ se refer, printre altele, la: instituirea obligativitii ca instituiile administraiei publice romneti s i organizeze activitatea pe baz de programe i proiecte. n acelai timp instituiile publice ar trebui s transmit n mod systematic i continuu date despre evoluia programelor derulate pe baza unui sistem complex i adecvat de monitorizare. O a treia msur care se impune la nivel legislativ este instituirea obligativitii de a preda un raport de evaluare a programelor implementate la nivel instituional, realizat de o entitate independent de evaluare.

98

La nivel instituional, schimbrile ar trebui s se refere la: dezvoltarea unor uniti de evaluare intern, care s deserveasc, dup caz, o instituie sau un grup de instituii, n funcie de dimensiunile acestora i de complexitatea lor. Aceste uniti ar avea rolul de a colecta n mod permanent datele pentru monitorizare i de a le prelucra, precum i de a realiza evaluri interne. Programele i proiectele finanate din fondurile de pre-aderare (PHARE, ISPA, SAPARD) au beneficiat de sisteme de monitorizare bine stabilite. Aceasta a condus la dezvoltarea capacitii de monitorizare n instituiile administraiei publice romneti. Au rmas ns dou principale probleme de rezolvat: utilizarea unor sisteme de monitorizare i pentru activitile i proiectele instituiilor nefinanate din fonduri europene, i dezvoltarea unei capaciti interne de evaluare. Capacitatea intern de evaluare exist actualmente n instituiile administraiei publice centrale, ns este aproape absent n cazul administraiilor locale. La nivel central, Ministerul Finanelor Publice, n colaborare cu Ministerul Administraiei i Internelor a iniiat un amplu proces de creare a capacitii de evaluare. Astfel, s-a nfiinat Unitatea Central de Evaluare, n cadrul Ministerului Finanelor Publice. Scopul acesteia este de a coordona crearea i dezvoltarea capacitii de evaluare la nivelul administraiei publice romneti. n 2005, Autoritatea de Management din cadrul Ministerului Finanelor Publice nsrcinat cu coordonarea monitorizrii i evalurii programelor PHARE i a Programelor Operaionale finnate prin Fondurile Structurale a nceput elaborarea unei Strategii Naionale de Evaluare n cadrul unui program finanat prin PHARE 2003. Aceast evaluare a fost lansat n Noiembrie 2006 i ncearc unificarea standardelor de evaluare care sunt utilizate actualmente n Romnia. Strategia este perceput ca un pas nainte n consolidarea unei capaciti de evaluare n Romnia. n cadrul fiecrei Autoriti de Management cu responsabiliti n gestionarea de Programe Operaionale din cadrul Obiectivului 1 "Convergen" i 3, "Cooperare teritorial european" s-a nfiinat o Unitate de Evaluare. Unitatea Central de Evaluare i unitile de evaluare din cadrul Autoritilor de Management colaboreaz ndeaproape cu Secretariatul General al Guvernului, Institutul Naional de Statistic, Ministerul Agriculturii, Pdurilor i Dezvoltrii Rurale i Ministerul Administraiei i Internelor. Funcionalitatea acestora depinde de dezvoltarea unui cadru legislativ n domeniul evalurii i, desigur, de dezvoltarea continu a acestei capaciti. Este necesar suplimentarea pregtirii unor funcionari publici prin specializarea n evaluarea de programe. Aceast specializare este actualmente posibil n Romnia prin frecventarea cursurilor de Evaluare a Programelor oferite de Departamentul de Administraie public al Facultii de tiine Politice, Administrative i ale Comunicrii, Universitatea Babe-Bolyai, Cluj-Napoca i, ncepnd din 2007, a unui program profesional de masterat organizat de ctre acelai Departament de Administraie public n domeniul evalurii de programe. Programul de masterat profesional care va acoperi domeniul evalurii programelor, precum i cursurile de evaluare a programelor oferite rspund i nevoilor de evaluare existente la nivel local n administraia public romneasc. Tot la nivel local, ca exemplu de bun practic poate fi menionat cazul Primriei Cluj-Napoca, la nivelul creia a fost nfiinat un birou de evaluare a programelor.

99

BIBLIOGRAFIE 1. ***- (2000)- Social Assessment and Agricultural Reform in Central Asia and Turkey, World Bank Publications 2. ***, 1987, A Final Report of the Rationale of the Cultural Initiatives Program and a Review of its Effectiveness, Ekos Research Associates Inc. for the Department of Communications, Ottawa. 3. ***, 1996, Rethinking Government 1995, Ekos Research Associates Inc. Final Report, July

12.
4. BARROW, C. J. 2003. Social Impact Assessment: An Introduction. London: Arnold. 5. BARROW, Christopher (2001)-Social Impact Assessment: An Introduction, Oxford University Press USA 6. BAUER, R.A. (Ed.)., 1966: Social Indicators. Cambridge, Mass., London: The M.I.T. Press. 7. BECKER, Henk A. 1997. Social Impact Assessment: Method and Experience in Europe, North America, and Developing World. UCL Press Limited, London 8. BECKER, Henk A. and Frank Vanclay. Eds. 2003. The International Handbook of Social Impact Assessment. Cheltenham, Colchester, United Kingdom: Edward Elgar Publishing. 9. BUNCH, Mary 1995, Social Indicators: Annotations from the Literature, Working Paper F-02, Exploring Canadian Values: Foundations for Well-Being, Canadian Policy Research Networks Inc., Ottawa. 10. BURDGE, Rabel J. 2004. A Community Guide to Social Impact Assessment: 3rd Edition 11. BURDGE, Rabel J. 2004. The Concepts, Process and Methods of Social Impact Assessment. BURDGE, Rabel J. Guest Editor. 2003. The Practice of Social Impact Assessment. Impact Assessment and Project Appraisal, 21(2&3): 84-234 (two issues) 12. CHELIMSKI, E., W.R. Shadish (Editori) Evaluation for the 21st Century, SAGE Publications Inc., 1997 13. CHEN, Huey T., 1990, Theory-driven evaluation. Thousand Oaks, CA: Sage Publications 14. Chen, Huey T., 2005, Practical Program Evaluation: Assessing and Improving Planning, Implementation, and Effectiveness, Sage Publications Inc 15. CHIRIAC D., C. Hum, Impactul socio-economic al fenomenelor naturale dezastruoase n Romnia inundaii, alunerri de teren, secet (62 p.), Probleme Economice vol. 20-21/2002 CIDE 16. COBB, Clifford, Ted Halstead and Jonathan Rowe 1995a. "If the GDP is up, why is America down?", The Atlantic Monthly, October. 17. COBB, Clifford, Ted Halstead and Jonathan Rowe 1995b. The Genuine Progress Indicator: Summary of Data and Methodology. Redefining Progress. 18. CONNELL, James P., Anne C. Kubish, Lisbeth B. Schorr and Carol H. Weiss (eds.), 1995, New Approaches to Evaluating Community Initiatives. Vol.1: Concepts, Methods, and Contexts. Washington, D.C.: The Aspen Institute 19. COOK, Thomas D. i Donald T. Campbell, 1979, Quasi-experimentation: Design and Analysis Issues for Field Settings Chicago, Rand McNally 20. COPESTAKE, James et al., 2000, Assessing The Impact of Microcredit on Poverty: a Zambian Case Study Centre for Development Studies 21. DALE, Alan, TAYLOR, Nick, MARCUS, Lane (2001). Social Assessment in Natural Resource Management Institutions. CSIRO Publishing. PO Box 1139, Collingwood, Victoria, 3066 Australia. 312 pp. 22. ERIKSON,R., H.Uusitalo, 1987, The Scandinavian Approach to Welfare Research. Swedish 23. FITZPATRICK, J.L., Sanders, J.R., i Worthen, B.R., Program Evaluation. (3rd Edition) Boston: Pearson. 2004 24. HANSEN, Hanne Foss, 2005, Choosing Evaluation Models, A Discussion on Evaluation

Institute for Social Research, Reprint Series No. 181, Stockholm

Design, in Evaluation, Vol. 11, No. 4, p. 447-462, SAGE Publication 100

25. HENDERSON, D.W. 1974. Social Indicators: A Rationale and Research Framework, Economic Council of Canada (Ottawa: Information Canada). 26. HYMAN, H.H., 1973, Surveys in the Study of Political Psichology, n J.N. Knutson ed., Handbook of Political Psichology, Jossey Bass 27. ILU, Petru, 1997, Abordarea calitativ a socioumanului, Polirom, Iai 28. INNES DE NEUFVILLE, J. 1975. Social Indicators and Public Policy: Interactive Processes of Design and Application (New Brunswick, NJ: Transaction). 29. INNES, J. 1989. "Disappointments and legacies of social indicators", Journal of Public Policy, Vol. 9, No. 4, pp. 429-432. 30. INNES, Judith Eleanor 1990. Knowledge and Public Policy: The Search for Meaningful Indicators, Second Expanded Edition (New Brunswick, NJ: Transaction Publishers). 31. JOHNSTON, D.F., 1988, Toward A Comprehensive 'Quality-Of-Life' Index. Social Indicators Research, 20, 473-496. 32. KNOX, Paul L., 1975, Social Well-Being: A Spatial Perspective, Oxford, London 33. KUBISH, A., L. Schorr et al (1995) New approaches to evaluating community initiatives. Washington DC: The Aspen Institute 34. LAND, K., 1992, Social Indicators n: Encyclopedia of Sociology, pp 1844-1850. 35. LAND, Kenneth C. 1975, Social Indicator Models: An Overview, Chapter 2 of Social Indicator Models (NY: Russell Sage Foundation). 36. MARGINEAN, Ioan, 2004, Politica Social. Studii 1990-2004, Expert, 2004 37. NOLL, Heinz-Herbert 1996, The International Experience: Social Indicators, paper presented at the "Symposium on Measuring Well-Being and Social Indicators", Toronto, October. 38. PATTON, Michael Quinn, 1997, Utilization-Focused Evaluation: The New Century Text, 3rd ed., Beverly Hills: Sage Publications, 1997 39. PATTON, Michael Q., 2002, Qualitative Research and Evaluation Methods, SAGE 40. PRONK, J., Haq, M. (Ed.), 1992, Sustainable Development - From Concept to Action. The Hague Report. The Hague and New York 41. PYATT, Graham 1991. SAMs, the SNA and National Accounting Capabilities, Review of Income and Wealth, Series 37, No. 2, June, pp. 177-198. 42. ROTARIU, Traian, Petru Ilu (2001) Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom 43. ROTARIU, Traian, Petru Ilu (1997) Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom 44. ROSSI, Peter, Howard Freeman, Mark Lypsey, (1999) Evaluation, A Systematic Approach, 6th ed., SAGE Publication 45. ANDOR, Sorin Dan, 2005, Analiz i cercetare n administraia public, Ed. Accent 46. SCHORR, Kubisch, 1995, New approaches to evaluating community initiatives. Washington 47. 48. 49.

50.

DC: The Aspen Institute SCRIVEN, M., 1991, The evaluation thesaurus (4th ed.). Thousand Oaks, CA: Sage. SCRIVEN, M.,1993, Hard-won lessons in program evaluation. New Directions for Program Evaluation, 58. San Francisco, CA: Jossey-Bass. SCRIVEN, M., 2003, Evaluation in the new millennium: The transdisciplinary vision. In S. I. Donaldson & M. Scriven (Eds.), Evaluating social programs and problems: Visions for the millennium (pp. 19-42). Wahwah, NJ: Lawrence Erlbaum Associates. SCRIVEN, M., 2005, The transdisciplinary model of evaluation: Radical implications. Paper presented at the meeting of the American Evaluation Association/Canadian Evaluation Society, Toronto, Canada.

51. SHADISH, William R. Jr., Thomas D. Cook, Laura C. Leviton (1999), Fundamentele evalurii programelor: Teorii ale practicii , FIMAN 52. SILVERMAN, David, 2001, Interpreting Qualitative Data: Methods for analysing Talk, Text and Interaction, 2nd ed. Sage

101

53. STAKE, Robert, 2003, Standards-Based and Responsive Evaluation, SAGE 54. STANCULESCU,M, R. Neef, editori, 2002, The Social Impact of Informal Economies in Eastern Europe , Ed.Ashgate U.K. 55. STANCULESCU,M. (coautor), 2003, Toward Country - Led Development. A Multi-Partner

56. 57. 58. 59.

Evaluation of the Comprehensive Development Framework. Findings from Six Country Case Studies: Bolivia, Burkina, Faso, Ghana, Romania, Uganda, Vietnam, IBRD, The World Bank Washinghton USA STANCULESCU,M. (coautor),2003, Pre-Accesion Impact Studies. EUCohesion Policy and Romania's Regional Economic and Social Development (bilingv),Institutul European (ed.) STUFFLEBEAM, D. L., 2001, Evaluation models. New Directions for Evaluation, 89. San Francisco, CA: Jossey-Bass. STUFFLEBEAM, D. L., 2004, The 21st century CIPP model. In M. C. Alkin (Ed.), Evaluation Roots (pp. 245-266). Thousand Oaks, CA: Sage. STUFFLEBEAM, D. L., 2005, CIPP model (context, input, process, product). In S. Mathison (Ed.), Encyclopedia of evaluation (pp. 60-65). Thousand Oaks, CA: Sage.

60. TAYLOR, C. Nicholas, Bryan, C. Hobson i Colin G. Goodrich, 2004, Social Assessment: Theory, Process and Techniques, SAGE 61. TASHAKKORI, Abbas, Charles Teddlie (1998) Mixed Methodology: Combining Qualitative and Quantitative Approaches, SAGE Publications, Inc. 62. TASHAKKORI, Abbas, Charles Teddlie (2003) Handbook of Mixed Methods in Social & Behavioral Research, SAGE Publications, Inc. 63. VANCLAY, Frank (2003) - The International Handbook of Social Impact Assessment: Conceptual and Methodological Advances, Edward Elgar Publishing - ISBN: 1840649356 64. WADDELL, S. 1995. "Lessons from the Healthy Cities Movement for Social Indicators Development", Social Indicators Research, Vol. 34, No. 2, pp. 213-222. 65. WHITE, Robert (ed.) (2004) - Controversies in Environmental Sociology, Cambridge University Press, ISBN: 0521601029 66. WHOLEY, Joseph S., Harry P. Hatry i Kathryn E. Newcomer (Editori), 2005, Handbook of Practical Program Evaluation 2nd Edition 67. WOLFSON, Michael C. 1994. "POHEM a framework for understanding and modelling the health of human populations," World Health Statistical Quarterly, Vol. 47, pp. 157-176. RESURSE INSTITUIONALE 1. European Commission, 1995, Common Guidelines for Monitoring and Evaluation, Luxembourg: OPOCE 2. Tavistock Institute et all, The Evaluation of Socio-Economic Development: The GUIDE, 2003 3. United Nations 1991. World Development Report (New York: Oxford University Press). 4. World Bank 1993. "Social Accounting Matrices", Chapter 20 of System of National Accounts, InterSecretariat Working Group on National Accounts. 5. World Bank, Guidelines and Priciples for Social Impact Assessment, Mai 1994 6. Policy Research Committee 1996. Growth, Human Development, Social Cohesion: Draft Interim Report, October. RESURSE WEB 1. http://www.pbs.org/johngardner/chapters/4.html 2. http://en.wikipedia.org/wiki/Watts_Riots 3. www.evalsed.info

102

4. 5. 6. 7. 8. 9. 10.

www.evaluate-europe.net/handbook/handbookpdf http://www.soc.surrey.ac.uk/sru/SRU19.html www.worldbank.org http://www.cjph.ro/index.php?_init=public.parcuri_list& www.iccv.ro www.casaeuropei.com www.dog-eared.com/socialecologypress/

103