Documente Academic
Documente Profesional
Documente Cultură
Metode Utilizate in Evaluarea Programelor
Metode Utilizate in Evaluarea Programelor
Raluca Grboan
Argument .........................................................................................................................................3
I. EVALUAREA PROGRAMELOR..........................................................................................5
Capitolul 1. Evaluarea programelor.................................................................................................6
Capitolul 2. Tipuri i sisteme de evaluare......................................................................................14
Capitolul 3. Metode de cercetare utilizate n evaluare...................................................................20
Capitolul 4. Metode i modele de evaluare a programelor ............................................................46
II. IMPACTUL SOCIAL AL PROGRAMELOR .........................................................................57
Capitolul 1. Impactul social al programelor -stadiul actual al cunoaterii ....................................58
Capitolul 2. Principii ale impactului social....................................................................................64
Capitolul 3. Metodologia de evaluare a impactului social.............................................................67
Capitolul 4. Designul indicatorilor unui studiu de impact social...................................................74
III. APLICAII ..............................................................................................................................83
Capitolul 1. Evaluarea impactului unui parc industrial Analiza contextului, identificarea
nevoilor i a problemelor sociale, elemente de benchmarking ......................................................84
Capitolul 2. Impactul social al unui Centru de Zi pentru copiii provenii din familii defavorizatedesignul unei evaluri ....................................................................................................................93
Capitolul 3. Impactul social al unui muzeu-indicatori de performan i raport executiv............96
Concluzii: Cultura evalurii n administraia public romneasc ...............................................97
Argument
Pentru ca programele finanate sau co-finanate din bani publici s i ndeplineasc scopul i
obiectivele cu maxim eficien este necesar evaluarea lor i msurarea impactului pe care l au asupra
indivizilor, grupurilor i comunitilor.
Scopul acestei cri este de a evidenia beneficiile evalurii n general i a studiilor de impact n
special n managementul proiectelor i programelor finanate sau co-finanate din bani publici. Un accent
deosebit va fi pus pe studiile de impact social i pe metodele utilizate pentru realizarea acestora. Analiza
impactului social reprezint o metod specific de evaluare a politicilor, programelor i proiectelor.
Impactul social va fi prezentat n contextul evalurii politicilor, programelor i proiectelor finanate sau
co-finanate din bani publici.
Accentul pe sfera public se justific prin necesitatea de a pune la dispoziia autoritilor publice
centrale i locale un set de instrumente cu ajutorul crora s-i fundamenteze tiinific deciziile legate de
politicile, programele i proiectele iniiate i s poat anticipa rezultatele anumitor aciuni. Guvernele
statelor occidentale, instituiile financiare internaionale i ali finanatori responsabili cer i utilizeaz
astfel de studii. Este timpul ca administraia public din Romnia s fac acelai lucru, avnd n vedere pe
de o parte orientarea administraiei publice spre munca pe baza unor programe i proiecte, iar pe de alt
parte dimensiunile finanrilor prin proiecte odat cu accesul Romniei n Uniunea European.
Prezentul studiu este de asemenea un ghid care are intenia de a aduce evaluarea pe masa de lucru a
coordonatorilor de proiecte din Romnia, proiecte finanate sau co-finanate din bani publici. Acetia pot
fi funcionari publici, sau colaboratori ai instituiilor publice (provenii din sectorul non-profit sau privat).
Cartea se adreseaz i altor membri din echipele de proiect cu responsabiliti n procesul de evaluare,
evaluatorilor externi i factorilor de decizie implicai n susinerea i derularea proiectelor. Se urmrete
furnizarea de informaii despre stadiul actual al cunoaterii n evaluarea de proiecte, despre cum se
organizeaz o evaluare i cum se realizeaz aceasta n practic.
Personalul implicat n managementul proiectelor, far cunotine prealabile de evaluare sau cu noiuni
elementare n acest sens, va reui cu ajutorul acestui ghid s realizeze evaluarea intern, necesar i util
proiectelor, pornind de la criterii tiinifice, riguroase. Astfel, se vor reduce abordrile intuitive cnd se
pune problema evalurii unor proiecte sau programe n instituiile publice romneti. n acest sens vor fi
amintite i fcute accesibile principalele metode i tehnici de cercetare utilizate n evaluarea de proiecte.
Celor deja familiarizai cu metodele si tehnicile evalurii de proiecte n sectorul public, aceast carte
le ofer un interlocutor i o nou perspectiv asupra ultimelor orientri n domeniu, sintetizate i adaptate
realitilor romneti.
Cartea este dedicat studenilor la Administratie public, viitori manageri i evaluatori de programe i
proiecte finanate sau co-finanate din bani publici, cu mesajul: evaluarea nu reprezint un scop n sine sau
ndeplinirea formal a unei condiii impuse de ctre finanator; ea este un instrument prin care putem
sprijini eficientizarea administraiei publice romneti.
Oportunitatea momentului publicrii acestei cri este dat mai ales de necesitatea stringent de a
dezvolta capacitatea de evaluare din administraia public romneasc n contextul fondurilor europene.
Programele i proiectele finanate din fondurile de pre-aderare (PHARE, ISPA, SAPARD) au beneficiat
de sisteme de monitorizare bine stabilite. Aceasta a condus la o anumit dezvoltare a capacitii de
monitorizare n instituiile administraiei publice romneti. Au rmas ns dou principale probleme de
rezolvat: extrapolarea practicii de monitorizare - utilizarea unor sisteme de monitorizare i pentru
activitile i proiectele nefinanate din fonduri europene, i dezvoltarea unei capaciti de evaluare
intern n general i a evalurii impactului social n special. Capacitatea intern de evaluare exist
actualmente n instituiile administraiei publice centrale, ns este aproape absent n cazul
administraiilor locale.
La nivel central, Ministerul Finanelor Publice, n colaborare cu Ministerul Administraiei i
Internelor a iniiat un amplu proces de creare a capacitii de evaluare. Astfel, s-a nfiinat Unitatea
Central de Evaluare, n cadrul Ministerului Finanelor Publice. Scopul acesteia este de a coordona
crearea i dezvoltarea capacitii de evaluare la nivelul administraiei publice romneti. Fiecare minister
are actualmente, n cadrul Autoritii de Management, o Unitate de Evaluare. Funcionalitatea acestora
depinde de dezvoltarea unui cadru legislativ n domeniul evalurii i, desigur, de dezvoltarea continu a
acestei capaciti. Este necesar suplimentarea pregtirii unor funcionari publici prin specializarea n
evaluarea de programe. Aceast specializare este actualmente posibil n Romnia prin frecventarea
cursurilor de Evaluare a Programelor oferite de Departamentul de Administraie public al Facultii de
tiine Politice, Administrative i ale Comunicrii, Universitatea Babe-Bolyai, Cluj-Napoca i, ncepnd
din 2007, a unui program profesional de masterat organizat de ctre acelai Departament de Administraie
public n domeniul evalurii de programe.
Programul de masterat profesional care va introduce funcionarul public n domeniul
programelor, precum i cursurile de evaluare a programelor oferite rspund i nevoilor de
existente la nivel local n administraia public romneasc. Tot la nivel local, ca exemplu
practic poate fi menionat cazul Primriei Cluj-Napoca, la nivelul creia a fost nfiinat un
evaluare a programelor.
evalurii
evaluare
de bun
birou de
Cartea este organizat n trei pri. Primele dou pri cuprind cte patru capitole, iar cea de-a treia
parte este format din trei capitole. Alturi de acestea, exist o seciune introductiv i una destinat
concluziilor. La nceputul fiecrui capitol din primele dou pri sunt prezentate noiunile eseniale.
Prima parte introduce unele dintre noiunile cheie n domeniul evalurii. Aceasta rspunde la
ntrebri precum: Ce este evaluarea? Care sunt principalele tipuri de evaluare? Care este diferena dintre
evaluare i alte concepte similare?, De ce apelm la evaluare? Care sunt actorii implicai? Care sunt
principalele metode i tehnici de evaluare utilizate? Ce presupune designul unei evaluri? Care sunt
paradigmele i modelele dominante n evaluarea de proiecte? etc.
Tot n prima parte sunt incluse elemente privind pregtirea i realizarea unei evaluri n practic.
Astfel, i vor gsi rspunsul ntrebri precum: Care este materia prim a evalurii? n ce constau
elementele-cheie ale evalurii? Cum colectm datele necesare evalurii? Care sunt metodele de cercetare
utilizate n evaluare? Cum analizm i interpretm datele ntr-un studiu de evaluare? Aplicarea metodelor
de cercetare va fi exemplificat pornind de la cazuri concrete ns transformate pentru pstrarea
anonomatului instituiilor, programelor, proiectelor i persoanelor implicate.
n cea de-a doua parte vom analiza principiile i metodele fundamentale ale analizei impactului social
al proiectelor i programelor. De asemenea vor fi explicitate legturile pe care analiza de impact le are cu
dezvoltarea serviciilor publice i metodologia de realizare a studiilor de impact. Care sunt etapele sale? La
ce trebuie s ne gndim cnd realizm designul unui astfel de studiu? Care sunt constrngerile ntlnite n
practic i cum le putem face fa?
A treia parte are n vedere ilustrarea unor fragmente adaptate dup studii de evaluare i impact
realizate n practic, n intervalul 2005-2006. Sunt prezentate etape din trei studii de caz, pornind de la trei
proiecte, fiecare analiznd o etap esenial a evalurii impactului social. Studiile de caz prezentate sunt
inspirate din cazuri reale, ns prelucrate pentru a fi ct mai ilustrative pentru subiectul abordat i pentru a
fi respectat confidenialitatea datelor.
Principalele concluzii att referitor la evaluare n general, ct i la evaluarea impactului social al
programelor i proiectelor, sunt prezentate n seciunea final. Rolul acestei pri este i acela de a pune n
discuie unele aspecte problematice legate de capacitatea de evaluare n sistemul administraiei publice din
Romnia i de necesitatea consolidrii acesteia n contextul programelor europene i nu numai.
I.
EVALUAREA PROGRAMELOR
Politic public o direcie de aciune, stabilit la nivel strategic, cu un nalt grad de generalitate prin
care se ncearc rezolvarea unei probleme.
Evaluarea de programe efortul sistematic de analiz a unui program sau proiect cu scopul de a
determina msura n care au fost ndeplinite obiectivele propuse, au fost consumate resursele avute la
dispoziie, s-a respectat designul iniial sau ar fi necesare anumite modificri ale acestuia datorit
schimbrii contextului.
Monitorizarea procesul continuu de-a lungul vieii unui program sau proiect de cuantificare a
gradului de implementare a unui proiect, de msurare a modificrilor survenite n urma procesului de
implementare.
Eficacitatea sucului de lmie n combaterea scorbutului la marinari comandat de marina britanic n secolul
XVIII! Francezii pretind c au realizat prima cercetare de acest gen chiar mai devreme cd armatele normande au
realizat o evaluare privind eficacitatea relativ a diferitelor tipuri de arcuri n Models for the evaluation of
elearning, http://wiki.ossite.org/index.php?title=Models_for_the_evaluation_of_elearning
2
J.L. Fitzpatrick, Sanders, J.R., i Worthen, B.R.,(2004), Program Evaluation. (3rd Edition) Boston: Pearson
3
Sorin Dan andor, (2005), Analiz i cercetare n administraia public, Accent, p.73
Sume substaniale au fost investite pentru eradicarea unor probleme sociale, ns rezultatele dorite s-au
lsat ateptate. S-a ajuns la concluzia c nu existau suficieni bani pentru rezolvarea tuturor problemelor
existente. De asemenea, s-a observat c pentru rezolvarea problemelor cu care se confrunt comunitile,
banii nu reprezint singura problem. Evaluarea programelor s-a lansat prin asumarea acestor dou
constrngeri, 4 dar i prin adoptarea sistemului de bugetare Planning-Programming Budgeting System
(PPBS), care ncuraja monitorizarea i evaluarea programelor. Opinia public a devenit din ce n ce mai
precaut, cernd dovezi pentru succesul programelor care urmau a fi susinute din bani publici. n aceste
condiii, evaluarea a cunoscut un adevrat boom, numrul celor care o consider esenial pentru reuita
unui program crescnd spectaculos.
Dup cum se anticipa 5 , evaluarea se diversific metodologic nencetat, depete graniele naionale, i
devine extrem de util ntr-o sfer din ce n ce mai larg de preocupri.
Materia prim a evalurii
Materia prim a evalurii este constituit din proiecte, programe i politici publice. Proiectele reprezint
unitatea cu gradul cel mai sczut de generalitate. Un proiect este efortul organizat de a pune n practic o
idee. Desigur, ne referim n acest studiu mai ales la proiectele de dezvoltare socio-economic. Ele pot
avea o form standardizat, sau pot s nu fie standardizate. Printre elementele eseniale ale unui proiect
standardizat se numr: scopul, obiectivele, actorii implicai (iniiatori, beneficiari direci i indireci,
finanatori, etc.) activitile, calendarul, resursele i efectele multiplicatoare. Proiectele stansardizate sunt
cele scrise de obicei scrise pornind de la un anumit formular, care impune precizarea tuturor acestor
elemente. Adesea, n administraia romneasc, exist eforturi mai puin sau deloc standardizate, dar care
oricnd pot fi considerate proiecte, avnd elementele eseniale unui proiect, chiar dac nu sunt consemnate
n scris, conform unui formular. Orice proiect co-finanat prin PHARE este un exemplu de proiect standar
Proiectele pot fi iniiate i implementate de diferite entiti printre care: instituiile administraiei publice,
organizaiile non-guvernamentale i chiar firmele din sfera privat. De regul proiectele reprezint
punerea n aplicare a obiectivelor specifice ale unor programe. Programul este unitatea cu gradul de
generalitate mai ridicat dect proiectul, ns cu o structur asemntoare. Implementarea unui program se
realizeaz prin implementarea mai multor proiecte, care detaliaz i pun n aplicareunul sau mai multe
dintre obiectivele programului. Politica public reprezint unitatea cu gradul cel mai ridicat de
generalitate, ce corespunde unei direcii strategice de aciune ntr-un anumit domeniu. Un exempu de
politic public, specific administraiei publice din Romnia este dezvoltarea capacitii administrative;
un program subsecvent acestei politici este Modernizarea Administraiei Publice Locale, iar unul dintre
proiectele care pun n aplicare acest program este Evaluarea Programelor n Administraia Public.
Proiectul este impelmentat la nivelul unei primrii i detaliaz i aplic unul dintre obiectivele
programului: creterea responsabilitii pentru cheltuirea banilor publici. Programele i proiectele pot fi
finanate de instituii ale administraiei publice centrale i locale, de organizaii internaionale (Uniunea
European, Banca Mondial, etc.), organizaii non-profit i alte entiti. De obicei, finanatorul este cel
interesat de rezultatele proiectului, de evaluarea ndeplinirii obiectivelor propuse. n numeroase cazuri,
instituiile publice co-finaneaz sau sunt parteneri n proiectele de dezvoltare care afecteaz grupurile de
oameni, comunitile din raza lor de aciune. Mai mult, un management performant presupune organizarea
activitii instituiilor publice pe baz de proiecte, pentru a fi mai uor administrat, mbuntit, urmrit
i verificat. Este o tendin susinut i ncurajat n ntreaga Uniune European. Nevoia de evaluare n
sistemul administrativ este n continu cretere. Reforma administraiei publice, dezvoltarea capacitii
administrative presupune dezvoltarea capacittii de evaluare. Aceasta poate fi realizat prin crearea unui
cadru legislativ, a unei capaciti instituionale i prin dezvoltarea resursei umane n domeniul evalurii.
4
Michael Quinn Patton Utilization-Focused Evaluation: The New Century Text, 3rd ed., Beverly Hills: Sage
Publications, 1997
5
E. Chelimski, W.R. Shadish (Editori) Evaluation for the 21st Century, SAGE Publications Inc., 1997
Sorin Dan andor- Analiz i Cercetare n Administraia Public, Ed. Accent, Cluj-Napoca, 2005, p.73
www.evalsed.info
8
N.C Allum, M.W. Bauer, G. Gasgell - Quality, Quantity and Knowledge interests, Avoiding confusion in Bauer
and Gasgell, Qualitative research, London, Sage, 2000 , citat de Jenny Hughes n Project Manager's Guide ot
Evaluation, p.3, http://www.evaluate-europe.net/handbook/handbookpdf
7
10
Evaluarea st la baza lurii unor decizii n legatur cu programul evaluat : modificarea designului
sau a modului de implementare. Deciziile se pot referi la continuarea, modificarea sau chiar
stoparea programului.
n opinia unuia dintre autorii clasici n domeniul evalurii, Michael Quinn Patton, Evaluarea este
colectarea sistematic de informaii despre activitile, caracteristicile i rezultatele programelor pentru a
fi utilizate de anumite personane cu scopul de a reduce nesiguranele, pentru a spori eficacitatea i a lua
deciziile oportune n legtur cu programele respective(tr.n.) 9 . Aceast definiie, dac nu este neleas
adecvat poate produce confuzii. Cheia unei nelegeri corecte este diferena ntre sistematic i continuu din
care rezult diferena ntre evaluare (sistematic dar secvenial- realizat n anumite momente din viaa
unui program) i monitorizare (proces continuu de colectare a datelor n timpul implementrii unui
program).
Pentru a ntelege ce este evaluarea, trebuie fcut distincia intre aceasta i ali termini cu utilizare
paralel, interanjabili. Diferite autoriti sau agenii dau sensuri diferite acelorai termeni. Pentru a ne
ncadra n contextul general al integrrii europene i pentru c ne referim la evaluarea de programe n
sfera public, vom adopta terminologia utilizat de ctre Comisia European n domeniul evalurii de
programe.
Monitorizarea
Monitorizarea se refer la cuantificarea pe tot parcursul implementrii proiectului sau programului a
evoluiei privind atingerea obiectivelor, consumarea resurselor, atingerea grupului int, cuantificarea
sistematic a schimbrilor generate de implementarea programului sau proiectului. n urma monitorizrii
se poate sesiza n mod permanent raportul input output, venituri-cheltuieli, activitti planificateactiviti realizate, grup int propus-grup int atins, nregistrndu-se eventualele discordane. Evaluarea
explic de ce respectivele discordane exist (dac exist). Monitorizarea este descriptiv, n timp ce
evaluarea este explicativ. Legtura dintre monitorizare i evaluare este foarte strns. Evaluarea nu poate
fi realizat (sau poate fi realizat extrem de dificil), dac nu exist un sistem coerent de monitorizare.
Acest sistem presupune de regul un set de indicatori i un plan de monitorizare. Deasemenea anumite
resurse trebuie alocate procesului de monitorizare. De obicei, resursele umane pentru monitorizare sunt
mobilizate din echipa de implementare a proiectului. Dar nu este exclus, mai ales n cazul unor proiecte de
mari dimensiuni, ca monitorizarea s fie asigurat de persoane specializate din afara echipei de
implementare a proiectului.
Auditul
Auditul reprezint o verificare a prevederilor financiare ale unui proiect i a msurii n care acestea sunt
ndeplinite n conformitate cu criteriile legale i financiare specifice. Auditorii Comisiei Europene i
agenii lor atribuie termenului de audit o sfer mult mai larg de semnificaii: verificarea necesitii
proiectului, a msurii n care activitile i rezultatele proiectului sau programului justific investiia
financiar, a existenei i vizibilitii n practic a unei plus-valori generate de proiectul sau programul
respectiv 10 .(tr.n.)
Scopul evalurii
Evaluarea reprezint un proces prin care se msoar performana unui program i se identific soluii la
problemele existente. Mai exact, evaluarea poate avea, printre altele, urmtoarele scopuri:
Analiza rezultatelor,output-ului i impactului unui program;
Compararea rezultatelor cu costurile unui program;
Identific eventualele mbuntiri necesare privind designul i implementarea programelor;
9
Michael Quinn Patton - Utilization-focused evaluation, ediia a doua, Newbury Park, CA, SAGE Publications,
1986, citat de Jenny Hughes n Project Manager's Guide ot Evaluation, p.3, http://www.evaluateeurope.net/handbook/handbookpdf
10
Jenny Hughes - Project Manager's Guide ot Evaluation, p.3, http://www.evaluateeurope.net/handbook/handbookpdf
11
Context
socioeconomic
Program
Evaluare
Impact
Nevoi,
Probleme
Rezultate
Obiective
Relevanta
Input
Output
Eficienta
Eficacitate
Utilitate,
Sustenabilitate
11
Tavistock Institute et all, The Evaluation of Socio-Economic Development: The GUIDE, 2003
12
Relevana se refer la msura n care programul analizat reuete s rspund nevoilor reale ale actorilor
implicai. De asemenea are n vedere eventualele schimbri de context care ar putea avea ca rezultat
anumite modificri n tipul nevoilor la care programul ar trebui s se adreseze sau schimbri n ierarhia
acestora. Un program este relevant dac pe tot parcursul implementrii sale ine cont de aceste modificri
de context, are flexibilitatea necesar de a se replia de cte ori este necesar pentru a rspunde nevoilor la
care i propune s rspund. Iar un program devine irelevant n momentul n care, pe parcursul existenei
sale, eueaz n acoperirea nevoilor pe care-i propune s le acopere sau le acoper n mod defectuos,
raportat la planul iniial. Un aspect al relevanei este i necesitatea ca anumite programe s fie susinute
din bani publici. Care sunt aceste programe? Care sunt motivele pentru care statul trebuie s se implice n
implementarea sa? Sectorul privat sau non-profit nu a reuit s acopere nevoile actorilor implicai? De ce?
Pentru a afla dac un program este relevant i n ce msur, trebuie apreciate toate aceste elemente.
Eficacitatea are n vedere msura n care programele i ating obiectivele propuse. De asemenea, gradul
n care rezultatele proiectului corespund nevoilor identificate n faza de design este o msur a eficacitii
unui program.
Eficiena ia n calcul un aspect suplimentar, esenial n existena proiectelor i programelor: cel financiar.
Mai mult, eficiena are n vedere i urmtoarele aspecte:
Ar fi putut fi obinute aceleai rezultate cu mai puine resurse?
Sunt costurile unitare prea ridicate?
Chiar dac obiectivele sunt atinse, este proiectul/programul prea costisitor pentru a putea fi
continuat?
Impactul reprezint efectul net pe care un program l produce. Datorit variabilelor externe,
distorsionante, impactul unui proiect este greu de calculat cu exactitate. Este greu s difereniezi efectul
unui program ntr-un context socio-economic este extrem de complex. Totui folosind metode adecvate
este posibil, cu o marj de eroare asumat s dm rspunsul la urmtoarele ntrebri:
Ce schimbri au rezultat n urma programului?
Exist alte beneficii ale programului, alturi de cele preconizate?
O alt accepiune a impactului este aceea n care impactul prezint efectele unui program pe termen lung.
Sustenabilitatea se refer la continuitatea programului dup ntreruperea finanrii din sursa iniial.
Efectele programelor sau programele nsele continu dup ncheierea implementrii?
Pot fi identificate surse alternative de finanare?
Sustenabilitatea d, alturi de celelalte criterii msura performanei unui proiect sau program.
Alturi de aceste criterii mai pot fi menionate i altele, la fel de importante pentru aprecierea
performanelor unui program. Cele la care ne vom referii n continuare sunt echitatea i implicarea
comunitii.
Echitatea se refer la aspecte precum: accesul la serviciile furnizate de proiect indiferent de: vrst, sex,
condiii materiale i sociale. De regul sunt promovate proiecte care descurajeaz discriminarea de orice
tip.
Participarea comunitii este un alt criteriu de care se ine cont n evaluarea anumitor proiecte. Desigur,
este vorba despre proiectele care permit aceasta.
Toate aceste criterii, alturi de altele pe care nu le-am menionat, dar care pot fi la fel de importante, sunt
utilizate n precesul de evaluare. ns, n funcie de programul sau proiectul evaluat, se poate apela doar la
o parte dintre acestea.
Pe lng luarea n considerare a ct mai multe dintre criteriile enumerate, evaluarea ar trebui s fie
analitic, sistematic, de ncredere, orientat pe probleme sau pe utilizatori, in funcie de modelul de
evaluare utilizat.
13
14
Pune un accent mai mare asupra activitilor unui program, dect asupra
inteniilor sale.
12
15
Evaluarea reactiv are o serie de elemente comune cu evaluarea formativ, n timp ce evaluarea
prestabilit se suprapune parial evalurii sumative 15 .
Caseta 2. Puncte comune ntre evaluarea reactiv i formativ pe de o parte i evaluarea prestabilit i
sumativ pe de alt parte
Evaluarea
Evaluarea reactiv
Flexibilitatea metodologic
formativ
Preferina pentru metode calitative
Concentrarea pe activiti
Accentul pe mbuntirea practicilor
Se realizeaz de regul pe parcursul unui program
Evaluarea
Evaluarea
Preferina pentru metode cantitative
prestabilit
Concentrarea pe obiective i pe gradul de realizare sumativ
a acestora
Se realizeaz, de obicei, la finalul unui program
Caracterizat de anumii critici ca fiind atractiv superficial 16 , distincia reactiv-prestabilit
rmne valabil n teoria evalurii deoarece elucideaz anumite aspecte ale procesului de evaluare care,
neconceptualizate rmn n penumbr: importana flexibilitii metodologice, utilitatea metodelor
calitative, accentul care trebuie pus i pe activiti, nu numai pe obiective etc.
Ambele sunt considerate relevante i utile pentru sectorul public.
16
economic care pot afecta programul. Tot n cursul evalurii interim trebuie sesizat orice deviere de la
normele europene n furnizarea de bunuri i servicii.
Evaluarea interim utilizeaz informaiile obinute n urma monitorizrii i n urma evalurii ex-ante. De
regul evaluarea interim presupune analize ale rezultatelor intermediare ale proiectului, ns este
recomandabil i o anali detaliat a impactului probabil care nc nu a avut timp s se manifeste, ns
este inerent. Pe baza concluziilor evalurii interim poate fi mbuntit att designul ct i managementul
programelor analizate, pot fi prevenite eventuale impacturi negative..
Evaluarea ex-post
Evaluarea ex-post vizeaz analiza ntregului program n principal din perspectiva rezultatelor
comparate cu obiectivele iniiale ct i din perspectiva impactului pe care l are. Exist numeroase
elemente comune ntre evaluarea ex-post i evaluarea sumativ. Pe lng metode de evaluare precum
analiza rezultatelor i a impactului, evaluarea ex-post mai poate utiliza urmtoarele metode:
benchmarking, analiza cost-beneficiu i cost-eficien, analiza proceselor i analiza multi-atribut.
Scopul evalurii ex-post este multiplu: cuantificarea rezultatelor i efectelor intenionate sau nu
ale unui program, analiza calitativ i cantitativ a performanelor, nvarea unor lecii pentru
mbuntirea managementului unor programe viitoare, compararea performanelor programului evaluat
cu performanele altor programe similare, etc.
3. Dup poziia membrilor echipei de evaluare exist dou tipuri eseniale de evaluare:
a. Evaluarea intern
b. Evaluarea extern
a. Evaluarea intern este evaluarea realizat de personal specializat din interiorul instituiei care
implementeaz programul. De regul, instituia implementatoare are personalul calificat i datele necesare
pentru realizarea evalurii. Totui, n Romnia exist numeroase instituii (dac ne referim la sectorul
public) sau organizaii (dac lum n calcul i sectorul non-profit) care nu beneficiaz de o capacitate
intern de evaluare (nu au persoane specializate n domeniul evalurii), dei au specialiti pe diferite
sectoare relevante pentru proiectul evaluat. Aceste instituii vor apela, chiar i pentru evaluarea intern a
programelor la serviciile unor experi n evaluare din exterior, de preferin independeni (fr alte
conexiuni cu proiectul evaluat sau cu echipa de implementare a proiectului).
Scopul evalurii interne este furnizarea unei analize din perspectiva implementatorului care are acces
la date mai uor dect orice alt actor implicat (fie el finanator sau evaluator extern). Prin urmare acest tip
de evaluare este extrem de bogat n date, iar raportul de evaluare este unul foarte explicit i explicativ. Cei
care au implementat proiectul cunosc cel mai bine teoria, procesele i rezultatele acestuia i motivele
pentru care s-au implementat anumite modificri n designul iniial, eventual motivele pentru care nu a
fost respectat calendarul iniial, s-a depit bugetul sau, dimpotriv, nu s-au utilizat resursele, care au fost
elementele distorsionante aprute pe parcurs i ce efecte au avut aceste elemente asupra programului.
Evaluare intern este foarte potrivit pentru evaluarea formativ, ajutnd la controlul calitii
evalurii i la dezvoltarea capacitii interne de evaluare. Dezavantajele evalurii interne sunt: lipsa unor
expertize sectoriale i lipsa independenei.
c. Evaluarea extern reprezint evaluarea realizat de ctre evaluatori independeni, de regul din afara
instituiei sau organizaiei care implementeaz programul sau care se numr printre actorii care
particip la realizarea programului. Avantajele principale ale acestui tip de evaluare sunt independena
i potenialul unei game largi de expertiz. Evaluarea este potrivit mai ales evalurilor sumative.
Dezavantajele acestui tip de evaluare sunt posibilele presiuni care pot limita independena, faptul c nu
ajut la dezvoltarea capacittii interne de evaluare i costurile ridicate pe care le presupune.
4. Alte tipuri de evaluare
Alturi de tipurile de evaluare amintite anterior, n literatura de specialitate sunt menionate i o serie de
alte tipuri de evaluare, printre care evaluarea participativ i evaluarea bazat pe teorie.
n evaluarea participativ, perspectiva evaluatorului este pe poziie de egalitate cu perspectivele
actorilor implicai n program. Intenia este de a avea un proces de evaluare cu concluzii i recomandri
relevante i utile pentru proiectele viitoare ale actorilor implicai. Acest tip de evaluare se potrivete attcu
17
evaluarea sumativ ct i cu cea formativ. Implicarea tututor participanilor pe poziii de egalitate aduce
de obicei un plus semnificativ de informaie n procesul de evaluare. Evaluarea participativ este adesea
prezentat ca un tip modern de evaluare i este prezentat n opoziie cu evaluarea tradiional. 18
Evaluarea bazat pe teorie aplicat de anumii cercettori n domeniul abuzului de substane care
creeaz dependen 19 sau n evaluarea iniiativelor comunitare comprehensive 20 . Acest tip de evaluare se
caracterizeaz prin faptul c nu permite realizarea unor analize statistice ale datelor obinute, de cele mai
multe ori datorit diveritii acestora. Prin urmare, vor fi utilizate preponderent metode calitative de
cercetare. Utilitatea acestui tip de evaluare este evident mai ales n cazul evalurilor unor iniiative
comunitare, ale cror efecte nu pot fi analizate statistic, dar care pot furniza informaii despre eficacitatea
acestui tip de iniiativ. Anumii cercettori 21 susin c, prin combinarea datelor legate de rezultatele unui
program cu informaii privind desfurarea procesului de implementare a proiectului, putem obine
informatii valoroase privind efectele programului i impactul acestuia.
Evaluarea bazat pe teorie pornete de la premisa c orice program de intervenie social are la baz o
teorie despre cum funcioneaz un anumit proces, n ce condiii va atinge eficiena i eficacitatea maxim
etc. Aceast teorie poate fi implicit sau explicit. Teoria unui program este, n linii mari, echivalent cu
modelul logic al acestuia care explic modul su de funcionare. Acest tip de evaluare ofer numeroase
informaii edificatoare pentru modul de implementare a unor programe complexe similare, indicnd
riscurile, elementele-cheie i leciile nvate pe parcursul implementrii.
Evaluarea impactului. n cadrul analizelor de impact, se msoar pe de o parte efectele nete ale
interveniei (impactul net), iar pe de alt parte se cuantific efectele programului sau proiectului pe termen
mediu i lung. Principala problem a determinrii impactului net este diferenierea efectelor datorate
programului i a cele datorate altor cauze. Impactul net poate fi determinat att naintea implementrii
(preconizarea impactului), n timpul implementrii i ulterior acesteia. Impactul pe termen mediu i lung
poate fi anticipat anterior implementrii i n timpul acesteia, i poate fi calculat ulterior implementrii.
Indiferent dac este vorba de determinarea impactului net sau a efectelor pe termen mediu i lung,
evaluarea impactului poate fi extrem de util pentru mbuntirea designului proiectelor actuale i
viitoare, pentru fundamentarea deciziilor privind continuarea sau stoparea anumitor iniiative. O abordare
detaliat a analizelor de impact va fi prezentat n a doua parte a lucrrii.
Sisteme de evaluare: Evaluarea centralizat i evaluarea descentralizat
Problema care se ridic n cazul sistemelor de evaluare este un loc comun n problematica
administraiei publice: care este nivelul optim de centralizare/descentralizare n activitatea de evaluare a
programelor. Ca i n cazul serviciilor publice, exist avantaje i dezavantaje, fie c se opteaz pentru
centralizare, fie c se alege descentralizarea ca model de organizare a sistemului de evaluare a
programelor n Romnia. n timp ce o centralizare excesiv imprim lips de flexibilitate i induce lipsa
discreiei administrative, descentralizarea poate atrage dup sine lipsa coerenei, utilizarea deficitar a
metodologiei, etc. Din acest motiv se opteaz de cele mai multe ori pentru o soluie intermediar: nici
centralizare, dar nici descentralizare excesiv. O atenie deosebit trebuie acordat nevoilor fiecrui
domeniu de activitate. Chiar dac iniial dezvoltarea unui sistem de evaluare este legat de un anumit
18
19
De vzut Sorin Dan andor, Analiz i cercetare n administraia public, Accent, 2005, p.81
H.T. Chen, (1990). Theory-driven evaluation. Thousand Oaks, CA: Sage Publications.
20
Weiss, Carol Hirschon, 1995, Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation for
Comprehensive Community Initiatives for Children and Families. n James P. Connell, Anne C. Kubish, Lisbeth B.
Schorr and Carol H. Weiss (eds.) New Approaches to Evaluating Community Initiatives. Vol.1: Concepts, Methods,
and Contexts. Washington, D.C.: The Aspen Institute
21
Schorr and Kubisch, 1995, New approaches to evaluating community initiatives. Washington DC: The Aspen
Institute
18
minister, ulterior, trebuie analizat nevoia de evaluare i la nivelul celorlalte ministere. Mai mult, dei o
atenie deosebit va fi acordat evalurii programelor cu finanare european (PHARE, SAPARD, Fonduri
Structurale, etc), nu trebuie ignorate i celelalte programe finanate din surse interne, dar i din alte surse
externe. Sistemul de evaluare va ctiga astfel n complexitate.
Irlanda este un exemplu n care au fost ncercate ambele modele. Modelul centralizat a fost adoptat
n intervalul 2000-2006. Activitatea de evaluare a fost organizat i coordonat de ctre Unitatea de
Evaluare a Ministerului Finanelor. n acest interval s-a asigurat o concentrare a eforturilor de evaluare pe
programele operaionale. A fost o abordare consecvent i s-au semnalat costuri reduse. Un alt avantaj al
sistemului centralizat de evaluare este faptul c Unitatea de Evaluare e exterioar Autoritii de
Management care implementeaz programul operaional respectiv. Modelul descentralizat a fost
implementat n intervalul 1994-1999. Evaluarea reprezenta n aceast perioad responsabilitatea fiecrei
Autoriti de Management responsabile cu un Program Operaional. i aceast abordare are o serie de
avantaje: permite Autorittilor de Management s conceap evalurile conform propriilor nevoi, iar
acestea pot apela la Unitatea Central de Evaluare pentru expertiz tehnic.
Modelul Propus pentru Romnia pe perioada 2007-2013 este o combinaie ntre modelul centralizat i
cel descentralizat.
19
Metode cantitative metodele de cercetare care au n vedere studiul unor realiti prin cuantificarea
fenomenelor care prezint interes i generarea unor teorii generalizabile pe baza datelor obinute n urma
cuantificrii; printre acestea se numr: ancheta sociologic i analiza cantitativ a documentelor.
Metode calitative metode de cercetare care se concentreaz pe studiul intensiv al fenomenelor sociale,
cu accent pe aprofundarea problematicii i detalierea aspectelor care prezint interes; aici se nscrie
interviul individual, focus-grupul, analiza calitativ a documentelor i observaia.
Paradigma multi-metod un nou model de abordare n privina metodelor de cercetare, care pune
accent pe complementaritatea dintre acestea; acesta propune utilizarea conjugat a metodelor cantitative i
calitative, pentru a obine rezultate optime.
Date primare datele care sunt colectate direct de ctre cercettorii care realizeaz un anumit studiu, cu
ajutorul unor metode i instrumente de cercetare specifice.
Date secundare- datele care sunt utilizate ntr-o cercetare, dar au fost colectate anterior i cu alte scopuri.
Metode statistice metodele utilizate pentru analiza datelor obinute cu ajutorul metodelor de cercetare;
se refer la metode specifice de testare a unor ipoteze utiliznd asocieri, modele de regresie, diferii
coeficieni statistici etc.
20
Adaptare dup Brayman, A.(1992), Quantity and Quality in Social Research, Londra, New York, Routlege, n
Traian Rotariu i Petru Ilu (2001) Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom, p. 25
23
Traian Rotariu i Petru Ilu (2001) Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom, p. 24
24
Dup Petru Ilu(1997) Abordarea calitativ a socioumanului, Polirom, Iai, p.40
25
Petru Ilu(1997) Abordarea calitativ a socioumanului, Polirom, Iai, p.63
21
populaia vizat se face preponderent prin eantionare statistic, culegerea datelor se face episodic, i se
ntinde pe perioade scurte de timp, metodele principale utilizate sunt: experimentul, ancheta cu chestionar
standardizat, analiza cantitativ a documentelor i observaia sistematic din exterior. Datele obinute n
urma cercetrilor cantitative sunt tari(valide, de mare fidelitate), ns nu surprind la fel de multe detalii
ca i cercetarea calitativ i nu ating profunzimea coleciilor de date calitative. Totui, datele cantitative
sunt generalizabile, pot sta la baza contructiei unor noi axiome, teorii. Raportul de cercetare n cazul
modelului cantitativist este consistent n cifre, tabele, grafice i comentarii n limbaj natural, iar frecvena
cea mai mare a utilizrii acestui model este ntlnit n sociologie i psihologie social.
Evident rmne faptul c cele dou paradigme sunt puse fa n fa cu scopul de a face o
comparaie i nu pentru a sublinia un raport de opoziie.
n Ancheta sociologic i sondajul de opinie: teorie i practic, Rotariu i Ilu expun cel puin
patru motive pentru care opoziia cantitativ-calitativ este un construct artificial:
1. Tot ceea ce este subsumabil comprehensiunii poate servi ca punct de plecare n proiectarea unor
cercetri pozitiviste(prin experiment, anchet cu ajutorul chestionarului, sau prin observaie
neparticipativ). Mai mult, acelai bagaj comprehensiv este inevitabil prezent n faza de analiz
i interpretare calitativ-globalist a unor date statistice 26 .
2. Intuiia se poate nscrie alturi de procesele de cunoatere (inducie, deducie, asociere i
imaginaie) ca un plus semnificativ nc neexplicat psiho-fiziologic 27 . tiinele tari nu exclud
intuiia(intuiionismul n matematic), deci comprehensiunea nu poate fi opus modelului
pozitivist de tiin i exclus din modelul cantitativist.
3. Diverse alte dimensiuni ale comprehensiunii(e.g. empatia) pot fi cercetate n cadrul raionalului i
descrise i explicate n termeni cantitativiti.
4. Expresiile subiectivitii umane (cuvintele rostite, gesturile, comportamentele, atitudinile,
valorile, credinele) pot fi analizate nu doar prin metode intensive, specifice arsenalului
metodologic calitativ ci i cu ajutorul unor metode i tehnici specifice modelului cantitativist(este
ceea ce se ntmpl n general n sondaje, n cadrul ntrebrilor de opinie). Iar metodele intensive
de cercetare nu pot pretinde c au acces la perspectiva actorului n esena sa, depind
interpretat-construitul.
Prin urmare, relaia dintre cantitativ i calitativ este neleas inexact de ctre cei care pretind c
este vorba despre un raport de opoziie. Aceast iluzie este indus de cele mai multe ori de
prezentarea lor fa n fa nu pentru c s-ar opune, ci pentru c sunt complementare, iar explicaia
uneia, faciliteaz comprehensiunea celeilalte.
Metodele mixte de cercetare - o nou paradigm sau un magnet semantic?
n Handbook of Mixed Methods in Social and Behavioral Research publicat n 2003, Tashakkori
i Teddlie (editori) lanseaz noua paradigm a metodelor mixte de cercetare. Pe parcursul a douazeci i
ase de capitole, Tashakkori i Teddlie, alturi de ali autori, analizeaz, nu de puine ori critic, noua
paradigm. Fundamentele acestei noi paradigme se regsesc n lucrarea publicat de cei doi autori n
1998: Mixed Methodology: Combining Qualitative and Quantitative Approaches. Mai mult, dup cum se
observ din analiza de mai sus, aceast paradigm a fost anunat n publicaiile autorilor romni Traian
Rotariu i Petru Ilu care nc din 1997 susineau nexistena unei opoziii reale ntre calitativ i
cantitativ 28 . Dincolo de reiterarea realitii inexistenei unui conflict ntre cele dou paradigme ale
cercetrii clasice, Tashakkori i Teddlie aduc dou contribuii fundamentale prin popularizarea noii
paradigme a metodologiei mixte: crearea unei tipologii a metodelor mixte de cercetare i a modelelor
mixte de cercetare, precum i prezentarea unui ghid practic de utilizare a lor. Metodele mixte de cercetare
presupun combinaii ale abordrilo cantitative i calitative n metodologia unei cercetri (spre exemplu n
etapa colectrii datelor), n timp ce modelele mixte de cercetare combin cele dou abordri pe tot
26
Traian Rotariu i Petru Ilu (2001) Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom p. 25
ibidem
28
Traian Rotariu i Petru Ilu (1997) Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom
27
22
parcursul unui studiu 29 . n cartea publicat n 2003, Handbook of Mixed Methods in Social & Behavioral
Research, Tashakkori i Teddlie aduc elemente noi, de rafinament care clarific dimensiunile noii
paradigme. Cercetarea prin metodele mixte sau cu metode multiple (multimethod) cum mai este numit,
poate fi definit succint ca fiind practica utilizrii mai multor tipuri de metode de colectare a datelor(att
de natura cantitativ, ct i de natur calitativ) n acelai studiu sau program de cercetare(spre exemplu,
msurarea variabilelor att cu ajutorul anchetei sociologice cu chestionar standardizat, ct i prin analiza
calitativ a datelor, testarea ipotezelor att prin metode experimentale, ct i prin metode nonexperimentale, sau utilizarea metodelor calitative de cercetare empiric pentru a detalia informaiile
furnizate printr-un sondaj de opinie. 30
Metodele de cercetare difer nu numai prin tipul datelor pe care le pot oferi, ci i prin vulnerabilitatea lor
la diferite tipuri de erori. Abordarea metodelor mixte poate fi considerat o strategie pentru eliminarea sau
cel puin reducerea gradului de vulnerabilitate la eroare a ambelor tipuri de metode. n ce msur aceast
paradigm reprezint o noutate, rmne de vzut. Promotorii si recunosc c metodele implicate de noua
abordare sunt, n general, metodele utilizate n cercetarea contemporan n tiinele socio-umane. n acest
sens, metodele mixte nu sunt o noutate. 31 Ceea ce este nou este designul unei sinteze sistematice a celor
dou modele diferite de cercetare (cantitativ i calitativ) cu scopul de a crete nivelul cunoaterii n
tiinele sociale. A spune c metodele analizei statistice i cele ale analizei calitative a unui studiu de caz
sunt complementare, nu este ceva nou. Cum nu este nou faptul c asocierile i corelaiile statistice pot
sugera adesea noi direcii pentru cercetarea calitativ. Testarea ipotezelor prin metode de analiz
cantitativ nu excludea nici pn acum utilizarea n paralel sau ulterior a unor ,etode calitative de
cercetare pentru a ntri sau detalia concluziile. Dup cum susin chiar promotorii noii paradigme, nc
din 1970 cercetarea multimetod sau cu ajutorul metodelor mixte era utilizat sub denumirea de
triangulaie. 32
Rzboiul paradigmatic n evaluarea de programe
Domeniul evalurii programelor preia aceast fals opoziie. Paradigmele dominante n
metodologia evalurii de programe a anilor 70-80 sunt cantitativ versus calitativ. ncepnd cu deceniul
nou, aceast lupt pierde teren 33 .
Natura specific a investigaiilor calitative deriv din deschiderea acestora, din legtura strns a
evaluatorului cu programul, din utilizarea observaiei i mai ales a interviului nestructurat care comunic
respect respondenilor prin transformarea opiniilor proprii (exprimate n propriile lor cuvinte) ntr-o surs
important de date pentru evaluare. 34 Metodele cantitative implic analiza statistic a unor date obiective,
de regul cifre. Acestea sunt obinute prin numrarea beneficiarilor unui program, sau prin analiza
secundar a unor date. Metodele calitative utilizeaz informaiile obinute n urma unor discuii, n urma
unor observaii participative sau non-participative care sunt analizate i organizate tematic ulterior,
urmnd a fi raportate ntr-un stil narativ. Metodele cantitative sunt utilizate pentru a insera diverse opinii
i experiene n categorii predeterminate, pentru a ajunge la rezultate semnificative din punct de vedere
statistic i generalizabile. Cu ajutorul metodelor calitative pot fi studiate n profunzime diverse probleme
ale unui program. Ele genereaz date detaliate, de multe ori n propriile cuvinte ale participanilor dintr-un
anumit program i nu exist metode cantitative adecvate pentru a descrie comportamentul variabilelor
investigate. Studiile metodologice orientate spre cantitativ, apreciaz metodologia calitativ ca avnd prea
puin impact asupra rezultatelor cercetrii, i c este util doar n fazele incipiente, exploratorii ale unei
cercetri. Din aceast perspectiv, metodele calitative de cercetare sunt necesare pentru a produce ceea ce
numim de obicei familiarizarea cu subiectul investigaiei, pregtind astfel terenul pentru cercetarea
cantitativ. Aceasta presupune faptul c validitatea cercetrii este dat n tiinele sociale exclusiv de
datele experimentale, de statisticile oficiale i de eantionarea aleatorie.
29
Abbas Tashakkori, Charles Teddlie (1998) Mixed Methodology: Combining Qualitative and Quantitative
Approaches, SAGE Publications, Inc., p. ix
30
Dup Tashakkori, Abbas, Charles Teddlie (2003) Handbook of Mixed Methods in Social & Behavioral Research,
SAGE Publications, Inc., p. 557
31
Ibidem, p.578
32
Ibidem, p.579
33
Dup William Shadish Jr, Thomas D. Cook i Laura C, Leviton (1991) Foundation of Program evaluation:
Theories and Practice, Newbury Park, CA, SAGE
34
Dup Michael Q. Patton (2002), Qualitative Research and Evaluation Methods, SAGE, p.124
23
Criticii metodelor cantitative susin c metodologia cantitativ nu este singurul mod n care poate
fi demonstrat validitatea rezultatelor unei cercetri. 35 . Experimentele, statisticile oficiale i sondajele de
opinie pot fi inadecvate pentru cercetarea anumitor probleme din tiinele sociale. Acetia accept faptul
c n anumite circumstane metodele cantitative pot aduce informaii noi cercettorilor, dar, n acelai
timp, pot lsa n umbr anumite aspecte eseniale.
Iniial, evaluarea programelor a fost dominat de paradigma naturalist a metodologiei ipoteticodeductive care pune accentul pe cantitativ, pe designul experimental i pe analiza statistic. n 1995, la
Conferina Internaional de Evaluare din Vancouver William Shadish Jr, Thomas D. Cook i Laura C.
Leviton anun victoria paradigmei calitative 36 . Thomas D. Cook i Donald T. Campbell militeaz n acest
sens nc din 1979 n Quasi-experimentation: Design and Analysis Issues for Field Settings 37 . Totui,
validitatea metodelor experimentale i a metodelor cantitative utilizate n mod adecvat nu a fost
contrazis. Acum ns, metodele calitative i-au ctigat drepturi egale celor cantitative. n 1991,
Preedintele Asociaiei Americane pentru Evaluare, Lee Sechrest, punea preferina pentru metodele
calitative pe seama simplitii acestora comparativ cu metodele cantitative mult mai dificil de abordat.
Totui, Sechrest recunoate necesitatea metodelor calitative, ns doar n combinaie cu cele cantitative. 38
Paradigma metodologic alternativ (calitativ) i are originile n antropologie, n sociologia
calitativ i n fenomenologie. Doctrinar, aceast paradigm a fost plasat sub girul Verstehen-ului.
Principalul motiv l reprezint faptul c oamenii au scopuri i emoii, i fac planuri, construiesc culturi i
susin anumite valori, iar comportamentul lor este influenat de aceste valori, planuri i scopuri 39 .
Tradiia Verstehen pune accent pe capacitatea uman de a cunoate i nelege alteritatea prin
introspecie empatic i prin reflecii avnd la baz descrieri detaliate rezultate din observaia direct,
interviuri nestandardizate i studii de caz.
Paradigma alternativ cantitativului/experimentalului acord o atenie crescut semnificaiei
comportamentului uman, contextului interaciunii sociale i legturii dintre strile subiective i
comportament.
n domeniul evalurii paradigma alternativ ctig din ce n ce mai muli adepi. Unul dintre cei
dinti care se face auzit este Robert Stake.
Analiza cantitativ a documentelor
Datele culese trebuie s aib o legatur direct cu proiectul sau programul care urmeaz a fi
analizat. Informaia necesar poate fi adunat n mai multe moduri. Un prim pas l poate constitui
revizuirea unor cercetri sau studii realizate anterior.
n cazul evalurii unui program pot exista cercetri anterioare care s furnizeze informaii legate de
programe similare, activiti cotidiene i diverse caracteristici ale unui anumit grup de persoane. Alteori
nu exist asemenea informaii. n acest din urm caz se va apela la alte metode de colectare a datelor
consecutiv operaiunilor preliminarii de analiz a situaiei.
Uneori evalurile anterioare pot fi utilizate ca surse importante de date. Uneori, pentru comparaia dintre
prezent i trecut se va recuge la memoria persoanelor implicate sau afectate de diverse intervenii sociale.
Un caz particular l constituie problematica schimbrii instituionale. Pentru aprecierea schimbrii
instituionale se vor cuta indicatori utilizai n anii precedeni privind modul de aciune al instituiilor.
Este dificil de definit n avans obiectul investigaiilor. Aceasta presupune de obicei studiul unor
documente mai vechi sau discuii cu diferite persoane care pot duce la identificarea schimbrilor i a
elementelor constante.
35
David Silverman (2001) Interpreting Qualitative Data: Methods for analysing Talk, Text and Interaction, 2nd ed.
Sage, p.32
36
Michael Quinn Patton (1997)Utilization-Focused Evaluation: The New Century Text, Sage Publication, p. 266
37
Thomas D. Cook, i Donald T. Campbell (1979) Quasi-experimentation: Design and Analysis Issues for Field
Settings Chicago, Rand McNally
7
Idem 4.
39
Kenneth Strike, (1972) Explaining and Understanding the Impact of Science on Our Concept of Man, n
Philosophical Redirection of Educational Research: The Seventy-First Yearbook of the National Society for the
Study of Education, editor: Lawrence G. Thomas, Chicago, University of Chicago Press, p.28, citat n Michael
Quinn Patton (1997), Utilization-Focused Evaluation, The New Century Text, Sage Publication, p. 271.
24
O surs de date necesare pentru realizarea unui studiu de iunei evaluri este cercetarea arhivelor, a
datelor provenite din recensminte i al celorlalte date statistice existente. Este necesar colectarea unui
set de principal de date cantitative care s se refere la calitatea vieii, nivelul veniturilor, al cheltuielilor
etc. la nivel de comunitate. Aceasta mai ales cnd sunt studiate diferite comuniti pentru a asigura
comparabilitatea tematic ntre acestea. Alturi de datele obinute prin cercetarea crilor i a articolelor
publicate, o atenie deosebit ar trebui acordat informaiilor oferite de lucrrile de la diverse conferine,
de rapoartele tehnice realizate n urma anumitor proiecte, intervenii sau cercetri. Este extrem de
important ca rezultatul analizei documentelor s includ referiri la toate studiile empirice realizate, cu
scopul unei abordri comparative privind domeniul, metodele i validitatea evalurii. Analiza
documentelor va furniza informaii referitoare la probleme i variabile sociale relevante pentru proiectul
sau programul respectiv care este n curs de implementare sau n faz de proiectare. ns, din moment ce
fiecare proiect i program este unic, trebuie adunate informaii suplimentare depre situaia concret.
Pentru fiecare program evaluat vor fi necesare date legate de variabile precum: participarea anterioar sau
implicarea prezent n programe similare, stilul de via, angajarea, atitudinile, valorile sociale i
credinele care caracterizeaz comunitile, organizarea social a acestora, dinamica populaiei,
coordonatele demografice ale comunitaii i regiunii.
Analiza cantitativ a documentelor are avantajul de a fi mai puin costisitoare n termeni de timp
i alte resurse dect sondajele de opinie, dar potenialul de eroare este mai ridicat. Prin utilizarea bazelor
de date existente, analistul poate formula modele despre performana unui program, impactul social
potenial la nivelul grupurilor i al comunitilor, etc. Informaia care contrazice modelul construit,
determin revizuirea acestuia, mai ales dac datele care nu se potrivesc modelului sunt considerate
relevante. Analiza documentelor este preferat ca metod primar de culegere a datelor pentru evaluare.
Aceasta datorit virtuilor sale privind economia de resurse. Totui ea este de obicei utilizat mpreun cu
alte metode, att cu scopul completrii informaiei, ct i cu scopul examinrii validitii datelor.
Pentru a observa utilizarea metodelor de cercetare in evaluarea de proiecte, am nceput prin a
analiza o parte din studiile de evaluare a impactului derulate de experii Bncii Mondiale n intervalul
2003-2005. Am realizat un eantion aleatoriu, stratificat, de evaluari, dup urmtoarele variabile:
domeniul proiectelor evaluate (dezvoltare economic, educaie, infrastructur) i numrul beneficiarilor
acestora (sub 50.000 indivizi, ntre 50.001 si 100.000 i peste sau egal cu 100.001 indivizi) (Tabelul 18).
Am selectat aceste variabile pentru c: domeniul - d specificitatea analizelor la care se preteaz un
proiect n cursul evalurii i numrul indivizilor din grupul int al proiectului ilustreaz de regul
dimensiunea proiectului. Iar metodele de cercetare utilizate n evaluarea proiectelor sau programelor pot
varia n funcie de aceste dou variabile. Aceasta este ipoteza de la care am pornit. Scopul a fost obinerea
unei selecii omogene de studii de evaluare. Ulterior am notat care este metoda de cercetare utilizat cu
predilecie (i am numit-o metoda principal), precum i metodele utilizate n completarea acesteia
(metoda secundar i metoda teriar). Ulterior am notat apariia fiecrei metode de cercetare in studiile
de evaluare, precum i poziia (primar, secundar sau teriar) pe care o ocup n studiul de evaluare. Am
sesizat utilizarea n principal a trei metode de cercetare-analiza documentelor, sondajul de opinie i
interviul individual-metode pe care le-am luat n calcul pe tot parcursul analizei realizate.
Dup cum reiese din Tabelul 1 i 2, n eantionul de 40 de studii de evaluare a impactului social
realizate de ctre Banca Mondial, 45% (18) utilizeaz analiza cantitativ a documentelor ca metod
principal, iar alte 20 % (8) ca metod secundar.
Tabelul 1. Metoda principal de cercetare utilizat n evalurile realizate de Banca Mondial
Frecvena Procentul
18
45,0
analiza doc
9
22,5
sondaj
7
17,5
interviu ind
6
15,0
alta
40
100,0
Total
Este interesat de notat faptul c, dei ca metod primar este preferat analiza documentelor, urmat de
ancheta sociologic, n topul metodelor secundare (de suport) ancheta este devansat de interviu. Este o
dovad a utilitii paradigmei multimetod.
Tabel 2. Metoda secundar de cercetare utilizat n evalurile realizate de Banca Mondial
25
analiza
doc
sondaj
interviu
ind
focus
group
Delphi
Total
Frecvena Procentul
8
20,0
10
12
25,0
30,0
5,0
8
40
20,0
100,0
Instituii
Preedinte
Parlament
Tribunale
Administraia
central
Administraia
Opinii
Atitudini i credine
pe termen scurt sau
lung privind
instituiile publice i
politicile acestora
Participare
Interaciuni cu
administraia
Votul
Participarea n
aciuni de lobby
(2004),Analiz i cercetare, Cluj-Napoca: Accent, p.59, adaptare dup Robert G. Lehnen, American
Institutions, Political Opinion & Public Policy, Dryden Press, 1976, p. 32)
40
dup Traian Rotariu i Petru Ilu (1997),(2001), Ancheta sociologic i sondajul de opinie: teorie i practic,
Polirom
41
dup Traian Rotariu i Petru Ilu (2001), Ancheta sociologic i sondajul de opinie: teorie i practic, Polirom, p.
52
42
Sorin Dan andor, (2004),Analiz i cercetare, Cluj-Napoca: Accent, p.58
43
adaptare dup Robert G. Lehnen, American Institutions, Political Opinion & Public Policy, Dryden Press, 1976, p.
32, n Sorin Dan andor, (2004),Analiz i cercetare, Cluj-Napoca: Accent, p.59
26
Detaliind noiunea de opinie public, sunt subliniate trei aspecte fundamentale: intensitatea
opiniei, importana subiectului, i stabilitatea opiniilor 44 . Aceste elemente dau msura n care opinia
public este relevant. Opinia public este ns considerat complex i greu de definit operaional 45 .
2. O alt caracteristic specific a sondajului de opinie n comparaie cu ancheta sociologic este specificul
problemelor cercetate. n cazul sondajului de opinie public, problemele sau temele abordate au un
caracter de interes general (opiuni politice, atitudini fa de probleme instituionale, etc.), pe cnd
ancheta sociologic poate fi centrat pe probleme care preocup un grup mai restrns(e.g. beneficiarii
unui program sau proiect, o anumit categorie ocupaional, etc). Din acest motiv, n evaluarea de
programe vom vorbi mai degrab de anchet sociologic dect de sondaj de opinie.
3. Sondajul de opinie este o subspecie a anchetei sociologice, care se remarc printr-un puternic caracter
descriptiv. De cele mai multe ori, sondajele de opinie nu stau la baza unor cercetri explicative.
4. Spre deosebire de anchet, sondajul de opinie necesit, de regul, un timp mai scurt de desfurare.
ntrebrile din chestionarele folosite sunt de cele mai multe ori clar structurate i relativ simple.
Eantioanele selectate asigur o reprezentativitate rezonabil pentru evalurile cu caracter general
urmrite. Ancheta sociologic, dimpotriv, necesit un timp mai indelungat de organizare i desfurare,
ntrebrile din cadrul chestionarului specific anchetei pot fi structurate, semistructurate i chiar
nestructurate, iar eantionarea se face dup proceduri mai complexe.
5. Rezultatele sondajului sunt prezentate ntr-o form uor accesibil
Ancheta sociologic are urmtoarele caracteristici: 46 presupune un numr mare de cazuri,
selectarea acestora trebuie fcut dup criterii riguroase de eantionare;datele trebuie colectate n situaii
normale, ct mai apropiate de viaa de zi cu zi; colectarea se face n conformitate cu proceduri
standardizate iar datele sunt ntr-o form msurabil cantitativ, cea mai simpl fiind prezena sau absena
unui atribut.
n evaluarea de proiecte i programe pentru administraia public cel mai adesea este utilizat
ancheta sociologic. Aceasta poate avea ca populaie statistic cetenii-clieni ai unei anumite instituii
(administraia financiar, poliia, cu sistemul educaional, etc.), beneficiarii unui program sau proiect.
Populaia statistic poate consta i n membrii unei uniti administrativ-teritoriale sau ai unui grup dintr-o
anumit comunitate, int a unor intervenii susinute din bani publici.
Toate acestea de mai sus sunt mai mult problematici din care pot fi puse ntrebri. Putem pune
ntrebarea ntr-un mod apropiat de formularea propus sau pentru fiecare dintre ele putem formula mai
multe ntrebri, astfel nct s nelegem mai bine fenomenul.
Sondajul de opinie este utilizat ca surs principal de culegere a datelor n 22.5 %(9) din cazuri(Tabelul
1), ca metod secundar n 25%(10) din cazuri(Tabelul 2), iar ca metod teriar, tot n 25%(10) dintre
cazuri dupa cum reiese din Tabelul 3.
Tabelul 3.Metoda teriar
Frecvena Procentul
10
25,0
analiza doc
10
25,0
sondaj
4
10,0
interviu ind
6
15,0
focus group
8
20,0
Delphi
2
5,0
observaia
40
100,0
Total
Dac prin analiza documentelor este ncurajat utilizarea datelor deja existente, din motive de
economie i eficient, analiza va evidenia de cele mai multe ori carene n datele avute la dispoziie ca o
44
27
consecin a unor studii anterioare. Datele obinute prin sondajul de opinie aplicat n cadrul studiului de
impact trebuie interpretate prin prisma i n contextul datelor regsite n arhive, datelor provenite din
recensminte i al celorlalte date statistice existente.
Scopul unui astfel de sondaj ar fi :
1. s verifice valabilitatea datelor obinute iniial, pe un eantion mai larg i mai reprezentativ
2. adresarea unor ntrebri n legatur cu probleme care nu au fost abordate anterior
Astfel se obin date predominant cantitative (legate de nivelul de angajare a forei de munc, sursele de
venit).
Dac se utilizeaz sondajul de opinie, trebuie avute n vedere urmatoarele elemente:
ntrebrile ar trebui s se concentreze pe problemele sociale cu care are legatur proiectul. Trebuie s
existe o legatur direct ntre variabilele cu ajutorul crora se msoar impactul i ntrebrile
chestionarului. Numrul i coninutul ntrebrilor trebuie s se plieze pe importana relativ a variabilelor.
Accentul trebuie pus pe claritatea formulrii ntrebrilor. nc din aceast etap, o importan
semnificativ o are influena variabilelor externe. Validitatea concluziilor depinde de masura n care poate
fi anticipat i controlat influen acestora. Claritatea i relevana ntrebrilor, precum i ordinea n care
ntrebrile sunt prezentate poate avea un impact semnificativ asupra validitii analizei. Problema
variabilelor externe i a oportunitii ntrebrilor poate fi rezolvat prin pre-testarea instrumentului. n
acest context, unii cercettori vorbesc despre procesul de clarificare sau de curare a instrumentului.
nainte de a ncepe construcia unui chestionar n vederea utilizrii lui pentru evaluarea impactului social
al unui proiect sau program, specialistul n tiinte sociale trebuie s in cont de dou realiti: realizarea
unor cercetri noi presupun, de regul mult timp, i n al doilea rnd, este recomandabil utilizarea
cercetrilor anterioare. Studiile cantitative trebuie corelate cu tehnicile inductive de analiz a informaiei
existente, cu analiza informaiei calitative i cu observaia.
Metode calitative complementare
Interviul semi-structurat
Similar unui sondaj de opinie, interviul semi-structurat utilizeaz un ghid foarte asemntor cu un
chestionar cu mai multe ntrebri deschise. Utilizat n EIS de doar 17.5% dintre cercettori ca metod
principal (vezi Tabelul 1), el are supremaia ca metod secundar utilizat n evaluarea impactului social
(vezi Tabelul 2), fiind apreciat ca metod predilect n procesul de aprofundare i clarificare a
informaiei. n utilizarea interviurilor semistructurate, tehnicile de interpretare i vizualizare a datelor pot
oferi informaii semnificative privind impactul unui anumit program. n anumite cazuri se utilizeaz
povestile de via sau documentele care atest cheltuirea veniturilor, cu scopul de a stabili amplitudinea i
combinaia strategiilor de existena urmate (i cine le urmeaz).
Focus-group-ul i metoda Delphi
Focus-group-ul i metoda Delphi pot fi considerate ca metode fie complementare, fie alternative analizei
documentelor i sondajului de opinie, dar construite pe baza lor. Att focus-group-ul ct i metoda Delphi
ofer date mai robuste din punct de vedere stiinific dect abordrile inductive. Focus-group-ul poate
conine ase sau mai multe persoane, reprezentative pentru grupul asupra cruia se calculeaz impactul. n
urma discuiilor pot fi identificate i cuantificate o serie de probleme i tipuri de impact social. Utilizarea
acestei tehnici necesit o pregatire special a celui care modereaz discuiile. El trebuie sa fie mai mult
dect familiar cu metodele i tehnicile de cercetare i mai ales de intervievare.
Metoda Delphi utilizeaz tehnici specifice cercetrii etnografice; un eantion de respondeni este
selectat i sunt puse o serie de ntrebri ntr-o prima etap de interviuri individuale. Cercettorul compar
informaiile, se ntoarce la membrii eantionului i le pune o serie de ntrebri referitoare la discrepanele
28
ntre rspunsurile lor la primul val de ntrebri. De obicei, aceast rund de ntrebri lmureste
discrepanele din runda anterioar. Un al treilea val de interviuri confirm datele plasate n centrul
distribuiei care pot fi utilizate pentru evaluarea impactului. Ca i n cazul focus-group-ului, metoda
Delphi impune o pregtire special n tehnici de intervievare pentru cercettor.
n practica EIS, focus-group-ul i metoda Delphi sunt rareori utilizate cumulativ. De obicei se
recurge fie la una fie la cealalt. Aceasta are sens, avnd n vedere faptul c metoda Delphi are anumite
caracteristici comune focus-group-ului: se adreseaz unor grupuri relativ restrnse de persoane i
exploreaz divergena de opinii. Ele sunt utilizate cu precdere ca metod secundar i teriar de
colectare a informaiilor pentru EIS (Tabelele 1,2 i 3)
Eantionarea
Eantionarea unei populaii implicate ntr-un anumit proiect este ntotdeauna dificil din mai
multe motive: participarea ntr-un anumit proiect nu este ntotdeauna bine delimitat, rolul de beneficiar
primar, secundar ,teriar ntr-un proiect nu este ntotdeauna clar. Un proiect sau program poate fi conceput
pentru a se adresa unui anumit grup int. Mai ales n cazul proiectelor din zona public, grupul int nu
contientizeaz ntotdeauna i nu i asum prin urmare rolul de beneficiar. Pentru o eantionare reuit,
trebuie identificat un eantion echilibrat de indivizi alei n funcie de gradul de participare n proiect, de
rolul pe care l au, de reziden i de caracteristicile demografice: vrsta, sex, etc. Regulile de eantionare
trebuie urmate cu consecven pentru a avea un studiu valid din punct de vedere stiintific. Cunoaterea
tehnicilor de eantionare pentru EIS presupune cunoaterea problematicii eantionarii n general i
specificitatea grupurilor afectate de un anumit program, al crui impact social intenionm s l calculm.
Prin urmare, pentru eantionare conteaz att numrul indivizilor ct i calitatea acestora. Este
dificil de adoptat o metod specific de eantionare, valabil pentru EIS. Construcia eantionului difer n
funcie de natura programului sau proiectului analizat. Este interesant de observat cum numrul metodelor
de cercetare utilizate depinde de numrul indivizilor care fac parte din grupul int (T4 i T5), dar i de
domeniul specific n care se ncadreaz proiectul/programul analizat.
Tabelul 4. Asocierea ntre numrul metodelor utilizate i numrul indivizilor din grupul tint al
proiectului
numr
metode
utilizate
Total
2
3
4
5
nr indivizi gr.int
>50.000
ntre > sau egal
50.001 si cu 100.001
100.000
8
2
6
8
6
6
4
14
14
12
Total
10
20
6
4
40
Tabelul 5. Testul hi-ptrat. Asocierea ntre numrul metodelor utilizate i numrul indivizilor din
grupul tint al proiectului
Valoare Grade de Semnificaia
libertate
6
,000
Pearson 30,381
Hi-Ptrat
40
Nr. de
cazuri
valide
O legatur interesant se stabilete i ntre numrul de indivizi din grupul int i metoda
principal utilizat (T6 i T7) i nu la fel de semnificativ ntre domeniul proiectului i metoda principal
29
(T8 i T 9). Chiar dac n acest din urm caz, legtura nu este att de puternic, se poate identifica un
model dup care se face alegerea metodelor de cercetare: pentru proiectele cu un numr mare i foarte
mare de indivizi n grupul-int (peste 50.000), remarcm o predilecie pentru analiza documentelor i
sondaj ca metode principale de cercetare a impactului social. Pentru proiecte care au un grup int mai mic
sau egal cu 50.000, se prefer analiza de documente combinat cu interviul individual. Este absolut firesc
dac avem n vedere amploarea mai redus i, n acelai timp, bugetul mai redus al acestora.
Tabelul 6. Asocierea ntre numrul indivizilor din grupul tint al proiectului i metoda principal
utilizat n evalurile Bncii Mondiale
metoda principal
Total
analiza
sondaj interviu
alta
doc
ind
5
3
6
14
<50.000
nr indivizi ntre
5
9
14
gr.int 50.001 i
100.000
8
4
12
> sau egal
cu 100.001
18
9
7
6
40
Total
Tabelul 7. Testul hi-ptrat. Asocierea ntre numrul indivizilor din grupul tint al proiectului i
metoda principal utilizat n evalurile Bncii Mondiale
Valoare Grade de Semnificaia
libertate
6
,000
Pearson 33,938
Hi-Ptrat
40
Nr. de
cazuri
valide
Pentru analiza impactului social al unui proiect economic se va opta ca metod principal de
colectare a datelor pentru analiza documentelor. La fel pentru un proiect educational. Pentru un proiect
legat de infrastructur se va opta fie pentru analiza documentelor, fie pentru sondaj sau interviu individual
ca metod principal de cercetare. (T8) Totui nu se poate spune c exist o relaie de asociere ntre
domeniul proiectului i metoda principal.(T9)
Tabelul 8. Asocierea ntre domeniul proiectului evaluat i metoda principal utilizat n evalurile
Bncii Mondiale
metoda principal
Total
analiza sondaj interviu
alta
doc
ind
domeniu proiect
Total
economic
educaional
infrastructura
altul
7
6
4
1
18
3
4
2
9
3
4
7
3
2
1
6
13
11
12
4
40
Tabelul 9. Testul hi-ptrat. Asocierea ntre domeniul proiectului evaluat i metoda principal
utilizat n evalurile Bncii Mondiale
30
Pearson
Hi-Ptrat
Nr. de
cazuri
valide
economic
educaional
infrastructura
altul
Total
3
2
2
1
8
7
2
1
10
8
2
2
12
2
2
13
11
12
4
40
Tabelul 11. Testul hi-ptrat. Asocierea ntre domeniul proiectului evaluat i metoda secundar
utilizat n evalurile Bncii Mondiale
Pearson
Hi-Ptrat
Nr. de
cazuri
valide
O asociere aproape la fel de semnificativ se remarc i n privina legturii dintre domeniul proiectului i
metoda teriar(vezi T12 i 13), i ntre metoda principal i cea secundar (T14 i T15).
Tabelul 12. Asocierea ntre domeniul proiectului i metoda teriar utilizat n evalurile Bncii
Mondiale
metoda teriar
Total
domeniul proiectului
Total
economic
educaional
infrastructur
altul
13
11
12
4
40
31
Tabelul 13. Testul hi-ptrat. Asocierea ntre domeniul proiectului evaluat i metoda teriar
utilizat n evalurile Bncii Mondiale
Valoare Grade de Semnificaia
libertate
15
,052
Pearson 24,862
Hi-Ptrat
40
Nr. de
cazuri
valide
Tabelul 14. Asocierea ntre metoda principal i metoda secundar utilizat n evalurile Bncii
Mondiale
metoda secundar
Total
analiza doc
sondajinterviu ind.focus group Delphi
7
7
4
18
analiza doc
metoda principal sondaj
2
5
2
9
3
4
7
interviu ind
6
6
alta
8
10
12
2
8
40
Total
Tabelul 15. Testul hi-ptrat. Asocierea ntre metoda principal utilizat i metoda secundar
utilizat n evalurile Bncii Mondiale
Valoare Grade de Semnificaia
libertate
12
,000
Pearson 51,349
Hi-Ptrat
40
Nr. de
cazuri
valide
Aceeai asociere semnificativa se remarc i ntre metoda principal i metoda teriar.(T16 i T17).
Tabelul 16. Asocierea ntre metoda principal i metoda teriar utilizat n evalurile Bncii
Mondiale
metoda teriar
Total
sondaj
interviu
focus Delphi observaia
alta
ind
group
6
4
1
7
18
analiza doc
7
2
9
sondaj
metoda interviu ind
4
3
7
principal
6
6
alta
10
4
6
8
2
10
40
Total
Tabelul 17. Testul hi-ptrat. Asocierea ntre metoda principal utilizat i metoda teriar utilizat
n evalurile Bncii Mondiale
ValoareGrade de libertateSemnificaia
15
,000
Pearson Hi-Ptrat 78,452
Nr. de cazuri valide 40
Rezumnd, n funcie de natura proiectului al crui impact se dorete a fi calculat, n funcie de numrul
indivizilor care constituie grupul int (ca un indicator al amplorii proiectului) putem avea o serie de
combinaii. Din metaanaliza celor 40 de studii EIS , se configureaz modelele din tabelul 18.
32
Tabelul 18. Analiza metodelor de cercetare utilizate n 40 de studii de evaluare selectate de pe site-ul
Grupului pentru Evaluare Independent a Bncii Mondiale (http://www.worldbank.org/oed/)
Domeniul
proiectului
Met.princ.
Met. sec.
Met. ter.
</=50.000
Analiza
doc/alta
Sondaj/
Analiza doc.
Analiza
doc./Delphi
Interviu
individ/
Analiza doc.
Interviu
individ/
Delphi
Sondaj/
Analiza doc.
Focus Group
Interviu
individ/
Analiza doc.
Sondaj/
Interviu
individ
Delphi/Sondaj/
Analiza doc
Sondaj
Analiza doc.
Sondaj/Delphi
Delphi/Sondaj
Sondaj/
Interviu
individ
>/=100.001
Analiza doc.
</=50.000
Analiza
doc/interviu
ind/ alta
Analiza doc
</=50.000
Intre 50.001 si 100.000
>/=100.001
Analiza
doc/interviu
ind
Analiza
doc/interviu
ind
Analiza doc.
/ Sondaj
Analiza
doc/interviu
ind
Sondaj
Sondaj
Focus Group
Sondaj/
Interviu
individ
Alta
Prin urmare, ipoteza de la care am pornit se confirm doar parial: domeniul de intervenie nu
dicteaz metodele utilizate n evaluare, dar numrul indivizilor din grupul int are un impact major asupra
metodologiei utilizate. Fie c este vorba de un proiect de dezvoltare economic, fie c este vorba de un
proiect esducaional sau de infrastructur, metodele selectate nu prezint diferene semnificative. Aceste
diferene apar cnd este vorba de dimensiunea grupului int. Un proiect de mici dimensiuni (sub 50.000
de persoane) este mai permisiv i presupune, de regul utilizarea complementar a mai multor metode.
Analiza statistic a informaiei cantitative
Nivelul de masur a caracteristicilor utilizat ( nominal, ordinal, interval sau raport ) va determina
tipul instrumentelor utilizate pentru msurarea variabilelor. Pentru c marea parte a caracteristicilor
msurate n tiinele sociale sunt nominale, sunt utilizate, de obicei, metode de analiz statistic
elementare referitoare la asociere i semnificaie. i pentru evaluarea impactului social (EIS) metodele
descriptive predomin, n defavoarea celor infereniale. Unde este posibil aplicarea unui chestionar, se
poate recurge la metode de analiz statistic mai sofisticate.
Anumite informaii de natur cantitativ vorbesc de la sine. Este cazul n care un grup de participani ntrun anumit proiect obin o crestere semnificativ a veniturilor n comparaie cu un grup de control
comparabil. n alte cazuri, pentru a ajunge la concluzii pertinente este necesar o analiz statistic
sofisticat. Teoretic limitele de ncredere ntre care pot fi pstrate prin analiza statistic ar trebui s arate
ct sunt de pertinente rezultatele. La nivel practic erorile sistematice nedetectate la nivelul datelor pot
depi cu mult incertitudinile luate n calcul. Rezultatele vor mima riguarea tiinific, fr a o atinge.
Totui, tehnicile pur calitative pot avea un grad ridicat de subiectiviate. O comparaie ntre tehnicile
calitative i cantitative este adesea necesar. La fel cum pot ajuta la explicarea rezultatelor, inconsistenele
evideniate prin triangulaia rezultatelor generate prin diferite metode de analiz pot ajuta i la
identificarea erorilor sistemetice i a unor false interpretri care altfel ar trece neobservate.
33
Acolo unde potenialul pentru erori sistematice este ridicat, metodele cantitative care presupun
analize statistice sofisticate pot avea un raport cost-eficien mai sczut, iar n final s fie mai puin
relevante dect o combinaie a unor metode cantitative i calitative mult mai simple. Pentru a determina
ct de mare i ct de semnificativ este impactul unui proiect, cel mai important lucru este formularea
ntrebrilor semnificative, implicarea persoanelor potrivite, inclusiv a evaluatorilor potrivii.
Caseta 3. Studiu de impact care utilizeaz analiza statistic
Studiu de impact a microcreditelor asupra srciei n Zambia 47
Studiul de impact a avut la baz trei surse de date :
Un sondaj de opinie cu un chestionar aplicat pe un eantion din participanii la program .
Un al doilea sondaj de opinie cu un chestionar aplicat pe o populaie mai larg de firme
si gospodrii.
Un set de focus-group-uri calitative n cascad.
Analiza programului a avut trei scopuri:
Identificarea caracteristicilor primitorilor de credite (gen, nivel de srcie, vechimea
afacerii) pentru a estima nivelul atins de program
Identificarea i estimarea impacturilor directe ale imprumuturilor asupra debitorilor,
asupra afacerii lor i asupra gospodariilor acestora
Identificarea efectelor indirecte ale programului
Studiul de impact a comparat datele obinute din sondajul aplicat participanilor cu datele
furnizate de trei surse secundare:
Un sondaj de opinie oficial pentru determinarea nivelului actual al srciei n raport cu
limita srciei calculat n funcie de consum
Un studiu participativ de evaluare a gradului de urbanizare i un sondaj de opinie naional
aplicat pe ntreprinderi mici i mijlocii
Unde a fost posibil chestionarul utilizat pentru studiul eantionului participant n program a
preluat ntrebri utilizate n aceste surse secundare. Acesta acoperea:
Caracteristici ale respondenilor
Activitile gospodariilor i afacerilor pe parcursul unei perioade standard de o lun.
Respondenii au fost, de asemenea, rugai s estimeze care ar fi fost rspunsurile lor n aceeai
lun, anul trecut / cu un an nainte. Chestionarul a inclus de asemenea ntrebri deschise i
ntrebri de opinie, n timp ce informaiile despre mprumuturile primite au fost obinute direct
din documentele proiectului.
Regresia a fost utilizat pentru a evalua impactul direct al programului asupra afacerilor celor
care au primit credite. Acesta a scos n eviden urmatoarele aspecte:
Diferena ntre profitul mediu obinut de ctre firmele care au apelat la credit i cel
obtinut de ctre grupul de control nu a fost semnificativ statistic.
Diferena privind rata de cretere a profiturilor a fost semnificativ statistic.
Profitul celor care au apelat la credite coreleaz cu trainingul oferit ca parte a
programului.
Datele cantitative au fost completate cu cele obinute n urma ntrebrilor calitative prin care
respondenilor li s-au cerut s explice motivele pentru schimbrile profitabilitii principalei lor
afaceri de-a lungul ultimului an. O proporie mai mare a celor care au luat credit(comparativ cu
cei care nu au luat) ale cror profituri s-au mrit au atribuit aceast cretere, creterii nivelului
investiiilor, banilor reinvestii i diversificrii produciei.
Acest caz ilustreaz avantajele utilizrii mai multor metode de cercetare n studiile de impact. O
abordare pozitivist a fost util n identificarea i cuantificarea celor mai importante impacturi. Analiza
interpretativ (att a datelor obtinute prin metode cantitative ct i calitative) a fost necesar pentru a
explica rezultatele, pentru a relata efectele variaiei n jurul mediei i pentru a plasa rezultatele analizei
ntr-un context mai larg. Studiul de caz ilustreaz de asemenea importana comparaiilor nainte i dup
intervenie.
47
Adaptat dupa James Copestake, et al (2000)-Assessing The Impact of Microcredit on Poverty: a Zambian Case
Study Centre for Development Studies
34
Pentru a avea un rezultat optim, metodele de cercetare se utilizeaz n combinaii de dou, trei sau chiar
mai multe.
Tabel 19. Numr metode utilizate
Numrul metodelor utilizate cumulativFrecvena
10
2
20
3
6
4
4
5
40
Total
Dintr-un eantion de 40 de studii de evaluare a impactului social, observm c n 75% din
cazuri(30) utilizeaz combinaii de doua sau trei metode. Nu exist nici un caz de EIS care are la baza o
singur metod, 10%(4) utiliznd cinci metode.
Surse de documentare
Sursele de date secundare
Printre cele mai utilizate surse de date secundare se numar datele obinute prin recensmnt, datele
oferite de statisticile oficiale, datele geografice, datele oferite de diferite institute, organizaii nonguvernamentale sau fundaii (ICCV, SOROS, MMT, INSOMAR, ISOP etc.), datele oferite de diverse
instituii publice centrale sau descentralizate (direcii, inspectorate, agenii etc.) sau provenite din diverse
cercetri publicate sub form de articole sau cri. O alt surs de date secundare sunt arhivele. Aceste
surse de date pot fi utilizate n coroborare cu informaiile oferite n cadrul unor interviuri de persoane care
au o legatur direct cu producerea sau administrarea lor. O atenie deosebit trebuie acordat verificrii
ncruciate a memoriei celor intervievai, precum i potenialelor surse de eroare sau influen a datelor.
Date primare
Sondajele de opinie i interviurile de diverse tipuri reprezint exemple de date primare, colectate pentru a
verifica datele din alte surse. Dac un evaluator al impactului social susine c impactul unui proiect este
diferit ntr-o anumit zon, n comparaie cu alte zone, va trebui sa apeleze la aceste surse de date primare,
pe care i va fundamenta n cele din urm concluziile. Datorit unui background specific, i a structurii
unice, fiecare comunitate poate reaciona n modul sau propriu la diferitele proiecte care aduc schimbarea.
Managementul datelor insuficiente
Datorit resurselor limitate de cele mai multe ori, specialitii sunt nevoii sa dezvolte strategii pentru a
face fa situaiei n care datele sunt insuficiente. Urmtoarele trei elemente trebuie luate n considerare de
cte ori resursele se dovedesc insuficiente pentru a obine toate datele necesare. Ele asigur o prioritizare
absolut necesar:
1. Este mai important identificarea celor mai probabile impacturi sociale, dect msurarea exact a
impacturilor evidente.
2. Este de preferat o abordare conservatoare n descrierea impactului social probabil.
3. Cu ct avem date mai insuficiente sau de o calitate mai ndoielnic, cu att pentru utilizarea lor
este necesar un personal mai specializat.
Standarde de verificare i de documentare
Preocuprile privind lipsa datelor, precizia informaiei i schimbarea sistemelor sociale n procesul de
adaptare la noi condiii de mediu face importanta fixarea standardelor de verificare i documentare n
vederea realizrii evaluarii impactului social.
35
Primul standard care trebuie respectat este acurateea factual. Toate datele utilizate n EIS trebuie sa fie
verificabile. Al doilea standard este validitatea extern. Pot fi datele rezultate din evaluarea impactului
social al unui program fie generalizate pentru alte programe i comunitai similare?
Cheia verificrii acurateii datelor i rezultatelor este validarea repetat(incruciat), sau verificarea dac
prin investigarea unor situaii similare se obin rezultate asemntoare. Spre exemplu, aceast validare
poate fi facut prin compararea datelor obinute din dou sau mai multe focus-group-uri, sau analiznd
seturile de date din surse diferite i comparnd rezultatele. Dac analizele ajung la aceleai concluzii, EIS
poate fi considerat valid.
Sursele de documentare, metodele de cercetare i ipotezele utilizate pot fi o surs suplimentar a
verificrii validitii EIS. Cercettori independeni ar trebui s poat utiliza aceleai seturi de date,
aceleai metode i aceleai ipoteze i s ajung la aceleai rezultate. Documentarea riguroas n EIS
reprezint un element important al validitii EIS.
Pune un accent mai mare asupra activitilor unui program, dect asupra
inteniilor sale.
Stake, Robert E. Program evaluation, particularly responsive evaluation n W.B. Dockrell&D. Hamilton (Eds.)
Rethinking educational research (pp72-87). London: Hodder and Stoughto citat n William R. Shadish Jr., Thomas
D. Cook, Laura C. Leviton (1999), Fundamentele evalurii programelor: Teorii ale practicii , FIMAN, p. 278
36
Cteva trsturi eseniale ale evalurii reactive sunt: accentul pus pe observaie i flexibilitate,
preferina pentru metodele calitative i accentul pe mbuntirea practicilor locale.
Evaluarea reactiv are o serie de avantaje i dezavantaje. Printre avantaje se numr: relevarea
unor variabile importante ale programului, ncurajarea eforturilor de schimbare ale celor implicai ntr-un
program, ncurajarea creterii controlului local. Totui, evaluarea prestabilit ar trebui preferat evalurii
reactive atunci cnd este important s tim dac anumite scopuri au fost atinse, dac anumite promisiuni
au fost inute i cnd urmeaz s fie investigate ipoteze sau aspecte predeterminate. ne putem atepta ca
msurtorile prestabilite s fie mai obiective i mai de ncredere. 49 n concluzie, trebuie avute n vedere
ambele tipuri de evaluare n funcie de program.
Caracterizat de anumii critici ca fiind atractiv superficial 50 , distincia reactiv-prestabilit
rmne valabil n teoria evalurii deoarece elucideaz anumite aspecte ale procesului de evaluare care,
neconceptualizate rmn n penumbr: importana flexibilitii metodologice, utilitatea metodelor
calitative, accentul care trebuie pus i pe activiti, nu numai pe obiective etc.
Utilizarea metodelor calitative n evaluarea de programe
Prin utilizarea metodelor calitative n evaluarea de programe, se obin o serie de descrieri ale
organizrii i funcionrii programului, ale experienelor pe care le au cei implicai n program. Scopul
acestor descrieri este oferirea unei imagini despre programul respectiv. Prin utilizarea metodelor calitative
se ncearc gsirea unui rspuns la urmtoarele tipuri de ntrebri:
1. Cum funcioneaz programul?
2. Care este perspective participanilor n programul respective? Ct sunt ei de mulumii cu
desfurarea sau cu rezultatele programului? Care este rolul fiecrui actor implicat? Care sunt
principalele nemulumiri i care sunt cauzele acestora?
3. Cum s-au desfurat anumite activiti ale programului?
Se urmrete descrierea tuturor aspectelor care pot fi relevante pentru nelegerea unui program.
Din totalitatea informaiilor colectate prin interviuri, studii de caz, observaii de teren, vor fi
ulterior selectate pentru raportul de evaluare acele informaii care ofer un rspuns pentru ntrebrile
evalurii.
Observaia
Observaia este o metod cu multiple avantaje n evaluarea de proiecte. Caracterul su noninvaziv este esenial n obinerea unor informaii nedistorsionate, spre deosebire de cele obinute prin
interviu sau prin sondajul de opinie unde efectul de dezirabilitate social este mai pregnant.
Evaluatorul poate realiza observaia i poate beneficia de informaiile culese prin aceast metod
n cursul participrii n implementarea unui proiect, cu ocazia ntlnirilor i interaciunilor ocazionate de
derularea proiectului. Datele astfel obinute trebuie notate imediat, nregistrrile fiind indicat s fie fcute
ntr-un jurnal de observaie care urmeaz a fi analizat ulterior. Acest tip de date pot fi extrem de utile n
evalurile de proces. De asemenea, evaluatorul poate colecta o serie de date prin analiza activitilor
specifice unui program. n cursul interaciunilor cotidiene, un numr de detalii aparent nesemnificative se
pot dovedi ulterior ca fiind eseniale. Ele pot atrage atenia evaluatorului asupra unor aspecte care urmeaz
a fi analizate formal ulterior. De exemplu, dac n cazul evalurii activitii unui centru de zi pentru copii
provenii din familii defavorizare, evaluatorul observ materialele didactice care se presupune c sunt
utilizate zilnic n stare perfect(neatinse, neuzate) i poate pune ntrebri n legtur cu utilizarea efectiv
a materialelor in timpul activitilor zilnice. Dac, n aceeai situaie, evaluatorul observ o atitudine de
mirare a copiilor care intr n sala de mese la vederea fructelor i a feelor de mas, evaluatorul poate
investiga ulterior condiiile n care copii iau masa de obicei, precum i dac sunt hrnii corespunztor.
n evaluarea programelor observaia nu este folosit la adevrata sa valoare. O prim cauz este
explicarea problemelor prin cauze sociale sau economice (de genul: srcia este datorat situaiei
economice generale, salariilor mici, educaiei reduse, provenienei dintr-o familie cu mijloace reduse,
49
Idem, p.283
Shadish, William R. Jr., Thomas D. Cook, Laura C. Leviton (1995),Fundamentele evalurii peogramelor: Teorii
ale practicii, SAGE Publications, Inc., p. 317
50
37
etc.). n anumite cazuri astfel de explicaii nu sunt suficiente, comportamentul putnd fi cauza real, iar
pentru studiul comportamentelor observaia este cea mai bun metod.
O a doua cauz este costul n timp i for de munc pentru a face suficiente observaii referitoare
la un grup mare de oameni sau la o comunitate. Cercetrile efectuate pe astfel de teme dureaz perioade
mari de timp, exact ceea ce lipsete de obicei ntr-o evaluare. Ca s dm un exemplu, cercetarea unui
clasic al observaiei, William Foot Whyte, Street Corner Society: The Social Structure of an Italian Slum
(1943) a durat 5 ani!
Interviul individual
Interviul individual este cel mai adesea utilizat in evaluarea unor programe de mici dimensiuni, cnd sunt
implicai un numr relativ restrns de indivizi-cheie n implementarea unui program. Cnd utilizeaz acest
tip de interviu, evaluatorul urmrete fie clarificarea modului de funcionare a programului, fie
determinarea unor soluii pentru realizarea de schimbri n modul de funcionare. 51 Interviul individual
este o ncercare de a obine informaii pentru evaluarea unui program prin intermediul unor ntrebri i
rspunsuri din cadrul unor convorbiri ntre evaluator i participanii ntr-un anumit program.
La baza interviului, fie c este individual, fie c este de grup, st un ghid de interviu
care precizeaz mai mult sau mai puin exact ntrebrile care urmeaz a fi utilizate n cursul interviului.
Spre exemplu, pentru evaluarea unui program al crui obiect l constituie un Centru de Zi pentru educarea
copiilor precolari provenii din familii defavorizate, putem recurge la un interviu semi-structurat.
Interlocutorii vor fi prinii copiilor-beneficiari direci ai programului. n acest caz, putem utiliza
urmtorul ghid de interviu:
Caseta 4. Ghid de interviu utilizat n evaluare
Ghid de interviu pentru evaluarea Centrului de Zi pentru educarea copiilor precolari provenii din familii
defavorizate
51
Huey T. Chen, (2005) Practical Program Evaluation: Assessing and Improving Planning, Implementation, and
Effectiveness, Sage Publications Inc, p.79
38
Avei cunotin s fi existat probleme n selecia participanilor n program? (Not: dac da, se
continu cu ntrebri cum ar fi: Care au fost acestea?, tii de ce au aprut?, Cum au fost rezolvate? Sau
Ce sugestii avei pentru rezolvarea unor astfel de probleme?).
Ct de mulumit suntei de serviciile oferite? (Not: se poate continua cernd detalii despre
serviciile la care se refer, i poate fi utilizat o scal de la 1 la 10 pentru evaluarea fiecrui serviciu).
Care este programul zilnic al copiilor? (Not: dup ce se primete rspunsul se poate continua
cu ntrebri cum ar fi: Cum ai aprecia prestaia educatorilor?, Cum apreciai comportamentul
personalului auxiliar?).
Cum colaborai cu personalul angajat al Centrului de Zi? (Not: se vor cere detalii i explicaii;
se poate continua seria ntrebrilor cu: Ai participat la edintele cu prinii? Ct de des? Dar la
serbri? Ce alte activiti implic participarea dumneavoastr?).
Ce credei c nu este bun n programul centrului de zi? Not: se vor cere detalii i explicai; se
poate continua cu ntrebarea Care sunt soluiile pe care le propunei pentru eventualele probleme?
Care ar fi elementele pozitive ale acestui program? De ce credei acest lucru? (Not: se va
insista pe explicarea motivelor pentru care acestea au fost menionate).
Dac ai mai avea un copil ntre 3 i 6 ani l-ai nscrie la Centrul de Zi?
Ce prere avei despre ntregul program? (Not: se va insista pe aspectele care nu au aprut mai
devreme n discuie).
Ce alte lucruri ar merita tiute despre program? (Not: se vor cere detalii i explicaii).
Focus grupul(FG)
FG este un interviu structurat aplicat asupra unui grup special constituit cu ocazia interviului. Se folosete
mult n domeniul marketingului, n care se urmrete aflarea opiniilor despre anumite produse sau servicii
i pentru a completa anumite cercetri sociologice (pentru triangulare). O variant este cea n care sunt
convocai experi (metoda Delphi), n care se urmrete ajungerea la o soluie sau la evaluarea unor
situaii.
Principalul scop al FG este surprinderea ct mai detaliat a atitudinilor, credinelor, sentimentelor,
experienelor i reaciilor respondenilor ntr-o manier mai puin specific celorlalte metode calitative de
cercetare fie c este vorba de observaie, interviu individual sau studiu de caz). Particularitatea FG este
interaciunea.
n comparaie cu interviul individual, care intenioneaz cunoaterea atitudinilor individuale, FG
agreg o multitudine de perspective i procese emoionale ntr-un context de grup.
Fa de observaie, FG poate furniza o cantitate mai mare de informaii ntr-o perioad mai scurt
de timp, economisind astfel resurse (timp, bani, personal). n timp ce n cadrul observaiei cercettorul
asteapt ca lucrurile sa se ntmple, n cadrul FG el conduce direcia investigaiei n sensul dorit,
prestabilit prin ghidul de FG. n acest sens, FG nu este un eveniment spontan, ci organizat.
FG poate fi utilizat n etapele preliminare sau exploratorii ale unei evaluri, n timpul acesteia,
pentru a valida opiniile obtinute n interviurile individuale, i informaiile provenite din studiul
documentelor sau ulterior implementrii unui program pentru a evalua impactul sau pentru a da noi
direcii de evaluare. FG poate fi utilizat ca metod de evaluare de preferin n combinaie cu alte metode
de cercetare pentru verificarea validitii evalurii.
Organizarea interviurilor FG necesit mai multe resurse i o mai bun planificare dect celelalte
tipuri de interviu. Selectarea participanilor, pregtirea i adunarea lor n locuri dotate cu toate
dispozitivele tehnice necesare ia de obicei mult timp.
Numrul recomandat de persoane participante la FG este de obicei ntre ase i zece (MacIntosh
1981 52 ), ns anumii cercettori utilizeaz pn la 15 persoane (Goss & Leinbach 199653 ), pe cnd alii se
52
MacIntosh J. (1981) Focus groups in distance nursing education, n Journal of Advanced Nursing 18: 1981-85.
Citat n Anita Gibbs (1997) Social Research Update, Issue 19, Univ. of Surrey,
http://www.soc.surrey.ac.uk/sru/SRU19.html
53
Goss J.D., Leinbach T.R. (1996) Focus groups as alternative research practic, Area 28 (2): 115-23. Citat n
Anita Gibbs (1997), Social Research Update, Issue 19, Univ. of Surrey,
http://www.soc.surrey.ac.uk/sru/SRU19.html
39
opresc la patru (Kitzinger 1995 54 ). Numrul grupurilor variaz deasemenea, mergndu-se de la cte o
ntlnire cu cele cteva grupuri formate, (Burgess 1996 55 ), la mai multe ntlniri cu un singur grup pan la
mai multe intlniri cu mai multe grupuri.
FG dureaz de obicei ntre o or si dou ore.
Sunt preferate locaiile neutre pentru a evita orice tip de dezirabilitate i asocierile cu influenele
pozitive i negative pe care le-ar putea genera un anumit context. Dealtfel, FG utilizate pentru evaluarea
unui program pot fi organizate ntr-o varietate de locuri: sli nchiriate, sli de edin (n care, eventual,
subiecii ca grup pre-determinat se intalnesc si cu alte ocazii, n timpul implementrii programului)etc.
Selecia participanilor pentru FG nu este nici ea un proces simplu. Dac un grup e prea eterogen,
sub aspectul genului sau al categoriei sociale sau ocupaionale, diferenele dintre participani pot avea un
impact considerabil asupra contribuiilor acestora n cadrul FG. Deasemenea, dac un grup e omogen din
perspectiva anumitor caracteristici, diverse opinii sau experiene ar putea fi omise. (Morgan 1988 56 ).
Odat ce profilul participanilor a fost stabilit, urmtoarea provocare e reprezentat de localizarea
lor. Recrutarea participanilor poate necesita timp, mai ales dac tema n discuie nu prezint beneficii
imediate sau nu este ntr-un alt fel atractiv pentru participani. Acesta nu este ns cazul n evaluarea de
programe, mai ales atunci cnd prin FG se testeaz satisfacia beneficiarilor fa de un anumit program,
sau in cazurile n care, programele sunt susinute de ctre anumii finanatori, iar actorii implicai i-au
asumat obligaia transparenei.
Odat ce ntlnirea a fost stabilit, rolul moderatorului devine esenial. El ofer informaii i
explicaii clare n legatur cu scopul ntlnirii, i ajut pe participani s se simt n largul lor i nlesnete
interaciunea dintre ei. n timpul ntlnirii moderatorul trebuie s anime dezbaterea prin ntrebri deschise,
prin provocarea participanilor la a-i exprima opiniile. Rolul moderatorului se refer i la concentrarea
continu a ateniei participanilor asupra subiectului. De asemenea, moderatorul trebuie s asigure fiecrui
participant ansa de a interveni i n acelai timp, moderatorii trebuie s evite manifestarea propriilor
opinii (Kreuger 1988 57 ), pentru a nu influena anumii participani.
Moderatorul trebuie s posede caliti deosebite de comunicare interpersonal, s fie un bun
asculttor neprejudiciat i adaptabil. Astfel va fi ncurajat un dialog deschis, interactiv, eficient.
Nivelul controlului impus de moderatori depinde de tipul proiectului, de tipul i scopul evalurii.
Dac sunt implicai doi sau mai muli moderatori trebuie s existe un acord prealabil n legtur cu aportul
fiecruia. E recomandabil ca unul dintre moderatori s supervizeze interaciunea grupului, iar celalalt s ia
notie n legtur cu aspecte ale discuiei care nu pot fi nregistrate, precum i cu opinii sau reacii care
trebuie clarificate ulterior.
n evaluarea de programe, metoda poate fi folosit n urmtoarele scopuri:
1. S nelegem de ce a aprut o anumit problem n mediul din care sunt selectai
participanii i n ce msur programul respectiv o acoper;
2. Pentru identificarea nevoilor recunoscute, dar i a celor latente i a satisfaciei fat de
modul n care programul rspunde la ateptrile lor;
3. Gsirea unor posibile soluii pentru eventualele probleme ale programului;
4. Pentru a afla posibilele reacii fa de anumite soluii propuse de diferiii actori implicai
in program;
5. Aflarea atitudinilor fa de anumite instituii sau programe sau a ncrederii n acestea.
54
Kitzinger J. (1995) Introducing focus groups, British Medical Journal 311: 299-302. Citat n Anita Gibbs (1997),
Social Research Update, Issue 19, Univ. of Surrey, http://www.soc.surrey.ac.uk/sru/SRU19.html
55
Burgess J. (1996) Focusing on fear, Area 28 (2): 130-36. Citat n Anita Gibbs (1997) Social Research Update,
Issue 19, Univ. of Surrey, http://www.soc.surrey.ac.uk/sru/SRU19.html
56
Morgan D.L. (1988) Focus groups as qualitative research. London: Sage. Citat n Anita Gibbs (1997), Social
Research Update, Issue 19, Univ. of Surrey, http://www.soc.surrey.ac.uk/sru/SRU19.html
57
Kreuger R.A. (1988) Focus groups: a practical guide for applied research. London: Sage. Citat n Anita Gibbs
(1997) - Social Research Update, Issue 19, Univ. of Surrey, http://www.soc.surrey.ac.uk/sru/SRU19.html
40
n evaluarea unui program, pot fi utilizate mai multe focus grupuri, rezultatele fiind ulterior
corelate. Este chiar recomandabil ca n momentul n care avem de a face cu grupuri eterogene pe care
vrem s le studiem, s construim mai multe focus grupuri. Este bine s evitm s reunim n acelai grup
efii i subordonaii, persoane cu mai mult educaie i persoane mai slab educate, etc. pentru c difer
modul n care se pun problemele, exist sentimente de team sau respect care pot mpiedica prezentarea
unor puncte de vedere. De asemenea, populaia studiat poate fi mprit i pe faete ale problemei
studiate. De exemplu, dac dorim s vorbim despre educaia contraceptiv n rndul tineretului ar fi bine
s vorbim separat cu bieii i fetele.
Metodele de colectare a informaiei cel mai des ntlnite n cazul evalurii programelor, precum i
tipul de informaii obinute pot fi descrise astfel: 58
Caseta 5. Metodele de colectare a informaiei
Surse de date
Descriere
Informaii obinute
Date deja existente aflate n arhivele Date cantitative care ne ajut s aflm
Arhive:
instituiilor publice sau private
care este starea actual de fapt; pot
- Recensmnt
aprea i indicaii ale unor anumite
- Indicatori
nevoi
statistici
- Baze de date ale
instituiilor
- Alte cercetri
Comunicare
non- Aceste tehnici utilizeaz forme sau Date calitative: valori, percepii, opinii,
protocoale structurate, o varietate de observaii, judeci de valoare
interactiv:
- Sondaje
de scale i de modaliti de rspuns
opinie
- Surse cheie
- Tehnica
incidentului critic
- Grup Delphi
Aceste tehnici presupun un numr mai Date n principal calitative: opinii,
Comunicare
mic sau mai mare de persoane judeci ca expert;
interactiv:
implicate n diferite grade de percepii i perspective de grup, valori
- Forumuri
interaciune
i importan a nevoilor;
ceteneti
Consens
asupra
scopurilor
sau
- Tehnica grupului
aciunilor;
nominal
Informaie asupra cauzelor;
- Focus grupuri
Decizii asupra prioritilor
n practic se folosesc cel mai des sondajele de opinie n rndul beneficiarilor, acestea fiind
percepute ca fiind mai profesionale i mai uor de administrat. Din pcate instrumentul folosit,
chestionarul, este lipsit de finee i rezultatele obinute nu sunt ntotdeauna cele mai bune. De asemenea,
este greu s surprinzi nevoile latente (care nu au fost contientizate nc) printr-un sondaj.
De aceea este preferabil ca n limita timpului, a banilor i a personalului pe care le avem la
dispoziie s ncercm s mbinm ct mai bine ct mai multe dintre metodele menionate mai sus.
Analiza documentelor
Analiza documentelor este sursa de informaii cel mai adesea exploatat de ctre evaluatori mai
ales din motive de economie de resurse: timp, bani, personal. n cadrul procesului de evaluare, analiza
documentelor se poate referi la analiza rapoartelor, evidentelor contabile i nu numai, a planurilor anuale,
58
Adaptare dup Belle Ruth Witkin, James W. Altschuld, (1995) Planning and Conducting Needs Assessments. A
Pratical Guide, Sage Publications, p. 48 n andor, Sorin Dan (2005) Analiz i cercetare, Cluj-Napoca, Accent,
p.54
41
a tuturor detaliilor legate de un anumit proiect sau program. Proveniena documentelor poate fi divers:
organizaia finanatoare, implementatoare, contractant sau subcontractant.
Marele avantaj este faptul c datele sunt deja adunate, nu mai este necesar organizarea unui
sondaj de opinie, sau a altor metode de colectare a datelor.
Una dintre problemele care apar n cazul utilizrii metode de analiz a documentelor este faptul c
ele nu conin ntotdeauna totalitatea informaiilor necesare legate de rezultatele unui proiect sau program.
Tocmai de aceea, n cadrul unui proces de evaluare, este necesar utilizarea mai multor metode de
colectare a datelor. Informaiile obinute din analiza de documente pot fi completate prin utilizarea
interviului, observaiei i chiar a chestionarului acolo unde este necesar.
Documentele unui program trebuie privite critic, din punctul de vedere al informaiei coninute. O
atenie deosebit trebuie acordat att cantitii informaiei, ct i calitii acesteia. Harry P. Hatry 59 ofer
o clasificare a principalelor probleme care pot aprea n procesul de analiz a documentelor i a metodelor
de ameliorare a acestora (Caseta 4).
Caseta 6. Clasificarea principalelor probleme care pot aprea n procesul de analiz a
documentelor i a metodelor de ameliorare a acestora
Problema
Modaliti de ameliorare
Date lips sau incomplete
Cercetarea documentaiei conexe
Intervievarea personalului implicat n program pentru
acoperirea a ct mai multe lipsuri.
Reevaluarea obiectivelor i inteniilor evalurii (eventuala
modificare sau anulare a unora dintre ele)
Excluderea datelor lips sau estimarea ct mai exact a
valorilor lips
Date disponibile ntr-o form Cercetarea nregistrrii datelor, dac acestea exist i sunt
extrem de agregat
disponibile
Realizarea unor colecii de date noi, originale
Renunarea la datele detaliate care nu sunt disponibile
Date care nu sunt comparabile
Realizarea , acolo unde este posibil, a operaiilor prin care
datele pot deveni comparabile
Concentrarea ateniei asupra procentelor i mai puin asupra
valorilor absolute.
Renunarea la aceste date, atunci cnd problema este
insurmontabil.
Dup colectarea tuturor informaiilor relevante se recurge la clasificarea acestora i stabilirea
categoriilor necesare pentru a oferi un rspuns ct mai clar i in acelai timp comprehensiv pentru
ntrebrile evalurii. De exemplu, una dintre aceste ntrebri se poate referi la satisfacia beneficiarilor fat
de un anumit program. Pentru nceput se adun toat informaia necesar, urmnd ca aceasta s fie
subdivizat n categorii, modele i teme care o fac mult mai accesibil, uor de neles i de utilizat.
Evaluatorul ncepe, de obicei prin lectura materialelor adunate (interviuri, studii de caz, observaii de pe
teren), i prin ataarea de note pe marginea acestora. 60
Metode complexe de cercetare
Studiul de caz
Studiul de caz este metoda utilizat cu predilecie de Robert Stake. Cazul poate fi orice sistem delimitat
care este interesant. O instituie, un program, o responsabilitate, o colecie sau o populaie poate
59
Joseph S. Wholey (Editor), Harry P. Hatry (Editor) i Kathryn E. Newcomer (Editor) (2005), Handbook of
Ibidem.
42
Stake, Robert E. The Case-Study Method in Social Iquiry n Educational researcher (pp 5-8 ), citat n William R.
Shadish Jr., Thomas D. Cook, Laura C. Leviton (1995), Fundamentele evalurii peogramelor: Teorii ale practicii,
SAGE Publications, Inc., p. 286
62
Ibidem, p.287
63
Shadish, William R. Jr., Thomas D. Cook, Laura C. Leviton (1995), Fundamentele evalurii peogramelor: Teorii
ale practicii, SAGE Publications, Inc., p. 320
64
andor, Sorin Dan (2005) Analiz i cercetare, Cluj-Napoca, Accent, p.54
65
Shadish, William R. Jr., Thomas D. Cook, Laura C. Leviton (1995), Fundamentele evalurii peogramelor: Teorii
ale practicii, SAGE Publications, Inc., p. 321
66
Terminologie preluat din Sorin Dan andor (2005), Analiz i cercetare, Accent, p.55
67
Michael Q Patton (1987), How to Use Qualitative Methods in Evaluation, SAGE Publications. Inc., p. 149
43
Fie c trebuie evaluat un program avnd ca obiect nfiinarea unui centru de zi, fie c evalum un
proiect prin care s-a nfiinat un muzeu, sau unul privind ordinea i curenia public, metodele calitative
de cercetare sunt extrem de utile.
Specificul programelor publice, prin specificitatea lor i prin impactul social pe care l au, impun
utilizarea metodei complexe a studiului de caz, care implic utilizarea interviului i a analizei
documentelor.
Primul pas este adunarea a ct mai multe informaii despre program. Acest lucru poate fi realizat
pornind de la o fi a proiectului n care apar principalele categorii de informaii necesare n procesul de
evaluare.
Fia proiectului trebuie s conin elemente privind contextul programului: un scurt istoric al
programului (detalii despre origine, iniiator), sumarul activitilor i al metodelor de furnizare/asigurare a
serviciului, informaii despre programe similare organizate/realizate de ctre alte instituii/organizaii,
precum i detalii privind unicitatea programului. Un alt element al fiei programului este structura
organizaional (organigrama, distribuia responsabilitilor), documentele programului, din care
trebuie extrase informaii referitoare la: scopul i obiectivele programului, strategiile pentru atingerea
scopurilor i obiectivelor programului cu planurile de implementare, rezultate pe termen scurt, mediu i
lung, lista indicatorilor de performan, rezultatele monitorizrilor anterioare, etc. Din fia programului,
nu trebuie s lipseasc descrierea activitilor programului unde vor fi incluse elemente referitoare la
denumirea i catalogarea tuturor activitilor aferente proiectului, locaia activitilor, calendarul iniial al
activitilor i eventualele modificri i stadiul actual de desfurare a activitilor. Se vor meniona toate
informaiile disponibile legate de actorii implicai, de resursele angajate, de rezultatele ateptate i de
cele efectiv realizate, precum i de colaboratori, evaluatori interni i externi, metode de marketing i
publicitate (acolo unde este cazul). Orice fi de evaluare este indicat s cuprind un capitol de observaii
i notificri suplimentare.
Fia proiectului trebuie completat prin interviuri repetate cu prile implicate. Iniiatorii
programului pot furniza informaiile referitoare la contextul programului. Detaliile organizatorice vor fi
furnizate de cei care implementeaz programul. Ei vor fi i cei care pot da informaii n legtur cu
documentele programului, i chiar pot pune aceste documente la ndemna evaluatorului. Documentele
unui program se pot referi la: cererea de nfiinare a programului i/sau aplicaia pentru finanare,
contractele care s-au semnat pentru acordarea finanrilor, pentru contractarea i subcontractarea unor
activiti, instrumentele metodologice utilizate n vederea implementrii, rapoartele i planurile anuale de
activiti, bugetul i execuia bugetului precum i alte evaluri realizate anterior.
Dup analiza tuturor acestor informaii, avem deja o imagine de ansamblu asupra programului i
suntem pregtii s trecem la construcia unor instrumente pentru obinerea unor informaii mai detaliate,
sau pentru verificarea anumitor date, dac este nevoie. Aici este vorba, de obicei, de realizarea unor
ghiduri de interviu prin care se va testa gradul de ndeplinire a sarcinilor, gradul de satisfacie a
beneficiarilor unui program, ncrederea cetenilor ntr-un anumit program sau n echipa care l
implementeaz.
Fia de evaluare a unui program poate fi completat n timpul procesului de colectare a
datelor, sau poate fi utilizat doar n momentul organizrii informaiilor i a clasificrii acestora. De
asemenea, categoriile pe care le propune nu sunt fixe. n funcie de specificitatea programului investigat,
de tipul i de scopul evalurii, aceste categorii de informaii pot fi modificate, detaliate sau anulate.
Metodele de cercetare din arsenalul paradigmei calitative sunt frecvent utilizate pentru
completarea informatiilor cerute n fia de proiect. Spre exemplu, pentru descrierea contextului unui
program sau proiect pot fi utilizate, preferabil complementar, urmtoarele metode de cercetare: interviul,
observaia, analiza calitativ a documentelor; pentru analiza structurii organizationale utilizm de regul
analiza calitativ a documentelor i interviul individual; pentru analiza documentelor programului putem
apela la analiza calitativ a documentelor, iar pentru descrierea activitilor unui program cele mai
complete informaii ne pot fi aduse de ctre utilizarea n paralel a interviului individual (cu coordonatorul
proiectului), a focus-grupului (n care pot participa reprezentani ai tuturor prilor mplicate n program),
a analizei calitative a documentelor proiectului(cerere de finanare, plan metodologic, plan strategic i
operaional) i a observaiei participative. Metodele calitative sunt de un real folos i n studiul actorilor
implicai, a resurselor angajate, a rezultatelor ateptate i a celor efectiv realizate.
44
Prin urmare, metodele calitative de cercetare sunt arhiprezente in arsenalul evalurii de programe.
n cazul proiectelor de mari dimensiuni, informaiile aduse de acestea sunt completate prin date obinute
n urma aplicrii metodelor cantitative de cercetare.
45
Evaluarea nevoilor- analiza nevoilor care stau la baza programului i care justific existena sa.
Analiza SWOT- analiza punctelor tari, a celor slabe, a oportunitilor i a riscurilor sau ameninrilor
presupuse de implementarea unui program sau proiect.
46
METODE DE EVALUARE
a. evaluarea procesului
b. evaluarea rezultatelor
c. evaluarea nevoilor
d. analiza SWOT
e. analiza cost-beneficiu (ACB)
f. analiza cost eficien
Pentru realizarea fiecrui tip de evaluare, pot fi utilizate una sau mai multe metode de evaluare.
Spre exemplu, pentru evaluarea ex-ante poate fi utilizat una sau mai multe din urmtoarele metode:
Evaluarea nevoilor, analiza SWOT, ACB.
Figura 3. Metode de evaluare compatibile cu evaluarea ex-ante
Evaluarea
ex-ante
Evaluarea nevoilor
SWOT
ACB
47
Prin evaluarea nevoilor vom putea determina relevana proiectului. Desigur, nu este vorba doar de nevoile
beneficiarilor, ci de nevoile tuturor celor implicai n proiect. Vom identifica i ierarhiza nevoile grupului
int, ale implementatorilor, ale finanatorilor i ale societii n general. Dup o corect ierarhizare a
acestor nevoi n funcie de obiectivele proiectului, vom putea aduce mbuntiri designului proiectului.
Prin analiza SWOT pot fi identificate punctele tari, cele slabe, oportunitile i ameninrile semnificative
pentru programul sau proiectul evaluat. Analiza SWOT se refer n principal la contextul proiectului.
Analiza cost-beneficiu se refer la dimensiunea financiar a proiectului. Rspunde la ntrebri precum:
Care sunt costurile i care sunt beneficiile preconizate ale proiectului? Aceasta n cazul unei evaluri exante. n cazul unei evaluri interim sau ex-post putem vorbi despre costurile i beneficiile realizate pn
ntr-un anumit moment al programului, respectiv pn la finalul implementrii.
Figura 4. Metode de evaluare compatibile cu evaluarea ex-ante
Evaluarea
formativ
Evaluarea
nevoilor
SWOT
ACB
Evaluarea
proceselor
Evaluarea
rezultatelor
intermediare
Evaluarea procesului (sau a implementrii), care se concentreaz asupra modului n care programul a
fost implementat i asupra proceselor i procedurilor prin intermediul crora acesta funcioneaz;
Evaluarea rezultatelor are n vedere analiza raportului obiective-rezultate. Aici vor fi analizate att
rezultatele intenionate, ct i rezultatele neintenionate ale programului.
Benchmarking-ul reprezint o metod de evaluare care are la baz principiul comparaiei ntre cazuri
similare, comparabile. Dup selecia cazurior care urmeaz a fi comparate se stabilesc criteriile de
comparaie. Ulterior se colecteaz datele i se analizeaz rezultatele. De obicei, benchmarkingul este o
metod de evaluare prin care se stabilesc modelele de bun practic dintr-un anumit domeniu de activitate.
Metodele, ca i tipurile de evaluare, se selecteaz n funcie de prioritile strategice i de cele ale prilor
implicate, de caracteristicile programului, de stadiul de implementare al programului, de datele
disponibile, de stadiul evalurii i de msura n care programul poate fi evaluat. Figura 5 este ilustrativ n
acest sens. Aici pot fi sesizate principalele prghii care i exercit influena n procesul de selecie a
metodelor de evaluare.
48
Prioriti strategice
Prioritile
prilor
implicate
Caracteristicile
programului
Stadiul
programului
ntrebrile
evalurii
Stadiul
evalurii
Tipul evalurii
Evaluabilitate
Datele disponibile
Selectarea metodelor
de evaluare
Alegerea metodelor i
tehnicilor de colectare
i analiz a datelor
Sursa: Tavistock Institute et al, The Evaluation of Socio-Economic Development: The GUIDE, 2003
Caracteristicile unui program se refer n primul rnd la domeniul de implementare, natura obiectivelor,
natura i dimensiunile grupului int, calendarul implementrii i la dimensiunile finanrii.
Prioritile strategice sunt direciile de dezvoltare pe termen lung din domeniul specific
proiectului stabilite prin legi sau prin regulamente.
Prioritile prilor implicate se refer la ierarhia nevoilor actorilor care sunt implicai ntr-un
proiect: finanatori, implementatori (contractani i subcontractani), beneficiari (direci i
indireci), etc.
Stadiul programului sau stadiul de implementare al programului se refer la momentul din viaa
unui program n care este declanat procesul de evaluare: stadiul de design, nceputul
programului, pe parcursul implementrii, la finalul acesteia sau la un anumit interval de la
ncheierea implementrii.
n funcie de stadiul evalurii se va opta pentru anumite metode de evaluare. Nu trebuie s uitm
faptul c n cadrul unei evaluri pot fi utilizate concomitent sau n diferite etape, mai multe
metode de evaluare.
68
Tavistock Institute et all, The Evaluation of Socio-Economic Development: The GUIDE, 2003, p.104
49
50
rezultatele la costurile implicate de proiect. Modelul cost-eficien, are ca interogaie de baz gradul n
care productivitatea este la un nivel satisfctor. Criteriul de evaluare este comparaia dintre rezultate
obinute i cheltuielile implicate. Modelul cost-eficacitate este preocupat de msura n care proiectul sau
programul a fost construit i implementat eficace, iar criteriul de performan pune fa n fa efectele
proiectului cu resursele implicate. Modelul cost-beneficiu are ca preocupare principal msura n care
utilitatea proiectului este mulumitoare, iar criteriul de evaluare este utilitatea raportat la costuri.
Modelele centrate pe actorii implicai (modelul orientat pe beneficiar, modelul orientat pe
participani, modelul orientat pe opinia experilor) au la baz criterii de evaluare propuse de participanii
la proiect, fie c este vorba de iniiatori, implementatori, contractori, subcontractori sau de beneficiari.
Modelul orientat pe beneficiar are ca ntrebare de baz nivelul de satisface al beneficiarului, iar criteriile
de evaluare sunt formulate de beneficiari. Modelul orientat pe participant i propune s afle dac
participanii la proiect sunt mulumii, i tot participanii sunt cei care stabilesc criteriile de evaluare.
Modelul orientat pe opinia experilor i propune s investigheze msura n care calitatea profesional a
proiectului este satisfctoare. Criteriile de evaluare sunt stabilite n cazul acestui model de ctre experii
ntr-un anumit domeniu.
Modelele centrate pe teorie evalueaz validitatea teoriei programului care st la baza unei
anumite intervenii. n literatura de specialitate exist cteva variante pentru modelele care intr n aceast
categorie: fie teoria programului este reconstruit i comparat cu analiza empiric a programelor
(Birkmayer si Weiss, 2003), fie observaia empiric este utilizat pentru analiza relaiilor dintre context,
mecanisme i rezultat, dup cum este sugerat n abordarea sintezei realiste (Pawson, 2002). Modelele
centrate pe teorie sunt considerate a fi o extensie a modelelor orientate spre rezultate (Hansen, 2005). ns,
modelele clasice orientate spre rezultate au n vedere obiectivele i efectele concrete ale interveniilor, iar
scopul evalurii este analiza rezultatelor acestora, n timp ce, n cazul modelelor centrate pe teorie
accentul se pune pe cutia neagr deschis prin teoria programului care relev mecanisme care ridic
ntrebri asupra unui conglomerat de activiti i intervenii.
ntrebrile specifice acestui model sunt : Ce funcioneaz i n ce context? Exist erori detectabile n
teoria programului? Pentru evaluare, teoria programului este reconstituit si evaluata pe baza analizelor
empirice-criteriul de evaluare cel mai sigur in acest caz.
Exist un numr din ce n ce mai mare de modele propuse n literatura de specialitate. Din perspectiva
actualului proiect de cercetare, pe lng modelele propuse mai sus, rein atenia i urmtoarele modele de
evaluare, att prin actualitatea lor, ct i prin posibilitatea de a fi aplicate n administraia public
romneasc.
Modelul CIPP (Stufflebeam, 2002)-context, input, proces, produs (rezultat)- transpune evaluarea
bazat pe rezultate ntr-o evaluare a eficacitii i sustenabilitii, facilitnd n acelai timp metaevaluarea
i sinteza. ntrebrii de la care pornete acest tip de evaluare, Este programul un succes? i sunt
subsumate ntrebri care verific impactul, eficacitatea i sustenabilitatea: A fost atins grupul int?,
Au fost acoperite nevoile grupului int?, Beneficiile obinute n urma proiectului sunt sustenabile?
Procesul prin care au fost obinute aceste beneficii este adaptabil pentru alte contexte? etc. Criteriile de
evaluare sunt derivate din scopul i obiectivele programului.
Modelul constructivist (Egon Guba & Yvonna Lincoln, 2001) are la baza trei abordri fundamentale:
ontologic, epistemologic i metodologic:
Abordarea ontologic a constructivismului este relativismul, potivit caruia, efortul uman de
organizare a experienei ntr-o form inteligibil este un construct, independent de orice realitate
fundamental. Relativismul pornete de la premisa c nu exist un adevr obiectiv. Aceasta nu
nseamn c orice aciune este validat, dup cum reiese din criteriile epistemologice i
metodologice;
Abordarea epistemologic a constructivismului este subiectivismul tranzacional, conform cruia
realitatea i adevrul depind de nivelul informrii i al sofisticrii informaiilor deinute de
indivizii aflai n poziii de decizie;
Abordarea metodologic a constructivismului este hermeneutica-dialectic, potrivit creia,
opiniile actorilor implicai ntr-un proiect sunt ntr-o prim etap teoretice, iar apoi primesc sens
practic prin confruntarea cu realitatea empiric.
Potrivit acestui model, intrebarile de baza sunt: Cine este clientul pentru aceast evaluare?, Cine sunt
ceilali actori implicai?, Care este perspectiva fiecruia?, Care sunt ateptrile lor?, Care este
51
69
M. Scriven, (2003), Evaluation in the new millennium: The transdisciplinary vision. In S. I. Donaldson & M.
Scriven (Eds.), Evaluating social programs and problems: Visions for the millennium (pp. 19-42). Wahwah, NJ:
Lawrence Erlbaum Associates
70
M. Scriven, (1993), Hard-won lessons in program evaluation. New Directions for Program Evaluation, 58. San
Francisco, CA: Jossey-Bass
71
Idem, p.9
72
D. L.Stufflebeam, (2001), Evaluation models. New Directions for Evaluation, 89. San Francisco, CA: JosseyBass, pp.59-60
73
52
Cu ajutorul acestui model poate fi reprezentat orice evaluare. Evaluarea unui program n domeniul
sntii public ar putea fi reprezentat, innd cont de cele trei dimensiuni.
Figura 7. Reprezentarea spaial a evalurii unui program de sntate public, conform Modelului
Transdisciplinar
74
SCRIVEN, M., 1991, The evaluation thesaurus (4th ed.). Thousand Oaks, CA: Sage, p 13
53
(i) Planul orizontal reprezentnd baza cubului se refer la dimensiunea aplicativ a evalurii. Aceasta este
urmat n sens ascendant de planurile corespunztoare (ii) dezvoltrii instrumentelor, (iii) metodelor, (iv)
teoriei i (v) metateoriei care corespunde podului din casa evalurii. Desigur aceste trepte nu trebuie
privite restrictiv, ci pot fi nuanate n funcie de scopul cercetrii.
Banca Mondial (BM) utilizeaz la scar larg n special modelele economice de evaluare, fapt
explicat de profilul organizaiei. ns, scopul principal al BM este combaterea srciei, de aceea evalurile
centrate pe rezultate i cele orientate pe proces sunt frecvent utilizate. n acest sens, tendina imprimat de
Michael Q. Patton care are n centru metodele calitative de cercetare are o rezonan aparte. Cu un ntreg
departament pus n slujba evalurii, Banca Mondial realizeaz astfel de studii pentru fiecare dintre
proiectele pe care le finaneaz. Experii BM realizeaz evalurile dup metodologii clar specificate. Pe
site-ul BM apar actualmente 134 documente care pot fi accesate i care conin elemente ale modelelor de
evaluare. Pe site sunt fcute publice metodologia utilizat, colecii de date i sursele acestora i, selectiv,
anumite studii de evaluare organizate dup modelul de evaluare utilizat i dup ara n care au fost
realizate. Atrag atenia numeroase studii de evaluare, datorit diversitii metodelor aplicate, a proiectelor
investigate. Sunt prezentate o serie de manuale care explic metodologia i procesele presupuse de un
studiu de evaluare. Printre cele mai recente este i cea a lui Judy Baker: Evaluating the Impact of
Development Projects on Poverty: A Handbook for Practitioners, Directions in Development, World
Bank, Washington, D.C aparut n anul 2000. n Sourcebook for Poverty Reduction Strategies, World
Bank, Washington D.C., apare n acelai an Monitoring and Evaluation, scris de Prennushi, G., G.
Rubio, si K. Subbarao. Trebuie menionat i impresionanta serie de articole semnate de experi ai BM
printre care James J. Heckman, Jeffrey A. Smith, Nancy Clements, Christopher Taber Grossman, Jean
Baldwin Karen Fulbright-Anderson, Anne C. Kubisch si James P. Connell alturi de numeroi alii.
Nota distinctiv const n faptul c totalitatea studiilor sunt realizate pe proiecte finanate de BM, centrate
pe combaterea srciei. Prin urmare, un accent mai mare este pus pe aspectul economic al evalurii. Dar,
din perspectiva modelelor de evaluare, tocmai acest profil socio-economic al proiectelor BM avantajeaz
utilizarea n complementaritate a trei tipuri de modele : economice (care subliniaz inputul financiar), cele
centrate pe rezultate i a modelului calitativ. Este firesc, avnd n vedere misiunea asumata de BM :
reducerea srciei. Nu exist o deosebire major ntre instrumentele propuse de BM i cele realizate de
54
comunitatea academic. Totui, aria extins de aciune din punct de vedere geografic i cultural i pune
amprenta pe metodologia utilizat de BM.
Recent, Comisia UE a propus o lista orientativ de indicatori care ar trebui urmrii n evaluarea
programelor. Printre acetia se regasesc: coeziunea social (integrarea social, dimensiunile srciei sau
ale srciei extreme, riscul srciei i al excluziunii sociale, coeziunea social, geografic, omajul de
lung durat, accesibilitatea serviciilor de interes general), calitatea angajrii (sigurana profesional,
drepturile muncitorilor, organizarea pieei muncii, echilibrul ntre viaa personal i cea profesional,
oportunitile de angajare i integrare prin angajare, etc.) protecia social i serviciile sociale (nivelul
proteciei, accesibilitate, etc.) interesele consumatorului, educaie, capital social, viaa comunitar,
drepturile fundamentale ale omului, etc. Deasemenea, pe site-ul Comisiei se regsete i un manual de
implementare a studiilor evaluare (www.evalsed.info). Acesta explic pas cu pas procedurile care trebuie
utilizate pentru evaluarea proiectelor derulate din Fondurile Structurale. Totui, el trebuie particularizat
pentru fiecare ar n parte, i nu este oportun a fi aplicat ca atare. Modelele de evaluare promovate de
Comisia Uniunii Europene sunt modele mixte, situate la intersecia ntre modelele economice (care
subliniaz inputul financiar), cele centrate pe rezultate si modelele calitative.
Organizaiile non-profit, mai ales cele care ofer granturi sunt de regul interesate n evaluarea centrat pe
rezultate i pe proces. Principalii finanatori i-au dezvoltat propriul arsenal de instrumente i modele
pentru evaluare. Astfel, Fundaia Ford, USAID, Rockefeler etc. au publicat pe paginile web propriile
instrumente de evaluare a programelor, nsoite de numeroase studii de caz. Unul dintre scopurile acestora
este desigur afirmarea legitimitii aciunilor pe care le ntreprind. De remarcat ns c evalurile respect
metodologia propus de cercetarea academic i utilizat de organizaiile internaionale. Desigur,
modelele de evaluare i metodele i tehnicile de cercetare utilizate n tiinele sociale nu trebuie
reinventate. Aplicarea lor este ns dirijat de interesele celor care le finaneaz i de profilul cultural al
cercettorilor care au conceput instrumentul i care realizeaz efectiv studiul .
n privina modelelor de evaluare a programelor, literatura romneasc n domeniu este relativ srac.
Exist studii referitoare la modele de evaluare, dar cel mai adesea este vorba de evaluri tehnice,
economice sau specifice altor domenii (construcii, protecia mediului, software, etc.) i nu de evaluri ale
unor programe, cu att mai puin ale unor programme finanate sau co-finanate din bani publici: modele
de evaluare ale riscului de ar, modele de evaluare a siguranei structurilor construciilor, modele de
evaluare a dispersiei poluanilor n atmosfer, modele de evaluare a costului testrii software, etc.
Totui, n materie de evaluare, n Romnia, ncepnd cu anul 2002 apar primele referiri la studii de
evaluare. Acestea sunt fie contribuiile cercettorilor sau colaboratorilor Institutului de Cercetare a
Calitii Vieii (ICCV), fie ale unor cercettori din sfera academic, sau practicieni din domeniul profit i
non-profit. Chiar dac este vorba de cri, de anumite capitole din cri, de articole, de lucrri prezentate
cu ocazia unor conferine sau de rapoarte de cercetare realizate pentru teri, majoritatea contribuiilor
romneti abordeaz doar adiacent problematica modelelor de evaluare. Astfel, n 2002, S. Ilie scrie
Formal and informal incomes of the Romanian Households ntr-un volum coordonat de Rainer Neef i
M. Stnculescu: The Impact of Informal Economies n Eastern Europe, Ed. Ashgate U.K. n acelai
volum apare studiul Households economic strategies between state, market and the informal economies
al M. Stanculescu. Ambele lucrri ofer informaii pentru evaluarea impactului social al unor programe,
ns nu abordeaz probleme specifice modelelor de evaluare i nici a metodologiei evalurii. n 2003,
avndu-l printre co-autori pe M. Stnculescu , apare la Editura Institutul European, n ediie bilingv,
Impactul pre-aderrii. Politici de coeziune i dezvoltarea regional economc i social a Romniei/PreAccesion Impact Studies. EU Cohesion Policy and Romania's Regional Economic and Social
Development. Din nou, contribuia romneasc este limitat la furnizarea anumitor date, i realizarea unor
analize care au doar o legatur indirect cu evaluarea. n Quality of life in Romania si in Politica Sociala.
Studii 1990-2004, aprute n 2004 la editura Expert, Ioan Marginean identific anumii indicatori sociali
utili ntr-o evaluare, fr a face referire la mixtura de modele de evaluare utilizate.
Actualmente, n Romnia, nu exist publicaii sau cercetri care abordeaz direct problema modelelor care
pot fi utilizate pentru evaluarea programelor, cu att mai puin pentru evaluarea unor programe sau
proiecte finanate parial sau integral din bani publici.
55
Tendina pe plan internaional este de a utiliza concomitent mai multe modele de evaluare 75 atent alese i
adaptate. Studiile i rapoartele de evaluare trebuie s rspund din ce n ce mai mult att unor ntrebri
privind procesul, ct i unor ntrebri privind rezultatele; intereseaz n acelai timp efectele economice i
cele de impact social. Mai ales n cazul proiectelor finanate din bani publici, tendina este de a utiliza
modelele de evaluare care se concentreaz pe rezultate ct i modele de evaluare care au la baz
perspectiva beneficiarilor direci ai proiectelor (cetenii). Pentru aceasta, este necesar utilizarea unor
modele de evaluare orientate att pe rezultate ct i pe actorii implicai n program. Acestea sunt modele
complexe, obinute prin selecia, analiza i sinteza unor modele simple de evaluare.
75
56
57
Impact social efectele unui program exercitate asupra indivizilor, grupurilor, comunitilor i societii
n general; putem avea n vedere efectele nete ale u nui program sau efectele pe termen lung ale acestuia;
de regul, impactul social apare prezentat mpreun cu impactul asupra mediului i cu impactul economic.
Efecte nete efectele directe ale unui program independent de efectele exercitate de ali factori
contextuali.
Design experimental- utilizarea unui grup experimental (supus interveniei) selectat aleatoriu. Impactul
proiectului este calculat prin compararea valorilor anumitori indicatori estimate nainte i dup intervenie.
Design quasi-experimental comparaiile privind efectele unui program sunt fcute ntre dou grupuri.
De aceast dat, doar grupul experimental este selectat dintre participanii la program, cel de control fiind
selectat din indivizi care nu sunt inclui n program, ns au caracteristici similare grupului de control.
Constituirea grupurilor experimental i de control din indivizi cu trsturi similare, ntre care diferena
major este participarea, respectiv neparticiparea n program denot o selecie ne-aleatorie a subiecilor
inclui n cele dou grupuri.
58
Peter Rossi, Howard Freeman , Mark Lypsey, (1999) Evaluation, A Systematic Approach, 6th ed., SAGE
Publication, p.261
59
programe neuniforme, au un scop nealeatoriu i neuniform al interveniei n care grupul inta este
investigat anterior, consecutiv i ulterior interveniei. Pentru colectarea datelor se recurge la masurtori
repetate ale expunerii la intervenie i ale rezultatelor. n cazul seriilor temporale: mai multe masurtori
repetate, scopul interveniei este nealeatoriu i uniform, avem serii mari de date agregate, comparate
nainte i dup intervenie. n vederea colectrii datelor, avem mai multe masurtori repetate nainte i
dup intervenie.
1. CERCETAREA ACADEMIC
Cercetarea academic are un aport rezonant la stadiul actual al cunoaterii EIS prin cercettori
precum Christopher Barrow, Frank Vanclay, Hank Becker, Rabel J. Burdge, Allan Dale, Nicholas
Taylor, Marcus Lane, Bryan Hobson i Colin G. Goodrich, alturi de muli alii. Acetia promoveaz
studiul impactului social la nivel teoretic i practic prin publicaii de specialitate, prin Asociatia
International a Evaluarii Impactului( IAIA-International Association for Impact Assessment), iar n
cadrul acesteia prin numeroase activiti precum organizarea de cursuri, seminarii, conferine, liste de
discutii, prin editarea unor publicaii de specialitate i prin actualizarea permanent a paginii web de
profil: www.iaia.org .O trsatur distinct a contributiilor recente este accentul pus pe aplicabilitatea
practic a informaiilor propuse. De aceea, o bun parte a publicaiilor nou aprute se concentreaz pe
definiii, justificare i propun metodologii care, urmate pas cu pas, duc la realizarea studiilor de evaluare a
impactului social.Un recent exemplu n acest sens este cartea lui Christopher Barrow Social Impact
Assessment: An Introduction (Evaluarea Impactului Social: O Introducere(tr.n.), publicat n 2004, la
Oxford University Press. Barrow prezint EIS ca fiind orientate cu predilecie spre obiective practice i
avnd cel puin unul dintre urmatoarele scopuri: s ofere informaii despre schimbrile normelor,
credinelor, percepiilor, valorilor i efectele lor, s anticipeze posibilele impacturi ale interveniilor sau
schimbrilor de orice tip, fie ele negative sau pozitive, s sugereze dezvoltarile alternative care trebuie
evitate. Pe scurt, trebuie s reduc sau s contracareze problemele i sa maximizeze beneficiile. 77
Un alt exemplu, este contribuia lui Rabel J. Burdge, A Community Guide to Social Impact
Assessment, Editia a 3-a, 2004. Ghidul este un instrument pentru practicienii de la toate nivelele cercettori n stiintele sociale, angajai ai ageniilor statale, lideri comunitari, voluntari - pentru realizarea
evaluarilor impactului social. Publicaia se adreseaz chiar i celor fr o pregtire consistent n
domeniul tiintelor sociale. Burge organizeaz informaia astfel: n prima parte a lucrrii ofer informaii
de fond, o scurt istorie a studiilor de impact social, un model conceptual i metode de colectare a datelor
pentru msurarea variabilelor EIS. A doua parte se refer la cinci categorii de variabile EIS - schimbrile
la nivel de populaie, organizarea comunitar i instituional, comunitai n tranziie, impactul asupra
individului i a familiei, i nevoile comunitaii vis--vis de infrastructur. n ultima parte, Rabel J. Burge
ofer un ghid de lucru n care face un rezumat al variabilelor EIS i a modalitatilor n care datele obinute
pot fi utilizate n procesul de mbunataire a respectivelor programe/proiecte. 78 Tot n 2004, Rabel Burdge
public The Concepts, Process and Methods of Social Impact Assessment, care vine n completarea
ghidului descris mai sus. Aceast carte urmrete dezvoltarea conceptului EIS, descrie procesele i
metodele EIS, prezint studii de caz recent realizate, descrie legatura dintre EIS i participarea public, i
spre final, prezint EIS n context internaional.
Aici se nscrie i Frank Vanclay care mpreun cu ali autori din IAIA public n 2003
International Principles for Social Impact Assessment. Azi, obiectivele Studiilor de Impact Social sunt de
a asigura ca dezvoltarile sau interveniile planificate care au loc, maximizeaz beneficiile i minimizeaz
costurile respectivelor dezvoltari, n special costurile suportate de comunitate. 79 El se refer n mod
deosebit la externaliti, costuri care, de regul, nu sunt apreciate adecvat. Cei care iau deciziile,
autoritaile i cei care promoveaz dezvoltarea nu le iau n calcul, parial pentru ca sunt greu cuantificabile
i identificabile 80 .
C. Nicholas Taylor, C. Hobson Bryan i Colin G. Goodrich public n 2004 Social Assessment: Theory,
Process and Techniques. Noutatea pe care o aduc cei trei autori const n abordarea EIS la nivel strategic
77
Barrow, C. J.(2003) Social Impact Assessment: An Introduction. Arnold Press, London , p.3
Burge, Rabel J. 2004. A Community Guide to Social Impact Assessment: 3rd Edition (Social Ecology Press, PO
Box 620863, Middleton WI 53562
79
Vanclay, Frank (2003) - The International Handbook of Social Impact Assessment: Conceptual and
Methodological Advances, Edward Elgar Publishing, p.1
80
Ibidem, pp.10-25
78
60
Aplicarea impactului social la nivel strategic are loc n cadrul procesului de dezvoltare i implementare a
programelor i politicilor. Autorii, practicieni cu experien n EIS, susin numeroase cursuri i seminarii
de specializare pentru organizaii naionale i internaionale, publice, private i non-profit. i de aceasta
data avem de a face cu un ghid care explic etapele realizrii EIS 81 .
Chiar dac provin dintr-o varietate de surse, direcii si experiene, lucrrile aparute au urmtoarea
structur tipic:
1.Aprecieri istorice
2.Definiii ale evalurii impactului social i consideraii terminologice
3.Descrierea tehnicilor i metodelor existente
4.Dezvoltarea unor noi instrumente
5.Descrierea procesului de aplicare a instrumentului
6.Identificarea metodelor de a integra EIS n activitaile de planificare i luare a deciziei.
Desigur, fiecare dintre autori accentueaz cu predilectie anumite aspecte. Semnificativ este faptul
c, n ciuda acestor diferente de coninut, similaritatea definiiilor, instrumentelor i a pailor metodologici
propui este surprinztor de mare. Consistena denot un acord in privina nevoilor i metodelor, ns i un
fenomen de repetitivitate i generalizare care impune o nevoie accentuat de a contextualiza metodologia
n funcie de coordonate precum: locaia geografic, evolutia istoric, tipul de cultur, etc. Repetitivitatea
se explic n parte prin faptul c acest instrument de evaluare a fost utilizat, preponderent, de ctre entitai
aparinnd statelor dezvoltate, cu un anumit tip de cultur, cu o tradiie democratic ndelungat, cu o
structura organizaional i instituional stabil i clar definit. Trile n curs de dezvoltare, aflate n
tranziie spre un regim democratic, cu o dinamic accentuat a organizarii instituionale, din care face
parte i Romnia, sau cele mai puin dezvoltate, care au un regim totalitar, i o organizare rudimentara a
instituiilor i organizaiilor, nu au beneficiat dect precar de propria infrastructura de cercetare n
domeniul analizei impactului social. Singurele cercetari de aceast natur au fost realizate aici de ctre
instituii sau organizaii internaionale, iar interesul national nu a fost ntotdeauna apreciat. Vanclay
admite faptul c exist o diferen semnificativ ntre evaluarea impactului social n medii diferite din
perspective gradului de dezvoltare. De asemenea Vanclay afirm c pentru trile mai puin dezvoltate
exist puin metodologie pentru studiile de impact. 82 Astfel se explic, cel putin parial, respectiva
repetitivitate a literaturii n domeniu pe plan internaional i, n acelai timp, precaritatea literaturii
romnesti de profil.
2. ORGANIZAII INTERNATIONALE
Banca Mondial utilizeaz la scar larg EIS. Cu un ntreg departament pus n slujba evaluarii
impactului social, Banca Mondial (BM) realizeaz astfel de studii pentru fiecare dintre proiectele pe care
le finanteaz. Expertii BM analizeaz impactul social dup metodologii clar specificate. Pe site-ul BM 83
apar actualmente 134 documente care pot fi accesate i care contin elemente de calcul al impactului
social. Pe site sunt fcute publice metodologia utilizat, colectii de date i sursele acestora i, selective,
anumite studii de impact organizate dup tipul de impact i dup tara n care au fost realizate. Atrag
atenia numeroase studii de impact social, datorit diversitatii metodelor aplicate, a proiectelor investigate.
Sunt prezentate o serie de manuale care explic metodologia i procesele presupuse de un studio de
impact. Printre cele mai recente este i cea a lui Judy Baker: Evaluating the Impact of Development
Projects on Poverty: A Handbook for Practitioners, Directions in Development, World Bank, Washington,
D.C aparut n anul 2000. n Sourcebook for Poverty Reduction Strategies, World Bank, Washington
D.C., apare n acelasi an Monitoring and Evaluation. realizat de Prennushi, G., G. Rubio, i K.
Subbarao . Trebuie menionat i impresionant serie de articole semnate de experi ai BM printre care
James J. Heckman, Jeffrey A. Smith, Nancy Clements, Christopher Taber Grossman, Jean Baldwin Karen
Fulbright-Anderson, Anne C. Kubisch si James P. Connell alturi de numeroi alii.
Nota distinctiv const n faptul c totalitatea studiilor sunt realizate pe proiecte finanate de BM centrate
pe combaterea srciei. Prin urmare un accent mai mare este pus pe aspectul economic al impactului
social. Este firesc, avnd n vedere c misiunea asumat de BM este reducerea srciei. Nu exist o
81
C. Taylor, Bryan Nicholas, C. Hobson i Colin G. Goodrich (2004) Social Assessment: Theory, Process and
Techniques, SAGE
82
Vanclay, Frank (2003) - The International Handbook of Social Impact Assessment: Conceptual and
Methodological Advances, Edward Elgar Publishing, p.10
83
www.worldbank.org
61
deosebire major ntre instrumentele propuse de BM i cele realizate de comunitatea academic. Aria
extins de actiune din punct de vedere geo-politic i cultural i pune amprenta pe metodologia utilizat de
BM.
Recent, Comisia UE a propus o list orientativ de indicatori care ar trebui urmrii n analizele de impact.
Printre acestia se regsesc:coeziunea social (integrarea social, dimensiunile srciei sau ale srciei
extreme,riscul srciei i al excluziunii sociale, coeziunea social geografic, somajul de lung durat,
accesibilitatea serviciilor de interes general), calitatea angajrii (sigurana profesional, drepturile
muncitorilor, organizarea pieei muncii, echilibrul ntre viaa personal i cea profesional, oportunitaile
de angajare i integrare prin angajare, etc.) protecia social i serviciile sociale(nivelul protecteciei,
accesibilitate,etc) interesele consumatorului, educaie,capital social, viaa comunitar, drepturile
fundamentale ale omului, etc. De asemenea, pe site-ul Comisiei se regseste i un manual de
implementare a studiilor de impact 84 . Acesta explic pas cu pas procedura care trebuie utilizat pentru un
studiu de impact n cadrul UE. Totui el trebuie particularizat pentru fiecare tar n parte, i nu este
oportun a fi aplicat ca atare.
3.ORGANIZAIILE NON-PROFIT
Organizaiile non-profit, mai ales cele care ofer granturi sunt de regul interesate n EIS. Principalii
finanatori i-au dezvoltat propriul arsenal de instrumente pentru EIS. Astfel, Fundaia Ford, USAID,
Rockefeler etc. au publicat pe paginile web propriile instrumente de evaluare a impactului social, nsoite
de numeroase studii de caz. Unul dintre scopurile acestora este desigur afirmarea legitimitaii aciunilor pe
care le ntreprind. De remarcat ns, c studiile de impact respect metodologia propus de cercetarea
academic i utilizat i de organizaiile internaionale. Desigur, metodele i tehnicile de cercetare n
tiinele sociale nu trebuie reinventate. Aplicarea lor este ns dirijat de interesele celor care le finanteaz
i de profilul cultural al cercettorilor au conceput instrumentul i care realizeaz efectiv studiul .
n International Handbook for Social Impact Assessment Vanclay i colaboratorii si sesizeaz acest
neajuns i ncearc sa creeze un instrument aplicabil pretutindeni. Aceasta ns este o misiune practic
imposibil, fiind condamnat s rmn la un grad de generalitate i abstractizare prea ridicat 85 .
Actualmente, nu exist o metodologie a studiilor de impact social adaptat specificului societii
romneti.
Tendine
Tendina pe plan internaional este de a asocia EIS cu dezvoltarea durabil. Vanclay leag evaluarea
impactului social cu problematica dezvoltrii durabile. n acest sens, definete EIS ca filosofia despre
dezvoltare i democraie (care vizeaz) patologiile dezvoltrii(e.g. impacturile duntoare), scopurile
dezvoltrii( ca diminuarea srciei), i procesele dezvoltrii( e.g. participarea, crearea de capacitate) 86 .
Studiile Bncii Mondiale confirm aceast tendint. n contextul dezvoltrii durabile, impactul social este
corelat cu impactul economic i cu cel asupra mediului. Cele trei tipuri de impact sunt considerate a
constitui evaluarea integrat a impactului, a crei natur variaz n funcie de tipul interveniei, scopul
acesteia i raportul cost-eficien a ntregului pachet de studii de impact.
Diferena dintre EIS i alte tipuri de evaluare i analiz
EIS este metoda de msurare a consecinelor sociale ale diverselor proiecte, aciuni i politici.
Dac n opinia lui Howard i Rossi analiza de impact presupune cuantificarea efectelor nete ale unei
aciuni, evaluarea impactului social nu este altceva dect estimarea efectelor nete ale aciunilor,
proiectelor, politicilor i alternativelor acestora asupra calitii vieii oamenilor 87 . Scopul i logica EIS se
suprapun n linii mari cu elementele analizei impactului asupra mediului nconjurtor: determinarea
condiiilor sociale n diverse domenii sau n cadrul unor populaii care pot fi afectate de respectivele
84
www.evalsed.info
Vanclay, Frank (2003) - The International Handbook of Social Impact Assessment: Conceptual and
Methodological Advances, Edward Elgar Publishing, p.388
86
Ibidem, p.389
87
Rossi, Peter, Freeman, Howard, Lypsey, Mark, (1999) Evaluation, A Systematic Approach, 6th ed., SAGE
Publication, p.261
85
62
proiecte sau programe. Un alt scop este anticiparea unor efecte sociale viitoare ale prezentului status quo
i estimarea efectelor sociale rezultate la nivel local, regional i national, precum i descrierea
alternativelor ce pot fi luate n calcul.
ntrebrile de baz la care trebuie s rspund o EIS sunt:
1. Cine va fi afectat?
2. Ce se va ntmpla cu indivizii afectai?
3. Care sunt schimbrile sociale implicate de fiecare alternativ propus?
4. Cum vor afecta schimbrile respective dinamica structurii sociale?
Diferena ntre evaluarea impactului social i evaluarea impactului economic
Impactul social e adesea n mod eronat confundat cu impactul economic. Dei au anumite puncte
comune, cele dou tipuri de analiz nu se suprapun. Desigur, economia este considerat a fi o disciplin
socio-uman, iar analiza economic are un instrumentar uneori comun cu tiintele socio-umane. Aceasta
nu presupune ns limitarea sferei impactului social la impactul economic. Analiza impactului economic
se refer cu precdere la msura n care investiiile de capital i alte resurse sunt transformate n beneficii
prezente i viitoare pentru societate. Un exemplu ar fi analiza msurii n care beneficiile economice ale
unui proiect sau ale unei politici depesc costurile. Evaluarea impactului economic mai face referire la
furnizarea de resurse, la preuri, locuri de munc, cerere i ofert, etc. Cele dou tipuri de analiz difer
substanial n privina perspectivei de abordare a obiectului cercetrii, a ntrebrilor fundamentale i a
metodelor de investigaie. Prin urmare, aceleai date pot fi analizate i interpretate diferit din punct de
vedere economic i din punctul de vedere al impactului social. Spre exemplu, n timp ce impactul
economic al unui proiect de nfiinare a unei prtii de schi nseamn o cretere a locurilor de munc, a
comertului local i a impozitelor datorate la stat, aceleai date, supuse analizei impactului social vor indica
schimbri la nivelul comunitii, datorate schimbrii tipului de angajare a indivizilor (multe locuri de
munc sunt sezoniere), scad ansele ca un individ s gseasc un loc de munca permanent i apare efectul
subocuprii forei de munc.
63
Independen calitatea evaluatorului de a nu aparine unui grup de interese care ar putea influena
maniera n care realizeaz evaluarea i prezint rezultatele sale.
Utilitate - msura n care recomandrile fcute n urma procesului de evaluare pot fundamenta decizii
care duc la mbuntirea managementului programului
Prezentare accesibil - condiie sine qua non a utilizrii unei evaluri. n funcie de utilizatorii evalurii,
trebuie ales un anumit tip de limbaj, asfel nct recomandrile s poat fi aplicate.
64
65
respectivei evaluri. n funcie de utilizatorii evalurii, trebuie ales un anumit tip de limbaj, iar prezentarea
datelor trebuie s in cont de cunotinele metodologice ale utilizatorilor respectivului studiu.
66
Impact social efectele proiectelor sau programelor asupra indivizilor, asupra grupurilor de oameni,
asupra comunitilor i asupra ntregii societi.
Beneficiari ai programului (proiectului) persoanele sau grupurile afectate direct sau indirect de un
program sau proiect.
Variabilele unui studiu de impact social - schimbrile msurabile n populaiile umane, la nivelul
comunitiilor i al relaiilor sociale ca urmare a implementrii unui proiect, program, politic public.
67
68
acestia. Exist multiple metode prin care aceast interaciune este realizabil, prin care se pot studia
caracteristicile grupurilor, comunitilor, societilor. De la observaia participativ (in care analistul
trieste n comunitate pentru a afla cum functioneaz aceasta) pna la interviuri de grup, individuale i
sondaje de opinie. Alegerea metodelor se va face n funcie de timpul i resursele financiare disponibile, n
funcie de tipul comunitaii i n funcie de opinia experilor vis-a-vis de problemele sociale i nevoile
respectivei comuniti.Chiar dac fiecare proiect este diferit i fiecare EIS este unic, n majoritatea
cazurilor sunt recunoscui anumii pai standard ai analizei pentru ca aceasta sa-i ating scopul.
Majoritatea surselor propun ntr-o form sau alta urmatorii unsprezece pai:
1. Identificarea nevoilor i a problemelor sociale
2. Identificarea participanilor i beneficiarilor
3. Dezvoltarea unui plan de participare public astfel nct toate prile afectate s fie
implicate
Nivelul participrii publice necesare variaz n funcie de natura proiectului. ntr-un proiect
complex poate fi necesar stabilirea caracterului necesar al comunitii, definirea grupurilor
potenial afectate i cunoaterea nivelului lor de implicare. n cazul unui proiect mai simplu o
consultare a liderilor i experilor locali poate fi suficient pentru obinerea datelor necesare
estimrii impactului unui proiect.
4. Identificarea i descrierea alternativelor de aciune
Alternativele sunt concepute pe baza scopului i a nevoii de aciune. Analistul EIS trebuie s
determine alternativele i s adune datele necesare pentru fiecare dintre acestea. Urmatoarele
informaii de baza sunt necesare de regul pentru identificarea fiecrei alternative:
Locaia
Legile i regulamentele sub incidena crora cade proiectul
Nevoile de infrastructur
Orarul de implementare
Dimensiunile forei de munc necesare
Dimensiunea i natura facilitilor (dac este cazul)
Nevoia de fort de munca local
Resurse instituionale
5. Definirea condiiilor iniiale
Ulterior stabilirii metodelor de interaciune cu grupurile afectate i obinerii datelor de baz pentru
fiecare alternativ, analistul urmeaz s defineasc condiiile existente n fiecare dintre domeniile
potenial afectate. ntr-un cuvnt este necesar analiza contextului social. Analistul va cuta
raspunsul la urmatoarele ntrebri:
Ce grupuri de indivizi vor fi afectate? Sunt acestea concentrate sau dispersate?
Cum se raporteaza fiecare grup la mediul su de viaa?
Care este contextul istoric al fiecarui grup?
Care sunt resursele politice i sociale, structura de putere i retelele intra-grupale n cazul
fiecrui grup n parte?
Sunt implicate grupuri defavorizate sau cu venit redus? Au acestea anumite nevoi
speciale?
Ce tip de valori culturale i ce atitudini caracterizeaz fiecare grup? Care este opinia lor
vis-a-vis de instituiile politice i sociale? Cum se raporteaz la mediu? Dar la schimbare?
Care sunt caracteristicile demografice i economice relevante? Exist probleme vis-a-vis
de angajarea forei de munc? Sunt suficiente locuine? Exist acces la utiliti? Educaie?
Transport? Exist modele stabile de imigrare i emigrare?
Acestea sunt informaiile minime necesare. Ele pot fi adunate din documentele publice, din
cercetrile anterioare publicate, prin consultarea experilor i a comunitaii. Pentru un proiect
mai complex sunt necesare cercetri suplimentare.
6. Definirea ariei proiectului i a EIS
69
Ca orice alt studiu scopul EIS trebuie delimitat clar. Aceast operatiune asigur concentrarea pe
problemele reale de investigat i alegerea metodelor potrivite care urmeaz a fi utilizate. Aceasta
definire a ariei trebuie realizat prin consultaii cu grupurile afectate. n definirea ariei EIS trebuie
urmrite:
Probabilitatea ca un anumit eveniment s se ntmple
Numrul de oameni potenial afectai
Durata impacturilor poteniale
Valoarea beneficiilor i costurilor pentru grupurile afectate
Potenialul de reversibilitate i contracarare a efectelor nedorite
Posibilitatea apariiei unor efecte secundare
Relevana EIS n procesul de luare a deciziilor
Incertitudinile legate de efectele probabile
Controversele existente
7. Tipuri de impact probabil
n funcie de aria EIS, analiza ncepe prin anticiparea efectelor probabile ale aciunilor, pornind de
la datele cunoscute legate de alternativele viabile i de la caracteristicile grupurilor i ale locaiilor.
Tipic, analiza implic studiul datelor provenite din cercetri anterioare, realizate pe grupuri similare n
contexte comparabile, date din recensmnt, alte statistici, documente i surse secundare, cercetri de
teren (observaii, interviuri, sondaje, etc.).
Exist cteva metode de a anticipa impactul. Alegerea uneia sau a alteia depinde de aria de
desfsurare a proiectului (domeniul i complexitate), de locaie i de existena unor date disponibile.
Metodele de anticipare sau de proiecie ale impactului includ:
Metode comparative prin care proiectul se compar cu alte proiecte similare
Extrapolarea (straight-line trend projection) prin care se ia un trend existent i se proiecteaz n
viitor.
Multiplicatorul populaiei se utilizeaz pentru aciuni care implic creteri sau descreteri ale
anumitor populaii; fiecare unitate de schimbare ntr-o anumit populaie implic schimbri ale
altor variabile, cum ar fi: locuine, utilizarea resurselor naturale, etc.
Scenarii: generarea unor modele logice sau bazate pe date i aplicarea lor n contextul dat.
Sfatul experilor: investigarea opiniei experilor n legatur cu posibile scenarii sau schimbri.
Calcularea riscurilor anticipabile: de ex. soarta unei afaceri deinute de un grup minoritar dac
proiectul sau o anumit activitate nu se realizeaz.
Modelarea computerizat: util cu oricare dintre abordrile anterioare.
8. Anticiparea reaciei la impact
Pornind de la datele cunoscute despre grupurile potenial afectate i de la tipurile de impact pe care le
anticipm este momentul s aflm care sunt potenialele reacii. Spre ex. un grup poate fi sau poate sa
nu fie extrem de influenat de liderii si care pot avea o atitudine pozitiv sau negativ fa de proiect.
Exist posibilitatea ca o populaie s se adapteze la o anumit locaie sau s se mute. Un grup poate sa
i pstreze stilul de via sau poate s l schimbe.
9. Aprecierea impactului indirect i cumulativ al proiectului
Acesta nu este vzut ca un pas n procesul analitic ci mai degrab ca un aspect al mai multor pai. De
cele mai multe ori impactul social nu este direct. Acesta poate devenii evident la mult timp dup ce
implementarea proiectului i a aciunilor presupuse de acesta este finalizat. De asemenea este posibil
ca impactul sa fie resimtit n domenii i locaii fr legatur direct cu proiectul.
10. Recomandarea unor noi alternative ca necesare i fezabile
70
Odat cu identificarea unui impact negativ semnificativ trebuie propuse alternative care ar putea
ameliora problemele. Printr-o colaborare strns cu coordonatorii proiectului i cu grupurile implicate
trebuie vzut dac aceste alternative pot fi puse n practic. nainte de aceasta, trebuie ns analizat
impactul social al acestor alternative.
11. Dezvoltarea unui plan de contracarare a efectelor nedorite
Efectele sociale nedorite pot fi contracarate cu ajutorul cooordonatorilor de proiect i prin implicare
grupurilor afectate. n acelai timp trebuie dezvoltate programe de monitorizare care s asigure
punerea n practic a planurilor de contracarare a efectelor nedorite.
Obinerea i utilizarea informaiei care duce n ultim instan la nelegerea impactului interveniei
necesit un design metodologic care se pliaz pe tipul de impact investigat. Aceasta presupune n
primul rnd formularea atent a ntrebrilor de identificare a proiectului a crui impact urmeaz a fi
cercetat. Ulterior, e necesar definirea problemelor cheie, specificarea semnificatiei diferitelor tipuri
de impact i identificarea cazurilor n care impactul social nu poate fi msurat. Aceste operaii sunt
urmate de: identificarea metodelor i tehnicilor de colectare a datelor, obinerea datelor necesare,
analiza preliminar a acestora i integrarea rezultatelor studiului de impact n intervenie.
ntrebrile de identificare ale proiectului se refer la un scurt istoric al proiectului (originea
proiectului, sumarul activitilor i al metodelor de implementare, informaii despre eventuale
programe similare), la descrierea structurii organizaionale (organigrama instituiilor implicate i rolul
exact al fiecrui departament), documente de planificare (scopurile, obiectivele programului, inclusiv
nevoile percepute care stau la baza programului, strategiile concepute pentru atingerea scopurilor i
obiectivelor cu planurile de implementare dac acestea exist, rezultatele pe termen scurt i lung
propuse de program, prezentarea rapoartelor de monitorizare i evaluare a performanei dac acestea
exist), descrierea activitilor i programelor, actorii implicai, resursele, procesul de diseminare i
multiplicare a rezultatelor. Studiile de impact social urmresc, de regul, o serie de factori care
acioneaz asupra indivizilor sau grupurilor. Spre exemplu, se urmrete 88 :
1. Impactul financiar al proiectului asupra comunitaii; analiza financiar ar trebui s ia n
calcul beneficiile pe care diferite grupuri de actori implicai le au i semnificaia acestor
beneficii asupra nivelului lor de trai. Astfel, de la caz la caz, se vor estima:
a. salariile ctigate n urma proiectului (direct din proiect sau ca o consecin
direct a acestuia)
b. ctigurile realizate din vnzri ale unor bunuri realizate ca urmare a proiectului
c. venituri comunitare colective provenite din taxe (nchirieri, arende)
d. profituri realizate n urma proiectului (publice sau private)
2. Impactul asupra nivelului de trai al grupurilor participante:
a. tangibil (e.g. venituri) i intangibil (e.g. prerogative)
b. direct (e.g. servicii noi) i indirect (e.g. impactul asupra unor alte activitai)
c. pozitiv i negativ
d. intenionat i neintenionat
3. Impactul asupra nivelului de trai al grupurilor neimplicate
a. efecte multiplicatoare ale veniturilor participanilor
b. implicarea crescut a autoritailor
c. acces crescut la infrastructur etc.
Studiile de impact au o serie de componente care se refer la meninerea nivelului de trai i a
stilului de via:
1. Raionalizarea resurselor naturale: dac n cadrul proiectului se utilizeaz resurse naturale, se
urmreste gradul n care acestea sunt utilizate raional.
2. Capital uman: ctigurile bneti obinute n urma proiectului sunt investite n capital uman
(educaie, sanatate) sau n alte active (fizice sau financiare)?
3. Activele se epuizeaz n cadrul proiectului?
88
Ibidem, pp.263-265
71
4. Care este raportul dintre impactul acestui proiect asupra activelor i impactul unor proiecte
alternative?
5. Cum contribuie proiectul direct la mbuntirea nivelului de trai (e.g. ctiguri financiare, hran,
siguran, influen etc.)
Studiile de impact presupun de asemenea evaluarea semnificaiei/ importanei diferitelor tipuri de impact.
De aceea este necesar abordarea unor probleme precum:
1. Realizarea unor analize cost-beneficiu i cost-eficien
2. Realizarea unor scale de impact cu referire la input-urile investite (bani, timp, munc).
3. Contribuia relativ a impactului la meninerea nivelului de trai i a siguranei indivizilor (n
comparaie cu alte opiuni).
4. Valoarea pe care diferii oameni o atribuie impactului.
Integrarea studiului de impact in intervenii/ derularea proiectelor:
Nu toate elementele la care ne-am referit sunt absolut necesare ntr-un studiu de impact (n mod
normal) mai restrns, mai specific. Ideal studiul de impact va implica cercettorii/ specialitii direct
afectai de proiect.
Cnd msurm si cnd nu msurm impactul social
Impactul social nu este ntotdeauna msurabil. Membrii unei comuniti nu consider necesar ca toate
motivele pro i contra unui proiect s fie reduse la valori numerice sau monetare, pentru c pot lua decizii
identificnd valoarea relativ i nu cea absolut a proiectelor. Totui, pentru a populariza date legate de
nivelul de trai, pentru a face comparaii cu alte intervenii i pentru a identifica implicaii pe care
proiectele le au asupra politicilor publice este necesar o cuantificare a datelor. Aceasta nu ns cnd
msurarea este att de arbitrar i artificial nct rezultatele produc mai multe ntrebri dect rspunsuri.
Identificarea variabilelor unui studiu de impact social
Variabilele unui studiu de impact social vizeaz schimbrile msurabile n populaiile umane, la
nivelul comunitiilor i al relaiilor sociale ca urmare a implementrii unui proiect, program, politic
public. Construirea unui sistem coerent i consistent de indicatori reprezint condiia de baz pentru
realizarea unei evaluri i pentru realizarea unui studiu de impact. Totui, numrul indicatorilor utilizai n
evaluare nu trebuie s fie foarte mare. O cantitate prea mare de informaie poate duce la pierderea
esenialului. Cercetri care abordeaza probleme ale schimbarii la nivel de comunitate, industrializarea
rural, dezvoltare infrastructurii, dezvoltarea resurselor naturale i schimarea social n general, propun
urmatoarele variabile 89 pentru identificarea impactului social al unor proiecte sau programe:
1. Caracteristicile populaiei
2. Structurile instituionale
3. Resursele politice i sociale
4. Schimbrile la nivel individual i familial
5. Resursele comunitii
Caracteristicile populaiei reprezint structura demografic actual i schimbrile anticipate,
diversitatea etnic i rasial, migraia cetenilor cu reziden temporar, precum i situaia rezidenilor
sezonieri i dac este cazul, a turitilor.
Structurile instituionale se refer la mrimea, structura i nivelul de organizare a administraiei
locale i a legturilor acesteia cu sistemul politic. Ele se refer, de asemenea la modelele de angajare
prezente i trecute, la divestitatea industrial, la dimensiunea i nivelul de activitate al organizaiilor nonguvernamentale, religioase, a gupurilor de interes i a modurilor n care acestea cominic i se
intercondiioneaz.
Resursele sociale i politice se refera la distribuia puterii, a prerogativelor la nivel de comunitate i
regiune.
Schimbrile la nivel individual i familial se refer la factori care influeneaz viaa cotidian a
indivizilor i a familiilor: atitudini, percepii, valori, caracteristici ale familiei i ale grupurilor de prieteni.
Aceste schimbri difer de la o atitudine conservatoare la atitudini non-conservatoare de diverse tipuri.
Aceste variabile stau la baza construciei indicatorilor, alegerii metodelor i a construciei instrumentelor
de colectare a datelor necesare analizelor de impact.
Metodele de colectare a datelor pentru un studiu de impact se refer n principal la:
89
*** - Guidelines and Priciples for Social Impact Assessment, World Bank, Mai 1994
72
73
74
Indicatorii utilizai n evluarea programelor n general i n studiile de impact social n special sunt
percepui ca un suport pentru monitorizarea nivelului de trai i a schimbrii sociale. Este din ce n ce mai
dificil de fcut distincia ntre schimbrile imprimate de anumite intervenii sociale (programe) i cele
cauzate de tendinele socio-economice. n lipsa indicatorilor este imposibil de cuantificat efectul unui
program asupra grupului int, iar n lipsa unui sistem de indicatori riguros conceput este imposibil
calcularea efectelor nete ale unei intervenii asupra grupurilor, comuniii i a societii.
Indicatorii sunt elemente care msoar aspecte considerate eseniale pentru desfurarea unui
program. De regul, ei au legtur direct cu obiectivele programului, cu modul de desfurare a
activitilor, cu calendarul, resursele,cu grupul int i cu celelealte elemente ale unui program. Un
indicator este o informaie identificabil i uor de neles. Cteva exemple de indicatori: numrul
beneficiarilor mulumii de un anumit program, numrul locurilor de munc create, numrul de locuinte
date n folosin, etc.
Un sistem de indicatori se construiete pornind de la identificarea informaiilor necesare pentru stabilirea
nivelului de performan al unui program.
E preferabil ca un indicator s fie msurat n mod sistematic. Colectarea datelor ar trebui fcut de
ctre entiti independente, neimplicate direct n intervenie. Datele provin din numeroase surse, cum ar fi:
documentele proiectului/programului (care stau la baza cererii de finanare, teoria programului, etc.),
input-uri, calenarul de desfurare al programului, surse secundare (statistici oficiale, rapoarte, cercetri),
surse primare (observaii, anchete sociologice, interviuri) etc.
Comisia European 90 propune o clasificare complex a indicatorilor. Dintre criteriile propuse in aceast
clasificare, cele mai relevante sunt:
1. Dup informaiile vizate:
a. Indicatori de context
b. Indicatori ai programului
Indicatorii de context sunt cei care se refer la elementele care pot influena rezultatele programului, ns
nu fac parte din acesta. Spre exemplu, ntr-un program de reinserie profesional, care are ca scop
angajarea omerilor n urma unui training professional, un indicator de context este creterea economic.
Un alt indicator de context ar putea fi cererea de pe piaa muncii din zona n care se implementeaz
programul. Att o cretere economic general, ct i modificri majore n evoluia cererii de pe piaa
muncii (e.g. creterea cererii de for de munc prin deschiderea unui supermarket n zon) pot influena
numrul de omeri care vor fi angajai. ns, angajarea acestora poate s nu se datoreze att programului
din care fac parte, ct modificrilor din context. Indicatorii de context pot avea astfel o influen major
asupra rezultatelor programelor i proiectelor. Acestea pot fi alterate masiv sub influene externe
programului. De aceea evoluia contextului trebuie, pe ct posibil, analizat, monitorizat i anticipat.
Indicatorii programului sunt cei care ofer informaii despre un anumit program sau proiect, afecteaz
rezultatele acestuia i reprezint elemente intrinseci ale programului. Dac ne referim la programul de
reinserie profesional dat ca exemplu mai sus, printre indicatorii programului se pot numra: numrul
omerilor cuprini n grupul int, gradul de participare a acestora la cursurile oferite, nivelul satisfaciei
lor fa de treining-ul urmat etc. Acestea sunt informaii clare, care pot fi colectate n mod sistematic, pe
tot parcursul desfurrii programului i care stau la baza sistemului de monitorizare i evaluare.
2. Un alt sistem de clasificare a indicatorilor ine cont de etapele specifice din desfurarea
programului. Astfel avem:
a. Indicatori de resurse
b. Indicatori de output
c. Indicatori de rezultat
90
European Commission, 1995, Common Guidelines for Monitoring and Evaluation, Luxembourg: OPOCE
75
d. Indicatori de impact
Indicatorii de resurse sunt cei prin care se msoar resursele disponibile, gradul de consum al resurselor,
n orice moment al programului. Acest tip de indicatori se refer la toate tipurile de resurse: umane,
organizaionale, materiale, de timp, etc. Rolul acestora este de a furniza informaii legate de resursele
disponibile. n cadrul monitorizrii indicatorii de resurse arat n fiecare moment din viaa proiectului
gradul de epuizare a resurselor, iar n cadrul procesului de evaluare, indicatorii de resurse arat n ce
msur s-a consumat bugetul, dac acesta a fost depit, care au fost resursele necesare pentru anumite
activiti, etc. Exemple de indicatori de resurse: bugetul total al proiectului, numrul persoanelor implicate
n implementarea proiectului, numrul instituiilor i organizaiilor implicate, proporia finanrii din
fonduri publice, autofinanrii, finanrii din fonduri europene, rata absorbiei resurselor, etc.
Indicatorii de output exprim produsele directe ale activitilor unui program. Mai exact, output-ul se
refer la tot ceea ce a fost obinut prin consumarea resurselor. Exemple de indicatori de output: numrul
de kilometri de strad construit sau reabilitat, numrul de omeri care au beneficiat de training
profesional finanat printr-un anumit program.
Indicatorii de rezultat se refer la beneficiile imediate care sunt resimite ca urmare a proiectului de ctre
beneficiarii direci sau indireci. Spre exemplu: timpul economisit de ctre utilizatorii unei autostrzi nouconstruite, abilitile dobndite de participanii la un curs de recalificare, etc. Rezultatele pot fi
cuantificate n momentul n care serviciile sunt furnizate de ctre beneficiari.
Indicatorii de impact reprezint consecinele ulterioare ale programului pe termen mediu i lung. Spre
exemplu, traficul de pe o autostrad la un an dup ce a fost construit, procentul omerilor angajai la un
an dup absolvirea cursului de recalificare.
3. n funcie de principalele criterii de evaluare, indicatorii se mpart n:
a. Indicatori de eficien
b. Indicatori de eficacitate
c. Indicatori de performan
d. Indicatori de relevan
e. Indicatori de sustenabilitate
f. Indicatori de impact net
Indicatorii de eficien se refer la msura n care rezultatele proiectului au fost atinse cu minimum de
resurse. Spre exemplu, suma investit pentru construcia unui kilometru de autostrad ar putea fi un
indicator de eficien, ca dealtfel i suma cheltuit de un angajator pentru perfecionarea unui angajat.
Indicatorii de eficacitate sunt cei prin care se exprim msura n care prin rezultatele unui proiect au fost
ndeplinite obiectivele. Un exemplu ar fi notele obinute la un test de aptitudini profesionale de ctre
omerii cuprini ntr-un program de reconversie profesional, note care exprim msura n care omerii au
dobndit noi aptitudini (obiectiv al programului).
Indicatorii de relevan se construiesc pornind de la evaluarea nevoilor pe care proiectul intenioneaz s
le acopere.Un exemplu de indicator de relevan este timpul necesar pentru a parcurge o anumit distan
dup construcia unei autostrzi.
Indicatorii de sustenabilitate se refer la msura n care programul sau proiectul supravieuiete dup
ncheierea finanrii prin care a fost nfiinat. Spre exemplu, perioada de timp, de dup ncheierea
finanrii, n care serviciile continu s fie livrate.
Indicatorii de impact net cuantific efectele nete ale proiectului asupra grupului int. Un exemplu
relevant este numrul omerilor care au fost angajai ca efect direct al unui program de reinserie
profesional. Este foarte greu de cuantificat impactul net al unui proiect, pentru c, uneori, este dificil
dac nu imposibil de msurat n ce msur rezultatele proiectului sunt afectate de elemente ale contextului
socio-economic. n ce msur o cretere economic general este responsabil pentru angajarea unor
omeri cuprini n acelai timp intr-un program de reinserie profesional? n ce msur s-au angajat ei
datorit programului? Uneori este greu de spus. Alteori este ns posibil, cu ajutorul interviului sau a altor
metode de cercetare specifice tiinelor socio-umane.
Indicatorii de performan se refer la toi indicatorii menionai mai sus care sunt construii pe baza
criteriilor de evaluare i nu numai.
76
Indicatorii sociali
Termenul de indicatori sociali cumuleaz mai multe sensuri. El se refer n acelai timp la date
statistice din sfera socio-demografic 91 , la indici compui din mai multe variabile 92 privind diverse
aspecte ale interveniilor sociale, dar i la modelele care explic obinerea anumitor efecte sociale pornind
de la anumite resurse.
Ca domeniu de cercetare modern, indicatorii sociali au aprut n Statele Unite ale Americii n
anii 1960. Mai exact originea acestor indicatori a fost identificat n cadrul ageniei spaiale americane,
NASA, care ncerca s detecteze, s cuantifice i s anticipeze efectele programelor spaiale asupra
societii americane. Acest proiect a sc os la iveal lipsa nu numai a datelor necesare ci i a conceptelor i
a metodologiei adecvate. Se presupune c Raymond Bauer, directorul proiectului, care a inventat
conceptul de indicatori sociali. n opinia sa, indicatorii sociali sunt statistici, serii statistice, i toate
celelalte dovezi care fac posibil evaluarea situaiei prezente i anticiparea situaiei viitoare privind
scopurile i valorile umane 93 . Printre predecesorii cercetrii moderne n domeniul indicatorilor sociali se
numr W.F. Ogburn 94 i Jan Drenowski 95 .
Heinz-Herbert Noll identific patru etape principale ale dezvoltrii indicatorilor sociali.
Prima etap ncepe la mijlocul anilor 1960 i dureaz pn n anii 1970. Trstura principal a acestei
perioade este contientizarea necesitii indicatorilor sociali, dezvoltarea programelor, realizarea unor
cercetri i studii sociale semnificative.
Cea de-a doua etap coincide cu anii 70 i const n popularizarea masiv a indicatorilor sociali la nivel
internaional. Consecina imediat a fost un val semnificativ de publicaii, acceptarea indicatorilor sociali
ca domeniu al cercetrii n tiinele sociale i stabilirea unor sisteme de raportare i monitorizare n
numeroase ri. La fel de important este i crearea infrastructurii metodologice de generare a datelor cum
ar fi: barometrele de cercetare a calittii vieii, a nivelului de trai, a opiniei publice, etc.
A treia etap debuteaz la finalul anilor 70 i continu pn la jumtatea anilor 80. Este o etap n care
interesul pentru indicatorii sociali stagneaz sau chiar descrete. Aceasta se observ prin scderea
numrului de publicaii n domeniu, prin ntreruperea proiectelor ncepute i nu datorit lipsei fondurilor
(caz valabil doar n Statele Unite) ci a scderii interesului 96 n domeniu. Au aprut i unele explicaii ale
acestui trend: criza economic de la nceputul anilor 1980 care a redirecionat atenia spre problemele
economice, schimbrile aprute n climatul politic i n programele de politici sociale, tranziia dinspre
liberalism spre ideologia conservatoire, rutinizarea ideilor, a standardelor metodologice i a ariilor de
cercetare n tiinele socio-umane, etc.
Cea de-a patra etap care a nceput n anii 1980 i contiu pn n prezent reprezint o revitalizare a
practicii i a cercetrii n domeniul indicatorilor sociali. Un nou val de cercetri i publicaii la nivel
global, noi instrumente metodologice, noi paradigme, noi instituii pentru managementul bazelor de date,
91
Mary Bunch, 1995, Social Indicators: Annotations from the Literature, Working Paper F-02, Exploring Canadian
Values: Foundations for Well-Being, Canadian Policy Research Networks Inc., Ottawa
92
Clifford Cobb, Ted Halstead and Jonathan Rowe 1995 If the GDP is up, why is America down?, The Atlantic
Monthly, October.
93
Bauer, R.A. (Ed.)., 1966, Social Indicators, Cambridge, Mass., London: The M.I.T. Press, p. 1
autor al cunoscutului raport "Recent Social Trends in the United States" care a fost publicat n 1933 de ctre
preedintele Comitetului pentru Tendine Sociale, John Hoovers.
95
mpreun cu o comisie de experi ai ONU a ncercat s mbunteasc metodologia de cuantificare a nivelului de
trai prin identificarea unor indicatori sociali.
96
OECD este un exemplu n acest sens.
94
77
pentru monitorizarea indicatorilor sociali la nivel local, regional, naional i internaional, organizarea din
ce n ce mai extensiv a activitii guvernamentale pe baz de programe i proiecte, etc.
Scopul general al indicatorilor sociali const n oferirea unor informaii plauzibile, msurabile i
verificabile despre situaia prezent a grupurilor de mici sau mari dimensiuni, mbuntirea bazelor de
date existete i realizarea de predicii privind starea i comportamentul viitor al grupurilor. Nevoia care a
condus la dezvoltarea unor sisteme de indicatori sociali a fost cea de a monitoriza i raporta mai adecvat
condiiile i procesele sociale, nevoia de a dezvolta metodele de cuantificare a acestor fenomene i a
crete capacitatea de a colecta i nmagazina date 97 .
n accepiunea modern a termenului, indicatorii sociali au dou funcii principale: monitorizarea
schimbrii sociale i cuantificarea nivelului de trai. Indicatorii sociali sunt astfel date care aduc informaii
noi despre structuri i procese, scopuri i realizri, valori i opinii.
Indicatorii sociali au reuit nu doar s aduc noi informaii despre condiiile sociale 98 Modelarea efectelor
sociale cu ajutorul metodelor multivariate pentru stabilirea relaiilor cauzale s-a ncercat n numeroase
domenii: n cel educaional 99 , n sntate 100 , cultur 101 i asisten social 102 . n toate aceste cazuri,
modelele au fost construite prin introducerea variabilelor relevante pentru diversele intrvenii ca variabile
independente (predictori).
Heinz-Herbert Noll 103 face distincia ntre indicatori sociali obiectivi care reprezint fapte
sociale independente de opiniile i evalurile personale i indicatori sociali subiectivi care au la baz
percepii i evaluri individuale ale condiiilor sociale. n prima categorie, cea a indicatorilor sociali
obiectivi se nscrie: rata omajului, rata srciei, orele de munc pe sptmn, rata mortalitii perinatale
etc. Iar printer indicatorii sociali subiectivi se numr: nivelul satisfaciei fa de condiiile de via, fa
de locul de munc, percepia fa de justiie, fa de alte instituii, etc.
Knox 104 aduce n prim plan nivelul de analiz i de utilizare a indicatorilor. La nivel naionalindicatorii sociali ajut n procesul de stabilire a prioritilor naionale raportate la numrul mare de
obiective, la nivelul resurselor i la natura preferinelor . La nivel regional sau local indicatorii sociali ar fi
mai potrivii pentru monitorizarea schimbrilor sociale, pentru evaluarea programelor i politicilor de
intervenie social.
Utilizarea indicatorilor subiectivi sau obiectivi depinde de fenomenul care trebuie cuantificat i de
cum este el definit. Lund ca exemplu conceptul de nivel de trai, vom observa c el este cuantificat n
mod diferit n Statele Unite fa de rile scandinavice. n Statele Unite ale Americii nivelul de trai este
neles din perspective calittii vieii, urmnd tradiia cercetrilor realizate n domeniul sntii mintale de
97
Dup D.F. Johnston, , 1988, Toward A Comprehensive 'Quality-Of-Life' Index. Social Indicators Research, 20,
473-496
98
Judith Eleanor Innes, 1990, Knowledge and Public Policy: The Search for Meaningful Indicators, Second
Expanded Edition, New Brunswick, NJ: Transaction Publishers)
99
, J.C.R Rowley and N. Leckie 1977, A further look at the determinants of educational achievement, Canadian
Journal of Sociology, Vol. 4, No. 2, pp. 339-353
100
Michael C Wolfson, 1994, POHEM a framework for understanding and modelling the health of human
populations, World Health Statistical Quarterly, Vol. 47, pp. 157-176
101
Ekos Research Associates Inc. 1987, A Final Report of the Rationale of the Cultural Initiatives Program and a
Review of its Effectiveness, for the Department of Communications, Ottawa
102
Bronfenbrenner, U. 1979, The ecology of human development, Cambridge, MA: Harvard University Press).
103
Heinz-Herbert Noll, 1996, The International Experience: Social Indicators, cercetare prezentat n cadrul
"Symposium on Measuring Well-Being and Social Indicators", Toronto
104
Paul L. Knox, 1975, Social Well-Being: A Spatial Perspective, Oxford, London
78
ctre W.I Thomas 105 . Bunstarea subiectiv este cel mai de ncredere etalon de apreciere a nivelului de
trai. Prin urmare indicatorii sociali subiectivi vor fi cei preferai. n rile scandinavice, dimpotriv, dup
tradiia iniiat de Jan Drenowski i Richard Titmus msurarea nivelului de trai se face exclusive prin
indicatori sociali obiectivi. Nivelul de trai este definit ca resursele deinute la nivel individual, cu ajutorul
crora o persoan poate s-i controleze i s-i auto-influeneze condiiile de via; iar resursele sunt
definite n termini de bani, proprieti, cunotine, energie fizic i psihic, relaii sociale, siguran,
etc. 106 .
Una dintre cele mai importante aplicaii ale cercetrilor realizate n domeniul indicatorilor sociali
este prezentarea rapoartelor cu date agregate la nivel naional sau regional din care rezult informaii
privind structurile i procesele sociale, condiiile i efectele politicilor sociale Astfel de informaii sunt
colectate sistematic, continuu de ctre instituii specializate n clolectarea i prelucrarea statistic a
datelor. Aceste date permit evaluarea condiiilor de via n diverse ri, monitorizarea eventualelor
schimbri i realizarea de comparaii la nivel internaional i regional.
n prezent, n Europa, exist foarte puine ri n care nu se realizeaz cercetri sistematice ale
nivelului de trai sau ale calitii vieii care au la baz indicatori sociali (Tabelul3).Cele mai celebre i
longevive iniiative de monitorizare i raportare a indicatorilor sociali n mod systematic sunt cea britanic
Social Trends, olandez Social and Cultural Report, francez Donns Sociales" 107 .
Tabelul 21. Rapoarte sociale din anumite ri europene 108
ara
Instituia
Titlul/ Numele
raportului
Prima
ediie
Ultima
ediie
Periodicitate
Austria
Statistisches Zentralamt
Sozialstatistische
Daten
1977
2006
4/5 ani
Danemarca
Danmarks Statistics/
Socialforskninginstit.
Levevilkar i Danmark
1976
1996
4 ani
Datenreport
1983
1994
2 ani
Frana
Institut Nationale de la
Statistique et des Economique
Donnes Sociales
1973
2006
3 ani
Marea Britanie
Central Statistical Office
Social Trends
1970
2006
1 an
Ungaria
Tarki
Social Report
1990
english
2004
english
6 ani
105
"If men define situations as real, they are real in their consequences"
R.Erikson, H.Uusitalo, 1987, The Scandinavian Approach to Welfare Research. Swedish Institute for Social
Research, Reprint Series No. 181, Stockholm, p.189
107
Heinz-Herbert Noll, 1996, The International Experience: Social Indicators, cercetare prezentat n cadrul
"Symposium on Measuring Well-Being and Social Indicators", Toronto
108
adaptat dup Heinz-Herbert Noll, 1996, The International Experience: Social Indicators, cercetare prezentat n
cadrul "Symposium on Measuring Well-Being and Social Indicators", Toronto
106
79
1992
1992
Italia
Instituto Nationale di Statistica
1990
1990
Olanda
Social and Cultural Planning
Office
1974
1994
2 ani
Norvegia
Statistics Norway
Sosialt Utsyn
Leveka i Norge
1974
1993
1993
1993
3/4 ani
?
Portugalia
Instituto Nacional de Estatistica
1992
1992
Spania
Instituto Nacional de Estadistica
Indicadores Sociales
Panoramica Social
1991
1974
1991
?
?
Romnia
Institutul Naional de Statistic
Raport anual
1859
2006
1 an
Romnia
Institutul de Cercetare a Calittii
Vieii
Rapoarte i diagnoze
1990
2004
1 an
Raportarea datelor adunate pornind de la indicatorii sociali se practic i n afara Europei i a Statelor
Unite ale Americii. n continuare sunt prezentate cteva exemple. ncepnd din 1994, Biroul Australian de
Statistic public un raport annual sub denumirea de Australian Social Trends . Comisia Economic a
Naiunilor Unite a publicat ncepnd din anii 90 cteva rapoarte similare cu numele de "Social Panorama
of Latin America", iar Departamentul de studii sociale i de dezvoltare al Universitii din Natal
monitorizeaz schimbrile din societatea sud-african elabornd raportul "Indicator South Africa: The
Barometer of Social Trends" o dat la trei luni. Agenia guvernamental de planificare economic din
Japonia ("Economic Planning Agency") aduce elemente noi n raportarea tendinelor sociale.
n 1975, Kenneth C. Land 109 propune trei dintre principalele motive pentru construcia unui
sistem de indicatori sociali. n primul rnd, Land se refer la mbuntirea capacitii de a cuantifica
shimbarea social, prin completarea indicatorilor economici cu indicatori socio-demografici. Un al doilea
scop identificat este cel de a monitoriza progresul social , atingerea anumitor scopuri stabilite. Land face
referire i la un al treilea scop al indicatorilor sociali-cel de a ajuta la evaluarea programelor
guvernamentale i de a contribui la stabilirea prioritilor n designul politicilor sociale.
Mai recent, problema indicatorilor sociali apare n paradigma reinventrii guvernmntului 110 potrivit
creia, guvernanii trebuie s rspund pentru aciunile lor.
Efecte perverse ale indicatorilor
Uneori indicatorii pot provoca efecte negative, chiar n contradicie cu scopul lor. Principalele efecte
nedorite pe care le poate cauza un sistem de indicatori sunt 111 :
109
Kenneth C. Land, 1975, Social Indicator Models: An Overview, NY: Russell Sage Foundation
110
Ekos Research Associates Inc. 1996, Rethinking Government 1995, Final Report, July 12.
80
dup European Commission, 1995, Common Guidelines for Monitoring and Evaluation, Luxembourg:
OPOCE
81
Tendine
Pe baza informaiilor existente n literatura de specialitate pot fi identificate cteva tendine de dezvoltare
ale sistemelor de indicatori. Acestea se refer n primul rnd la redefinirea conceptelor de dezvoltare
socio-economic, de nivel de trai sau de calitate a vieii. O a doua direcie de dezvoltare este reevaluarea
i reconstrucia periodic a indicilor compozii i promovarea unor noi indici atunci cnd este necesar 112 .
Utilizarea datelor longitudinale i a analizelor dinamice este o alt tendin semnificativ alturi de
accentuarea perspectivei comparate asupra indicatorilor (benchmarking social). Apar statistici realizate de
ctre organizaii internaionale: Comisia European, OECD, ONU, Banca Mondial etc. care cresc nivelul
de responsabilizare a factorilor de decizie n domeniul politicilor sociale.
112
J.Pronk, Haq, M. (Ed.), 1992, Sustainable Development - From Concept to Action. The Hague Report. The Hague
and New York
82
III. APLICAII
83
Capitolul 1. Evaluarea impactului unui parc industrial 113 Analiza contextului, identificarea
nevoilor i a problemelor sociale, elemente de benchmarking
Prezentarea conceptului de incubator de afaceri i definirea obiectivelor pe termen lung, mediu i scurt
Conceptul de incubator de afaceri a fost lansat n 1984 de ctre Directoratul General pentru
Politici Regionale din cadrul Uniunii Europene, cu scopul iniial de a constitui un instrument pentru
asistarea zonelor mai puin dezvoltate sau aflate n proces de restructurare industrial din rile
membre.Mai trziu s-a dovedit c acest incubator poate sprijini dezvoltarea economica local i poate fi
adaptat s funcioneze n orice regiune din lume.
Accepiunea general a noiunii de incubator de afaceri const n definirea unei astfel de instituii
ca fiind o structura partenerial local sau regional, care ofer ntreprinderilor mici i mijlocii o gam
complex de servicii, n condiii avantajoase, fiind focalizat n principal pe introducerea proceselor
inovative n industrie i n serviciile destinate industriei. 114
Incubatorul de afaceri contribuie, prin resursele alocate i prin stimularea iniiativelor inovative, la
crearea locurilor de munc i la diversificarea activitilor. Deasemea, faciliteaza accesul IMM-urilor la
piaa internaional promovnd relaiile de cooperare cu alte organizaii similare.
Principalul scop al unui incubator de afaceri este de a aciona ca un catalizator pentru formarea i
dezvoltarea unor activiti viabile, adaptate condiiilor economiei de pia i vizeaz urmtoarele
obiective 115 :
Stimularea spiritului antreprenorial
Creterea competitivitii sectoarelor economice existente
Reducerea omajului
Dezvoltarea capacitii pragmatice a cercetrii tiinifice de transferare ctre industrie a
rezultatelor acesteia
Principalele functii 116 ale incubatorului de afaceri sunt:
o Identificarea i promovarea calitilor antreprenoriale
o Alegerea i selectarea proiectelor i ntreprinztorilor
o Asisten interactiv
Lund ca i criteriu misiunea lor, n cadrul parcurilor industriale pot fi definite urmtoarele
structuri:
Parcuri tiinifice: nfiinate de universiti i de uniti de cercetare- dezvoltare.
pentru lansarea unor companii(startup-uri) care vor utiliza noi tehnologii
pentru transfer de tehnologii ntre unitile de producie i cele de cercetare
Parcuri tehnologice: create pentru companii care utilizeaz tehnologii noi, n special n domeniul
cercetrii dezvoltrii. Astfel de companii dezvolt activiti de producie, servicii i vnzare i
constituie n acelai timp centre de inovare n sprijinul companiilor nou nfiinate
Parcuri comerciale: ntr-un astfel de parc sunt dezvoltate diferite activiti cu caracter comercial:
ambalare, vnzare, organizarea de expozoii i deci, nu este necesar o legtur strns cu unitile de
cercetare.
Structurile mai sus mentionate pot fi incluse n categoria parcurilor industriale, constituind un
mijloc de promovare a inovaiilor i de obinere a unei valori adugate superioare.
Evaluarea impactului social al programului TETAROM
113
114
84
Situarea geografic
Judetul Cluj este situat n partea de NV a rii i are o populaie de 702.755 locuitori, din care
314.000 o constituie fora de munc ocupat.
Municipiul Cluj- Napoca are o populaie de 330.000 locuitori din care 154.000 populaie activ.
Aici exist 9 universiti de prestigiu n care nva 44.000 strudeni, alte puncte forte fiind existena a
245 firme de IT , aeroport internaional, incubator IT.
Rute de acces:
a)Municipiul Cluj- Napoca are 6 penetraii rutiere:
- 3 drumuri naionale ( 4 penetraii) i anume
DN1 (E 60) Bucureti Braov Cluj-Napoca - Oradea;
DN1C - Apahida - Dej
DN1F - Cluj-Napoca - Zalu
2 drumuri judeene
DJ 109 A: Cluj-Napoca- Panticeu
DJ 107R: Cluj-Napoca Ciurila
b) Legturi feroviare:
magistrala feroviar 300 : Bucureti Oradea
magistrala feroviar 400 : Braov Deda Dej - Baia Mare - Satu Mare
magistrala feroviar 401 : Cluj Napoca - Dej Vatra Dornei Suceava
c) Legturi aeriene:
aeroport internaional cu zboruri directe spre Bucureti, Budapesta , Viena, Munchen, Frankfurt pe Main,
Bologna, Florena, Bergamo, Verona, Veneia, Timioara.
Cluj-Napoca ora universitar
Cluj - Napoca , cunoscut prin sintagma Inima Transilvaniei a fost ntemeiat ca i municipiu
acum 2000 de ani. Este capitala judeului Cluj fiind n acelai timp unul din cele mai importane centre
universitare din Europa Centrala, cu o tradiie de secole, care a dat societii un numr mare de absolveni
pregtii n cele mai diverse domenii. Este cel mai mare ora universitar din partea de NV a Romniei, la
nivel naional fiind al treilea dup Bucureti i Iai.
La nivelul judeului Cluj, educaia a fost realizat n anul 2000/2001 n 624 de uniti de
nvmnt n cadrul sistemului nvmntului de stat , din care: 153 coli elementare, 388 primare, 62
licee cu profile diferite ( 27 teoretice, 17 industriale, 4 agricole, 3 economice, 1 pedagogic, 3 de art, 7
teologice i un liceu special pentru deficieni de vedere), 8 coli tehnice, 6 universiti cu 43 de faculti i
colegii Universitatea Babe-Bolyai cu 20 de facuti, Universitatea Tehnic cu 8 faculti i un colegiu,
Universitatea de Medicin i Farmacie cu 3 faculti i un colegiu, Universitatea de Agronomie i
Farmacie Veterinar cu 4 faculti i un colegiu, Academia de Arte Vizuale cu 3 faculti ).
n afar de universitile de stat exist universiti private, cum ar fi: filiala Universitii Dimitrie
Cantemir din Bucureti avnd 2.974 de studeni i Universitatea Avram Iancu cu 6 faculti i cu un
numr de 1.753 de studeni, Institutul Teologic- Protestant cu 249 de studeni , 3 faculti afiliate ale
Universitii Bogdan Vod din Baia Mare cu 1.654 studeni.
Toate acestea dovedesc potenialul forei de munc de nalt calificare existent pe plan local,
necesitatea stoprii exportului necontrolat de inteligen i necesitatea valorificrii potenialului unitilor
locale de nvmnt superior i cercetare (de rang european).
n acelai context trebuie menionata i rata omajului la nivelul anului 2001 de 10,5 %.
Identificarea participanilor i beneficiarilor
Dezvoltarea unui plan de participare public astfel nct toate prile afectate s fie implicate
Iniiatori autoriti publice - participare publica ridicata
85
Natura proiectului - parc industrial - firme din multiple domenii de activitate-implicarea a numeroi
actori din comunitate i din afara ei (cetenii judeului Cluj (702.755 locuitori, beneficiari direci -2580
locuri de munca create i/sau indireci, comunitatea de afaceri (26 firme afectate direct, restul-indirect),
autoriti publice. Ca iniiatori, autoritile publice, au n faza iniial a proiectului rolul cel mai important
- coordonare a proiectului: selecia firmelor, avizarea i controlarea activitilor din parc prin eliberarea de
licene tuturor utilizatorilor.
Avnd n vedere grupurile implicate i afectate direct sau indirect, apreciem impactul social ca fiind
unul foarte ridicat.
Impactul probabil
Impactul probabil poate fi dedus din indicatorii care reflect situaia actual a parcului i din analiza
evoluiei unor parcuri similare n Romnia.
Situatia actuala a Tetarom I este reflectata de catre urmatorii indicatori:
Beneficii sociale:
1. Creterea numrului de societi comerciale active n Cluj-Napoca cu 26
2. Creterea calitii vieii la nivelul judeului Cluj, printr-un grad mai mare de ocupare a forei de
munc: crearea de 2.580 de locuri de munca
3. Creterea sumelor virate la bugetul de stat, i, implicit, a celor care se ntorc la bugetul
autoritilor judeene (impozit pe salarii aprox. 433.440 ROL/an).
Costuri sociale
1. Costurile directe ale programului ( teren+infrastructur+personal): 5.188.679,9 Euro
2. Subvenii, faciliti: 1.826.000
Rezultate
1. numrul de firme care i desfoar activitatea n condiii proprii: 26
2. numrul de firme care funcioneaz cu profit: 26
Beneficiile programului:
1. chiriile percepute: 4200 lei (ROL)/mp/an sau 17.500 ROL/mp/an
2. alocaii bugetare: 1.826.000
3. granturi: 3.362.240,69
Costurile programului:
1. Cheltuieli de personal: 6.400/luna
2. Cheltuieli administrative: 300
3. Cheltuieli de capital sau investiii: teren+ 50.000+35000 euro*3
Output-uri:
1. Numrul de locuri de munc create: 2580
2. Numrul de firme atrase: 26
3. Numrul de parteneriate realizate de ctre companiile atrase cu alte firme:~1500
Input-uri
1. Numrul de persoane implicate n echipa de proiect: 6
2. Terenul: 27 ha
Un indicator al eficienei proiectului este ncadrarea n bugetul aprobat i, mai mult, realizarea unei
economii de 2.000 de euro la recepia final a lucrrilor.
n Romnia funcioneaz actualmente numeroase parcuri industriale, fr a fi ns exploatat ntreg
potenialul existent. Iar ca potenial, ne situm pe locul doi dup Polonia, n rndul rilor din Europa
Central i de Est 117 . n total exist 39 de parcuri industriale, din care 23 sunt operaionale. Printre
exemplele de bun practic din Romnia se numr Parcul Industrial Ploieti (Ploieti Industrial Parc
S.A.), Parcul Industrial Prahova, Vlenii de Munte (Prahova Industrial Parc S.A. Valenii de Munte),
Parcul Industrial Plopeni (SC Plopeni Industrial Parc SA), Parcul Industrial Brazi (Brazi Industrial Parc
S.A.) 118 si Parcul Industrial TETAROM Cluj.
117
118
a declarat Muller Onofrei, directorul Departamentului Industrial din compania Eurisko (11 martie 2005)
Datele sunt preluate de la Consiliul Judetean Prahova, http://www.cjph.ro/index.php?_init=public.parcuri_list&
86
Metoda benchmarkingului presupune comparaia unor cazuri similare dup anumite criterii. n
situaia descris n acest studio, criteriile de comparaie au fost:
Data nfiinrii;
Suprafaa;
Capitalul social;
Numrul societilor comerciale atrase;
Numrul locurilor de munc create;
Structura acionariatului;
Personalul;
Situaia economic.
Tabel 24. Situaia unor parcuri industriale din Romnia
87
Denumire/
data
nfiinrii
Suprafa
Nr.
societi
comerciale
atrase
Nr.
Locuri
de
munc
create
La nfiinare
30.06.05
146,27 ha
Parcul
Industrial
Ploieti
(Ploieti
Industrial
Parc S.A.) /
27.12.2001
530.860
6.444.280
19
1162
23,47 ha
Parcul
Industrial
Prahova,
Vlenii
de
Munte
(Prahova
Industrial
Parc
S.AValenii de
4.222.930
40.654.030
22
685
Structura
acionariatului
Personal
Situaia economico
31.12.2005
Profit
brut
8024,572
Acionar unic : Numr
lei
total salariai Mii
Consiliul
la data de (RON)
Judeean
01.01.2006 Prahova
28,
din care:
-de conducere:
3;
-personal
muncitor: 7;
-alte categorii:
18.
Acionar
Consiliul
Judetean
Prahova
financiar
Venituri
totale
12302,517
Mii
lei
(RON)
la
Cheltuieli
totale
4277,945
Mii
lei
(RON)
4210,00
3685,00 Mii 525,00 Mii
unic: Numar
lei lei (RON)
lei (RON)
total salariati Mii
la data de (RON)
01.01.2006
- 35
din care :
conducer
e:2;
2003
2003
88
Munte)./
20.10.2001
personal
muncitor : 16 ;
alte
categorii: 17.
36,47 ha
Parcul
Industrial
Plopeni (SC
Plopeni
Industrial
Parc
SA)/
31.01.2003
100.000
986.850
30
344
Acionar
Consiliul
Judetean
Prahova
105760,82
unic: Numar
total salariati lei (RON )
la data de
01.01.2006 17, din care:
conducer
e 3
personal
muncitor 6
alte
categorii 8
1169485,86
lei (RON )
Parcul
Industrial
Brazi (Brazi
Industrial
Parc S.A.) /
02.09.2004
300.000
300.000
Acionar
Consiliul
Judetean
Prahova
1063725,04
lei (RON )
2.696.161
Lei (RON)
89
27 ha
Parcul
Industrial
TETAROM
I Cluj/2002
(nu a fost dat
in folosinta)
2.600.000
2.600.000
26
2580
Consiliul
Judetean
Cluj
(70%)
Consiliul Local
Cluj,
Turda,
Campia Turzii,
Dej,
Gherla,
Huedin (30%)
90
91
Trebuie remarcat faptul c strategiile adoptate pentru realizarea de parcuri industriale difer de la o
zon la alta.Astfel, la Iai , parcul Tehnopolis va fi construit n incinta fostului combinat Fortus, n ideea
valorificrii infrastructurii deja existente. La Lugoj, parcul industrial va fi construit n afara oraului,
incluznd sediul nou al Direciei Vmilor Lugoj, o zon destinat turismului i fabrici pentru anvelope
(investiie strin). Zona liber Galai va gzdui un parc de soft, marele avantaj al firmelor ce urmeaz a-i
desfura activitatea n cadrul su este acela c vor beneficia att de facilitile acordate de parcul industrial,
ct i de cele specifice zonei libere.Societatea Uzina Mecanic Cugir din cadrul Companiei Naionale
Romarm se va diviza n dou societi distincte, n vederea constituirii unui parc industrial.Astfel , una din
cele dou societi va fi Uzina Mecanic Cugir, care i va continua activitatea, pstrnd activele necesare
produciei de tehnic i echipamente militare. Noua societate va fi pe aciuni i se va constitui n vederea
administrrii unui parc industrial, prelund activele necesare nfiinrii parcului respectiv.
Multitudinea de forme pe care romnii le-au gndit pentru parcuri industriale demonstreaz c acest
concept nu este unul rigid, ci permite exploatarea resurselor existente n cele mai variate moduri. Numai
timpul ne va putea demonstra care alternativ este viabil.
92
Capitolul 2. Impactul social al unui Centru de Zi pentru copiii provenii din familii defavorizatedesignul unei evaluri
Centrul de Zi X s-a nfiinat cu scopul asigurrii unor condiii de ngrijire i educare copiilor de
vrst precolar, cu vrste cuprinse ntre 3 i 7 ani, din comunitatea Z, n vederea integrrii copiilor n
nvmntul de mas pentru realizarea bunstrii copiilor n familiile proprii i pentru prevenirea
marginalizrii lor ca viitori tineri i aduli.
Proiectul i atinge obiectivele propuse i populaia int. Anual sunt educai i ingrijii aproximativ
30 de copii rromi ntre 3 i 6 ani provenii din comunitatea Z. Rata de succes este de 90% n privinta
educrii, igienizrii i hranirii copiilor prin evitarea institutionalizrii i de 20% n privina integrrii copiilor
n invmntul de mas (6 copii au fost nscrii la coal n clase cu cerine normale). Insuccesul de 10%,
respectiv 80% este datorat absenteismului, mobilitii extrem de ridicate n cadrul comunitii de rromi,
neimplicrii prinilor i conditiilor insalubre de via.
Metodologia evalurii
Tipul evalurii
n cazul Centrului de Zi X vom recurge la o evaluarea impactului social, o evaluare formativ, fcut n
timpul implementrii proiectului cu scopul de a analiza situaia i de a ajuta la mbuntirea acesteia.
Evalurile formative sunt un instrument de management, utilizat pentru dezvoltarea i mbuntirea
programelor.
Evaluarea actual este n acelai timp o monitorizare sau o evaluare de rutin, participnd la
colectarea continu de date despre activitile i outputurile programului. Printr-o astfel de evaluare vom oferi
managerilor programului un feedback despre ndeplinirea funciilor programului, dac sunt atinse populaiile
int i/sau se produc efectele dorite. O astfel de monitorizare are ca scop meninerea calitii programului,
urmrirea proceselor acestuia i a rezultatelor obinute la nivel operaional, reprezentnd un factor necesar
meninerii unor servicii publice de calitate.
Oportunitatea momentului evalurii
Evaluarea s-a desfurat n intervalul Noiembrie 2005-Februarie 2006. Momentul evalurii este oportun
avnd n vedere preluarea CZ de ctre Primrie, transfer devenit operaional de la nceputul anului 2006.
Identificarea datelor necesare
1. Nevoile care stau la baza programului
2. Numrul copiilor reintegrai n familii
3. Numrul copiilor nscrii la medic de familie
4. Numrul de copii beneficiari
5. Numrul de copii incadrai n invtmntul de mas
6. Tipologia activitilor
7. Structura personalului
8. Obiectivele centrului
9. ndeplinirea obiectivelor
10. Probleme ntmpinate n desfurarea activitilor i realizarea obiectivelor
Alegerea i aplicarea metodelor de culegere a datelor
Analiza documentelor. n cadrul acestui proces au fost analizate urmtoarele documente:
93
Interviul structurat. Interviuri cu Directorul Centrului de Zi, cu psihologul centrului, asistentul social, trei
educatoare, doi psihopedagogi. Interviuri cu prinii copiilor beneficiari.
Interviul nestructurat
94
95
Nivel de msur:
raport
2003 2004 2005
Total
400
1
150
1.
2.
3.
Numrul de vizitatori
Numrul evenimentelor organizate
Suprafaa total a spaiului expoziional/mp
4.
5.
6.
1000
1
150
1500
3
150
2900
5
150
80
3
80
20
80
323
32
34
Raport executiv
Amenajarea Muzeului X s-a derulat n mai multe etape. De la darea n folosin, muzeul funcioneaz la
capacitate redus. O parte din ncperi nu sunt nc utilizate, datorit amenajrilor care urmeaz a fi fcute, i
din cauza lipsei unui sistem central de furnizare a energiei termice pe timpul iernii. Activitile derulate n
cadrul muzeului au un grup int eterogen ca vrst, condiie social, etnie, naionalitate. Satisfacia
beneficiarilor este ridicat spre foarte ridicat, dup cum reiese din impresiile notate n caietul vizitatorului.
Muzeul X este un proiect viabil, care poate fi optimizat, consolidnd capitalul cultural al
Municipiului. Muzeul X este singurul muzeu cu acest specific din ar i al cincilea n Europa. Un alt
element specific muzeului este acordarea gratuitii la vizitare, gratuitate oferit de Consiliul Local i Primria
municipiului. Asocierea cu construcia medieval este un alt element original. La acestea se adaug accesul
uor al grupurilor, avnd n vedere amplasamentul ultracentral centrul istoric al municipiului.
Recomandrile n urma evalurii se refer la :
1. creterea vizibilitii locaiei muzeului prin montarea unor indicatoare, cu sprijinul compartimentelor
abilitate din cadrul Primriei municipiului, pentru o mai bun direcionare a publicului vizitator ctre
muzeu;
2. semnalizarea cldirii ca monument istoric;
3. campanie publicitar: editarea de pliante, afie, postere, articole, etc.
4. popularizare prin Inspectoratul nvmntului - avizier la coli i licee, organizarea de cercuri colare
specializate ;
5. msuri privind acreditarea muzeului;
6. asigurarea coleciei;
7. specializarea personalului n domeniul muzeal;
8. introducerea muzeului n bazele de date ale Ministerului Culturii, Institutul de Memorie Cultural ;
9. montarea unei linii telefonice cu acces la Internet;
10. achiziionarea unui calculator i a unei imprimante necesare pentru organizarea bazei de date a muzeului,
listarea diplomelor, chestionarelor .a.m.d.;
11. achiziionarea unui videoproiector pentru derularea proiectelor educative;
12. montarea unui interfon;
96
119
www.iccv.ro
Ilie,S. Formal and informal incomes of the Romanian Households n Stanculescu, M, R. Neef (editori) (2002)The
Social Impact of Informal Economies in Eastern Europe, Ed.Ashgate U.K.
120
121
97
contracara efectele nedorite, sau, dimpotriv, a ncuraja efectele favorabile. Variabilele propuse de
majoritatea metodologiilor importate trebuie adaptate.
n administraia public romneasc exist, totui, o cultur a raportrii rezultatelor. Scopul raportrii este ns
ndeplinirea unor condiii formale, impuse n sistemul instituional romnesc. Rapoartele relev de cele mai
multe ori simpla existen i realizare a unor activiti, fr specificaii cantitative i calitative relevante pentru
evaluarea propriu-zis a respectivelor activiti.
Un astfel de exemplu este orice raportare similar cu cea din tabelul urmtor. Este un exemplu classic de
evaluare realizat la un centru de zi pentru copii provenii din familii defavorizate. Evaluarea se concentreaz
prea puin pe analiza cantitativ i calitativ, relevnd preponderant existena sau inexistena unor activiti.
Scopul unei astfel de evaluri este mai degrab justificarea existenei unui astfel de centru i nu evaluarea
real a performanei. Aceasta din urm ar presupune identificarea unor criterii clare cantitative i calitative,
construcia unui sistem de indicatori i implementarea unui system de monitorizare.
Tabel 26. Tip de raportare-evaluare utilizat n sistemul administrativ romnesc
Indicator
respectarea programului zinic i cunoaterea acestuia de ctre
personal i de ctre prini. Programul zilnic cuprinde:
o transportul copiilor n centru
o program zilnic de igien personal
o mic dejun
o activitti educative
o gustare
o activiti educative
o masa de prnz
o program de odihn
o activitti recreative
o cina
o transportul copiilor n comunitate
angajaii cunosc programul zilnic al copiilor
prinii cunosc programul zilnic al copiilor
existenta unui educator specializat/grup de copii
98
La nivel instituional, schimbrile ar trebui s se refere la: dezvoltarea unor uniti de evaluare
intern, care s deserveasc, dup caz, o instituie sau un grup de instituii, n funcie de dimensiunile acestora
i de complexitatea lor. Aceste uniti ar avea rolul de a colecta n mod permanent datele pentru monitorizare
i de a le prelucra, precum i de a realiza evaluri interne.
Programele i proiectele finanate din fondurile de pre-aderare (PHARE, ISPA, SAPARD) au
beneficiat de sisteme de monitorizare bine stabilite. Aceasta a condus la dezvoltarea capacitii de
monitorizare n instituiile administraiei publice romneti. Au rmas ns dou principale probleme de
rezolvat: utilizarea unor sisteme de monitorizare i pentru activitile i proiectele instituiilor nefinanate din
fonduri europene, i dezvoltarea unei capaciti interne de evaluare. Capacitatea intern de evaluare exist
actualmente n instituiile administraiei publice centrale, ns este aproape absent n cazul administraiilor
locale.
La nivel central, Ministerul Finanelor Publice, n colaborare cu Ministerul Administraiei i
Internelor a iniiat un amplu proces de creare a capacitii de evaluare. Astfel, s-a nfiinat Unitatea Central
de Evaluare, n cadrul Ministerului Finanelor Publice. Scopul acesteia este de a coordona crearea i
dezvoltarea capacitii de evaluare la nivelul administraiei publice romneti.
n 2005, Autoritatea de Management din cadrul Ministerului Finanelor Publice nsrcinat cu
coordonarea monitorizrii i evalurii programelor PHARE i a Programelor Operaionale finnate prin
Fondurile Structurale a nceput elaborarea unei Strategii Naionale de Evaluare n cadrul unui program
finanat prin PHARE 2003. Aceast evaluare a fost lansat n Noiembrie 2006 i ncearc unificarea
standardelor de evaluare care sunt utilizate actualmente n Romnia. Strategia este perceput ca un pas nainte
n consolidarea unei capaciti de evaluare n Romnia.
n cadrul fiecrei Autoriti de Management cu responsabiliti n gestionarea de Programe
Operaionale din cadrul Obiectivului 1 "Convergen" i 3, "Cooperare teritorial european" s-a nfiinat o
Unitate de Evaluare. Unitatea Central de Evaluare i unitile de evaluare din cadrul Autoritilor de
Management colaboreaz ndeaproape cu Secretariatul General al Guvernului, Institutul Naional de
Statistic, Ministerul Agriculturii, Pdurilor i Dezvoltrii Rurale i Ministerul Administraiei i Internelor.
Funcionalitatea acestora depinde de dezvoltarea unui cadru legislativ n domeniul evalurii i, desigur, de
dezvoltarea continu a acestei capaciti. Este necesar suplimentarea pregtirii unor funcionari publici prin
specializarea n evaluarea de programe. Aceast specializare este actualmente posibil n Romnia prin
frecventarea cursurilor de Evaluare a Programelor oferite de Departamentul de Administraie public al
Facultii de tiine Politice, Administrative i ale Comunicrii, Universitatea Babe-Bolyai, Cluj-Napoca i,
ncepnd din 2007, a unui program profesional de masterat organizat de ctre acelai Departament de
Administraie public n domeniul evalurii de programe.
Programul de masterat profesional care va acoperi domeniul evalurii programelor, precum i
cursurile de evaluare a programelor oferite rspund i nevoilor de evaluare existente la nivel local n
administraia public romneasc. Tot la nivel local, ca exemplu de bun practic poate fi menionat cazul
Primriei Cluj-Napoca, la nivelul creia a fost nfiinat un birou de evaluare a programelor.
99
BIBLIOGRAFIE
1. ***- (2000)- Social Assessment and Agricultural Reform in Central Asia and Turkey, World Bank
Publications
2. ***, 1987, A Final Report of the Rationale of the Cultural Initiatives Program and a Review of its
Effectiveness, Ekos Research Associates Inc. for the Department of Communications, Ottawa.
3. ***, 1996, Rethinking Government 1995, Ekos Research Associates Inc. Final Report, July
12.
4. BARROW, C. J. 2003. Social Impact Assessment: An Introduction. London: Arnold.
5. BARROW, Christopher (2001)-Social Impact Assessment: An Introduction, Oxford University Press
USA
6. BAUER, R.A. (Ed.)., 1966: Social Indicators. Cambridge, Mass., London: The M.I.T. Press.
7. BECKER, Henk A. 1997. Social Impact Assessment: Method and Experience in Europe, North
America, and Developing World. UCL Press Limited, London
8. BECKER, Henk A. and Frank Vanclay. Eds. 2003. The International Handbook of Social Impact
Assessment. Cheltenham, Colchester, United Kingdom: Edward Elgar Publishing.
9. BUNCH, Mary 1995, Social Indicators: Annotations from the Literature, Working Paper F-02,
Exploring Canadian Values: Foundations for Well-Being, Canadian Policy Research Networks Inc.,
Ottawa.
10. BURDGE, Rabel J. 2004. A Community Guide to Social Impact Assessment: 3rd Edition
11. BURDGE, Rabel J. 2004. The Concepts, Process and Methods of Social Impact Assessment.
BURDGE, Rabel J. Guest Editor. 2003. The Practice of Social Impact Assessment. Impact
Assessment and Project Appraisal, 21(2&3): 84-234 (two issues)
12. CHELIMSKI, E., W.R. Shadish (Editori) Evaluation for the 21st Century, SAGE Publications Inc.,
1997
13. CHEN, Huey T., 1990, Theory-driven evaluation. Thousand Oaks, CA: Sage Publications
14. Chen, Huey T., 2005, Practical Program Evaluation: Assessing and Improving Planning,
Implementation, and Effectiveness, Sage Publications Inc
15. CHIRIAC D., C. Hum, Impactul socio-economic al fenomenelor naturale dezastruoase n Romnia inundaii, alunerri de teren, secet (62 p.), Probleme Economice vol. 20-21/2002 CIDE
16. COBB, Clifford, Ted Halstead and Jonathan Rowe 1995a. "If the GDP is up, why is America down?",
The Atlantic Monthly, October.
17. COBB, Clifford, Ted Halstead and Jonathan Rowe 1995b. The Genuine Progress Indicator:
Summary of Data and Methodology. Redefining Progress.
18. CONNELL, James P., Anne C. Kubish, Lisbeth B. Schorr and Carol H. Weiss (eds.), 1995, New
Approaches to Evaluating Community Initiatives. Vol.1: Concepts, Methods, and Contexts.
Washington, D.C.: The Aspen Institute
19. COOK, Thomas D. i Donald T. Campbell, 1979, Quasi-experimentation: Design and Analysis Issues
for Field Settings Chicago, Rand McNally
20. COPESTAKE, James et al., 2000, Assessing The Impact of Microcredit on Poverty: a Zambian Case
Study Centre for Development Studies
21. DALE, Alan, TAYLOR, Nick, MARCUS, Lane (2001). Social Assessment in Natural Resource
Management Institutions. CSIRO Publishing. PO Box 1139, Collingwood, Victoria, 3066 Australia.
312 pp.
22. ERIKSON,R., H.Uusitalo, 1987, The Scandinavian Approach to Welfare Research. Swedish
23. FITZPATRICK, J.L., Sanders, J.R., i Worthen, B.R., Program Evaluation. (3rd Edition) Boston:
Pearson. 2004
24. HANSEN, Hanne Foss, 2005, Choosing Evaluation Models, A Discussion on Evaluation
25. HENDERSON, D.W. 1974. Social Indicators: A Rationale and Research Framework, Economic
Council of Canada (Ottawa: Information Canada).
26. HYMAN, H.H., 1973, Surveys in the Study of Political Psichology, n J.N. Knutson ed., Handbook of
Political Psichology, Jossey Bass
27. ILU, Petru, 1997, Abordarea calitativ a socioumanului, Polirom, Iai
28. INNES DE NEUFVILLE, J. 1975. Social Indicators and Public Policy: Interactive Processes of
Design and Application (New Brunswick, NJ: Transaction).
29. INNES, J. 1989. "Disappointments and legacies of social indicators", Journal of Public Policy, Vol.
9, No. 4, pp. 429-432.
30. INNES, Judith Eleanor 1990. Knowledge and Public Policy: The Search for Meaningful Indicators,
Second Expanded Edition (New Brunswick, NJ: Transaction Publishers).
31. JOHNSTON, D.F., 1988, Toward A Comprehensive 'Quality-Of-Life' Index. Social Indicators
Research, 20, 473-496.
32. KNOX, Paul L., 1975, Social Well-Being: A Spatial Perspective, Oxford, London
33. KUBISH, A., L. Schorr et al (1995) New approaches to evaluating community initiatives.
Washington DC: The Aspen Institute
34. LAND, K., 1992, Social Indicators n: Encyclopedia of Sociology, pp 1844-1850.
35. LAND, Kenneth C. 1975, Social Indicator Models: An Overview, Chapter 2 of Social Indicator
Models (NY: Russell Sage Foundation).
36. MARGINEAN, Ioan, 2004, Politica Social. Studii 1990-2004, Expert, 2004
37. NOLL, Heinz-Herbert 1996, The International Experience: Social Indicators, paper presented at the
"Symposium on Measuring Well-Being and Social Indicators", Toronto, October.
38. PATTON, Michael Quinn, 1997, Utilization-Focused Evaluation: The New Century Text, 3rd ed.,
Beverly Hills: Sage Publications, 1997
39. PATTON, Michael Q., 2002, Qualitative Research and Evaluation Methods, SAGE
40. PRONK, J., Haq, M. (Ed.), 1992, Sustainable Development - From Concept to Action. The Hague
Report. The Hague and New York
41. PYATT, Graham 1991. SAMs, the SNA and National Accounting Capabilities, Review of Income and
Wealth, Series 37, No. 2, June, pp. 177-198.
42. ROTARIU, Traian, Petru Ilu (2001) Ancheta sociologic i sondajul de opinie: teorie i practic,
Polirom
43. ROTARIU, Traian, Petru Ilu (1997) Ancheta sociologic i sondajul de opinie: teorie i practic,
Polirom
44. ROSSI, Peter, Howard Freeman, Mark Lypsey, (1999) Evaluation, A Systematic Approach, 6th ed.,
SAGE Publication
45. ANDOR, Sorin Dan, 2005, Analiz i cercetare n administraia public, Ed. Accent
46. SCHORR, Kubisch, 1995, New approaches to evaluating community initiatives. Washington
47.
48.
49.
50.
51. SHADISH, William R. Jr., Thomas D. Cook, Laura C. Leviton (1999), Fundamentele evalurii
programelor: Teorii ale practicii , FIMAN
52. SILVERMAN, David, 2001, Interpreting Qualitative Data: Methods for analysing Talk, Text and
Interaction, 2nd ed. Sage
101
56.
57.
58.
59.
Evaluation of the Comprehensive Development Framework. Findings from Six Country Case
Studies: Bolivia, Burkina, Faso, Ghana, Romania, Uganda, Vietnam, IBRD, The World Bank
Washinghton USA
STANCULESCU,M. (coautor),2003, Pre-Accesion Impact Studies. EUCohesion Policy and
Romania's Regional Economic and Social Development (bilingv),Institutul European (ed.)
STUFFLEBEAM, D. L., 2001, Evaluation models. New Directions for Evaluation, 89. San
Francisco, CA: Jossey-Bass.
STUFFLEBEAM, D. L., 2004, The 21st century CIPP model. In M. C. Alkin (Ed.),
Evaluation Roots (pp. 245-266). Thousand Oaks, CA: Sage.
STUFFLEBEAM, D. L., 2005, CIPP model (context, input, process, product). In S. Mathison
(Ed.), Encyclopedia of evaluation (pp. 60-65). Thousand Oaks, CA: Sage.
60. TAYLOR, C. Nicholas, Bryan, C. Hobson i Colin G. Goodrich, 2004, Social Assessment: Theory,
Process and Techniques, SAGE
61. TASHAKKORI, Abbas, Charles Teddlie (1998) Mixed Methodology: Combining Qualitative and
Quantitative Approaches, SAGE Publications, Inc.
62. TASHAKKORI, Abbas, Charles Teddlie (2003) Handbook of Mixed Methods in Social &
Behavioral Research, SAGE Publications, Inc.
63. VANCLAY, Frank (2003) - The International Handbook of Social Impact Assessment: Conceptual
and Methodological Advances, Edward Elgar Publishing - ISBN: 1840649356
64. WADDELL, S. 1995. "Lessons from the Healthy Cities Movement for Social Indicators
Development", Social Indicators Research, Vol. 34, No. 2, pp. 213-222.
65. WHITE, Robert (ed.) (2004) - Controversies in Environmental Sociology, Cambridge University
Press, ISBN: 0521601029
66. WHOLEY, Joseph S., Harry P. Hatry i Kathryn E. Newcomer (Editori), 2005, Handbook of
Practical Program Evaluation 2nd Edition
67. WOLFSON, Michael C. 1994. "POHEM a framework for understanding and modelling the health of
human populations," World Health Statistical Quarterly, Vol. 47, pp. 157-176.
RESURSE INSTITUIONALE
1. European Commission, 1995, Common Guidelines for Monitoring and Evaluation, Luxembourg:
OPOCE
2. Tavistock Institute et all, The Evaluation of Socio-Economic Development: The GUIDE, 2003
3. United Nations 1991. World Development Report (New York: Oxford University Press).
4. World Bank 1993. "Social Accounting Matrices", Chapter 20 of System of National Accounts, InterSecretariat Working Group on National Accounts.
5. World Bank, Guidelines and Priciples for Social Impact Assessment, Mai 1994
6. Policy Research Committee 1996. Growth, Human Development, Social Cohesion: Draft Interim
Report, October.
RESURSE WEB
1. http://www.pbs.org/johngardner/chapters/4.html
2. http://en.wikipedia.org/wiki/Watts_Riots
3. www.evalsed.info
102
4.
5.
6.
7.
8.
9.
10.
www.evaluate-europe.net/handbook/handbookpdf
http://www.soc.surrey.ac.uk/sru/SRU19.html
www.worldbank.org
http://www.cjph.ro/index.php?_init=public.parcuri_list&
www.iccv.ro
www.casaeuropei.com
www.dog-eared.com/socialecologypress/
103