METODE DE CERCETARE

UTILIZATE N EVALUARE
Raluca GRBOAN

Raluca GRBOAN
Doctor, Departamentul de Administraie Public
Facultatea de tiine Politice, Administrative i ale
Comunicrii, Universitatea Babe-Bolyai, Cluj-Napoca
Tel: 0040-264-431361
Email: ralucagarboan@apubb.ro

Abstract
For every evaluation type, a set of specific
research methods and instruments has been
developed. The research methods and instruments
are chosen according to the objectives of the
evaluation, the type and the scale of the project
that is being evaluated acording to the questions
the evaluation is trying to answer, with the
socio-economic and organizational context and
according to the avalable budget and the research
capacity. The approach most oftenly used is the
multi-method approach, a functional combination
of calitative and cantitative research methods and
instruments. The present article investigates the
research methods used in program evaluation,
with a specific focus on the cantitative methods. It
tries to identify whether there is a specific pattern
for the choise of the research methods in the
evaluation of different types of programs.

Transylvanian Review
of Administrative Sciences,
20/2007, pp. 33-51

33

Un anumit grad de cuantificare este necesar n toate studiile de evaluare pentru

a aprecia succesul interveniilor i amploarea efectelor adverse. n acelai timp,
metodele calitative de cercetare sunt extrem de utile n rafinarea instrumentelor de
cercetare i n aprofundarea informaiei colectate.
n sociologie n particular i n tiinele socio-umane n general, termenii cantitativ
i calitativ ajung s desemneze dou mari paradigme.
Diferena ntre calitativ i cantitativ se face att la nivel epistemologic general, ct
i privind anumite aspecte precum: rolul cercettorului, relaia cu subiectul, relaia
teoretic-empiric, metodele principale utilizate i natura datelor obinute.1 Traian
Rotariu i Petru Ilu n Ancheta sociologic i sondajul de opinie: Teorie i practic
demasc falsa opoziie dintre cele dou mari paradigme2. De ce opoziie i de ce
fals?
Ideea de opoziie ntre cantitativ i calitativ are la baz distincia dintre abordarea
pozitivist i cea fenomenologic, dintre Erklaren i Verstehen3. Erklaren- explicaia
obiectiv, din afar i verstehen-ntelegerea subiectiv-din interior. Modelul
cantitativist presupune descrieri i explicaii de tip pozitivist, dintr-o perspectiv
exterioar, obiectiv-structural. Spre deosebire de acesta, modelul calitativist are la
baz subiectivitatea uman. Socialul este construit prin interaciunea simbolurilor
i reprezentrilor individuale sau de grup, iar cunoaterea este de tip comprehensiv.
Una dintre diferenele majore dintre cele dou modele, la nivel metodologic este faptul
c modelul cantitativ utilizeaz metode structurate, n timp ce modelul calitativ se
bazeaz pe metode i tehnici nestructurate.
Exist numeroase motive pentru care opoziia dintre cantitativ i calitativ este
un construct artificial. Dnd un rspuns la ntrebarea: Ce este abordarea calitativ a
socio-umanului?, P. Ilu genereaz o definiie a calitativului axat pe 12 dimensiuni4:
orientarea general epistemologic, nivelul realitii vizat, natura realitii vizate,
relevana punctului de vedere n explicarea i nelegerea realitii, relaia dintre
cercettor i subiect, relaia dintre teorie i cercetarea empiric, selecia unitilor
de cercetat efectiv din populaia vizat, timpul afectat culegerii datelor, metodele
principale utilizate, natura datelor obinute, stilul raportului de cercetare (al textului
elaborat), preponderena n disciplinele socioumane (n sens restrns). Astfel,
abordarea calitativ a socio-umanului este modelul care are la baz orientarea
epistemologic fenomenologico-comprehensiv, idiografic, care se aplic la nivel
microsocial, local, contextual, care vizeaz realitatea procesual i construit social
de actor, care utilizeaz punctul de vedere al subiecilor n explicarea i nelegerea
realitii, n care relaia dintre cercettor i subiect este una apropiat, iar relaia
1

3
4

Adaptare dup Brayman, A., Quantity and Quality in Social Research, Londra, New York,
Routlege, 1992 n Traian Rotariu i Petru Ilu, Ancheta sociologic i sondajul de opinie:
teorie i practic, Polirom, 2001, p. 25.
Traian Rotariu i Petru Ilu, Ancheta sociologic i sondajul de opinie: teorie i practic,
Polirom, 2001, p. 24.
Dup Petru Ilu, Abordarea calitativ a socioumanului, Polirom, Iai, 1997, p.40.
Petru Ilu, Abordarea calitativ a socioumanului, Polirom, Iai, 1997, p.63.

34

teoretic-empiric este una de emergen a teoriei pe parcursul cercetrii empirice.

Acelai model calitativist utilizeaz ca uniti de cercetat ntreaga populaie sau o
eantionare teoretic, datele sunt culese pe parcursul unei perioade lungi, continue,
iar metodele principale utilizate sunt: observaia participativ, interviul intensiv,
(auto)biografiile, analiza calitativ a documentelor. Datele obinute sunt complexe,
de profunzime, este utilizat un limbaj natural, metaforic, cu puine date statistice i
reprezentri grafice i e utilizat cu preponderen n antropologie cultural i istorie.
Pentru a reliefa ct mai clar specificitatea modelului calitativ, autorul l prezint
n comparaie, deci nu opoziie cu cantitativismul. Urmnd aceeai arhitectur a
definiiei, orientarea general epistemologic a modelului cantitativ este una pozitivistexplicativist. Cercetarea cantitativ se aplic prepondernt nivelului macrosocial,
global, formal, vizeaz realitatea static i exterioar actorului social, utilizeaz
perspectiva cercettorului, ntre cercettor i subiect exist o relaie distant (din
exterior). n cercetarea cantitativ teoria este verificat prin cercetarea empiric
(ipotezele sunt testate), selecia unitilor de cercetat din populaia vizat se face
preponderent prin eantionare statistic, culegerea datelor se face episodic, i se
ntinde pe perioade scurte de timp, metodele principale utilizate sunt: experimentul,
ancheta cu chestionar standardizat, analiza cantitativ a documentelor i observaia
sistematic din exterior. Datele obinute n urma cercetrilor cantitative sunt tari
(valide, de mare fidelitate), ns nu surprind la fel de multe detalii ca i cercetarea
calitativ i nu ating profunzimea coleciilor de date calitative. Totui, datele cantitative
sunt generalizabile, pot sta la baza contruciei unor noi axiome, teorii. Raportul de
cercetare n cazul modelului cantitativist este consistent n cifre, tabele, grafice i
comentarii n limbaj natural, iar frecvena cea mai mare a utilizrii acestui model
este ntlnit n sociologie i psihologie social.
Evident rmne faptul c cele dou paradigme sunt puse fa n fa cu scopul de
a face o comparaie i nu pentru a sublinia un raport de opoziie.
n Ancheta sociologic i sondajul de opinie: teorie i practic, Rotariu i Ilu expun
cel puin patru motive pentru care opoziia cantitativ-calitativ este un construct
artificial:
1. Tot ceea ce este subsumabil comprehensiunii poate servi ca punct de plecare
n proiectarea unor cercetri pozitiviste (prin experiment, anchet cu ajutorul
chestionarului, sau prin observaie neparticipativ). Mai mult, acelai bagaj
comprehensiv este inevitabil prezent n faza de analiz i interpretare calitativglobalist a unor date statistice5.
2. Intuiia se poate nscrie alturi de procesele de cunoatere (inducie, deducie,
asociere i imaginaie) ca un plus semnificativ nc neexplicat psihofiziologic6. tiinele tari nu exclud intuiia (intuiionismul n matematic),
deci comprehensiunea nu poate fi opus modelului pozitivist de tiin i exclus
din modelul cantitativist.
5

Traian Rotariu i Petru Ilu, Ancheta sociologic i sondajul de opinie: teorie i practic,
Polirom, 2001, p. 25.
Ibidem.

35

3. Diverse alte dimensiuni ale comprehensiunii (e.g. empatia) pot fi cercetate n

cadrul raionalului i descrise i explicate n termeni cantitativiti.
4. Expresiile subiectivitii umane (cuvintele rostite, gesturile, comportamentele,
atitudinile, valorile, credinele) pot fi analizate nu doar prin metode intensive,
specifice arsenalului metodologic calitativ ci i cu ajutorul unor metode i tehnici
specifice modelului cantitativist (este ceea ce se ntmpl n general n sondaje,
n cadrul ntrebrilor de opinie). Iar metodele intensive de cercetare nu pot
pretinde c au acces la perspectiva actorului n esena sa, depind interpretatconstruitul.
Prin urmare, relaia dintre cantitativ i calitativ este neleas inexact de ctre cei
care pretind c este vorba despre un raport de opoziie. Aceast iluzie este indus de
cele mai multe ori de prezentarea lor fa n fa nu pentru c s-ar opune, ci pentru c
sunt complementare, iar explicaia uneia, faciliteaz comprehensiunea celeilalte.
Metodele mixte de cercetare - o nou paradigm sau un magnet semantic?
n Handbook of Mixed Methods in Social and Behavioral Research publicat n
2003, Tashakkori i Teddlie (editori) lanseaz noua paradigm a metodelor mixte de
cercetare. Pe parcursul a douzeci i ase de capitole, Tashakkori i Teddlie, alturi
de ali autori, analizeaz, nu de puine ori critic, noua paradigm. Fundamentele
acestei noi paradigme se regsesc n lucrarea publicat de cei doi autori n 1998:
Mixed Methodology: Combining Qualitative and Quantitative Approaches. Mai mult,
dup cum se observ din analiza de mai sus, aceast paradigm a fost anunat n
publicaiile autorilor romni Traian Rotariu i Petru Ilu care nc din 1997 susineau
inexistena unei opoziii reale ntre calitativ i cantitativ7. Dincolo de reiterarea
realitii inexistenei unui conflict ntre cele dou paradigme ale cercetrii clasice,
Tashakkori i Teddlie aduc dou contribuii fundamentale prin popularizarea noii
paradigme a metodologiei mixte: crearea unei tipologii a metodelor mixte de cercetare
i a modelelor mixte de cercetare, precum i prezentarea unui ghid practic de utilizare
a lor. Metodele mixte de cercetare presupun combinaii ale abordrilor cantitative i
calitative n metodologia unei cercetri (spre exemplu n etapa colectrii datelor), n
timp ce modelele mixte de cercetare combin cele dou abordri pe tot parcursul unui
studiu8. n cartea publicat n 2003, Handbook of Mixed Methods in Social & Behavioral
Research, Tashakkori i Teddlie aduc elemente noi, de rafinament care clarific
dimensiunile noii paradigme. Cercetarea prin metodele mixte sau cu metode multiple
(multimethod) cum mai este numit, poate fi definit succint ca fiind practica utilizrii
mai multor tipuri de metode de colectare a datelor (att de natura cantitativ, ct i de
natur calitativ) n acelai studiu sau program de cercetare (spre exemplu, msurarea
variabilelor att cu ajutorul anchetei sociologice cu chestionar standardizat, ct i
prin analiza calitativ a datelor, testarea ipotezelor att prin metode experimentale,
7

Traian Rotariu i Petru Ilu, Ancheta sociologic i sondajul de opinie: teorie i practic,
Polirom, 1997.
Abbas Tashakkori, Charles Teddlie, Mixed Methodology: Combining Qualitative and
Quantitative Approaches, SAGE Publications, Inc., 1998, p. ix.

36

ct i prin metode non-experimentale, sau utilizarea metodelor calitative de cercetare

empiric pentru a detalia informaiile furnizate printr-un sondaj de opinie.9
Metodele de cercetare difer nu numai prin tipul datelor pe care le pot oferi, ci
i prin vulnerabilitatea lor la diferite tipuri de erori. Abordarea metodelor mixte
poate fi considerat o strategie pentru eliminarea sau cel puin reducerea gradului de
vulnerabilitate la eroare a ambelor tipuri de metode. n ce msur aceast paradigm
reprezint o noutate, rmne de vzut. Promotorii si recunosc c metodele implicate
de noua abordare sunt, n general, metodele utilizate n cercetarea contemporan n
tiinele socio-umane. n acest sens, metodele mixte nu sunt o noutate.10 Ceea ce este
nou este designul unei sinteze sistematice a celor dou modele diferite de cercetare
(cantitativ i calitativ) cu scopul de a crete nivelul cunoaterii n tiinele sociale.
A spune c metodele analizei statistice i cele ale analizei calitative a unui studiu
de caz sunt complementare, nu este ceva nou. Cum nu este nou faptul c asocierile
i corelaiile statistice pot sugera adesea noi direcii pentru cercetarea calitativ.
Testarea ipotezelor prin metode de analiz cantitativ nu excludea nici pn acum
utilizarea n paralel sau ulterior a unor metode calitative de cercetare pentru a ntri
sau detalia concluziile. Dup cum susin chiar promotorii noii paradigme, nc
din 1970 cercetarea multimetod sau cu ajutorul metodelor mixte era utilizat sub
denumirea de triangulaie.11
Rzboiul paradigmatic n evaluarea de programe
Domeniul evalurii programelor preia aceast fals opoziie. Paradigmele dominante
n metodologia evalurii de programe a anilor 70-80 sunt cantitativ versus calitativ.
ncepnd cu deceniul nou, aceast lupt pierde teren12.
Natura specific a investigaiilor calitative deriv din deschiderea acestora, din
legtura strns a evaluatorului cu programul, din utilizarea observaiei i mai ales
a interviului nestructurat care comunic respect respondenilor prin transformarea
opiniilor proprii (exprimate n propriile lor cuvinte) ntr-o surs important de date
pentru evaluare.13 Metodele cantitative implic analiza statistic a unor date obiective,
de regul cifre. Acestea sunt obinute prin numrarea beneficiarilor unui program, sau
prin analiza secundar a unor date. Metodele calitative utilizeaz informaiile obinute
n urma unor discuii, n urma unor observaii participative sau non-participative
care sunt analizate i organizate tematic ulterior, urmnd a fi raportate ntr-un stil
narativ. Metodele cantitative sunt utilizate pentru a insera diverse opinii i experiene
n categorii predeterminate, pentru a ajunge la rezultate semnificative din punct
Dup Tashakkori, Abbas, Charles Teddlie, Handbook of Mixed Methods in Social & Behavioral
Research, SAGE Publications, Inc., 2003, p. 557.
10
Ibidem, p.578.
11
Ibidem, p.579.
12
Dup William Shadish Jr., Thomas D. Cook i Laura C., Leviton, Foundation of Program
evaluation: Theories and Practice, Newbury Park, CA, SAGE, 1991.
13
Dup Michael Q. Patton, Qualitative Research and Evaluation Methods, SAGE, 2002,
p.124.
9

37

de vedere statistic i generalizabile. Cu ajutorul metodelor calitative pot fi studiate

n profunzime diverse probleme ale unui program. Ele genereaz date detaliate, de
multe ori n propriile cuvinte ale participanilor dintr-un anumit program i nu exist
metode cantitative adecvate pentru a descrie comportamentul variabilelor investigate.
Studiile metodologice orientate spre cantitativ, apreciaz metodologia calitativ ca
avnd prea puin impact asupra rezultatelor cercetrii, i c este util doar n fazele
incipiente, exploratorii ale unei cercetri. Din aceast perspectiv, metodele calitative
de cercetare sunt necesare pentru a produce ceea ce numim de obicei familiarizarea cu
subiectul investigaiei, pregtind astfel terenul pentru cercetarea cantitativ. Aceasta
presupune faptul c validitatea cercetrii este dat n tiinele sociale exclusiv de
datele experimentale, de statisticile oficiale i de eantionarea aleatorie.
Criticii metodelor cantitative susin c metodologia cantitativ nu este singurul mod
n care poate fi demonstrat validitatea rezultatelor unei cercetri.14 Experimentele,
statisticile oficiale i sondajele de opinie pot fi inadecvate pentru cercetarea anumitor
probleme din tiinele sociale. Acetia accept faptul c n anumite circumstane
metodele cantitative pot aduce informaii noi cercettorilor, dar, n acelai timp, pot
lsa n umbr anumite aspecte eseniale.
Iniial, evaluarea programelor a fost dominat de paradigma naturalist a
metodologiei ipotetico-deductive care pune accentul pe cantitativ, pe designul
experimental i pe analiza statistic. n 1995, la Conferina Internaional de Evaluare
din Vancouver William Shadish Jr, Thomas D. Cook i Laura C. Leviton anun victoria
paradigmei calitative15. Thomas D. Cook i Donald T. Campbell militeaz n acest
sens nc din 1979 n Quasi-experimentation: Design and Analysis Issues for Field
Settings16. Totui, validitatea metodelor experimentale i a metodelor cantitative
utilizate n mod adecvat nu a fost contrazis. Acum ns, metodele calitative i-au
ctigat drepturi egale celor cantitative. n 1991, Preedintele Asociaiei Americane
pentru Evaluare, Lee Sechrest, punea preferina pentru metodele calitative pe seama
simplitii acestora comparativ cu metodele cantitative mult mai dificil de abordat.
Totui, Sechrest recunoate necesitatea metodelor calitative, ns doar n combinaie
cu cele cantitative.17
Paradigma metodologic alternativ (calitativ) i are originile n antropologie,
n sociologia calitativ i n fenomenologie. Doctrinar, aceast paradigm a fost
plasat sub girul Verstehen-ului. Principalul motiv l reprezint faptul c oamenii
au scopuri i emoii, i fac planuri, construiesc culturi i susin anumite valori, iar
comportamentul lor este influenat de aceste valori, planuri i scopuri18.
David Silverman, Interpreting Qualitative Data: Methods for analyzing Talk, Text and
Interaction, 2nd ed. Sage, 2001, p.32.
15
Michael Quinn Patton, Utilization-Focused Evaluation: The New Century Text, Sage
Publication, 1997, p. 266.
16
Thomas D. Cook, i Donald T. Campbell, Quasi-experimentation: Design and Analysis Issues
for Field Settings Chicago, Rand McNally, 1979.
17
Idem 4.
18
Kenneth Strike, Explaining and Understanding the Impact of Science on Our Concept of
Man, n Philosophical Redirection of Educational Research: The Seventy-First Yearbook of the
14

38

Tradiia Verstehen pune accent pe capacitatea uman de a cunoate i nelege

alteritatea prin introspecie empatic i prin reflecii avnd la baz descrieri detaliate
rezultate din observaia direct, interviuri nestandardizate i studii de caz.
Paradigma alternativ cantitativului/experimentalului acord o atenie crescut
semnificaiei comportamentului uman, contextului interaciunii sociale i legturii
dintre strile subiective i comportament.
n domeniul evalurii paradigma alternativ ctig din ce n ce mai muli adepi.
Unul dintre cei dinti care se face auzit este Robert Stake.
Analiza cantitativ a documentelor
Datele culese trebuie s aib o legtur direct cu proiectul sau programul care
urmeaz a fi analizat. Informaia necesar poate fi adunat n mai multe moduri. Un
prim pas l poate constitui revizuirea unor cercetri sau studii realizate anterior.
n cazul evalurii unui program pot exista cercetri anterioare care s furnizeze
informaii legate de programe similare, activiti cotidiene i diverse caracteristici ale
unui anumit grup de persoane. Alteori nu exist asemenea informaii. n acest din
urm caz se va apela la alte metode de colectare a datelor consecutiv operaiunilor
preliminarii de analiz a situaiei.
Uneori evalurile anterioare pot fi utilizate ca surse importante de date. Uneori,
pentru comparaia dintre prezent i trecut se va recuge la memoria persoanelor
implicate sau afectate de diverse intervenii sociale. Un caz particular l constituie
problematica schimbrii instituionale. Pentru aprecierea schimbrii instituionale se
vor cuta indicatori utilizai n anii precedeni privind modul de aciune al instituiilor.
Este dificil de definit n avans obiectul investigaiilor. Aceasta presupune de obicei
studiul unor documente mai vechi sau discuii cu diferite persoane care pot duce la
identificarea schimbrilor i a elementelor constante.
O surs de date necesare pentru realizarea unui studiu de evaluare este cercetarea
arhivelor, a datelor provenite din recensminte i al celorlalte date statistice existente.
Este necesar colectarea unui set principal de date cantitative care s se refere la
calitatea vieii, nivelul veniturilor, al cheltuielilor etc. la nivel de comunitate. Aceasta
mai ales cnd sunt studiate diferite comuniti pentru a asigura comparabilitatea
tematic ntre acestea. Alturi de datele obinute prin cercetarea crilor i a articolelor
publicate, o atenie deosebit ar trebui acordat informaiilor oferite de lucrrile de la
diverse conferine, de rapoartele tehnice realizate n urma anumitor proiecte, intervenii
sau cercetri. Este extrem de important ca rezultatul analizei documentelor s includ
referiri la toate studiile empirice realizate, cu scopul unei abordri comparative
privind domeniul, metodele i validitatea evalurii. Analiza documentelor va furniza
informaii referitoare la probleme i variabile sociale relevante pentru proiectul sau
programul respectiv care este n curs de implementare sau n faz de proiectare.
ns, din moment ce fiecare proiect i program este unic, trebuie adunate informaii
National Society for the Study of Education, editor: Lawrence G. Thomas, Chicago, University
of Chicago Press, p.28, citat n Michael Quinn Patton (1997), Utilization-Focused Evaluation,
The New Century Text, Sage Publication, 1972, p. 271.

39

suplimentare depre situaia concret. Pentru fiecare program evaluat vor fi necesare
date legate de variabile precum: participarea anterioar sau implicarea prezent n
programe similare, stilul de via, angajarea, atitudinile, valorile sociale i credinele
care caracterizeaz comunitile, organizarea social a acestora, dinamica populaiei,
coordonatele demografice ale comunitii i regiunii.
Analiza cantitativ a documentelor are avantajul de a fi mai puin costisitoare n
termeni de timp i alte resurse dect sondajele de opinie, dar potenialul de eroare este
mai ridicat. Prin utilizarea bazelor de date existente, analistul poate formula modele
despre performana unui program, impactul social potenial la nivelul grupurilor i al
comunitilor, etc. Informaia care contrazice modelul construit, determin revizuirea
acestuia, mai ales dac datele care nu se potrivesc modelului sunt considerate relevante.
Analiza documentelor este preferat ca metod primar de culegere a datelor pentru
evaluare. Aceasta datorit virtuilor sale privind economia de resurse. Totui ea este
de obicei utilizat mpreun cu alte metode, att cu scopul completrii informaiei,
ct i cu scopul examinrii validitii datelor.
Pentru a observa utilizarea metodelor de cercetare n evaluarea de proiecte, am
nceput prin a analiza o parte din studiile de evaluare a impactului derulate de
experii Bncii Mondiale n intervalul 2003-2005. Am realizat un eantion aleatoriu,
stratificat, de evaluri, dup urmtoarele variabile: domeniul proiectelor evaluate
(dezvoltare economic, educaie, infrastructur) i numrul beneficiarilor acestora
(sub 50.000 indivizi, ntre 50.001 i 100.000 i peste sau egal cu 100.001 indivizi)
(Tabelul 18). Am selectat aceste variabile pentru c: domeniul - d specificitatea
analizelor la care se preteaz un proiect n cursul evalurii i numrul indivizilor din
grupul int al proiectului ilustreaz de regul dimensiunea proiectului. Iar metodele
de cercetare utilizate n evaluarea proiectelor sau programelor pot varia n funcie
de aceste dou variabile. Aceasta este ipoteza de la care am pornit. Scopul a fost
obinerea unei selecii omogene de studii de evaluare. Ulterior am notat care este
metoda de cercetare utilizat cu predilecie (i am numit-o metoda principal), precum
i metodele utilizate n completarea acesteia (metoda secundar i metoda teriar).
Ulterior am notat apariia fiecrei metode de cercetare n studiile de evaluare, precum
i poziia (primar, secundar sau teriar) pe care o ocup n studiul de evaluare.
Am sesizat utilizarea n principal a trei metode de cercetare-analiza documentelor,
sondajul de opinie i interviul individual-metode pe care le-am luat n calcul pe tot
parcursul analizei realizate.
Dup cum reiese din Tabelul 1 i 2, n eantionul de 40 de studii de evaluare
a impactului social realizate de ctre Banca Mondial, 45% (18) utilizeaz analiza
cantitativ a documentelor ca metod principal, iar alte 20% (8) ca metod
secundar.

40

Tabelul 1. Metoda principal de cercetare utilizat n evalurile realizate

de Banca Mondial
analiza doc
sondaj
interviu ind
alta
Total

Frecvena
18
9
7
6
40

Procentul
45,0
22,5
17,5
15,0
100,0

Este interesant de notat faptul c, dei ca metod primar este preferat analiza
documentelor, urmat de ancheta sociologic, n topul metodelor secundare (de
suport) ancheta este devansat de interviu. Este o dovad a utilitii paradigmei
multimetod.
Tabel 2. Metoda secundar de cercetare utilizat n evalurile
realizate de Banca Mondial

analiza doc
sondaj
interviu ind
focus group
Delphi
Total

Frecvena Procentul
8
20,0
10
25,0
12
30,0
2
5,0
8
20,0
40
100,0

Ancheta sociologic i sondajul de opinie19

Conjuncia copulativ i din Ancheta sociologic i sondajul de opinie atrage
atenia asupra unor deosebiri ntre ancheta sociologic i sondajul de opinie, chiar dac
anumii cercettori tind s pun semnul egalitii, echivalenei i chiar al identitii
ntre cele dou noiuni. Diferenele ntre o anchet sociologic i un sondaj de opinie
sunt ilustrate ct se poate de clar n cartea profesorilor Traian Rotariu i Petru Ilu
(Ancheta sociologic i sondajul de opinie: teorie i practic). Se remarc astfel existena
a cel puin apte note distinctive ntre cele dou forme de cercetare:
1. O prim caracteristic specific a sondajului de opinie spre deosebire de ancheta
sociologic se detaeaz din semnificaia termenului la nivel semantic. Sondajele
de opinie au n centru pe de o parte sondajul, iar pe de alt parte opinia. Termenul
sondaj este sinonim cu sintagma cercetare selectiv, iar sensul su se poate reduce
n mod strict la operaia de selectare a indivizilor care urmeaz a fi chestionai20.
Dup Traian Rotariu i Petru Ilu (1997), (2001), Ancheta sociologic i sondajul de opinie:
teorie i practic, Polirom.
20
Dup Traian Rotariu i Petru Ilu, Ancheta sociologic i sondajul de opinie: teorie i practic,
Polirom, 2001, p. 52.
19

41

Aspect prin excelen subiectiv al realitii sociale, prin opinie se nelege o

stare sau o predispoziie mental fa de un anumit referent.21 Opinia are la baz
diverse credine, valori, atitudini, sentimente i aprecieri personale ale celor care
o exprim. De multe ori, sondajul de opinie este utilizat interanjabil cu sintagma
sondaj de opinie public. Dan andor prezint un model al formrii i manifestrii
opiniilor n sfera public, i mai concret n sistemul administrativ i politic:22
Instituii
Preedinte
Parlament
Tribunale
Administraia
central
Administraia
local

Opinii
Atitudini i credine
pe termen scurt sau
lung privind
instituiile publice i
politicile acestora

Participare
Interaciuni cu
administraia
Votul
Participarea n
aciuni de lobby

input (cereri sau sprijin)

Fig.1. Nivelul de manifestare al opiniilor n sistemul administrativ i politic.

(Sursa: Sorin Dan andor, (2004), Analiz i cercetare, Cluj-Napoca: Accent, p.59,
adaptare dup Robert G. Lehnen, American Institutions, Political Opinion & Public
Policy, Dryden Press, 1976, p. 32)
Detaliind noiunea de opinie public, sunt subliniate trei aspecte fundamentale:
intensitatea opiniei, importana subiectului, i stabilitatea opiniilor23. Aceste elemente
dau msura n care opinia public este relevant. Opinia public este ns considerat
complex i greu de definit operaional24.
2. O alt caracteristic specific a sondajului de opinie n comparaie cu ancheta
sociologic este specificul problemelor cercetate. n cazul sondajului de opinie
public, problemele sau temele abordate au un caracter de interes general (opiuni
politice, atitudini fa de probleme instituionale, etc.), pe cnd ancheta sociologic
poate fi centrat pe probleme care preocup un grup mai restrns (e.g. beneficiarii
unui program sau proiect, o anumit categorie ocupaional, etc). Din acest motiv,
n evaluarea de programe vom vorbi mai degrab de anchet sociologic dect
de sondaj de opinie.
Sorin Dan andor, Analiz i cercetare, Cluj-Napoca: Accent, 2004, p.58.
Adaptare dup Robert G. Lehnen, American Institutions, Political Opinion & Public Policy,
Dryden Press, 1976, p. 32, n Sorin Dan andor, Analiz i cercetare, Cluj-Napoca: Accent,
2004, p.59.
23
Sorin Dan andor, Analiz i cercetare, Cluj-Napoca: Accent, 2004, p.59.
24
Traian Rotariu i Petru Ilu, Ancheta sociologic i sondajul de opinie: teorie i practic,
Polirom, 2001, p. 52.
21
22

42

3. Sondajul de opinie este o subspecie a anchetei sociologice, care se remarc printrun puternic caracter descriptiv. De cele mai multe ori, sondajele de opinie nu
stau la baza unor cercetri explicative.
4. Spre deosebire de anchet, sondajul de opinie necesit, de regul, un timp
mai scurt de desfurare. ntrebrile din chestionarele folosite sunt de cele
mai multe ori clar structurate i relativ simple. Eantioanele selectate asigur
o reprezentativitate rezonabil pentru evalurile cu caracter general urmrite.
Ancheta sociologic, dimpotriv, necesit un timp mai ndelungat de organizare
i desfurare, ntrebrile din cadrul chestionarului specific anchetei pot fi
structurate, semistructurate i chiar nestructurate, iar eantionarea se face dup
proceduri mai complexe.
5. Rezultatele sondajului sunt prezentate ntr-o form uor accesibil.
Ancheta sociologic are urmtoarele caracteristici25: presupune un numr mare de
cazuri, selectarea acestora trebuie fcut dup criterii riguroase de eantionare; datele
trebuie colectate n situaii normale, ct mai apropiate de viaa de zi cu zi; colectarea se
face n conformitate cu proceduri standardizate iar datele sunt ntr-o form msurabil
cantitativ, cea mai simpl fiind prezena sau absena unui atribut.
n evaluarea de proiecte i programe pentru administraia public cel mai adesea
este utilizat ancheta sociologic sau sondajul de opinie. Aceasta poate avea ca
populaie statistic cetenii-clieni ai unei anumite instituii (administraia financiar,
poliia, cu sistemul educaional, etc.), beneficiarii unui program sau proiect. Populaia
statistic poate consta i n membrii unei uniti administrativ-teritoriale sau ai
unui grup dintr-o anumit comunitate, int a unor intervenii susinute din bani
publici.
Sondajul de opinie este utilizat ca surs principal de culegere a datelor n 22.5%(9)
din cazuri (Tabelul 1), ca metod secundar n 25%(10) din cazuri (Tabelul 2), iar ca
metod teriar, tot n 25%(10) dintre cazuri dup cum reiese din Tabelul 3.
Tabelul 3. Metoda teriar
analiza doc
sondaj
interviu ind
focus group
Delphi
observaia
Total

Frecvena
10
10
4
6
8
2
40

Procentul
25,0
25,0
10,0
15,0
20,0
5,0
100,0

Dac prin analiza documentelor este ncurajat utilizarea datelor deja existente,
din motive de economie i eficien, analiza va evidenia de cele mai multe ori carene
n datele avute la dispoziie ca o consecin a unor studii anterioare. Datele obinute
25

H.H. Hyman, Surveys in the Study of Political Psichology, n J.N. Knutson ed., Handbook of
Political Psichology, Jossey Bass 1973.

43

prin sondajul de opinie aplicat n cadrul studiului de impact trebuie interpretate prin
prisma i n contextul datelor regsite n arhive, datelor provenite din recensminte
i al celorlalte date statistice existente.
Scopul unui astfel de sondaj ar fi:
1. s verifice valabilitatea datelor obinute iniial, pe un eantion mai larg i mai
reprezentativ.
2. adresarea unor ntrebri n legtur cu probleme care nu au fost abordate
anterior.
Astfel se obin date predominant cantitative (legate de nivelul de angajare a forei
de munc, sursele de venit).
Dac se utilizeaz sondajul de opinie, trebuie avute n vedere urmtoarele
elemente:
utilizarea ntrebrilor potrivite
construcia eantionului
alegerea celor mai relevante tehnici de analiz a datelor.
ntrebrile ar trebui s se concentreze pe problemele sociale cu care are legtur
proiectul. Trebuie s existe o legtur direct ntre variabilele cu ajutorul crora se
msoar impactul i ntrebrile chestionarului. Numrul i coninutul ntrebrilor
trebuie s se plieze pe importana relativ a variabilelor. Accentul trebuie pus pe
claritatea formulrii ntrebrilor. nc din aceast etap, o importan semnificativ o
are influena variabilelor externe. Validitatea concluziilor depinde de msura n care
poate fi anticipat i controlat influen acestora. Claritatea i relevana ntrebrilor,
precum i ordinea n care ntrebrile sunt prezentate poate avea un impact semnificativ
asupra validitii analizei. Problema variabilelor externe i a oportunitii ntrebrilor
poate fi rezolvat prin pre-testarea instrumentului. n acest context, unii cercettori
vorbesc despre procesul de clarificare sau de curare a instrumentului. nainte de a
ncepe construcia unui chestionar n vederea utilizrii lui pentru evaluarea impactului
social al unui proiect sau program, specialistul n tiinte sociale trebuie s in cont
de dou realiti: realizarea unor cercetri noi presupun, de regul mult timp, i n al
doilea rnd, este recomandabil utilizarea cercetrilor anterioare. Studiile cantitative
trebuie corelate cu tehnicile inductive de analiz a informaiei existente, cu analiza
informaiei calitative i cu observaia.
Metode calitative complementare
Interviul semi-structurat
Utilizat n EIS de doar 17.5% dintre cercettori ca metod principal (vezi Tabelul
1), el are supremaia ca metod secundar utilizat n evaluarea impactului social (vezi
Tabelul 2), fiind apreciat ca metod predilect n procesul de aprofundare i clarificare
a informaiei. n utilizarea interviurilor semistructurate, tehnicile de interpretare i
vizualizare a datelor pot oferi informaii semnificative privind impactul unui anumit
program. n anumite cazuri se utilizeaz povetile de via sau documentele care atest
cheltuirea veniturilor, cu scopul de a stabili amplitudinea i combinaia strategiilor
de existena urmate (i cine le urmeaz).
44

Focus-group-ul i metoda Delphi

Focus-group-ul i metoda Delphi pot fi considerate ca metode fie complementare,
fie alternative analizei documentelor i sondajului de opinie, dar construite pe baza
lor. Focus-group-ul i metoda Delphi ofer date robuste din punct de vedere stiinific.
Focus-group-ul poate implica ase sau mai multe persoane, reprezentative pentru
grupul asupra cruia se calculeaz impactul. n urma discuiilor pot fi identificate i
cuantificate o serie de probleme i tipuri de impact social. Utilizarea acestei tehnici
necesit o pregtire special a celui care modereaz discuiile. El trebuie s fie mai mult
dect familiarizat cu metodele i tehnicile de cercetare i mai ales de intervievare.
Metoda Delphi utilizeaz tehnici specifice cercetrii etnografice; un eantion
de respondeni este selectat i sunt puse o serie de ntrebri ntr-o prim etap de
interviuri individuale. Cercettorul compar informaiile, se ntoarce la membrii
eantionului i le adreseaz o serie de ntrebri referitoare la discrepanele ntre
rspunsurile lor din primul val de ntrebri. De obicei, aceast rund de ntrebri
lmurete discrepanele din runda anterioar. Un al treilea val de interviuri confirm
datele plasate n centrul distribuiei care pot fi utilizate pentru evaluarea impactului.
Ca i n cazul focus-group-ului, metoda Delphi impune o pregtire special n tehnici
de intervievare pentru cercettor.
n practica EIS, focus-group-ul i metoda Delphi sunt rareori utilizate cumulativ.
De obicei se recurge fie la una fie la cealalt. Aceasta are sens, avnd n vedere faptul
c metoda Delphi are anumite caracteristici comune cu focus-group-ul: se adreseaz
unor grupuri relativ restrnse de persoane i exploreaz divergena de opinii. Ele sunt
utilizate cu precdere ca metod secundar i teriar de colectare a informaiilor
pentru EIS (Tabelele 1,2 i 3).
Eantionarea
Eantionarea unei populaii implicate ntr-un anumit proiect este ntotdeauna
dificil din mai multe motive: participarea ntr-un anumit proiect nu este ntotdeauna
bine delimitat, rolul de beneficiar primar, secundar, teriar ntr-un proiect nu este
ntotdeauna clar. Un proiect sau program poate fi conceput pentru a se adresa unui
anumit grup int. Mai ales n cazul proiectelor din zona public, grupul int nu
contientizeaz ntotdeauna i nu i asum prin urmare rolul de beneficiar. Pentru
o eantionare reuit, trebuie identificat un eantion echilibrat de indivizi alei
n funcie de gradul de participare n proiect, de rolul pe care l au, de reziden
i de caracteristicile demografice: vrsta, sex, etc. Regulile de eantionare trebuie
urmate cu consecven pentru a avea un studiu valid din punct de vedere stiinific i
pentru a avea rezultate. Cunoaterea tehnicilor de eantionare pentru EIS presupune
cunoaterea problematicii eantionrii n general i specificitatea grupurilor afectate
de un anumit program, al crui impact social intenionm s l calculm.
Prin urmare, pentru eantionare conteaz att numrul indivizilor ct i calitatea
acestora. Este dificil de adoptat o metod specific de eantionare, valabil pentru
EIS. Construcia eantionului difer n funcie de natura programului sau proiectului
analizat. Este interesant de observat cum numrul metodelor de cercetare utilizate
45

depinde de numrul indivizilor care fac parte din grupul int (T4 i T5), dar i de
domeniul specific n care se ncadreaz proiectul/programul analizat.
Tabelul 4. Asocierea ntre numrul metodelor utilizate i numrul indivizilor din
grupul int al proiectului

numr
metode
utilizate
Total

2
3
4
5

nr indivizi gr.int
>100.000 ntre 100.001 > sau egal
i 1.000.000 cu 1.000.001
8
2
6
8
6
6
4
14
14
12

Total

10
20
6
4
40

Tabelul 5. Testul hi-ptrat. Asocierea ntre numrul metodelor utilizate i numrul

indivizilor din grupul tint al proiectului
Grade de
libertate
6

Valoare
Pearson Hi-Ptrat
Nr. de cazuri valide

30,381
40

Semnificaia
,000

O legtur interesant se stabilete i ntre numrul de indivizi din grupul int

i metoda principal utilizat (T6 i T7) i nu la fel de semnificativ ntre domeniul
proiectului i metoda principal (T8 i T 9). Chiar dac n acest din urm caz, legtura
nu este att de puternic, se poate identifica un model dup care se face alegerea
metodelor de cercetare: pentru proiectele cu un numr mare i foarte mare de indivizi
n grupul-int (peste 100.000), remarcm o predilecie pentru analiza documentelor i
sondaj ca metode principale de cercetare a impactului social. Pentru proiecte care au
un grup int mai mic sau egal cu 100.000, se prefer analiza de documente combinat
cu interviul individual. Este absolut firesc dac avem n vedere amploarea mai redus
i, n acelai timp, bugetul mai redus al acestora.
Tabelul 6. Asocierea ntre numrul indivizilor din grupul int al proiectului i
metoda principal utilizat n evalurile Bncii Mondiale
analiza doc
nr
<100.000
5
indivizi ntre 100.001
5
gr.int i 1.000.000
> sau egal cu
8
1.000.001
Total
18

46

metoda principal
sondaj interviu ind
3
9

Total
alta
6

4
9

14
14
12

40

Tabelul 7. Testul hi-ptrat. Asocierea ntre numrul indivizilor din grupul tint al
proiectului i metoda principal utilizat n evalurile Bncii Mondiale
Valoare
Pearson Hi-Ptrat
Nr. de cazuri valide

33,938
40

Grade de
libertate
6

Semnificaia
,000

Pentru analiza impactului social al unui proiect economic se va opta ca metod

principal de colectare a datelor pentru analiza documentelor. La fel pentru un proiect
educaional. Pentru un proiect legat de infrastructur se va opta fie pentru analiza
documentelor, fie pentru sondaj sau interviu individual ca metod principal de
cercetare (T8). Totui nu se poate spune c exist o relaie de asociere ntre domeniul
proiectului i metoda principal (T9).
Tabelul 8. Asocierea ntre domeniul proiectului evaluat i metoda principal
utilizat n evalurile Bncii Mondiale

domeniu
proiect
Total

economic
educaional
infrastructura
altul

metoda principal
analiza
interviu
sondaj
doc
ind
7
3
6
3
4
4
4
1
2
18
9
7

Total
alta
3
2
1
6

13
11
12
4
40

Tabelul 9. Testul hi-ptrat. Asocierea ntre domeniul proiectului evaluat i metoda

principal utilizat n evalurile Bncii Mondiale
Valoare
Pearson Hi-Ptrat
Nr. de cazuri valide

13,615
40

Grade de
Semnificaia
libertate
9
,137

Se remarc o asociere i ntre metoda secundar de colectare a informaiei i

domeniul specific proiectului(T10 i T11). Astfel, pentru un proiect de natur
economic, se va prefera ca metod secundar interviul individual, pentru unul de
natur educaional, sondajul de opinie, iar pentru un proiect legat de infrastructur,
metoda Delphi (T10).

47

Tabelul 10. Asocierea ntre domeniul proiectului evaluat i metoda secundar

utilizat n evalurile Bncii Mondiale

economic
educaional
domeniul
proiectului infrastructura
altul
Total

analiza
doc
3
2
2
1
8

metoda secundar
Total
sondaj interviu focus Delphi
ind
group
8
2
13
7
2
11
2
2
6
12
1
2
4
10
12
2
8
40

Tabelul 11. Testul hi-ptrat. Asocierea ntre domeniul proiectului evaluat

i metoda secundar utilizat n evalurile Bncii Mondiale

Valoare
Pearson Hi-Ptrat
Nr. de cazuri valide

32,509
40

Grade de
Semnificaia
libertate
12
,001

O asociere aproape la fel de semnificativ se remarc i n privina legturii dintre

domeniul proiectului i metoda teriar(vezi T12 i 13), i ntre metoda principal i
cea secundar (T14 i T15).
Tabelul 12. Asocierea ntre domeniul proiectului i metoda teriar utilizat
n evalurile Bncii Mondiale
metoda teriar

Total

sondaj interviu focus Delphi obser- alta

ind
group
vatia
domeniul
economic
2
3
4
4
proiectului educaional
2
2
2
5
infrastructur
6
2
2
2
altul
1
2
1
Total
10
4
6
8
2
10
Tabelul 13. Testul hi-ptrat. Asocierea ntre domeniul proiectului evaluat
i metoda teriar utilizat n evalurile Bncii Mondiale
Valoare
Pearson Hi-Ptrat
Nr. de cazuri valide

48

24,862
40

Grade de
Semnificaia
libertate
15
,052

13
11
12
4
40

Tabelul 14. Asocierea ntre metoda principal i metoda secundar utilizat

n evalurile Bncii Mondiale
metoda secundar
analiza
interviu
focus
sondaj
doc
ind.
group
analiza doc
7
7
sondaj
2
5
2
metoda
principal interviu ind
3
alta
6
Total
8
10
12
2

Total
Delphi
4
4
8

18
9
7
6
40

Tabelul 15. Testul hi-ptrat. Asocierea ntre metoda principal utilizat i metoda
secundar utilizat n evalurile Bncii Mondiale
Valoare
Pearson Hi-Ptrat
Nr. de cazuri valide

51,349
40

Grade de
Semnificaia
libertate
12
,000

Aceeai asociere semnificativ se remarc i ntre metoda principal i metoda

teriar.(T16 i T17).
Tabelul 16. Asocierea ntre metoda principal i metoda teriar utilizat n
evalurile Bncii Mondiale
metoda teriar
sondaj interviu focus Delphi obserind
group
vaia
analiza doc
6
4
1
sondaj
7
2
metoda
principal interviu ind
4
alta
6
Total
10
4
6
8
2

Total
alta
7
3
10

18
9
7
6
40

Tabelul 17. Testul hi-ptrat. Asocierea ntre metoda principal utilizat i metoda
teriar utilizat n evalurile Bncii Mondiale
Valoare
Pearson Hi-Ptrat
78,452
Nr. de cazuri valide
40

Grade de libertate Semnificaia

15
,000

Prin urmare, se remarc o legtur semnificativ statistic ntre metoda de cercetare

principal utilizat n evalurile bncii mondiale i metoda teriar. Aceast legtur
este relevat de semnificaia lui hi-ptrat (0.000).
49

Concluzii
Rezumnd, n funcie de natura proiectului al crui impact se dorete a fi calculat,
n funcie de numrul indivizilor care constituie grupul int (ca un indicator al
amplorii proiectului) putem avea o serie de combinaii. Din meta-analiza celor 40 de
studii EIS , se configureaz modelele din tabelul 18.
Tabelul 18. Analiza metodelor de cercetare utilizate n 40 de studii de evaluare
selectate de pe site-ul Grupului pentru Evaluare Independent a Bncii Mondiale
Domeniul
proiectului

Numarul indiv. Met.princ.

n gr.int
</=100.000
Analiza doc/
alta
ntre 100.001 si Sondaj/
1.000.000
Analiza doc.
>/=1.000.001 Analiza doc.

Met. sec.

Analiza doc./
Delphi
Interviu individ/
Analiza doc.
Economic
Interviu individ/
Delphi
</=100.000
Analiza doc/ Sondaj/ Analiza
interviu ind/ doc.
alta
ntre 100.001 si Analiza doc Interviu individ/
Educaional
1.000.000
Analiza doc.
>/=1.000.001 Analiza doc/ Sondaj/ Interviu
interviu ind individ
Infrastructura </=100.000
Analiza doc/ Delphi/Sondaj/
interviu ind Analiza doc
ntre 100.001 si Analiza doc. Analiza doc.
1.000.000
/ Sondaj
>/=1.000.001 Analiza doc/ Delphi/Sondaj
interviu ind

Met. ter.
Focus Group
Sondaj
Sondaj
Focus Group

Sondaj
Sondaj/ Interviu
individ
Alta
Sondaj/Delphi
Sondaj/
Interviu
individ

Prin urmare, ipoteza de la care am pornit se confirm doar parial: domeniul de

intervenie nu dicteaz metodele utilizate n evaluare, dar numrul indivizilor din
grupul int are un impact major asupra metodologiei utilizate. Fie c este vorba
de un proiect de dezvoltare economic, fie c este vorba de un proiect educaional
sau de infrastructur, metodele selectate nu prezint diferene semnificative. Aceste
diferene apar cnd este vorba de dimensiunea grupului int. Un proiect de mici
dimensiuni (sub 100.000 de persoane) este mai permisiv i presupune, de regul
utilizarea complementar a mai multor metode.

50

Bibliografie
1. Ilu, P., Abordarea calitativ a socioumanului, Polirom, Iai, 1997.
2. Knutson, J. N., (ed), Handbook of Political Psychology, San Francisco: Jossey-Bass, 1973.
3. Patton, M. Q., Qualitative research and evaluation methods (3rd ed). Thousand Oaks, CA:
Sage, 2002.
4. Patton, Michael Quinn, Utilization-Focused Evaluation, The New Century Text, Sage
Publication, 1997.
5. Rossi, Peter H., Mark W. Lipsey i Howard E. Freeman, Evaluation: A Systematic Approach.
Thousand Oaks, CA: SAGE, 2004.
6. Rotariu, Traian, Petru Ilu, Ancheta sociologic i sondajul de opinie: teorie i practic,
Polirom, 2001.
7. andor, Sorin Dan, Analiz i cercetare, Cluj-Napoca: Accent, 2004.
8. Schwandt, T. A., Dictionary of qualitative inquiry, Thousand Oaks, CA: Sage, 2001.
9. Scott,W. R., Organizations: Rational, Natural and Open Systems. Englewood Cliffs, NJ:
Prentice-Hall, 2003.
10. Scriven, Michael, Evaluation Theory and Metatheory, in Thomas Kellaghan,Daniel L.
Stufflebeam si Lori A. Wingate (editori) International Handbook ofEducational Evaluation.
Dordrecht: Kluwer Academic Publishers, 2003.
11. Tashakkori, Abbas, Charles Teddlie, Mixed Methodology: Combining Qualitative and
Quantitative Approaches, SAGE Publications, 1998.
12. http://lnweb18.worldbank.org/servlet/OEDSearchServletV656?SearchType=byField&Per
Page=20&DbURL=oed/oeddoclib.nsf&Form=OEDSearch&Series=IEG%20Project%20Ev
aluation.

51