METODE CALITATIVE UTILIZATE N EVALUAREA DE PROIECTE

Raluca GRBOAN
Doctorand, cadru didactic asociat, Departamentul de Administraie Public, Facultatea de tiine Politice, Administrative i ale Comunicrii, Universitatea Babe-Bolyai, ClujNapoca

Sorin Dan ANDOR

Confereniar dr., Departamentul de Administraie Public, Facultatea de tiine Politice, Administrative i ale Comunicrii, Universitatea BabeBolyai, Cluj-Napoca

The choice of evaluation methodology sets a print on the structure and development of the entire assessment process. Most selections use to be made from among various quantitative strategies and techniques. Recently, program evaluation researchers have begun to discuss some of the limitations of quantitative techniques for addressing some evaluation questions. In this article, we highlight some of the differences between quantitative and qualitative approaches and suggest ways in which qualitative methods may be used in the evaluation effort. Qualitative evaluations use qualitative and naturalistic methods, sometimes alone, but often in combination with quantitative data. Qualitative methods include three kinds of data collection: in-depth, open-ended interviews, direct observation and written documents. All these, are sometimes agregated in building a case-study. Transylvanian Review of Administrative Sciences, 16/2006, pp. 56-70

Natura personal a investigaiilor calitative deriv din deschiderea acestora, din legtura strns a evaluatorului cu programul, din utilizarea observaiei i mai ales a interviului nestructurat care comunic respect respondenilor prin transformarea opiniilor proprii (exprimate n propriile lor cuvinte) ntr-o surs important de date pentru evaluare.1 Metodele cantitative implic analiza statistic a unor date obiective, de regul cifre. Acestea sunt obinute prin numrarea beneficiarilor unui program, sau prin analiza secundar a unor date. Metodele calitative utilizeaz informaiile obinute n urma unor discuii, n urma unor observaii participative sau non-participative care sunt analizate i organizate tematic ulterior, urmnd a fi raportate ntr-un stil narativ. Metodele cantitative sunt utilizate pentru a insera diverse opinii i experiene n categorii predeterminate, pentru a ajunge la rezultate semnificative din punct de vedere statistic i generalizabile. Cu ajutorul metodelor calitative pot fi studiate n profunzime diverse probleme ale unui
1

Dup Michael Q. Patton, Qualitative Research and Evaluation Methods, 2002, SAGE, p. 124

56

program. Ele genereaz date detaliate, de multe ori n propriile cuvinte ale participanilor dintr-un anumit program i nu exist metode cantitative adecvate pentru a descrie comportamentul variabilelor investigate. Studiile metodologice orientate spre cantitativ, apreciaz metodologia calitativ ca avnd prea puin impact asupra rezultatelor cercetrii, i c este util doar n fazele incipiente, exploratorii ale unei cercetri. Din aceast perspectiv, metodele calitative de cercetare sunt necesare pentru a produce ceea ce numim de obicei familiarizarea cu subiectul investigaiei, pregtind astfel terenul pentru cercetarea cantitativ. Aceasta presupune faptul c validitatea cercetrii este dat n tiinele sociale exclusiv de datele experimentale, de statisticile oficiale i de eantionarea aleatorie. Criticii metodelor cantitative susin c metodologia cantitativ nu este singurul mod n care poate fi demonstrat validitatea rezultatelor unei cercetri.2 Experimentele, statisticile oficiale i sondajele de opinie pot fi inadecvate pentru cercetarea anumitor probleme din tiinele sociale. Acetia accept faptul c n anumite circumstane metodele cantitative pot aduce informaii noi cercettorilor, dar, n acelai timp, pot lsa n umbr anumite aspecte eseniale. Care este raportul calitativ-cantitativ n evaluarea de proiecte i programe? Rzboiul paradigmatic n evaluarea de programe Thomas Kuhn consider paradigma un set caracteristic de convingeri i preconcepii care poate ndeplini funcii de cunoatere atribuite regulilor mprtite n comun3. Paradigma reprezint un produs al cercetrii pe care o comunitate tiinific o recunoate pentru un timp ca baz a practicii. Pe de o parte, ea determin genul de probleme care fac obiectul investigaiilor i cercetrii n disciplinele respective, iar pe de alta, propune metode legitime prin care domeniile pot fi abordate. Paradigmele dominante n metodologia evalurii de programe a anilor 70-80 sunt cantitativ/ experimental versus calitativ/naturalist. ncepnd cu deceniul nou, aceast lupt pierde teren4. Iniial, evaluarea programelor a fost dominat de paradigma naturalist a metodologiei ipoteticodeductive care pune accentul pe cantitativ, pe designul experimental i pe analiza statistic. Influenat de pozitivismul logic, acest model al evalurii i are originea n tradiia experimental din agriculturarhetipul cercetrii aplicate. n 1995, la Conferina Internaional de Evaluare din Vancouver William Shadish Jr., Thomas D. Cook i Laura C. Leviton anun victoria paradigmei calitative5. Thomas D. Cook i Donald T. Campbell militeaz n acest sens nc din 1979 n Quasi-experimentation: Design and Analysis Issues for Field Settings6. Totui, validitatea metodelor experimentale i a metodelor cantitative utilizate n mod adecvat nu a fost contrazis. Acum ns, metodele calitative i-au ctigat drepturi egale celor cantitative. n 1991, Preedintele Asociaiei Americane pentru Evaluare, Lee Sechrest, punea preferina pentru metodele calitative pe seama simplitii acestora comparativ cu metodele cantitative mult mai dificil de abordat. Totui, Sechrest recunoate necesitatea metodelor calitative, ns doar n combinaie cu cele cantitative.7 Paradigma metodologic alternativ (calitativ/naturalist) i are originile n antropologie, n sociologia calitativ i n fenomenologie. Doctrinar, aceast paradigm a fost plasat sub girul
2

3 4

5 6

David Silverman, Interpreting Qualitative Data: Methods for analysing Talk, Text and Interaction, 2nd ed. Sage, 2001, p. 32 Thomas Kuhn, Structura revoluiilor tiinifice, Ed. tiinific i Enciclopedic, Bucureti, 1978, p.10 Dup William Shadish Jr, Thomas D. Cook i Laura C, Leviton, Foundation of Program evaluation: Theories and Practice, Newbury Park, CA, SAGE, 1991 Michael Quinn Patton, Utilization-Focused Evaluation: The New Century Text, Sage Publication, 1997, p. 266 Thomas D. Cook i Donald T. Campbel, Quasi-experimentation: Design and Analysis Issues for Field Settings Chicago, Rand McNally, 1979 Idem 4.

57

Verstehen-ului. Una dintre versiunile acestei doctrine susine faptul c omul poate fi neles i studiat ntr-un mod diferit de orice alt obiect al nelegerii i studiului. Principalul motiv l reprezint faptul c oamenii au scopuri i emoii, i fac planuri, construiesc culturi i susin anumite valori, iar comportamentul lor este influenat de aceste valori, planuri i scopuri8. Ideologia Verstehen susine n esen nevoia de a utiliza n tiinele sociale metode diferite de cercetare fa de cele utilizate n agricultur, pentru c fiinele umane sunt diferite fa de plante. Tradiia Verstehen pune accent pe capacitatea uman de a cunoate i nelege alteritatea prin introspecie empatic i prin reflecii avnd la baz descrieri detaliate rezultate din observaia direct, interviuri nestandardizate i studii de caz. Paradigma alternativ cantitativului/experimentalului acord o atenie crescut semnificaiei comportamentului uman, contextului interaciunii sociale i legturii dintre strile subiective i comportament. n domeniul evalurii paradigma calitativ ctig din ce n ce mai muli adepi. Unul dintre cei dinti care se face auzit este Robert Stake. Evaluarea reactiv la Robert Stake Robert Stake, evaluator de programe educaionale n Statele Unite ale Americii n perioada anilor 60-70, este unul dintre primii susintori ai metodelor calitative n evaluarea programelor sociale. n conformitate cu tradiia Verstehen, Stake percepe evaluarea ca serviciu i ca reflectare de valori. Oamenii se ateapt ca evaluarea s aib multe scopuri diferite9, printre care documentarea evenimentelor, nregistrarea schimbrii sau ajustarea procesului decizional. Oricare dintre acestea ar fi scopul, el se afl intr-o legtur direct cu valorile programului, cu scopurile i necesitile informative ale diferitelor tipuri de public. Stake recomand evaluarea selectiv, pe care o definete ca fiind o abordare care sacrific o anumit precizie a selectrilor n sperana de a crete valoarea descoperirilor pentru persoanele din afara i din interiorul programelor10. Tot la Stake se regsete diferenierea ntre evaluarea prestabilit, recunoscut prin: afirmarea obiectivelor, utilizarea testelor obiective, utilizarea standardelor deinute de responsabilii programelor i a rapoartelor de tip cercetare i evaluarea reactiv, caracterizat prin urmtoarele elemente: Pune un accent mai mare asupra activitilor unui program, dect asupra inteniilor sale. Rspunde necesitilor publicului. Perspectivele valorice ale actorilor sunt luate n considerare n menionarea eecurilor i a succeselor unui program. Termenul reactiv (provenit din relaia stimul rspuns) asociat procesului de evaluare promoveaz ideea evaluatorului-stimul n contrast cu evaluatorul-rspuns. Unul dintre principalele dezavantaje ale evalurii prestabilite este faptul c cercettorii (tradiional cantitativiti) se concentreaz asupra unor variabile care nu pot fi controlate de management, prin aceasta pierznd din utilitate. Stimulii standardizai generai de evaluarea prestabilit s-au dovedit adesea mai puin relevani dect stimulii
8

10

Kenneth Strike, Explaining and Understanding the Impact of Science on Our Concept of Man, n Philosophical Redirection of Educational Research: The Seventy-First Yearbook of the National Society for the Study of Education, editor: Lawrence G. Thomas, Chicago, University of Chicago Press, 1972 p. 28 citat n Michael Quinn Patton, Utilization-Focused Evaluation: The New Century Text, Sage Publication, 1997, p. 271. Robert E. Stake, To Evaluate on Arts Program, n R. E. Stake (ed.) Evaluating the Arts in Education: A Responsive Approach, Collumbus OH: Merril, 1975, p. 15 Robert E. Stake, Program evaluation, particularly responsive evaluation n W.B. Dockrell&D. Hamilton (Eds.) Rethinking educational research (pp. 72-87). London: Hodder and Stoughto citat n William R. Shadish Jr., Thomas D. Cook, Laura C. Leviton, Fundamentele evalurii programelor: Teorii ale practicii, FIMAN, 1999, p. 278

58

care apar spontan n cadrul programului (cum ar fi reaciile actorilor, discuiile ulterioare desfurrii unei activiti etc.). Cteva trsturi eseniale ale evalurii reactive sunt: accentul pus pe observaie i flexibilitate, preferina pentru metodele calitative i accentul pe mbuntirea practicilor locale. Evaluarea reactiv are o serie de avantaje i dezavantaje. Printre avantaje se numr: relevarea unor variabile importante ale programului, ncurajarea eforturilor de schimbare ale celor implicai ntr-un program, ncurajarea creterii controlului local. Totui, evaluarea prestabilit ar trebui preferat evalurii reactive atunci cnd este important s tim dac anumite scopuri au fost atinse, dac anumite promisiuni au fost inute i cnd urmeaz s fie investigate ipoteze sau aspecte predeterminate. ne putem atepta ca msurtorile prestabilite s fie mai obiective i mai de ncredere.11 n concluzie, trebuie avute n vedere ambele tipuri de evaluare, n funcie de program. Evaluarea reactiv are o serie de elemente comune cu evaluarea formativ, n timp ce evaluarea prestabilit se suprapune parial evalurii sumative12. Tabel 1. Puncte comune ntre evaluarea reactiv i formativ pe de o parte i evaluarea prestabilit i sumativ pe de alt parte
Evaluarea reactiv Flexibilitatea metodologic Preferina pentru metode calitative Concentrarea pe activiti Accentul pe mbuntirea practicilor Se realizeaz de regul pe parcursul unui program Evaluarea formativ

Evaluarea prestabilit

Preferina pentru metode cantitative Concentrarea pe obiective i pe gradul de realizare a acestora Se realizeaz, de obicei, la finalul unui program

Evaluarea sumativ

Caracterizat de anumii critici ca fiind atractiv superficial13, distincia reactiv-prestabilit rmne valabil n teoria evalurii deoarece elucideaz anumite aspecte ale procesului de evaluare care, neconceptualizate rmn n penumbr: importana flexibilitii metodologice, utilitatea metodelor calitative, accentul care trebuie pus i pe activiti, nu numai pe obiective etc. Utilizarea metodelor calitative n evaluarea de programe Prin utilizarea metodelor calitative n evaluarea de programe, se obin o serie de descrieri ale organizrii i funcionrii programului, ale experienelor pe care le au cei implicai n program. Scopul acestor descrieri este oferirea unei imagini despre programul respectiv. Prin utilizarea metodelor calitative se ncearc gsirea unui rspuns la urmtoarele tipuri de ntrebri: 1. Cum funcioneaz programul? 2. Care este perspectiva participanilor n programul respectiv? Ct sunt ei de mulumii cu desfurarea sau cu rezultatele programului? Care este rolul fiecrui actor implicat? Care sunt principalele nemulumiri i care sunt cauzele acestora? 3. Cum s-au desfurat anumite activiti ale programului? Se urmrete descrierea tuturor aspectelor care pot fi relevante pentru nelegerea unui program.
11 12 13

Idem, p. 283 Este vorba de conceptele promovate de Scriven. William R. Shadish Jr., Thomas D. Cook, Laura C. Leviton, Fundamentele evalurii peogramelor: Teorii ale practicii, SAGE Publications, Inc., 1995, p. 317

59

Din totalitatea informaiilor colectate prin interviuri, studii de caz, observaii de teren, vor fi ulterior selectate pentru raportul de evaluare acele informaii care ofer un rspuns pentru ntrebrile evalurii. Observaia Observaia este o metod cu multiple avantaje n evaluarea de proiecte. Caracterul su non-invaziv este esenial n obinerea unor informaii nedistorsionate, spre deosebire de cele obinute prin interviu sau prin sondajul de opinie, unde efectul de dezirabilitate social este mai pregnant. Evaluatorul poate realiza observaia i poate beneficia de informaiile culese prin aceast metod n cursul participrii la implementarea unui proiect, cu ocazia ntlnirilor i interaciunilor ocazionate de derularea proiectului. Datele astfel obinute trebuie notate imediat, nregistrrile fiind indicat s fie fcute ntr-un jurnal de observaie care urmeaz a fi analizat ulterior. Aceste date pot fi extrem de utile n evalurile de proces. De asemenea, evaluatorul poate colecta o serie de date prin analiza activitilor specifice unui program. n cursul interaciunilor cotidiene, un numr de detalii aparent nesemnificative se pot dovedi ulterior ca fiind eseniale. Ele pot atrage atenia evaluatorului asupra unor aspecte care urmeaz a fi analizate formal ulterior. De exemplu, dac n cazul evalurii activitii unui centru de zi pentru copii provenii din familii defavorizare, evaluatorul observ materialele didactice care se presupune c sunt utilizate zilnic n stare perfect(neatinse, neuzate) i poate pune ntrebri n legtur cu utilizarea efectiv a materialelor in timpul activitilor zilnice. Dac, n aceeai situaie, evaluatorul observ o atitudine de mirare a copiilor care intr n sala de mese la vederea fructelor i a feelor de mas, evaluatorul poate investiga ulterior condiiile n care copii iau masa de obicei, precum i dac sunt hrnii corespunztor. Observaia este foarte potrivit pentru studiul unor comportamente non-verbale sau spaiale. n evaluarea programelor, observaia poate aduce informaii relevante privind modul de desfurare a activitilor, gradul de implicare al actorilor, comportamentul celor care implementeaz programul i al beneficiarilor. Observaia impune construirea unui sistem de clasificare explicit, exhaustiv i mutual exclusiv al comportamentelor precum i o metod de eantionare a perioadelor de timp n care ne desfurm studiul. Astfel, dac ncercm s observm modul n care se desfoar circulaia ntr-o intersecie, va trebui s ne construim un ghid sau o gril de observaie n care s includem tipurile de comportament posibile (n principal ne va interesa sensul n care se mic mainile, eventual viteza cu care trec prin intersecie i ct ateapt la semafor; putem face ceva similar pentru pietoni). Vom trece n acest ghid observaiile noastre referitoare la fiecare participant n trafic. Trebuie avut n vedere factorul timp: exist ore de vrf, n week-end circulaia este redus, dimineaa oamenii merg la serviciu, dup-masa se ntorc, ceea ce ar putea modifica radical circulaia din intersecie etc. Observaia noastr trebuie s nu neglijeze nici una dintre perioadele n care comportamentul poate fi diferit. n momentul n care am lucrat bine, s-ar putea s aflm cum am putea modifica mersul semafoarelor astfel nct s fluidizm circulaia din intersecie. Ghidul de observaie poate s nu existe (caz n care observatorul noteaz comportamentele care i se par cele mai importante) sau s fie extrem de structurat, cuprinznd toate posibilele comportamente, caz n care observatorul trebuie s noteze doar frecvena respectivelor comportamente. Observaia se poate desfura n mai multe feluri. O prim distincie se face ntre observaii: Non-participative, n care observatorul este exterior fenomenului (cum ar fi exemplul de mai sus). Este mai obiectiv, dar nu permite o cunoatere mai intim a contextului; Participative, n care observatorul este integrat n mediu; O a doua distincie se face ntre observaii: Deschise, n care observatorul i declar calitatea. Apare aici problema unei posibile modificri de comportament din partea celor studiai, tocmai datorit faptului c se tiu observai; 60

 Ascunse, n care observatorul nu-i declar calitatea. n acest caz nu exist probleme referitoare la schimbri de comportament din partea subiecilor, fiind posibile mai degrab din partea observatorului, care poate ajunge s se identifice cu subiecii. Pot exista i probleme de natur etic, ncepnd cu nclcarea vieii private i terminnd cu posibilitatea unui comportament ne-etic din partea observatorului. n ultimul caz, s ne nchipuim un cercettor care vrea s studieze viaa unor bande de infractori i care ar trebui s se integreze n viaa bandei. Exist posibilitatea unor situaii intermediare, n care observatorul se integreaz n mediu, dar fr a fi un participant propriu-zis. Pot fi subliniate cteva reguli de observare, cele mai importante fiind legate de condiiile prealabile. Unele dintre ele pot fi rezolvate cu ajutorul tehnicii moderne, observaiile putnd fi filmate. Condiii prealabile: familiarizarea cu obiectivele cercetrii; cunoaterea unitilor de observaie: fiecare comportament observat trebuie s fie corect inclus n grila de observaie; observaiile se noteaz ct mai repede cu putin (este evident c un observator spion nu va putea lua note dect dup ce a ieit din mediul studiat). n evaluarea programelor observaia nu este folosit la adevrata sa valoare. O prim cauz este explicarea problemelor prin cauze sociale sau economice (de genul: srcia este datorat situaiei economice generale, salariilor mici, educaiei reduse, provenienei dintr-o familie cu mijloace reduse etc.). n anumite cazuri astfel de explicaii nu sunt suficiente, comportamentul putnd fi cauza real, iar pentru studiul comportamentelor observaia este cea mai bun metod. O a doua cauz este costul n timp i for de munc pentru a face suficiente observaii referitoare la un grup mare de oameni sau la o comunitate. Cercetrile efectuate pe astfel de teme dureaz perioade mari de timp, exact ceea ce lipsete de obicei ntr-o evaluare. Ca s dm un exemplu, cercetarea unui clasic al observaiei, William Foot Whyte, Street Corner Society: The Social Structure of an Italian Slum (1943) a durat 5 ani! Observaia se poate dovedi util n multe cazuri. S lum doar un exemplu: n cazul n care desfurm un program de training pentru funcionari n domeniul relaiilor cu publicul, cum ne putem da seama cel mai bine de succesul sau insuccesul programului? Posibilitatea cea mai corect este s observm cum se desfoar relaiile cu publicul. Un mare avantaj al observaiei este faptul c este direct: lucrm direct cu fenomenul studiat. Spre exemplu, pentru realizarea unei evaluri a unui program de ncurajare a nvrii active, putem utiliza o gril de observaie ca i cea din caseta 1. Scopul cercetrii este determinarea gradului n care profesorul ncurajeaz nvarea activ. Grila este structurat, observatorul trebuind s identifice n ce msur profesorul d dovad de anumite comportamente: transmiterea cunotintelor, atitudinea general a profesorului, flexibilitatea mediului creat n clas, metodele didactice utilizate (bazate pe autoritate sau pe descoperire), accentul pus pe gndirea unitar, planificarea i conducerea activittilor i tipurile de evaluare utilizate. La final scorurile pentru fiecare comportament se nsumeaz, obinndu-se scorul profesorului.

61

Caseta 1

Gril de observaie pentru evaluarea programului de ncurajare a nvrii active

Numele profesorului: ________________ Clasa: ___________ Data: _________ Comportamentul profesorului

Transmite cunotine Distant i formal Mediul clasei este rigid Cunoatere bazat pe autoritate Pune accentul pe gndire unitar Planific i conduce toate activitile Evalueaz singur munca elevilor Evaluarea se face doar n scopul notrii -4 -4 -4 -4 -3 -3 -3 -3 -2 -2 -2 -2 -1 -1 -1 -1 0 0 0 0 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4 4 Faciliteaz cunoaterea Cald i prietenos Mediul clasei este flexibil Cunoatere bazat pe descoperire

-4

-3

-2

-1

Pune accentul pe gndire divers

-4

-3

-2

-1

Permite elevilor s intervin n planificare i conducere Implic elevii n evaluarea muncii lor

-4

-3

-2

-1

-4

-3

-2

-1

Evaluarea se face pentru diagnosticare

Scorul final:_____________________________ Comentarii: _____________________________

Sursa: http://www.cabarrus.k12.nc.us/pdf/ActiveLearningObsInstru.1.pdf

Interviul individual Interviul individual este cel mai adesea utilizat n evaluarea unor programe de mici dimensiuni, cnd sunt implicai un numr relativ restrns de indivizi-cheie n implementarea unui program. Cnd utilizeaz acest tip de interviu, evaluatorul urmrete fie clarificarea modului de funcionare a programului, fie determinarea unor soluii pentru realizarea de schimbri n modul de funcionare.14 Interviul individual este o ncercare de a obine informaii pentru evaluarea unui program prin intermediul unor ntrebri i rspunsuri din cadrul unor convorbiri ntre evaluator i participanii ntr-un anumit program. Exist mai multe posibiliti de clasificare a interviurilor: Dup genul de convorbire, distingem interviuri fa n fa sau prin telefon (unii autori consider c exist i prin pot, dar acest gen de interviu este propriu sondajului). Primul tip este mai bun din punct de vedere tiinific, tiindu-se ce importan au componentele nonverbale ntr-o comunicare, al doilea tip putnd s economiseasc timp i bani; Dup gradul de structurare, exist interviuri structurate, n care avem practic de a face cu aplicarea unui chestionar, semi-structurate, n care avem stabilite doar temele pe baza crora se va desfura discuia i nestructurat, n care discuiile se poart liber. Aici intervine problema calificrii operatorului de interviu. Dac pentru un interviu structurat poate fi folosit practic
14

Huey T Chen, Practical Program Evaluation: Assessing and Improving Planning, Implementation, and Effectiveness, Sage Publications Inc, 2005, p. 79

62

oricine, dup o scurt instruire, n cazul celui semi-structurat, precum i a celui structurat avem nevoie de un operator foarte bine calificat, cu cunotine bune n metodologia cercetrii i cu o cunoatere foarte bun a subiectului. Mai apare i problema timpului: cu ct interviul este mai puin structurat cu att va crete durata sa; Dup numrul de participani, avem interviu individual i de grup. Interviul de grup este considerat deseori o metod calitativ pentru c presupune o interaciune ntre participani. Aici nu suntem interesai de ci spun un lucru i ci altul, ci de ce spun i cum spun ceva i cum se modific acestea pe parcurs (aducei-v aminte c un talk-show este un fel de interviu de grup). n funcie de componena grupului, putem avea: Interviul clasic de grup, n care grupul este unul natural (cum ar fi funcionarii dintr-un birou). n general este nestructurat, interveniile intervievatorului trebuie s fie minime; Focus grupul este un interviu structurat aplicat asupra unui grup special constituit cu ocazia interviului. Se folosete mult n domeniul marketingului, n care se urmrete aflarea opiniilor despre anumite produse sau servicii i pentru a completa anumite cercetri sociologice (pentru triangulare). O variant este cea n care sunt convocai experi (metoda Delphi), n care se urmrete ajungerea la o soluie sau la evaluarea unor situaii. La baza interviului, fie c este individual, fie c este de grup, st un ghid de interviu care precizeaz mai mult sau mai puin exact ntrebrile care urmeaz a fi utilizate n cursul interviului. Spre exemplu, pentru evaluarea unui program al crui obiect l constituie un Centru de Zi pentru educarea copiilor precolari provenii din familii defavorizate, putem recurge la un interviu semi-structurat. Interlocutorii vor fi prinii copiilor-beneficiari direci ai programului. n acest caz, putem utiliza ghidul de interviu din Caseta 2: Caseta 2 Ghid de interviu pentru evaluarea Centrului de Zi (CZ) pentru educarea copiilor precolari provenii din familii defavorizate

Vrsta interlocutorului ____________ Sexul interlocutorului_____________ Data _____________________________ Bun ziua, numele meu este ____________. Scopul acestui interviu este s aflm prerea dumneavoastr despre acest CZ unde v aducei zilnic copilul. Sunt interesat n special de problemele pe care le-ai ntmpinat i de recomandrile pe care le avei. Dac suntei de acord, voi nregistra aceast convorbire, pentru a putea evita orice denaturare a conversaiei noastre. Tot ce vom vorbi aici rmne confidenial, doar un rezumat al prerilor tuturor persoanelor implicate n program, fr referin la numele acestora, va fi fcut public. Pentru nceput v rog s ne spunei dac avei vreun copil care frecventeaz centrul de zi i dac da, cum a fost ales copilul dvs. pentru programul Centrului de Zi? (Not: n funcie de rspuns se pot adresa alte ntrebri pentru clarificare). Avei cunotin s fi existat probleme n selecia participanilor n program? (Not: dac da, se continu cu ntrebri cum ar fi: Care au fost acestea?, tii de ce au aprut?, Cum au fost rezolvate? sau Ce sugestii avei pentru rezolvarea unor astfel de probleme?).

63

Ct de mulumit suntei de serviciile oferite? (Not: se poate continua cernd detalii despre serviciile la care se refer, i poate fi utilizat o scal de la 1 la 10 pentru evaluarea fiecrui serviciu). Care este programul zilnic al copiilor? (Not: dup ce se primete rspunsul se poate continua cu ntrebri cum ar fi: Cum ai aprecia prestaia educatorilor?, Cum apreciai comportamentul personalului auxiliar?). Cum colaborai cu personalul angajat al Centrului de Zi? (Not: se vor cere detalii i explicaii; se poate continua seria ntrebrilor cu: Ai participat la edintele cu prinii? Ct de des? Dar la serbri? Ce alte activiti implic participarea dumneavoastr?). Ce credei c nu este bun n programul centrului de zi? (Not: se vor cere detalii i explicai; se poate continua cu ntrebarea Care sunt soluiile pe care le propunei pentru eventualele probleme?). Care ar fi elementele pozitive ale acestui program? De ce credei acest lucru? (Not: se va insista pe explicarea motivelor pentru care acestea au fost menionate). Dac ai mai avea un copil ntre 3 i 6 ani l-ai nscrie la Centrul de Zi? Ce prere avei despre ntregul program? (Not: se va insista pe aspectele care nu au aprut mai devreme n discuie). Ce alte lucruri ar merita tiute despre program? (Not: se vor cere detalii i explicaii). Focus grupul (FG) Principalul scop al FG este surprinderea ct mai detaliat a atitudinilor, credinelor, sentimentelor, experienelor i reaciilor respondenilor ntr-o manier mai puin specific celorlalte metode calitative de cercetare fie c este vorba de observaie, interviu individual sau studiu de caz). Particularitatea FG este interaciunea. n comparaie cu interviul individual, care intenioneaz cunoaterea atitudinilor individuale, FG agreg o multitudine de perspective i procese emoionale ntr-un context de grup. Fa de observaie, FG poate furniza o cantitate mai mare de informaii ntr-o perioad mai scurt de timp, economisind astfel resurse (timp, bani, personal). n timp ce n cadrul observaiei cercettorul asteapt ca lucrurile s se ntmple, n cadrul FG el conduce direcia investigaiei n sensul dorit, prestabilit prin ghidul de FG. n acest sens, FG nu este un eveniment spontan, ci organizat. FG poate fi utilizat n etapele preliminare sau exploratorii ale unei evaluri, n timpul acesteia, pentru a valida opiniile obinute n interviurile individuale, i informaiile provenite din studiul documentelor sau ulterior implementrii unui program pentru a evalua impactul sau pentru a da noi direcii de evaluare. FG poate fi utilizat ca metod de evaluare de preferin n combinaie cu alte metode de cercetare pentru verificarea validitii evalurii. Organizarea interviurilor FG necesit mai multe resurse i o mai bun planificare dect celelalte tipuri de interviu. Selectarea participanilor, pregtirea i adunarea lor n locuri dotate cu toate dispozitivele tehnice necesare ia de obicei mult timp. Numrul recomandat de persoane participante la FG este de obicei ntre ase i zece (MacIntosh 198115), ns anumii cercettori utilizeaz pn la 15 persoane (Goss & Leinbach 199616), pe cnd
15

16

MacIntosh J. (1981), Focus groups in distance nursing education, Journal of Advanced Nursing 18: 1981-85. Citat n Anita Gibbs Social research Update, Issue 19, Univ. of Surrey, 1997 http://www.soc.surrey.ac.uk/sru/ SRU19.html Goss J.D., Leinbach T.R. (1996), Focus groups as alternative research practice, Area 28 (2): 115-23. Citat n Anita Gibbs Social research Update, Issue 19, Univ. of Surrey, 1997 http://www.soc.surrey.ac.uk/sru/SRU19.html

64

alii se opresc la patru (Kitzinger 199517). Numrul grupurilor variaz deasemenea, mergndu-se de la cte o ntlnire cu cele cteva grupuri formate, (Burgess 199618), la mai multe ntlniri cu un singur grup pan la mai multe ntlniri cu mai multe grupuri. FG dureaz de obicei ntre o or si dou ore. Sunt preferate locaiile neutre pentru a evita orice tip de dezirabilitate i asocierile cu influenele pozitive i negative pe care le-ar putea genera un anumit context. Dealtfel, FG utilizate pentru evaluarea unui program pot fi organizate ntr-o varietate de locuri: sli nchiriate, sli de edin (n care, eventual, subiecii ca grup pre-determinat se ntlnesc i cu alte ocazii, n timpul implementrii programului) etc. Selecia participanilor pentru FG nu este nici ea un proces simplu. Dac un grup e prea eterogen, sub aspectul genului sau al categoriei sociale sau ocupaionale, diferenele dintre participani pot avea un impact considerabil asupra contribuiilor acestora n cadrul FG. Deasemenea, dac un grup e omogen din perspectiva anumitor caracteristici, diverse opinii sau experiene ar putea fi omise. (Morgan 198819). Odat ce profilul participanilor a fost stabilit, urmtoarea provocare e reprezentat de localizarea lor. Recrutarea participanilor poate necesita timp, mai ales dac tema n discuie nu prezint beneficii imediate sau nu este ntr-un alt fel atractiv pentru participani. Acesta nu este ns cazul n evaluarea de programe, mai ales atunci cnd prin FG se testeaz satisfacia beneficiarilor fa de un anumit program, sau n cazurile n care, programele sunt susinute de ctre anumii finanatori, iar actorii implicai i-au asumat obligaia transparenei. Odat ce ntlnirea a fost stabilit, rolul moderatorului devine esenial. El ofer informaii i explicaii clare n legatur cu scopul ntlnirii, i ajut pe participani s se simt n largul lor i nlesnete interaciunea dintre ei. n timpul ntlnirii moderatorul trebuie s anime dezbaterea prin ntrebri deschise, prin provocarea participanilor la a-i exprima opiniile. Rolul moderatorului se refer i la concentrarea continu a ateniei participanilor asupra subiectului. De asemenea, moderatorul trebuie s asigure fiecrui participant ansa de a interveni i, n acelai timp, moderatorii trebuie s evite manifestarea propriilor opinii (Kreuger 198820), pentru a nu influena anumii participani. Moderatorul trebuie s posede caliti deosebite de comunicare interpersonal, s fie un bun asculttor neprejudiciat i adaptabil. Astfel va fi ncurajat un dialog deschis, interactiv, eficient. Nivelul controlului impus de moderatori depinde de tipul proiectului, de tipul i scopul evalurii. Dac sunt implicai doi sau mai muli moderatori trebuie s existe un acord prealabil n legtur cu aportul fiecruia. E recomandabil ca unul dintre moderatori s supervizeze interaciunea grupului, iar celalalt s ia notie n legtur cu aspecte ale discuiei care nu pot fi nregistrate, precum i cu opinii sau reacii care trebuie clarificate ulterior. n evaluarea de programe, metoda poate fi folosit n urmtoarele scopuri: 1. S nelegem de ce a aprut o anumit problem n mediul din care sunt selectai participanii i n ce msur programul respectiv o acoper; 2. Pentru identificarea nevoilor recunoscute, dar i a celor latente i a satisfaciei fat de modul n care programul rspunde ateptrilor lor;
17

18

19

20

Kitzinger J. (1995), Introducing focus groups, British Medical Journal 311: 299-302. Citat n Anita Gibbs Social research Update, Issue 19, Univ. of Surrey, 1997 http://www.soc.surrey.ac.uk/sru/SRU19.html Burgess J. (1996) Focusing on fear, Area 28 (2): 130-36. Citat n Anita Gibbs Social research Update, Issue 19, Univ. of Surrey, 1997 http://www.soc.surrey.ac.uk/sru/SRU19.html Morgan D.L. (1988) Focus groups as qualitative research. London: Sage. Citat n Anita Gibbs Social research Update, Issue 19, Univ. of Surrey, 1997 http://www.soc.surrey.ac.uk/sru/SRU19.html Kreuger R.A. (1988) Focus groups: a practical guide for applied research. London: Sage. Citat n Anita GibbsSocial research Update, Issue 19, Univ. of Surrey, 1997 http://www.soc.surrey.ac.uk/sru/SRU19.html

65

3. Gsirea unor posibile soluii pentru eventualele probleme ale programului; 4. Pentru a afla posibilele reacii fa de anumite soluii propuse de diferiii actori implicai n program; 5. Aflarea atitudinilor fa de anumite instituii sau programe sau a ncrederii n acestea. n evaluarea unui program, pot fi utilizate mai multe focus grupuri, rezultatele fiind ulterior corelate. Este chiar recomandabil ca n momentul n care avem de a face cu grupuri eterogene pe care vrem s le studiem, s construim mai multe focus grupuri. Este bine s evitm s reunim n acelai grup efii i subordonaii, persoane cu mai mult educaie i persoane mai slab educate etc. pentru c difer modul n care se pun problemele, exist sentimente de team sau respect care pot mpiedica prezentarea unor puncte de vedere. De asemenea, populaia studiat poate fi mprit i pe faete ale problemei studiate. Metodele de colectare a informaiei cel mai des ntlnite n cazul evalurii programelor, precum i tipul de informaii obinute pot fi descrise astfel:21
Surse de date Arhive: - Recensmnt - Indicatori statistici - Baze de date ale instituiilor - Alte cercetri Comunicare noninteractiv: - Sondaje de opinie - Surse cheie - Tehnica incidentului critic - Grup Delphi Comunicare interactiv: - Forumuri ceteneti - Tehnica grupului nominal - Focus grupuri Descriere Date deja existente aflate n arhivele instituiilor publice sau private Informaii obinute Date cantitative care ne ajut s aflm care este starea actual de fapt; pot aprea i indicaii ale unor anumite nevoi

Aceste tehnici utilizeaz forme sau protocoale structurate, o varietate de scale i de modaliti de rspuns

Date calitative: valori, percepii, opinii, observaii, judeci de valoare

Aceste tehnici presupun un numr mai mic sau mai mare de persoane implicate n diferite grade de interaciune

Date n principal calitative: opinii, judeci ca expert; percepii i perspective de grup, valori i importan a nevoilor; Consens asupra scopurilor sau aciunilor; Informaie asupra cauzelor; Decizii asupra prioritilor

n practic se folosesc cel mai adesea sondajele de opinie n rndul beneficiarilor, acestea fiind percepute ca fiind mai profesionale i mai uor de administrat. Din pcate instrumentul folosit, chestionarul, este lipsit de finee i rezultatele obinute nu sunt ntotdeauna cele mai bune. De asemenea, este greu s surprinzi nevoile latente (care nu au fost contientizate nc) printr-un sondaj. De aceea este preferabil ca n limita timpului, a banilor i a personalului pe care le avem la dispoziie s ncercm s mbinm ct mai bine ct mai multe dintre metodele menionate mai sus.

21

Adaptare dup Belle Ruth Witkin, James W. Altschuld, Planning and Conducting Needs Assessments. A Pratical Guide, Sage Publications, 1995 p. 48

66

Studiul de caz Studiul de caz este metoda utilizat cu predilecie de Robert Stake. Cazul poate fi orice sistem delimitat care este interesant. O instituie, un program, o responsabilitate, o colecie sau o populaie poate reprezenta cazul22. El face o clasificare a caracteristicilor specifice studiilor de caz i identific urmtoarele categorii23: 1. Descrieri care sunt complete, holistice i care implic miriade de variabile care nu sunt foarte clar izolate; 2. Date care se pot aduna, cel puin n parte, prin observaii personale; 3. Un stil de scriere informal, probabil narativ, posibil cu citate ad-literam, ilustraii i chiar aluzii i metafore; 4. Comparaiile sunt mai degrab implicite dect explicite; 5. Temele i ipotezele pot fi importante, dar ele rmn subordonate pentru nelegerea cazului. Metoda studiului de caz este utilizabil n evaluarea de programe mai ales cnd sunt ndeplinite urmtoarele condiii24: 1. Evaluatorul opteaz pentru un spectru larg al analizei, mai degrab dect pentru fidelitate; 2. Anterior evalurii, sunt cunoscute prea puine probleme i ntrebri legate de obiectul evalurii; 3. Evaluarea va fi folosit n principal de cititori care, neavnd experiena programului, doresc o informaie contextual extensiv pentru a decide n ce msur programul acoper nevoile identificate; 4. Studiile de caz vor fi considerate ca fiind suficient de credibile de ctre client; 5. Descoperirea este o prioritate mai mare dect confirmarea. De multe ori, studiul de caz nu este menionat printre metodele de colectare a datelor n cercetrile sociale. Acest lucru se ntmpl datorit faptului c nu avem de a face cu o metod n sine, ci mai degrab cu o metod care folosete la rndul ei alte metode, cum ar fi: analiza documentelor, observaia participativ sau non-participativ sau interviul25. Principalul punct forte al studiului de caz, recunoscut chiar de ctre criticii lui Stake este facilitarea generalizrii naturaliste, mai avantajoas pentru elaborarea unor teorii i pentru studii exploratorii, dect pentru confirmarea unor teorii sau testarea unor ipoteze26. n funcie de tipul i de scopul evalurii, studiile de caz pot fi exploratorii, explicative i descriptive27. Studiile de caz exploratorii sunt cele prin care se investigheaz o problem prea puin cunoscut pentru a fi formulate ntrebri i a fi definite probleme premergtor evalurii. Cele explicative ncearc identificarea unor relaii (de exemplu cauz-efect) care explic fenomenul studiat. Studiile de caz descriptive sunt cele care se raporteaz la o teorie i ncearc s vad n ce msur cazul studiat corespunde respectivei teorii. n How to Use Qualitative Methods in Evaluation, Michael Q Patton prezint procesul pentru construcia unui studiu de caz care poate fi utilizat pentru evaluarea de programe. Pasul 1 al modelului
22

23 24

25 26

27

Robert E. Stake, The Case-Study Method in Social Iquiry n Educational researcher (pp. 5-8 ), citat n William R. Shadish Jr., Thomas D. Cook, Laura C. Leviton, Fundamentele evalurii peogramelor: Teorii ale practicii, SAGE Publications, Inc., 1995, p. 286 Idem William R. Shadish Jr., Thomas D. Cook, Laura C. Leviton, Fundamentele evalurii peogramelor: Teorii ale practicii, SAGE Publications, Inc., 1995, p. 320 Sorin Dan andor, Analiz i cercetare, Accent, 2005, p. 54 William R. Shadish Jr., Thomas D. Cook, Laura C. Leviton, Fundamentele evalurii peogramelor: Teorii ale practicii, SAGE Publications, Inc., 1995, p. 321 Terminologie preluat din Sorin Dan andor, Analiz i cercetare, Accent, 2005, p. 55

67

const n adunarea tuturor datelor disponibile despre programul pe care dorim s l analizm. Aceasta este materia prim a studiului de caz. Pasul 2 este organizarea datelor brute adunate la pasul 1, clasificarea lor astfel nct s fie uor accesibile. Pasul 3 reprezint descrierea cazului, n stil narativ. Studiul de caz este aadar, o imagine descriptiv a programului care este evaluat, care face accesibil cititorului informaia necesar pentru a nelege programul respectiv. Informaiile cuprinse n studiul de caz sunt prezentate fie cronologic, fie tematic, uneori fiind posibil i util folosirea ambelor criterii. Studiul de caz prezint o imagine comprehensiv, holistic a programului28. Analiza documentelor Analiza documentelor este sursa de informaii cel mai adesea exploatat de ctre evaluatori mai ales din motive de economie de resurse: timp, bani, personal. n cadrul procesului de evaluare, analiza documentelor se poate referi la analiza rapoartelor, evidenelor contabile i nu numai, a planurilor anuale, a tuturor detaliilor legate de un anumit proiect sau program. Proveniena documentelor poate fi divers: organizaia finanatoare, implementatoare, contractant sau subcontractant. Marele avantaj este faptul c datele sunt deja adunate, nu mai este necesar organizarea unui sondaj de opinie, sau a altor metode de colectare a datelor. Una dintre problemele care apar n cazul utilizrii metodei de analiz a documentelor este faptul c ele nu conin ntotdeauna totalitatea informaiilor necesare legate de rezultatele unui proiect sau program. Tocmai de aceea, n cadrul unui proces de evaluare, este necesar utilizarea mai multor metode de colectare a datelor. Informaiile obinute din analiza de documente pot fi completate prin utilizarea interviului, observaiei i chiar a sondajului de opinie acolo unde este necesar. Documentele unui program trebuie privite critic, din punctul de vedere al informaiei coninute. O atenie deosebit trebuie acordat att cantitii informaiei, ct i calitii acesteia. Harry P. Hatry29 ofer o clasificare a principalelor probleme care pot aprea n procesul de analiz a documentelor i a metodelor de ameliorare a acestora (Tabelul 2).
Problema 1. Date lips sau incomplete Modaliti de ameliorare Cercetarea documentaiei conexe Intervievarea personalului implicat n program pentru acoperirea a ct mai multe lipsuri. Reevaluarea obiectivelor i inteniilor evalurii (eventuala modificare sau anulare a unora dintre ele) Excluderea datelor lips sau estimarea ct mai exact a valorilor lips Cercetarea nregistrrii datelor, dac acestea exist i sunt disponibile Realizarea unor colecii de date noi, originale Renunarea la datele detaliate care nu sunt disponibile Realizarea, acolo unde este posibil, a operaiilor prin care datele pot deveni comparabile Concentrarea ateniei asupra procentelor i mai puin asupra valorilor absolute. Renunarea la aceste date, atunci cnd problema este insurmontabil.

2. Date disponibile ntr-o form extrem de agregat

3. Date care nu sunt comparabile

28 29

Michael Q Patton, How to Use Qualitative Methods in Evaluation, SAGE Publications. Inc., 1987, p. 149 Joseph S. Wholey (Editor), Harry P. Hatry (Editor) i Kathryn E. Newcomer (Editor), Handbook of Practical Program Evaluation 2nd Edition, 2005, p. 398

68

Analiza de coninut Dup colectarea tuturor informaiilor relevante se recurge la clasificarea acestora i stabilirea categoriilor necesare pentru a oferi un rspuns ct mai clar i n acelai timp comprehensiv pentru ntrebrile evalurii. De exemplu, una dintre aceste ntrebri se poate referi la satisfacia beneficiarilor fa de un anumit program. Pentru nceput se adun toat informaia necesar, urmnd ca aceasta s fie subdivizat n categorii, modele i teme care o fac mult mai accesibil, uor de neles i de utilizat. Evaluatorul ncepe, de obicei prin lectura materialelor adunate (interviuri, studii de caz, observaii de pe teren), i prin ataarea de note pe marginea acestora.30 Aplicarea metodelor calitative de cercetare n evaluarea programelor Fie c avem de evaluat un program avnd ca obiect nfiinarea unui centru de zi, fie c evalum un proiect prin care s-a nfiinat un muzeu, sau unul privind ordinea i curenia public, se recomand exploatarea complementaritii metodelor calitative de cercetare. Specificul programelor publice, prin specificitatea lor i prin impactul social pe care l au, impun utilizarea metodei studiului de caz, care implic utilizarea interviului i a analizei documentelor. Primul pas este adunarea a ct mai multe informaii despre program. Acest lucru poate fi realizat pornind de la o fi a proiectului n care apar principalele categorii de informaii necesare n procesul de evaluare. Fia proiectului trebuie s conin elemente privind contextul programului: un scurt istoric al programului (detalii despre origine, iniiator), sumarul activitilor i al metodelor de furnizare/ asigurare a serviciului, informaii despre programe similare organizate/realizate de ctre alte instituii/ organizaii, precum i detalii privind unicitatea programului. Un alt element al fiei programului este structura organizaional (organigrama, distribuia responsabilitilor), documentele programului, din care trebuie extrase informaii referitoare la: scopul i obiectivele programului, strategiile pentru atingerea scopurilor i obiectivelor programului cu planurile de implementare, rezultate pe termen scurt, mediu i lung, lista indicatorilor de performan, rezultatele monitorizrilor anterioare etc. Din fia programului, nu trebuie s lipseasc descrierea activitilor programului unde vor fi incluse elemente referitoare la denumirea i catalogarea tuturor activitilor aferente proiectului, locaia activitilor, calendarul iniial al activitilor i eventualele modificri i stadiul actual de desfurare a activitilor. Se vor meniona toate informaiile disponibile legate de actorii implicai, de resursele angajate, de rezultatele ateptate i de cele efectiv realizate, precum i de colaboratori, evaluatori interni i externi, metode de marketing i publicitate (acolo unde este cazul). Orice fi de evaluare este indicat s cuprind un capitol de observaii i notificri suplimentare. Fia proiectului trebuie completat prin observaii i interviuri repetate cu prile implicate. Iniiatorii programului pot furniza informaiile referitoare la contextul programului. Detaliile organizatorice vor fi furnizate de cei care implementeaz programul. Ei vor fi i cei care pot da informaii n legtur cu documentele programului, i chiar pot pune aceste documente la ndemna evaluatorului. Documentele unui program se pot referi la: cererea de nfiinare a programului i/sau aplicaia pentru finanare, contractele care s-au semnat pentru acordarea finanrilor, pentru contractarea i subcontractarea unor activiti, instrumentele metodologice utilizate n vederea implementrii, rapoartele i planurile anuale de activiti, bugetul i execuia bugetului precum i alte evaluri realizate anterior. Dup analiza tuturor acestor informaii, avem deja o imagine de ansamblu asupra programului i suntem pregtii s trecem la construcia unor instrumente pentru obinerea unor informaii mai detaliate, sau pentru verificarea anumitor date, dac este nevoie. Aici este vorba, de obicei, de realizarea unor ghiduri de interviu prin care se va testa gradul de ndeplinire a sarcinilor, gradul
30

Idem.

69

de satisfacie a beneficiarilor unui program, ncrederea cetenilor ntr-un anumit program sau n echipa care l implementeaz. Fia de evaluare a unui program poate fi completat n timpul procesului de colectare a datelor, sau poate fi utilizat doar n momentul organizrii informaiilor i a clasificrii acestora. De asemenea, categoriile pe care le propune nu sunt fixe. n funcie de specificitatea programului investigat, de tipul i de scopul evalurii, aceste categorii de informaii pot fi modificate, detaliate sau anulate.

Bibliografie
1. Bickman, L., Rog, D. J. (editori), Handbook of Applied Social Research Methods, Sage, 1998 2. Caplow, Theodore, 1970, LEnqute sociologique, Armand Colin, 1970 3. Chelcea, Septimiu, Metodologia cercetrii sociologice. Metode cantitative i calitative, Editura Economic, 2001 4. Chen, H., Rossi, P., Issues in the theory-driven perspective, n Evaluation and program planning, vol. 12, n. 4, 1989 5. Cook, Thomas D. i Donald T. Campbell, Quasi-experimentation: Design and Analysis Issues for Field Settings Chicago, Rand McNally, 1979 6. Gibbs, Anita, Social research Update, Issue 19, Univ. of Surrey, 1997 http://www.soc.surrey.ac.uk/sru/SRU19. html 7. Kuhn, Thomas, Structura revoluiilor tiinifice, Ed. tiinific i Enciclopedic, Bucureti, 1978 8. Patton Michael Q., Utilization-Focused Evaluation: The New Century Text, Sage Publication, 1997 9. Patton, Michael Q., How to Use Qualitative Methods in Evaluation, SAGE Publications. Inc., 1987 10. Patton, Michael Q., Qualitative Research and Evaluation Methods (3. rd. ed.), SAGE, 2002 11. Shadish, William Jr, Thomas D. Cook i Laura C, Leviton, Foundation of Program evaluation: Theories and Practice, Newbury Park, CA, SAGE, 1991 12. Shadish, William R. Jr., Thomas D. Cook, Laura C. Leviton, Fundamentele evalurii peogramelor: Teorii ale practicii, SAGE Publications, Inc., 1995 13. Silverman, David, Interpreting Qualitative Data: Methods for analysing Talk, Text and Interaction, 2nd ed. Sage, 2001 14. Stake, Robert E. (ed.), Evaluating the Arts in Education: A Responsive Approach, Collumbus OH: Merril, 1975 15. andor, Sorin Dan, Analiz i cercetare n administraia public, Accent, 2004 16. Wholey, Joseph S. (Editor), Harry P. Hatry (Editor) i Kathryn E. Newcomer (Editor), Handbook of Practical Program Evaluation 2nd Edition, 2005 17. Witkin, Belle Ruth, Altschuld, James W., Planning and Conducting Needs Assessments. A Pratical Guide, Sage Publications, 1995

70