Holt Rom=nia

Programul pentru Promovarea

Asisten]ei Sociale

Universitatea Al. I. Cuza, Ia[i

Departamentul de Sociologie
[i Asisten]\ Social\

Revista de cercetare
[i interven]ie social\
Volumul 20
martie 2008

Revue de
Recherche et
Intervention
Sociale

Review of
Research and
Social
Intervention

{tefan COJOCARU

Evaluarea apreaciativ\ form\ a evalu\rii

formative

www.asistentasociala.ro

Sec]iunea: Metode de cercetare

[i de interven]ie

Editura Lumen, 2008

3

REVISTA DE CERCETARE {I INTERVEN}IE SOCIAL| - VOLUMUL 20/2007

Revista de cercetare
[i interven]ie social\
acreditat\ CNCSIS, cod 657
Director: prof.dr. Vasile MIFTODE
Redactor [ef: conf. dr. {tefan COJOCARU
Secretar general de redac]ie: asist. drd. Daniela COJOCARU

International Advisory Board

prof.dr. Nadji RAHMANIA USTL Lille, Fran]a
prof.dr. Patrick LeGuirriec Universit Tours, Fran]a
prof.dr. Victor Groze Case Western University, Cleveland, SUA
prof.dr. Einar Helander Lisabona, Portugalia
prof.dr. Karl Garber ENSP Rennes, Fran]a
dr. Lindi Endicott Planned Parenhood, SUA
prof.dr. Vicky Buchan, Colorado State University, SUA
Consultan]i pentru domeniul protec]iei copilului
[i a familiei
Pintilii PENCIUC/Director Executiv Adjunct DGASPC Ia[i,
Maria Felicia MIHAI/Director Executiv DGASPC Boto[ani,
Ionel {tef\nic\ ARMEANU/Director Executiv DGASPC Vaslui,
Marian LOSPA/Director Executiv DGASPC Neam], Sorin
BRA{OVEANU/Director Executiv DGASPC Bac\u
Colectivul de redac]ie
Antonio SANDU, Asocia]ia Lumen; Iuliana Z|GAN, Holt
Rom=nia; Elena MOCANU, Holt Rom=nia; lect. dr. Nicoleta
NEAM}U, Universitatea Babe[-Bolyai Cluj Napoca;
M\d\lina Constantin, DGASPC Ia[i; Raluca Popescu, ICCV
Bucure[ti
ISSN: 1583-3410 (varianta tiparit\);
ISSN: 1584-5397 (varianta online)
Editura Lumen, Ia[i
Adresa redac]iei: Holt Romnia FCSSCF Filiala Ia[i,
Ia[i, str. Bistri]a, nr. 7, Bl. B13, parter, ap.3,
tel./fax: 0332.402515, email: redactia@asistentasociala.ro

Revista de cercetare [i interven]ie social\

Realitatea pe masa de disec]ie

Appreciative inquiry for enhancing individual and organization capacity
Chandi Prasad CHAPAGAIN, Gana Pati OJHA .................................. 7
Teorii despre...
La intervencin apreciativa: una nueva manera de descubrir, crear, compartir,
e implementar conocimiento para el cambio en instituciones gubernamentales
o privadas
Federico Varona MADRID ................................................................. 19
Metode de cercetare [i de interven]ie
Creating growth and development in a coaching relation using appreciative
inquiry and solution focused approach
Gry ESPEDAL .................................................................................... 36
Evaluarea apreaciativ\ - form\ a evalu\rii formative
{tefan COJOCARU ............................................................................ 42
Din experien]a practicienilor
Appreciative inquiry changing perspectives in our perception of organisations
Jo TPFER ........................................................................................ 49

REVISTA DE CERCETARE {I INTERVEN}IE SOCIAL| - VOLUMUL 20/2007

Utilizarea interven]iei sociale apreciative n supravegherea specializat\ a

minorului n comunitate
Ecaterina CROITOR........................................................................... 59
Prezent\ri organiza]ionale
Centrul Virtual de Resurse `n Asisten]a Social\ ...................................... 79
Expert Projects ........................................................................................ 81

REVISTA DE CERCETARE {I INTERVEN}IE SOCIAL| - VOLUMUL 20/2007

Working together
www.asistentasociala.ro

Evaluarea apreciativ\ - form\ a evalu\rii

formative
[Appreciative evaluation a form of formative evaluation]
PhD {tefan Cojocaru*, Senior Lecturer
Alexandru Ioan Cuza University,
Department of Sociology and Social Work,
Branch Director of Holt Romania Foundation- Iasi

Abstract
This article offers a brief overview of appreciative evaluation based on
appreciative inquiry. We presented the forms of program evaluation and arguments
for considering the appreciative evaluation like a formative one. The power of
appreciative approach to influence the think and the acts of staff that implement
the program are using for improve the implementation and the programs results.
Key terms: Appreciative evaluation, appreciative inquiry, formative evaluation,
summative evaluation, appreciative interview, program evaluation.
Received: 2007, October, 21.

Introducere
Evaluarea programelor sociale constituie un domeniu care s-a dezvoltat n
ultimele decenii [i care atrage un num\r nsemnat de cercet\tori pentru consolidarea corpus-ului de modele, teorii, metode de cercetare [i tehnici de culegere
*

PhD Stefan Cojocaru is Senior Lecturer at University Alexandru Ioan Cuza from Ia[i, Romania
and site director of Holt Romania Foundation. He has experience in child protection and
program evaluation, research methodology, in doing organisational development and training
for parctitioners in social work. Has written the books: Appreciative methods in social work.
Inquiry, supervision and case management (2005, Polirom, Ia[i), The project of intervention in
social work. From the grant proposal to individualized intervention plans (2006, Polirom,
Ia[i) and with Daniela Cojocaru, The case management in child protection. Evalution the
services and practices in Romania (2008, Polirom, Ia[i). Email: stefan.cojocaru@ comunitate.
ro

42

METODE DE CERCETARE {I DE INTERVEN}IE

a datelor utilizate pentru realizarea unor cercet\ri de tip evaluativ; mai mult dect
att, fondurile alocate proiectelor de interven]ie prev\d [i costurile necesare
evalu\rii [i monitoriz\rii programelor, pentru identificarea celor mai bune practici
[i m\surarea succesului acestora. Ciclul de via]\ al unui program cuprinde inclusiv
evaluarea, ca etap\ principal\, al\turi de ini]iere, proiectare, implementare [i
monitorizare, [i aceasta se poate realiza prin raportare la elementele semnificative
ale programului (Cojocaru, 2006, pp.115-164): scopuri, obiective [i indicatori,
activit\]i, resurse existente [i poten]iale, beneficiari, metodologie de interven]ie,
rezultate a[teptate, monitorizare [i evaluare; astfel, putem realiza evaluarea la
fiecare nivel al acestor elemente, n func]ie de nevoile identificate de implementator sau de cerin]ele finan]atorilor. De aceea, putem vorbi de evaluarea
gradului de atingere a obiectivelor, de evaluarea procesului de oferire a serviciilor,
de evaluarea modului de utilizare a resurselor, de evaluarea eficacit\]ii [i a eficien]ei programului, de evaluarea progresului, de evaluarea impactului programului [i, nu n ultimul rnd, de evaluarea evalu\rii.

Evaluarea formativ\ [i cea sumativ\

Dep\[ind confuziile care exist\ la nivelul utiliz\rii termenilor de proiect [i
program (Cojocaru, 2006, pp. 73-98), consider\m c\ evaluarea proiectelor reprezint\ procesul de apreciere a propunerilor de finan]are, ini]iat de c\tre finan]atori [i care are ca scop selectarea proiectelor care satisfac cerin]ele acestora
[i care n urma acestui proces vor primi fonduri necesare derul\rii programelor.
Metodologiile de evaluare a proiectelor sunt diverse n func]ie de cerin]ele fiec\rui
finan]ator n parte, dar atunci cnd selectarea se face n urma unei competi]ii,
rezultatul evalu\rii se prezint\ ca o form\ de cuantificare a calit\]ii, valorii [i
importan]ei proiectelor, prin atribuirea unor scoruri de c\tre evaluatori prin care
sunt departajate propunerile primite. Pe de alt\ parte, evaluarea programelor este
un proces de m\surare, analiz\, interpretare [i verificare a modurilor n care sunt
puse n practic\ proiectele finan]ate, de identificare a punctelor tari [i a celor
slabe, precum [i de apreciere a calit\]ii serviciilor oferite beneficiarilor.
Evaluarea programelor, indiferent de forma [i perioada n care se realizeaz\ pe
parcursul derul\rii activit\]ilor determin\ valoarea unui anumit program care
face obiectul unei analize (Krogsrud Miley, OMelia [i DuBois, 2004/2006, p.
470). Cele mai semnificative sensuri ale evalu\rii sunt date de unele defini]ii care
pun n rela]ie att scopurile, utilitatea [i rezultatele acesteia cu procesul de culegere, analiz\ [i interpretare a datelor; astfel, evaluarea reprezint\ culegerea
sistematic\, analiza [i interpretarea informa]iilor despre activit\]ile [i rezultatele
programului, pentru a permite persoanelor interesate s\ fac\ judec\]i asupra unor
aspecte specifice ale programului [i s\ mbun\t\]easc\ programul (Patton, apud.
M\]\uan, 1999, pp.63-64). mbun\t\]irea programului poate fi un rezultat att al
43

REVISTA DE CERCETARE {I INTERVEN}IE SOCIAL| - VOLUMUL 20/2008

deciziilor interne luate la nivelul organiza]iei implementatoare, ct [i al

recomand\rilor f\cute acesteia de c\tre finan]atori. Pentru al]i autori, accentul pus
n defini]ia evalu\rii este pe aplicarea cercet\rii sociale n sfera programelor
sociale: cercetarea de evaluare este o aplicare sistematic\ a procedurilor de
cercetare social\ pentru aprecierea conceptualiz\rii, design-ului, implement\rii [i
utilit\]ii programelor de interven]ie social\ (Rossi [i Freeman, 1993, p. 5).
Pornind de la perspectivele n evaluare propuse de Chelimsky (1978), respectiv
cea managerial\ [i administrativ\ prin care se urm\re[te mbun\t\]irea rezultatelor
programului [i identificarea celor mai eficiente forme de interven]ie, cea a finan]atorilor care doresc s\ se asigure de ob]inerea rezultatelor estimate nc\ din
etapa de proiectare [i de experimentare a unor practici inovatoare ce pot influen]a
politicile publice [i cea a test\rii unor ipoteze ale [tiin]elor sociale sau a verific\rii
unor principii ale practicii, Rossi [i Freeman disting ntre trei tipuri de cercet\ri
evaluative (1993, pp. 34-35): (1) analiza referitoare la conceptualizarea [i designul interven]iilor; (2) monitorizarea implement\rii programului; [i (3) evaluarea eficacit\]ii [i eficien]ei programului. Lund n discu]ie complexitatea
procesului de evaluare generat\ att de orient\rile teoretice [i paradigmatice, ct [i
de circumstan]ele derul\rii programului, autorii consider\ c\ uneori trebuie
incluse toate cele trei clase de activit\]i, iar evalu\rile care fac acest lucru se
numesc comprehensive (1993, p. 35).
Indiferent de accentul pus n evaluare, cea mai utilizat\ distinc]ie este cea
dintre evaluarea formativ\ [i cea sumativ\, propus\ de Scriven (1967) cu referire
la mbun\t\]irea programului [i la aprecierea performan]ei acestuia; astfel, autorul
consider\ c\ evaluarea formativ\ urm\re[te n principal mbun\t\]irea programului, iar cea sumativ\ are ca scop m\surarea performan]ei, v\zut\ n rela]iile cu
achizi]iile beneficiarilor programului; evaluarea formativ\ se realizeaz\ n timpul
derul\rii programului [i continu\ pe toat\ perioada desf\[urare a acestuia, cuprinznd elementele care analizeaz\ modul de implementare a acestuia [i progresele nregistrare pn\ n momentul realiz\rii evalu\rii, fiind o form\ de m\surare continu\ a activit\]ilor desf\[urate (Westat et al., 2002, p. 8). Pentru a
sublinia diferen]ele dintre evaluarea formativ\ [i cea sumativ\ autorii aduc n
aten]ie exemplul oferit de Stake, pe care l prelu\m [i noi, fiind deosebit de
sugestiv: atunci cnd buc\tarul gust\ supa... [evaluarea, n.n.] este formativ\... [i
atunci cnd invita]ii gust\ supa, aceasta este sumativ\ (Stake, apud. Westat et al,
2002, p. 8). Exemplul de mai sus ne ajut\ s\ oper\m cteva diferen]e ini]iale ntre
cele dou\ forme de evaluare: evaluarea formativ\ [i evaluarea sumativ\.

44

METODE DE CERCETARE {I DE INTERVEN}IE

Evaluarea formativ\
Evaluarea formativ\ este preponderent intern\ [i are rolul de a mbun\t\]i
serviciile oferite [i de a aprecia n ce m\sur\ programul se desf\[oar\ conform
planific\rii ini]iale, oferind totodat\ repere pentru modific\ri ce pot fi realizate pe
perioada derul\rii programului; acest tip de evaluare se realizeaz\ nc\ din stadiile
de nceput ale programului, iar aceste cercet\ri formative sunt direc]ionate de
ntreb\ri specifice referitoare dezvoltarea sistemului de servicii, selectarea [grupurilor sau beneficiarilor, n.n.] ]int\ [i la structurarea interven]iei (Rossi [i
Freeman, 1993, p. 135); astfel, ntreb\rile cercet\rii nu au doar rolul de a ob]ine
informa]ii legate de aceste aspecte, ci [i direc]ionarea personalului implicat n
derularea programului c\tre p\strarea [i ncurajarea practicilor pozitive, de succes
[i schimbarea unor ac]iuni care nu conduc la ob]inerea rezultatelor dorite. Evaluarea formativ\ poate conduce la redefinirea modalit\]ilor de interven]ie [i a
practicilor utilizate, la urm\rirea modului n care sunt realiza]i indicatorii de
performan]\, ea ns\[i fiind o form\ de control al calit\]ii (Hahn, Lavery,
Stevenson, 2006, p. 15). Unul dintre obiectivele evalu\rii formative este cel de
verificare a conformit\]ii, fiind parte a procesului de evaluare prin care se urm\re[te verificarea n teren a modului n care sunt desf\[urate activit\]ile [i dac\
acestea sunt conform planific\rii [i datelor oferite de implementator n rapoartele
de monitorizare reprezint\ o oglind\ a activit\]ilor desf\[urate. Un avantaj, deloc
de neglijat, al evalu\rii formative este posibilitatea de a opera modific\ri n
implementarea programului [i adaptarea acestuia n func]ie de rezultatele ob]inute
pn\ la etapa intermediar\ de evaluare. Criteriul pertinen]ei, utilizat n evaluarea
formativ\, urm\re[te s\ m\soare dac\ ac]iunile desf\[urate pot atinge obiectivele
propuse, dac\ aceste obiective au fost atinse pe perioada de implementare ca un
rezultat al ac]iunilor ntreprinse. A[a cum subliniaz\ autorii manualului evalu\rii
al National Science Foundation (Westat et. al, 2002), evaluarea formativ\ are
dou\ tipuri semnificative: a) primul ce se orienteaz\ asupra implement\rii conform
planific\rii realizate ini]ial n cadrul proiectului [i b) al doilea, urm\re[te s\
m\soare progresul realizat n atingerea obiectivelor propuse. Indiferent c\ se refer\
la evaluarea implement\rii sau a progresului nregistrat n cadrul programului,
evaluarea formativ\ urm\re[te evaluarea procesului; de accea, o distinc]ie pe care
o face evaluarea procesului este diferen]a dintre activit\]ile actuale ale proiectului
[i popula]ia care a beneficiat de servicii [i activit\]ile inten]ionate [i popula]ia
]int\ (Hahn et. al, 2006, p. 19), fiind o form\ de verificare a modului n care au
fost realizate activit\]ile n concordan]\ cu a[tept\rile precizate ini]ial n conceperea proiectului. Cu alte cuvinte, evaluarea formativ\ reprezint\ un proces de
verificare a coeren]ei dintre proiectul ini]ial [i modul de implementare a programului. Deseori exist\ confuzii ntre evaluarea implement\rii [i monitorizarea

45

REVISTA DE CERCETARE {I INTERVEN}IE SOCIAL| - VOLUMUL 20/2008

programului; de obicei, evaluarea implement\rii este un proces intern de verificare

a modului n care se desf\[oar\ activit\]ile n acord cu filosofia programului, pe
cnd monitorizarea reprezint\ un proces continuu de verificare [i m\surare a
indicatorilor stabili]i pentru obiectivele programului realizat la ini]iativa finan]atorilor.

Utilizarea anchetei apreciative n evaluarea formativ\

Ancheta apreciativ\ a devenit o metod\ de cercetare, dar cu accentuate valen]e
ale interven]iei, datorit\ lucr\rilor de referin]\ ale lui Cooperrider [i colaboratorilor
s\i prin care se propune un model de interpretare [i schimbare organiza]ional\,
plecnd de la identificarea [i valorizarea experien]elor pozitive; mai mult dect
att, aceast\ form\ de abordare a realit\]ilor sociale propune renun]area la paradigma deficien]ei, prin stimularea [i dezvoltarea creativit\]ii, fiind o mbinare
ntre cercetare [i ac]iune. Unii autori consider\ c\ experien]a utiliz\rii anchetei
apreciative n domeniul dezvolt\rii organiza]ionale reprezint\ o resurs\ important\
care poate fi utilizat\ n managementul schimb\rii, n influen]area atitudinilor [i
comportamentelor persoanelor: experien]ele noastre variate au confirmat [i reafirmat puterea utiliz\rii abord\rii apreciative pentru a n]elege [i a mbun\t\]i
programele organiza]iei, procesel, produsele, politicile [i sistemele. Ca o form\ a
dezvolt\rii organiza]ionale [i a strategiei schimb\rii, ancheta apreciativ\ adesea
are o influen]\ profund\ n modurile n care oamenii gndesc [i ac]ioneaz\
(Preskill, Tzavaras Catsambas, 2006, p. ix). Autorii consider\ c\ ancheta apreciativ\ poate fi ncorporat\ n practica evalu\rii, argumentnd trei c\i de realizare
a acestui proces (Preskill, Tzavaras Catsambas, 2006, pp. 49-50): a) centrarea pe
o evaluare [i dezvoltarea planului evalu\rii, b) planificarea [i realizarea interviurilor [i anchetei, c) modelarea unui sistem al evalu\rii; toate aceste etape ale
evalu\rii pot fi realizate utiliznd diferite stadii ale anchetei apreciative. Utilizarea
interviului appreciative (individual sau de grup) ofer\ oportunitatea descoperirii
[i planific\rii unor interven]ii menite s\ mbun\t\]easc\ modul de implementare a
programului, rezultatele acestuia [i ata[amentul personalului implicat fa]\ de
obiectivele propuse. n procesul evalu\rii ascultarea activ\ transform\ interviul
ntr-un dialog care sprijin\ participan]ii s\ identifice cele mai de succes experien]e,
valorile personale, profesionale [i organiza]ionale, dorin]ele acestora proiectate la
nivel organiza]ional. Discu]iile despre lucrurile pozitive motiveaz\ personalul s\
participe la implementarea programului, ofer\ idei novatoare [i energie pentru
ac]iune. Explica]iile participan]ilor cu privire la momentele n care s-au sim]it
mplini]i, mndri [i plini de satisfac]ie nu eludeaz\ posibile punte slabe ale implement\rii programului, ci le trece n subsidiar, devenind irelevante, a[a cum
consider\ Peter Drucker ntr-un interviu apreciativ condus de Cooperrider (2007).
Subsidiaritatea problemelor, disfunc]iilor [i deficien]elor este la fel de manifest\
[i n momentul proiect\rii obiectivelor viitoare, pentru c\ acestea sunt exprimate
46

METODE DE CERCETARE {I DE INTERVEN}IE

n termeni ce exprim\ ceea ce-[i doresc participan]ii (n termeni pozitivi) [i nu

ceea ce nu-[i doresc (ca nega]ie a ceea ce-[i doresc s\ evite), pentru c\ imaginea
pozitiv\ conduce la ac]iune pozitiv\ (cum ntlnim n cazul efectului placebo sau
Pygmalion).
Modalit\]ile de organizare ale anchetei apreciative aduc n aten]ie importan]a
dialogului, ca proces al anchetei calitative [i al ini]ierii unor schimb\ri dorite [i
inten]ionate; chiar dac\ sunt unele critici legate de caracterul exclusiv al utiliz\rii
aspectelor pozitive, ancheta apreciativ\ integreaz\ ancheta [i ac]iunea ntr-un
cadru particular de dezvoltare care ghideaz\ analiza [i procesele interac]iunii de
grup (Patton, 2001, p. 182). Din acest punct de vedere, ancheta apreciativ\ poate
fi utilizat\ mai ales n procesul de evaluare formativ\, ...prezen]a cercet\torului
care pune ntreb\ri, sau ...care ofer\ feedback-uri, poate fi considerat\ o interven]ie... (Patton, 2001, p. 42) care ar ca scop mbun\t\]irea programului
(Patton, 2001, p.213), ...a politicilor, a personalului implicat n program sau a
produselor oferite (Patton, 2001, p. 220). Chiar dac\ ancheta apreciativ\ este
considerat\ a fi o form\ util\ de realizare a evalu\rii formative, Patton subliniaz\
faptul c\ [i cazurile negative ofer\ noi oportunit\]i de nv\]are n evaluarea
formativ\ (Patton, 2001, p. 554), ceea ce arat\ c\ nu doar exemplele pozitive, de
succes particip\ la mbun\t\]irea programului, pentru c\ oamanii nva]\ [i din
gre[eli; acest punct de vedere subliniaz\ [i unele limite ale evalu\rii apreciative,
dar f\r\ a fi negate valen]ele pozitive ale acesteia.

Bibliografie
Birckmayer, J.D., Weiss, C.H., 2000, Theory-based evaluation in practice: what do we
learn?, Evaluation review, 24 (4), pp. 407-431.
Chelimsky, E., 1978, Differing perspectives of evaluation, n Rentz, C. C. [i Rentz, R.
R. (eds.), Evaluating Federally sponsored programs: new directions for program
evaluation 2, pp. 19-38, Jossey-Bass, San Francisco.
Chen, H.T., 1990, Theory-driven evaluation, Sage Publications, Thousand Oaks.
Chen, H.T., Rossi, P.H., 1983, Evaluating with sense: the theory-driven evaluation,
Evaluation Review, vol. 7, pp.283-302.
Cojocaru, {., 2005, Metode apreciative n asisten]a social\. Ancheta, supervizarea [i
managementul de caz, Polirom, Ia[i.
Cojocaru, {., 2006, Proiectul de interven]ie n asisten]a social\. De la propunerea de
finan]are la planurile individualizate de interven]ie, Polirom, Ia[i.
Cooksy, L.J., Gill, P., Kelly, P.A., 2001, The program logic model as an integrative
framework for a multimethod evaluation, Evaluation and Program Planning,
vol. 24, pp. 119-128.
Cooperrider, D, An appreciative interview with Peter Drucker, http://
appreciativeinquiry.case.edu/uploads/ACF13FB.doc, 2007, septembrie 21.

47

REVISTA DE CERCETARE {I INTERVEN}IE SOCIAL| - VOLUMUL 20/2008

Crowley, K.M., Yu, P., Kaftarian, S.J., 2000, Prevention actions and activities make a
difference: a structural equation model of coalition building, Evaluation and
Program Planning, vol. 23, pp. 381-388.
Doherty, J.E, Rispel, L.C, 1995, From conflict to cohesion: involving stakeholders in
policy research, Evaluation and Program Planning, vol. 18, no. 4, pp. 409-415.
Hahn, T., Lavery, T., Stevenson, P., 2006, Enhancing and evaluating local juvenile justice
szstems in Illinois: an evaluation manual, http://www.jrsa.org/jjec/state_info/
reports/illinois-evaluation-manual.pdf, decembrie 2006.
Krogsrud Miley, K., OMelia, D., DuBois, B., 2004/2006, Practica asisten]ei sociale.
Abordarea participativ\, Polirom, Ia[i.
Love, A.J., Russon, C., 2000, Building a worldwide evaluation community: past, present
and future, Evaluation and Program Planning, vol. 23, pp. 449-459.
M\]\uan, G., 1999, Evaluarea programelor sociale, Expert, Bucure[ti.
Papineau, D., Kiely, M.C., 1996, Participatory evaluation in a community organization:
fostering stakeholder empowerment and utilization, Evaluation and program
planning, vol. 19, pp. 79-93.
Patton, M.Q., 1988, The evaluators responsibility for utilization, Evaluation Practice,
vol. 9(2), pp. pp. 5-24.
Patton, M.Q., 2001, Qualitative research and evaluation methods, 3rd edition, Sage
Publications, Thousands Oaks, California.
Preskill, H., Tzavaras Catsambas, T., 2006, Reframing evaluation through appreciative
inquiry, Sage Sage Publications, Thousands Oaks, California.
Rossi, P.H., Freeman, H.E., 1993, Evaluation. A systematic approach, 5th edition, Sage
Publications, Newbury Park, California.
Scriven, M., 1967, The methodology of evaluation, Rand- McNally, Chicago.
Stake, R.E., 1967, Countenance of educational evaluation, Teachers College Records,
vol. 68, pp. 523-540.
Stufflebeam, D.L., 1983, The CIPP model for program evaluation, n Madaus, G.F.,
Scriven, M.S., Stufflebeam, D.L., Evaluation models: viewpoints on educational
and human services evaluation, Kluwer, Hingham, pp. 117-141.
Weiss, C.H., 1972, Evaluation research: methods of assessing program effectiveness,
Prentice Hall, Englewood Cliffs.
Weiss, C.H., 1997, How can theory-based evaluation make greater headway, Evaluation
Review, Vol. 21 (4), pp. 501-524.
Westat, J. F., Frierson, H., Hood, S., Hughes, G., Katzenmeyer, C., 2002, The 2002 user
friendly handbook for project evaluation, The National Science Foundation,
Directorate for Education and Human Resources, Division of Research, Evaluation
and Communication, Arlington.

48