UNIVERSITATEA DIN BUCURETI FACULTATEA DE PSIHOLOGIE I TIINELE EDUCAIEI Master: Managementul i evaluarea organizaiilor i programelor educaionale

Modelul CIPP de evaluarea

-microeseu-

BUCURETI 2013

Cuprins

I. Evaluarea programelor- delimitare conceptual i importan......................................3 II. Ce este un model de evaluare? ................................................................................... 5 III. Modelul de evaluare CIPP ...................................................................................... 6 IV. Avantaje i dezavantaje ale modelului CIPP ............................................................ 9 V. Concluzii .................................................................................................................. 10 Anexe ............................................................................................................................ 11 Bibliografie ................................................................................................................... 12

I.

Evaluarea programelor- delimitare conceptual i importan

Evaluarea este un exerciiu selectiv care i propune s aprecieze sistematic i obiectiv

progresul n atingerea unui rezultat. A evalua nseamn a aprecia sau a judeca valoarea sau meritul unui activiti desfurate. Evaluarea reprezint o secven fundamental n ciclul de via al oricrui program, proiect sau politici.

Etapa de evaluare din cadrul ciclului de via al unui program/ proiect poate fi interpretat, att ca etap final- care succede implementrii proiectului, ct i ca etap iniial- de debut a programului/proiectului. Privit ca etap final a procesului, evaluarea ar trebui s ne readuc la problema de la care am pornit, pentru a vedea n ce msur aceasta a fost ameliorat/ rezolvat i pentru a configura interveniile viitoare, cu referire la acea problem sau la altele, identificate de-a lungul procesului (caracterul spiralic al evalurii). nelegerea evalurii ca etap iniial se refer la faptul c acest proces este reversibil i supus mbuntirii continue: informaiile i feedback-ul oferite de o anumit etap pot genera reveniri la etapa anterioar cu scopul de a realiza ajustri i calibrri pentru o mai bun atingere a obiectivelor (caracterul iteratv al evalurii). Evaluarea programelor este procesul prin care sunt determinate eficiena i eficacitatea programului, implicnd colectarea, analiza i interpretarea datelor despre ndeplinirea obiectivelor programului.1.Ea este, n primul rnd, un proces de nvare despre succesele i aspectele critice / problematice ale programului / politicii. Colectarea, analiza i interpretarea datelor referitoare la politica sau programul n cauz, completate de reflecia
1

Epstein i Tripoldi, Reserch Tehniques for Program Planning, 1977

critic asupra activitilor derulate, constituie un instrument eficace la nivel de management direct.2 Evaluarea este aprecierea periodic a relevanei, performanei, eficienei i impactului (ateptat i neateptat) proiectului n raport cu obiectivele stabilite.3 Conform lui Michael Quinn Patton, Evaluarea este colectarea sistematic de informaii despre activitile, caracteristicile i rezultatele programelor pentru a fi utilizate de anumite persoane cu scopul de a reduce nesiguranele, pentru a spori eficacitatea i a lua deciziile oportune n legtur cu programele respective4 Evaluarea proiectelor i programelor este o etap specific, extrem de util n planificarea i managementul proiectelor, o tehnic de cercetare i un instrument pentru realizarea obiectivelor urmrite, utilizat cu succes de ctre responsabilii de managementul instituiilor i al organizaiilor, de ctre echipa de coordonare a respectivelor proiecte i programe. Sunt utilizate diferite modele de evaluare pentru a sesiza, n timp util, efectele interveniilor care se implementeaz sau se intenioneaz s fie implementate. Scopul este de a sesiza i a contracara la timp efectele nedorite asupra grupurilor de oameni, comunitilor i societii, precum i pentru a ncuraja elementele pozitive ale programelor i proiectelor. De asemenea, evaluarea ajut la colectarea sistematic de informaii despre rezultate, output i despre administrarea proiectelor pentru mbuntirea implementrii i generarea unor decizii performante n viitor. n concluzie, diferitele modele de evaluare sunt utilizate pentru a minimiza pierderile i a maximiza beneficiile interveniilor asupra grupurilor sociale de mici sau mari dimensiuni.

Ciolan Lucian, Hibbert Noel, Munteanu Radu, Ulrich Ctlina, Manual pentru evaluarea ex-ante a impactului politicilor educaionale ,vezi http://www.sgg.ro/docs/File/UPP/doc/manual%20pentru%20evaluarea%20exante%20a%20impactului%20politicilor%20educationale.pdf 3 OD 10.70 - Project Monitoring and Evaluation Operational Directive, World Bank, 1989. 4 Patton Michael Quinn, Utilization-focused evaluation, ediia a doua, Newbury Park, CA, SAGE Publications, 1986, citat de Jenny Hughes n Project Managers Guide of Evaluation, p. 3, www.evaluate/europe.net/handbook/ handbook.pdf

II.

Ce este un model de evaluare?

Cercetarea privind modelele de evaluare a programelor i proiectelor a cunoscut o

dezvoltare deosebit n ultimii ani, ns a fost mereu n atenia cercettorilor i practicienilor. Designul modelelor de evaluare i selectarea modelului potrivit pentru evaluarea unui anumit proiect sau program au devenit scopul a numeroase investigaii. Demersul este specific autorilor clasici n domeniul evalurii (Michael Quinn Patton, Michel Scriven, Peter H. Rossi), crora li s-au alaturat o serie de autori provenii mai ales din mediul academic (Daniel Stufflebeam, Egon Guba, Yvonna Lincoln, Ernest R. House, Kenneth R. Howe, Hanne Foss Hansen etc.). Instrumentarul este vast: evaluarea formativ, evaluarea sumativ, cea care pune un accent pe beneficiari, pe experi sau pe diveri participani n proiect, evaluarea realist, cea bazat pe teorie sau orientat pe utilizarea practic sunt doar cteva exemple. Un model de evaluare stipuleaz ntrebarea la care un anumit tip de evaluare ncearc s rspund i stabilete criteriile luate n considerare pentru evaluare.5 Potrivit lui Scriven modelul de evaluare este: un termen vag folosit pentru a desemna o concepie sau o abordare, uneori, chiar o metod de a face evaluri .... Modele sunt pentru paradigme ceea ce sunt ipoteze pentru teorii, adic realiti mai puin generale, dar care presupun unele suprapuneri. Cutnd definii corespunztoare conceptului de model ntrebuinat n domeniul evalurii programelor, Stufflebeam face referire la definiiile termenului din dicionarul englezesc, numind modelul de evaluare un rezumat al felului particular n care evaluatorul conceptualizeaz i descrie procesul de evaluare, un ansamblu de sfaturi i prescrieri oferite de cercettori care servesc la organizarea unui program de evaluare sau un mod de a da form felului n care este descris i fcut o evaluare Modelele de evaluare nu sunt modele n sensul de modele matematice folosite s verifice teorii date, ci n sensul c fiecare caracterizeaz punctele de vedere ale autorilor lor n legtur cu principalele concepte i structuri ale muncii de evaluare, servind n acelai timp ca funcie exemplar ce ofer linii directoare pentru utilizarea acestor concepte n vederea ajungerii la descrieri, judeci i recomandri susinute.6 Acestea exprim credine, opinii,

Hansen H.Fo.,Choosing Evaluation Models, A Discussion on Evaluation Design, 2005, Evaluation, vol. 11, nr. 4, pp. 447-462. 6 Stufflebeam D.L., Madaus George F., Kellaghan T., Evaluation Models: Viewpoints on Educational and Human Services Evaluation- vezi http://books.google.ro/books?id=5679vdyleZMC&printsec=frontcover&dq=evaluation+models&hl=ro&sa=X& ei=vDEIUYn_K4nUswb__YHoCA&ved=0CC4Q6AEwAA#v=onepage&q=evaluation%20models&f=false

perspective alternative ale specialitilor n legatur cu evaluarea i cu modalitile de rezolvare a problemelor ce intrevin n procesul evaluativ.

III.

Modelul de evaluare CIPP

Modelul de evaluare CIPP este un cadru global pentru orientarea evalurilor de programe, proiecte, instituii i sisteme. El a fost dezvoltat n anul 1960 de Sufflebeam i colaboratorii lui pentru a ajuta la mbuntirea i creterea responsabilitii fa de programele educaionale din Statele Unite. Peste ani, modelul a fost preluat i aplicat n programele educaionale desfurate n America i n afara acesteia i, de asemenea, fost adaptat altor domenii precum: psihoterapiea, afacerile, armata, programele sociale i de sntate, etc. Acest model de evaluare a rezultat din observaia c abordrile tradiionale ale modelelor de evaluare s-au dovedit a fi limitate i adesea prea rigide pentru evaluarea unor contexte sociale dinamice. CIPP se concentreaz pe furnizarea de informaie elementar pentru obinerea i validarea anumitor criterii evaluative i se bazeaz pe o relaie interactiv ntre evaluator i client. CIPP a fost fondat pe o abordare constructivist, care necesit ca evalurile s funcioneze pe o fundaie de ncredere, oferind informaii pentru toate prile interesate, indiferent de putere, gen sau mediu cultural. Evaluarea bazat pe acest model poate fi intern desfurat de organizaii, poate mbrca forma autoevalurii sau poate fi contractat din exterior. Modelul CIPP transpune evaluarea bazat pe rezultate ntr-o evaluare a eficacitii i sustenabilitii, facilitnd n acelai timp metaevaluarea i sinteza. ntrebrii de la care pornete acest tip de evaluare, Este programul un succes? i sunt subsumate ntrebri care verific impactul, eficacitatea i sustenabilitatea: A fost atins grupul int?, Au fost acoperite nevoile grupului int?, Beneficiile obinute n urma proiectului sunt sustenabile?, Procesul prin care au fost obinute aceste beneficii este adaptabil pentru alte contexte? etc. Criteriile de evaluare sunt derivate din scopul i obiectivele programului.7 Modelul de evaluare CIPP se concentreaz pe colectarea a patru tipuri diferite de date necesare pentru a orienta deciziile evaluatorului n raport cu proiectul /programul care face obiectul evalurii: date de context (C), informaii privind intrarea (I), date de proces (P) i date de produs (P).(vezi Anexa 1). Evaluarea de context, este similar cu analiza problemei, n sensul c servete la planificarea de informaii, identificarea problemelor, nevoilor i
7

Mike Karoly, andor Dan Sorin, Grboan Raluca, Cobrzan Bianca, Analiza politicilor publice i evaluarea programelor n administraia public-suport de curs, vezi http://www.apubb.ro/wpcontent/uploads/2011/03/Analiza_politicilor_publice_si-_evaluarea_programelor_in_AP.pdf

oportunitilor, n scopul de a dezvolta obiectivele programului. Evaluarea de intrare ofer informaii cu privire la resursele care sunt disponibile i necesare, n scopul atingerii obiectivelor. Evaluarea de proces determin dac sunt necesare schimbri n cadrul mediului de lucru. Evaluarea produselor se concentreaz pe rezultatele unui program i definesc liniile viitoare de aciune: continuarea, rezilierea, modificarea sau reorientarea. Fiecare dintre aceste componente ale modelului CIPP pune ntrebri specifice prin care determin stadiul actual de dezvoltare al programului supus evalurii. n plus, furnizeaz i un cadru propice pentru metaevaluare. Prin aceste ntrebri, CIPP poate informa o serie de decizii, cum ar fi scopurile sau obiectivele urmrite prin efectuarea unui proiect, care sunt planurile sau strategiile care vor fi implementate, ce aciuni sau activiti au nevoie de prioritate sau de mai mult atenie, i cum s ajungem la rezultate care corespund obiectivelor. Modelul CIPP poate fi reprezentat schematic astfel:

Fig 2: Elementele componente ale Modelului CIPP i relaiile dintre acestea (Stufflebeam 2003)

Constituit din trei cercuri concentrice, reprezentarea grafic surprinde, att elementele componente ale modelului de evaluare, ct i interaciunile existente n cadrul modelului. Potrivit interpretrii realizat de Sufflebeam n lucrarea Evaluation Models: Viewpoints on Educational and Human Services, cercul din interior schieaz valorile de baz care sunt furnizate de procesul evaluativ; cercul median divide valorile n patru centre evaluative asociate elementelor orcrui program: finaliti, planuri, aciuni i rezultate; iar cercul extern denot tipurile de evaluare folosite pentru fiecare centru evaluativ n parte, respectiv evaluarea contextului, evaluarea intrrilor, evaluarea procesului i evaluarea produsului. Sgeiile duble arat relaiile bilaterale stabilite ntre fiecare centru particular de evaluare i tipul de evaluare corespunztor. Sarcina formulrii unor obiective ridic ntrebri legate de contextul evaluarii, iar analiza contextului ofer informaii care ajut la validarea i mbuntirea obiectivelor. Planificarea eforturilor de implementare genereaz ntrebri legate de evaluarea intrrilor , care la rndul lor furnizeaz direcii pentru formularea planurilor strategice. Activitile de mbuntire implic interogri n legtur cu procesul evaluativ, care, la rndul su, determin hotrri privind aciunile ce urmeaz a fi ntreprinse i ofer un feedback care ntrete aceste hotrri. Relizrile, nerealizrile i efectele colaterale rezultate ne ndreapt atenia spre evaluarea produsului, prin intermediul creia sunt judecate ieirile i sunt identificate nevoi de a obine rezultate mai bune. Ca orice demers evaluativ, modelul CIPP presupune aciuni care corespund fie evalurii formative, fie celei sumative.(vezi Anexa 2). Evalurile formative sunt, n general, rapoarte intermediare trimise n diferite etape ale unui studiu de evaluare pentru a informa prile interesate i clienilor. Aceste rapoarte ofer ndrumare pentru factorii de decizie prin evaluarea i potrivirea cu obiectivele i prioritile. Evaluri sumative sunt, n general, evaluri retroactive cu privire la proiecte finalizate. Un evaluator trebuie s fie contient, att de rapoartele evalurii formative, ct i a celei sumative cnd efactueaz un studiu de evaluare. Tabelul urmtor, citat, de Stella Tan, Nicolette Lee i David Hall n lucrarea CIPP as a model for evaluating learning spaces, ca adaptare a lui Stufflebeam i Shinkfield, ofer o imagine de ansamblu a modului n care rapoartele formative i sumative pot fi folosite ntr-un studiu de evaluare, bazat pe modelul CIPP.
Rolurile evalurii Evaluarea formativ: Aplicaii prospective care ghideaz procesul decizional i asigurarea calitii Contextul Ghideaz identificarea nevoilor, regizarea obiectivelor(n funcie de nevoile de evaluare, problemelor, activelor i oportunitilor). Intrrile Ghideaz alegerea strategiei i examinarea planurilor de munc (n funcie de strategiile alternative de evaluare i de planul de asigurare al resurselor). Procesul Ghideaz planul de implementare (n baza monitorizrii i judecrii programului de activiti) Produsul Ghideaz continuarea sau terminarea proiectului (n baza rezultatelor evalurii i ale efectelor laterale)

Evaluarea sumativ: Comparaii retrospective i analize ale meritului programului.

Compar obiectivele i prioritile pentru a evalua nevoile, problemele, activele i oportunitile.

Compar strategia, modul de planificare i bugetul programului pentru atingerea obiectivelor.

Compar planificarea iniial cu actualul proces i cu costurile.

Compar rezultatele i efectele colaterale cu nevoile ndeplinite.

Fig. 3: Diferena dintre evaluarea formativ i evaluarea sumativ n diferitele etape ale modelului CIPP8 Acest tabel arat faptul c evaluatorii pot utiliza modelul CIPP n dou moduri: pentru a ghida dezvoltarea i mbuntirea programelor, proiectelor sau materialelor (rolul formativ) i pentru a furniza informaii n legtur cu ndeplinirea dezideratelor (rolul sumativ).

IV.

Avantaje i dezavantaje ale modelului CIPP

n condiiile n care nu exist o formul stabil de proiectare a unui studiu de evaluare a programelor, CIPP ne ofer un cadru orientativ. Combinat cu instruciuni riguroase acest model de evaluare, permite evaluatorului s planifice itinerariul demersului evaluativ. Prin intermediul lui nu se urmrete dovedirea finalitii programului, ci mbuntirea continu a acestuia. Modelul CIPP este un model adaptabil putnd fi utilizat pentru evaluarea programelor din diferite domenii. El ofer un cadru cuprinztor pentru orientarea evalurii formative i sumative a programelor i proiectelor. Acest model presupune o abordare holistic a ceea ce se evalueaz i a celor ce sunt implicai n evaluare. Participarea stakeholderilor n evaluare este una activ, ei oferind i primind, n acelai timp, informaii. Pe lng aceste puncte tari, modelul CIPP, cunoate i anumite limitri: este un model riguros, care poate presupune o abordare lent i costisitoare. Aadar modelul CIPP nu este un sistem infailibil, ci mai degrab un model care urmeaz s fie utilizat de ctre un evaluator. Responsabilitatea i corectitudinea oricrei evaluari este determinat de deciziile organizaiei care o desfurarea, nu de modelul n sine. CIPP ofer o modalitate de a obine date bazate pe dovezi cu care se valideaz rezultatele i de a dezvolta o nelegere mai clar a programului.

Tan Stella, Lee Nicolette i Hall David CIPP as a model for evaluating learning spaces, 2010, vezi http://creativecommons.org/licenses/by/2.5/au/

V.

Concluzii
Exist proiecte i programe de mari dimensiuni care implic numeroi sta keholderi

i, indirect, cerina de a satisface nevoile acestora. Natura complex i dinamic a acestor programe solicit un model de evaluare care poate s operaionalizeze i s ofere o orientare sistematic procesului evaluativ. Modelul CIPP de evaluare al programelor, vine s rspund acestor cerine. Presupunnd ghidarea permanent n funcie de variabilele contextului, ale intrrilor, ale procesului i ale produsului, el supravegheaz evoluia programului, eliminnd riscul apariiei eecului n orice etap de derulare a lui. ns, eficiena aplicrii lui depinde n cea mai mare parte de deciziile evaluatorului sau echipei de evaluare.

10

Anexe

Anexa 1:

Anexa 2:

11

Bibliografie
1.

Ciolan Lucian, Hibbert Noel, Munteanu Radu, Ulrich Ctlina, Manual pentru evaluarea exante a impactului politicilor educaionale ,vezi http://www.sgg.ro/docs/File/UPP/doc/manual%20pentru%20evaluarea%20exante%20a%20impactului%20politicilor%20educationale.pdf Epstein i Tripoldi, Reserch Tehniques for Program Planning, 1977 Hansen H.Fo.,Choosing Evaluation Models, A Discussion on Evaluation Design, 2005, Evaluation, vol. 11, nr. 4, pp. 447-462. Mike Karoly, andor Dan Sorin, Grboan Raluca, Cobrzan Bianca, Analiza politicilor publice i evaluarea programelor n administraia public-suport de curs, vezi http://www.apubb.ro/wpcontent/uploads/2011/03/Analiza_politicilor_publice_si_evaluarea_programelor_in_AP.pdf Mathison Sandra, Encyclopedia of Evaluation, pp.60-65, vezi: http://books.google.ro/books?id=nmv5mSHlXKQC&pg=PA65&dq=cipp+model&hl=ro&sa= X&ei=ixUJUavPAdCKswaixgE&ved=0CEcQ6AEwAw#v=onepage&q=cipp%20model&f=f alse OD 10.70 - Project Monitoring and Evaluation Operational Directive, World Bank, 1989. Patton Michael Quinn - Utilization-focused evaluation, ediia a doua, Newbury Park, CA, SAGE Publications, 1986, citat de Jenny Hughes n Project Managers Guide of Evaluation, p. 3, www.evaluate/europe.net/handbook/ handbook.pdf Payne D.A. (1994). Designing educational project and program evaluations: A practical overview based on research and experience. Boston: Kluwer Academic Publishers. Stufflebeam D.L., Madaus George F., Kellaghan T., Evaluation Models: Viewpoints on Educational and Human Services Evaluationvezi http://books.google.ro/books?id=5679vdyleZMC&printsec=frontcover&dq=evaluation+mode ls&hl=ro&sa=X&ei=vDEIUYn_K4nUswb__YHoCA&ved=0CC4Q6AEwAA#v=onepage&q =evaluation%20models&f=false Stufflebeam Daniel L., Shinkfield Anthony J., Evaluation Theory, Models, and Applications, 2007,vezi:http://books.google.ro/books?id=xx6UgC6UdFMC&pg=PA63&dq=evaluation+mo dels&hl=ro&sa=X&ei=lFQIUfLiOMSE4AS1yYGwDQ&ved=0CEQQ6AewBA Tan Stella, Lee Nicolette i Hall David CIPP as a model for evaluating learning spaces, 2010, vezi http://creativecommons.org/licenses/by/2.5/au/

2. 3.

4.

5.

6. 7.

8.

9.

10.

11.

12