Documente Academic
Documente Profesional
Documente Cultură
3.1.Definitii
Evaluarea este procesul de determinare a valorii sau succesului in atingerea unor obiective predeterminate; ea include urmatorii pasi:
formularea obiectivelor stabilirea criteriilor de masurare a succesului determinarea si explicarea gradului de succes recomandari pentru activitatea viitoare
(Asociatia Americana de Sanatate Publica)
3.1.Definitii
Rolul evaluatorului este de a redefini mijloacele care sa fie utilizate pentru atingerea obiectivelor si chiar de a redefini anumite obiective, in conformitate cu rezultatele cercetarii (Bigman) Evaluarea reprezinta examinarea si judecarea valorii, calitatii, cantitatii, semnificatiei, nivelului sau conditiei a ceva (Soumelis)
3.1.Definitii
Evaluarea este procesul prin care sunt determinate eficacitatea si eficienta programului. Ea se refera la indeplinirea obiectivelor programului
(Epstein&Tripodi)
Evaluarea programelor sociale este o tehnica manageriala care furnizeaza feed-back informational administratorilor programului. Ea reprezinta acumularea sistematica de date care sa furnizeze informatii despre indeplinirea obiectivelor
(Epstein,Tripodi&Fellin)
3.1.Definitii
Evaluarea programelor reprezinta utilizarea unor metode stiintifice pentru a masura gradul de implementare si rezultatele programelor. Ea poate fi privita ca un instrument managerial, folosit pentru cresterea performantelor programului, pentru ajustarea bugetului sau chiar pentru oprirea programului (Rutman & Mowbray)
3.1.Definitii
Evaluarea programelor este o noua si foarte interesanta stiinta sociala aplicata. Misiunea sa este de a sprijini imbunatatirea calitatii serviciilor umane. Ea este o colectie de metode, abilitati, capacitati si sensibilitati necesare pentru a determina daca un anumit serviciu social este necesar si daca este posibil ca el sa fie utilizat, daca se depun suficienta eforturi pentru a satisface nevoile sociale identificate, dar nesatisfacute inca, si daca serviciile oferite satisfac nevoile la un nivel rezonabil al costurilor in raport cu efectele lor
(Posavac & Carey)
3.1.Definitii
Practica evaluarii este mai mult o arta decat o stiinta, deoarece gama posibilitatilor si constrangerilor este atat de vasta, incat pentru a face alegerea potrivita evaluatorul are nevoie nu numai de o judecata foarte clara, ci si de virtuozitate in alegerea alternativelor posibile. fiecare evaluare se desfasoara in conditii specifice si de aceea probabilitatea ca o anumita combinatie sa fie repetabila este foarte redusa. Ca atare, teoriile nu trebuie sa prezinte un set rigid de reguli pentru o buna practica, ci mai degraba sa sistematizeze optiunile posibile. (Cronbach)
3.1.Definitii
Daca exista concepte mai greu de definit decat evaluare si politica, eu unul nu le-am intalnit. Nu este posibil sa le definesti intr-un fel care sa nu reflecte o preferinta metodologica sau epistemologica specifica.
D.J. Palumbo
10
3.1.Definitii
Proces rational si sistematic de masurare, descriere/ comparare/ judecare/ valorizare a relevantei/ procesului/ performantei/ impactului unei interventii si de armonizare a valorilor/ percepriilor/ intereselor stekeholderilor, menit sa ghideze decizia si actiunea.
11
3.1.Definitii
Criterii
Momentul Obiectul Metoda Continutul Evaluatorul
In sens restrans
La sfarsit program
Performanta si procesul
Instrumente de masurare precise si utilizate cu buna credinta
In sens larg
In orice etapa a programului
In plus, relevanta si impactul
In plus, capacitatea de intelegere si adaptare a evaluatorului la situatie
Extern
Gabriel Matauan 2009
demers de data relativ recenta sistemele de protectie sociala - sfarsit sec. 19 politicile sociale - dupa RM II programele sociale - inceput deceniu 7 1923 - Asociatia Americana a Lucratorilor Sociali infiinteaza un Subcomitet de Evaluare 1939-1951 - unul din primele experimente controlate menit sa evalueze eficacitatea interventiilor terapeutice (CambridgeSommerville Youth Study)
13
Pionierii evaluarii : Tyler (1935) in educatie Lewin (1948) in psihologia sociala Lazarsfeld (1955) in sociologie La inceputul anilor 60, in SUA este adoptata o lege federala care promoveaza evaluarea si asigura fondurile necesare : 1962 - evaluarea programului federal de combatere a delicventei juvenile 1962-1964 - evaluarea programelor pentru forta de munca si antisaracie 1965- evaluarea programului de educatie compensatorie
14
15
Nevoia de evaluare
motive financiare - finantatorii doreau sa stie cum sunt cheltuite fondurile motive politice - autoritatile centrale si locale isi disputau anumite programe motive manageriale - experienta insuficienta in conducerea programelor motive intelectuale - criticii doreau mai multa informatie motive tehnice - definirea si masurarea rezultatelor programelor sociale este dificila motive legale - reglementarile serviciilor sociale nu permit pietei se regleze acest domeniu motive epistemologice - dezvoltarea bazei de cunostinte
16
Premisele aparitiei
Suportul institutional
17
1980/SUA: 228 organizatii implicate in evaluare la nivel federal 1400 evaluatori profesionisti 180 mil. $ - cifra de afaceri fonduri disponibile pentru evaluare - 3 mild. $ profesionalizarea evaluarii : inceputul anilor 70 - in universitati apar primele centre si primele programe cu diploma jumatatea anilor 70 - primele asociatii,anuare, reviste si standarde (American Evaluation Association - 3000 membri in 1985) diversificarea practicii profesionale (furnizori,clienti domenii, activitati, metode, tehnici)
18
In Europa, preocupari sistematice apar la inceputul anilor 80, in relatie cu programele sociale majore ale UE Printre primele programe evaluate:
Poverty 1 - 1980 Poverty 2 - 1990 Poverty 3 - 1993 SPEC (Support Programme for Employment Creation)-1992 ERGO - 1996 (program pentru somerii de lunga durata)
19
La nivel national, primele incercari apar in anii 60, in Anglia, Belgia, Tarile Scandinave Din anii 90, atentia se indreapta catre Programele Phare si TACIS Se contureaza cateva caracteristici:
acceptarea diversitatii cultivarea autoevaluarii contractarea externa, fara a se insusi punctul de vedere al evaluatorului (Phare) - birocratica
20
21
22
23
initiatorul - tot Tyler (1942), in volumul in care descrie Eight Year Study caracteristica principala: descrierea punctelor tari si a slabiciunilor sesizate in legatura cu obiectivele, cu procesul etc
24
obiectivele programelor incep sa fie chestionate la fel si performantele, ceea ce impune existenta unor standarde evaluatorii evita sa preia acest rol, datorita influentelor politice, dar sfarsesc prin a-l accepta
25
principalul punct de referinta: cerintele, preocuparile si problemele stakeholderilor acceptarea pluralismului de valori negocierea si medierea valorilor stakeholderilor
26
1. tehnician - cunoscator al metodelor si standardelor de evaluare, dar devine si instrument al evaluarii 2. descriptor - descrie obiectivele, procesul, performanta, dar si constructele stakeholderilor; descriere iluminativ - istorica 3. judecator - nu isi mai asuma rolul de judecator, ci pe acela de mediator al procesului de judecata
27
4. colaborator - conduce evaluarea dintr-o postura colaborativa, nu de control 5. invatat si invatator - invata despre problemele fiecarui stakeholder si le prezinta si explica celorlalti stakeholderi
28
6. creator de realitate - invatandu-I pe fiecare sa inteleaga valorile celorlalti, modifica constructele initile si creaza unul nou, bazat pe o multitudine de valori 7. mediator si agent al schimbarii - prezentand un raport care include toate valorile celorlalti, creste sansa de utilizare a rezultatelor evaluarii
29
3.4. Misiunecriterii
Misiunea - care este ratiunea de existenta a evaluarii, ca demers uman, in general ? Scopul - obiectivul general pentru care a fost initiata o anumita evaluare; de ce a fost ceruta aceasta evaluare Obiectivele - mai intim legate de modul concret de utilizare a evaluarii; carei nevoi imediate foloseste aceasta evaluare ? Impactul - rezultatele mediate si efectele neintentionate ale evaluarii
30
3.4. Misiunea
Furnizarea feedback-ului in sistemele sociale, pentru sprijinirea imbunatatirii modului in care societatea abordeaza problemele sociale, in scopul de a face mai buna soarta umanitatii. evidentiaza si ierarhizeaza legaturile cauzale dintre misiunea evaluarii si obiectivele societale de maxima generalitate delimiteaza evaluarea de alte demersuri (decizie, actiune)
31
3.4. Scopuri
Strategic - generarea de informatii pentru luarea deciziilor privind politica domeniului. Praxiologic - rezultatele evaluarii sunt indreptate spre imbunatatirea practicilor in interiorul programului. Demonstrativ - constatarile evaluarii nu servesc nemijlocit pentru luarea unor decizii, ci sunt utilizate pentru a demonstra anumite aspecte legate de program sau pentru a genera perceptii dezirabile asupra programului. Formal-birocratic - evaluarea serveste doar pentru perpetuarea/consolidarea unor structuri birocratice.
32
33
imbunatatirea managementului programului perfectionarea modului de lucru al echipei programului ameliorarea modului de livrare a serviciilor programului catre beneficiarii acestuia
34
generarea unor perceptii si atitudini dezirabile din punctul de vedere al celor care au initiat evaluarea dovedirea rationalitatii unor decizii deja luate confirmarea unor roluri si pozitii de putere demonstrarea responsabilitatilor fata de program
35
justificarea existentei unui compartiment de evaluare necesitati de raportare bifarea unor sarcini
36
37
3.4. Obiecte
relevanta - articularea programului cu politica domeniului, cu nevoile/problemele sociale care l-au generat procesul - modul de organizare si functionare a programului performanta - masura in care programul si-a atins obiectivele impactul - contributia globala a programului la realizarea politicii domeniului (a obiectivului sau general); consecintele neintentionate ale programului.
38
impact
39
Criteriile - masura in care obiectivele, structura si/sau modul de operare a programului sunt adecvate cu:
problema sociala pe care o adreseaza programul nevoile specifice ale grupului-tinta prioritatile politicii domeniului alte interventii facute pentru rezolvarea celor de mai sus (integrarea programului in ansamblul interventiilor sociale)
40
Criterii:
managementul programului structura si organizarea programului activitatile desfasurate procedurile formale si informale relatiile interne si externe ale programului structura costurilor programului coerenta tuturor celor de mai sus si adecvarea lor la obiectivele programului reactiile programului la schimbarile din mediul extern
41
Criterii:
eficacitatea (obiectiv realizat/obiectiv planificat) eficienta (outputuri/inputuri) economia (costuri reale/costuri planificate) disponibilitatea (cantitatea si calitatea serviciilor oferite) accesibilitatea (apropierea de clienti a serviciilor oferite) targeting (numar de clienti eligibili/ numar de clienti serviti) acceptabilitatea ( numar de clienti satisfacuti/ numar de clienti serviti)
42
3.4. Impactul
Criterii:
masura in care programul a contribuit la atingerea obiectivului sau general masura in care programul a influentat formularea politicilor ulterioare participarea (numar de clienti serviti/numar de clienti potentiali) constientizarea ( gradul de cunoastere a programului in randul grupului-tinta si/sau al intregii populatii) efecte de multiplicare (output total/output program) efecte de antrenare (input total/input program) efecte de dislocare - activitatea programului face sa nu se mai desfasoare activitati similare in alte parti produs/factori de productie/oferta/piata muncii efecte de substitutie efecte secundare - calitatea rezultatelor, echitate, parteneriate, negative
43
tipuri, strategii, modele abordari 57 identificate, fara pretentia de a fi inventariat totul criterii posibile:
scopuri si obiective metode si tehnici etapele ciclului de viata a programului relatia evaluatorului cu programul
44
formativa / sumativa
parintele - Michael Scriven (1967) formativa - indreptata spre imbunatatirea programului evaluat sumativa - judeca performanta programului; poate conduce la continuarea, modificarea sau oprirea programului; are rezultate generalizabile; ofera informatii pentru decizia de a alege intre mai multe alternative de interventie
45
evaluarea clasica presupune determinarea clara a obiectivelor si stabilirea masurii in care acestea au fost atinse
evaluatorul nu trebuie sa cunoasca obiectivele programului, pentru a nu fi influentat el trebuie sa se concentreze pe ceea ce se intampla in realitate, in program si ca rezultat al programului
46
receptiva (responsive)
Robert Stake (1975) evaluatorul identifica nevoile de informatie percepute de stakeholderi Guba&Lincoln (1981) evaluatorul nu doreste sa-si restranga viziunea, concentrandu-se pe obiective, ci isi propune sa ramana sensibil la toate aspectele descoperite angajeaza metode calitative
naturalista
47
initiator - Michael Quinn Patton (1982) evaluator activ-reactiv-adaptiv utilizatorii sunt implicati inca din faza de conceptie a evaluarii, pentru a clarifica problemele la care asteapta raspuns initiator - Rossi aspectele evaluate si metodele angajate depind de tipul programului (interventie inovativa/ modificare/ extensie a unui program sau program stabil/ matur/ in plina desfasurare)
adaptata (taylored)
48
estimarea evaluabilitatii (evaluability assessment) promotorul cel mai constant - Joseph Wholey inseamna: estimarea masurii in care programul este pregatit se realizeze rezultatele stabilite identificarea schimbarilor necesare pentru a-l aduce in aceasta stare estimarea masurii in care evaluarea ar contribui la imbunatatirea performantelor programului examinarea logicii prezumtiilor programului, descrie caracteristicile implementarii programului, determina fezabilitatea si utilitatea unei viitoare evaluari (E. R. S.) utilizate pentru a stimula acordul asupra unor obiective realiste si masurabile ale programului
49
metaevaluarea
evaluare a unei alte evaluari, pentru a controla subiectivismul sau a rafina evaluarea primara sinteza a tuturor evaluarilor intreprinse asupra unui program, pentru a desprinde invataminte pentru viitor cercetarea mai multor studii de evaluare, privitoare la mai multe programe, pentru a desprinde eventuale legitati, in scopul de a dezvolta fondul de cunostinte al disciplinei
50
3 mari categorii:
1. Cantitative
neexperimentale cvasiexperimentale experimentale examinarea urmelor programului observarea directa interviul in profunzime focus grup forum comunitar analiza minimizarii costurilor analiza cost-eficacitate analiza cost-beneficiu analiza cost-utilitate
Gabriel Matauan 2009 51
2. Calitative
3. Economice
Neexperimentale
utilizate mai ales in evaluarea rezultatelor programului a. un grup - un set de observari (X0) cat de bine functioneaza participantii la sfarsitul programului daca rezultatele sunt la nivelul stabilit b. un grup - doua seturi de observari (0X0) in plus, cat de mult s-au schimbat participantii pe durata programului
52
Cvasiexperimentale
validitate interna discutabila nu produc rezultate generalizabile unitate de analiza putin adecvata evaluarii programelor
grup de control neechivalent (0X0/0- -0) regresia discontinua - folosita atunci cand eligibilitatea pentru un
anumit serviciu este bazata pe o variabila continua; masurarile posttest sunt folosite ca variabila dependenta de masurarile pretest si participarea la program
53
Experimentale
grup de control cu posttestare (X0/-0) doi-ori-doi factorial (-0/X0/Y0/XY0) cele patru grupuri ale lui Solomon(--0/-X0/0-0/0X0) serii de timp cu grupuri selectate aleatoriu 0-000/-0X0-000/-0-0X000)
(X0-
54
Calitative examinarea urmelor programului observarea directa interviul in profunzime focus grup forum comunitar
55
Utilizare
evaluarea procesului frecvente cazuri extreme evaluarea implementarii diferente intre proiecte evaluare formativa evaluarea calitatii imposibilitatea folosirii metodelor cantitative adaugarea de informatii la metodele cantitative
56
57
Pregatirea - din momentul in care evaluatorul este contactat de initiatorul evaluarii, pana in momentul inceperii culegerii intensive a datelor necesare evaluarii propriu-zise Realizarea - incepe cu culegerea datelor si se incheie cu prezentarea raportului final Utilizarea - nu are o durata definita
58
Pregatirea:
identificarea stakeholderilor intalniri preliminare cu stakeholderii cine doreste evaluarea ce tip de evaluare se doreste de ce se doreste evaluarea cand se doreste evaluareacare sunt resursele disponibile estimarea evaluabilitatii programului identificarea obiectivelor programului stabilirea granitelor sistemului identificarea oboectivelor evaluarii alegerea aspectelor-cheie care vor fi evaluate examinarea altor surse de informatii referitoare la evaluari similare elaborarea metodologiei de investigatie prezentarea unei propuneri scrise
Gabriel Matauan 2009 59
Realizarea:
implementarea activitatilor stabilite in etapa de pregatire comunicarea permanenta cu stakeholderii elaborarea raportului final de evaluare
60
Utilizarea:
dezvoltarea unei atitudini suportive a personalului programului si a altor decidenti abordarea constructive a constatarilor negative abordarea rezultatelor contradictorii depasirea obstacolelor in calea utilizarii imbunatatirea evaluarii prin utilizarea datelor deja existente
61
1. Rezumat (executive summary) 2. Prezentarea programului 3. Obiectivele evaluarii 4. Abordarea conceptuala a evaluatorului 5. Descrierea activitatilor intreprinse 6. Rezultatele/constatarile evaluarii 7. Recomandarile evaluatorului 8. Anexele
62
1. Rezumatul:
nu mai mult de 1-2 pagini introduce toate celelalte capitole contine toate informatiile esentiale
2. Prezentarea programului:
date de identificare a prgramului contextul (cadrul general al prgramului) obiectivele programului durata si perioada de desfasurare mediul si influentele sale nevoia/problema generatoare procesul
63
3. Obiectivele evaluarii
contextul evaluarii obiectivele preocuparile si prioritatile stakeholderilor tehnici plan justificarea optiunilor metodele de colectare a informatiei criterii de selectie a informatiei surse de informatii modul de procesare a informatiei
64
ce activitati a desfasurat rezultatele activitatilor (ce info s-au obtinut) informatii verificabile obiectiv baza pentru concluzii si recomandari organizate pe categorii de activitati pe categorii de rezultate temporal conform relevantei pentru premise sau pentru analiza rezultatele analizei /constatarile: cauze efecte impact premise noi
Gabriel Matauan 2009 65
6. Rezultatele/constatarile evaluarii
7. Recomandarile evaluatorului
fundamentate cu faptele interpretate prin analiza raspund obiectivelor evaluarii (raportului) lectii pentru luarea deciziilor viitoare previziuni de posibile scenarii pentru viitor in general, justificarea tuturor afirmatiilor din raport liste complete de surse info, actiuni etc
8. Anexele
66
67
este pur si simplu imposibil sa fii un tehnician neutru; aplicarea unei tehnologii implica in mod necesar pozitii ideologice, cu consecinte politice; evaluatorii aleg intotdeauna o parte, chiar inainte de producerea unor rezultate empirice.
(Rossi)
68
impunerea unor presiuni administrative asupra programului probarea incompetentei unor persoane colectarea numai a acelor informatii care ar putea submina progarmul acoperirea unor deficiente ale programului considerente politice legate de alocarea viitoare a resurselor (Conant : politicul - conflict intre diferite grupuri de putere pentru alocarea resurselor)
69
presiuni din partea unor stakeholderi perceptia prea optimista a echipei de proiect asupra propriei activitati teama ca evaluarea va inhiba inovarea teama ca programul va fi oprit teama ca se va abuza de informatiile obtinute teama ca nimeni nu incearca sa inteleaga si aspectele calitative ale programului impresia ca evaluarea risipeste resursele teama de a pierde controlul asupra programului teama ca evaluarea va avea un impact prea redus
70
In orice sistem politic, evaluarea are rolul unei marturii a expertului, indicand un anumit grad de eficacitate a programului. Un juriu de decidenti sau alti stakeholderi poate da acestei marturii o greutate mai mare decat unei opinii neinformate sau unor presupuneri, dar in final ei sunt aceia care iau decizia, si nu martorul (expertul).
(Rossi)
71
constatare adevar opiniile academice stiinta pura unitate metodologica evaluatorul tehnician profesionisti
utilizare pluralismul de valori nevoile stakeholderilor inglobarea politicii diversitate metodologica evaluatorul facilitator clienti
72