Etapele procesului de evaluare

- Procesul de evaluare își propune

– să ajute la analiza impactului [[impact]] programului și

– la utilizarea rezultatelor pentru îmbunătățirea intervențiilor viitoare.

1. Definirea scopului evaluă rii

În general, scopul evaluării ar trebui să fie stabilirea rezultatelor (outcomes) sau valorii
programului furnizat și al căilor de îmbunătățire a programului.

Scopul poate fi formulat mai larg sau mai îngust, se poate concentra pe toate grupurile țintă,
doar pe unul, pe întreg grupul țintă, doar pe o parte a sa. Exemple de scopuri:

- (scopul evaluării este stabilirea) Efectele programului asupra membrilor grupului

țintă (foarte general)

- (scopul evaluării este formularea unor) Propuneri de îmbunătățire a intervenției în

cadrul programului

- (scopul evaluării este identificarea) Dificultăți întâmpinate de specialiști în

implementarea programului...

- (scopul evaluării este) Ce abilități parentale s-au schimbat la părinții participanți la

proiect?

- (scopul evaluării este) Identificarea motivelor pentru care persoanele de vârsta a III-
a rămân reticente la vaccinare (în ciuda campaniei de informare)

- (scopul evaluării este identificarea) Tipurile (și gradele) de autonomie dezvoltate de

femeile victime ale violenței domestice precum și a obstacolelor întâmpinate de ele atât în
timpul derulării intervenției și la finalul acesteia

Unii autori (cei mai mulți) recomandă ca scopul evaluării să fie formulat sub formă de
întrebare; răspunsul la aceasta (prin cercetare) ne conduce la atingerea scopului. Este o
modalitate utilă de centrare a scopului (Ce vreau eu să evaluez aici?) dar a nu se confunda cu
întrebările de evaluare (Subcapitolul 2) și nici cu cele din instrumente (din chestionare,
ghiduri de interviu)

2. Stabilirea întrebă rilor de evaluare (Ce dorești să afli?)

Este important ca întrebările de evaluare să fie formulate clar și complet.

Înainte de formularea propriu-zisă este necesară formularea termenilor cheie ai

evaluării, în accepțiunea tuturor grupurilor implicate (participare, autonomie, supervizare pot
însemna lucruri diferite pentru specialiști/beneficiari).

Sunt multe moduri de formulare a acestora.

 Câți (restrâns).

Mai larg: Cât de bine...? Cât de mult...? În ce măsură beneficiarii (specialiștii)...?

Care a fost părerea (...) despre? Cât de mulțumiți sunt ....?

În ce măsură s-a schimbat atitudinea față de elevii cu CES?

Cât de bine gestionează părinții situațiile conflictuale?

Care este părerea absolvenților despre utilitatea programului?

Cât de mult și-au dezvoltat participanții abilitățile de ...?

Întrebările de evaluare pot fi inspirate din scopul/obiectivele programului, din planuri

strategice, evaluarea nevoilor, misiunea oraganizațiilor.

Împărtășiți întrebările pentru a primi feedback.

Întrebările de evaluare generează tipurile de date care vor fi culese:

(90% dintre respondenți declară că..., mai mult de jumătate au obținut peste nota 7
la..., participanții sunt de părere în majoritate că..., procentul celor care au înregistrat o
creștere a stimei de sine (conform Rosenberg Self Esteem Scale) a crecut cu 50%); copiii
declară că școala în care învață este un mediu mai sigur); toți participanții la program au un
proiect realist de dezvoltare personală (care include scop, obiective, termene) pe termen scurt
(un an).

3. Precizarea design-ului de evaluare

Datele pot fi culese imediat după intervenție, de mai multe ori în timpul intervenției sau după
o perioadă mai lungă de timp (ani) după finalizarea intervenției.

Dacă ești interesat în stabilirea impactului programului sau în schimbarea anumitor atribute,
va trebui să culegi datele atât înainte cât și după intervenție.

- A. Designul care privește starea (Status Design) determină ce se petrece aici și

acum (o fotografie a stării de fapt) și necesită observarea în momentul de față, observare care
poate fi făcută sub forma unei anchete (transversale), observarea unei înregistrări sau a unui
interviu. (125 au absolvit cursul, dar și că majoritatea se declară mulțumiți de... în momentul
de față)

- B. Designul care se referă la schimbare (Change Design) încearcă să determine

impactul unei acțiuni particulare asupra unui grup de indivizi (dacă participarea la activitățile
non formale au contribuit la schimbarea atitudinii față de școală)

- Sunt cel puțin două moduri de a face asta:

- a) Poți efectua o anchetă (pe bază de chestionar) sau efectua un interviu în

care să întrebi în ce măsură l-a afectat intervenția. Evident, instrumentul va include întrebări
detaliate despre intervenție și efectele acesteia;
 - b) Un al doilea și mai bun mijloc este de a crea o evaluare pre-post
intervenție. Aceasta implică elaborarea sau găsirea (folosirea) unui instrument care să
măsoare sau să înregistreze situația de dinainte de intervenție/implementare a programului și
apoi să se compare rezultatele obținute de același instrument după completarea/finalizarea
programului.

- C. Design-urile comparative (Comparision Design) sunt utilizate pentru a

determina cum programul a afectat un grup față de alt grup sau un program față de un altul.

Cel mai bun mod de a determina efectele diferite ale asupra grupurilor sau
programelor este de a utiliza design-ul grupurilor comparative. (Se determină rezultatele pre-
post intervenție în cazul celor două grupuri)

- D. Design-ul longitudinal Este utilizat atunci când se urmăresc efectele de-a lungul
timpului. Se poate cerceta grupul o dată sau de mai multe ori după completarea programului.
 Ce dorești să afli
Efecte imediate
Impactul programului –
schimbări înregistrate la o
persoană sau la un grup
Compararea unui program cu
un altul
Diferite efecte ale
programului asupra grupurilor
(categoriilor) (elevi de scoala
primară/gimnaziu; beneficiari
din mediul rural/urban)
Efecte de-a lungul timpului
Când să colectezi datele Tipul de design
Imediat după încheierea programului sau a A. Status
intervenției
Pre și post intervenție B. Schimbare
Doar post dacă se referă doar la schimbările A. Status
înregistrate în timpul programului
Pre și post Comparare
Doar post dacă se referă doar la schimbările Status
înregistrate în timpul programului
Pre si post-intervenție Schimbare
Status
Doar post dacă ceri unui grup de indivizi să
indice dacă schimbările pot fi atribuite
programului
La o perioadă de timp, poate de mai multe ori, Longitudinal
după încheierea programului sau a intervenției
În timpul implementării programului Longitudinal
4. Stabilirea planului de colectare a datelor
Stabilirea surselor de date
Odată ce întrebările de evaluare sunt specificate, următorul pas este determinarea a
cine sau ce poate furniza informații care să conducă la răspunsuri pentru respectivele
întrebări.

Stabilirea metodelor de colectare a datelor

Planul de colectare a datelor descrie nu doar sursa datelor, ci și metodele și tehnicile
pe care le utilizezi pentru a le culege. Unele date sunt deja disponibile și trebuie doar găsite și
analizate; altele trebuie colectate (mai curând produse)
Metodă de culegere a datelor
Raportări (înregistrări) ale
activității și documente
(Analiza documentelor)
Focus-grupuri
Interviurile (discuții unu-la-
unu)
Observațiile (înregistrarea
sistematică prin intermediul
simțurilor a ceea ce fac
oamenii)
Instrumente deja
realizate/publicate
Chestionare și anchete
(dezvoltate pe cont propriu)
Exemple
liste de prezență, rapoarte privitoare la anumite incidente,
timp petrecut pe platforme on-line, eseuri, înregistrări audio-
video ale activităților, anchete sociale, rapoarte ale
angajatorilor
Grupuri de discuție referitoare la: motivele violenței în școală;
dificultatea victimei violenței domestice de a dobândi diferite
tipuri de autonomie; modul în care părinții gestionează
problemele copiilor; legătura pe care cadrele didactice o țin
cu părinții.
Interviuri asupra relației copiilor cu părinții; a interacțiunii
victimei cu agresorul; asupra experiențelor traumatizante
(bulling)
Observarea interacțiunii dintre beneficiari; observarea relației
dintre părinți și cadrele didactice; observarea
implicării/participării în activitățile programului
Scale de climat scolar, de personalitate, de inteligență
emoțională, valori.
Chestionare referitoare la satisfacție; eseuri despre planurile
de viitor; teste de cunoștințe; diverse exerciții/scenarii
Comentarii
Informațiile pot fi deja culese și eventual structurate
de alte persoane sau autorități
Utilizată atunci când vrei să explorezi factori în
profunzime, răspunzând la întrebări cum ar fi „cum” și
„de ce”
Implică un număr mic de oameni și poate lua un timp
mai lung de implementare.
Întrebările trebuie să fie scrise și atent structurate.
Se utilizează această tehnică pentru a cerceta mai
profund unele atitudini, comportamente, sentimente
sau motive pentru care s-a acționat într-un anumit fel.
Consumatoare de resurse
Se utilizează această tehnică pentru a obține
răspunsuri la întrebări cum ar fi „ce și de câte ori”
Observatorii trebuie să fie pregătiți pentru această
activitate.
Acestea pot salva timp și efort, dar pot să nu fie legate
direct și în întregime de întrebările de evaluare
Pot fi utilizate la a răspunde la întrebările „ce, cum și
de ce?”
Eseurile sau întrebările deschise pot fi mai utile decât
întrebările „de ce?”
Chestionarele pot fi cele mai bune pentru colectarea
de informații obiective de la mai mulți indivizi, în
perioade relativ scurte.
- Interviul individual calitativ
Spre deosebire de interviurile structurate, interviul calitativ este flexibil și dinamic. Se
precizează despre acest tip de interviu este non-directiv, nestructurat, nestandardizat și cu
întrebări deschise. Se mai numesc intensive sau în profunzime și sunt semi-structurate:
cercetătorul are în vedere o temă, un subiect, dar ordinea și forma întrebărilor nu este rigidă,
ci acestea sunt generate în bună măsură de răspunsurile subiectului.

Când se alege această tehnică?

Atunci când interesele cercetătorului sunt clare și bine definite.

Locul cercetării nu este altfel accesibil. (Este vorba de trecut sau de zone inaccesibile)

Cercetarea are constrângeri de timp

Cercetătorul este interesat de o plajă largă de situații sau de categorii de respondenți.

(Pentru a dezvolta o teorie ai nevoie de mai multe cazuri)

Limite

Oamenii spun și fac lucruri diferite în momente diferite.

Intervievarea îl privează pe cercetător de observarea contextului care produce multe

din înțelegerile fenomenului cercetat. Este posibil ca cercetătorul să nu înțeleagă limbajul
informatorilor, ca aceștia să nu dorească sau să nu fie capabili să transmită lucruri importante
și doar prin observație să fie cunoscute astfel de lucruri.

Focus-grupul
Avantaje

Costurile sun rezonabile

Calitatea informațiilor este ridicată

Se asigură surprinderea diversității de opinii

Oamenii se simt în general bine în astfel de întâlniri

Limitări

Numărul de întrebări este în general limitat (pentru 8 persoane, o oră, maxim 10

întrebări)

Moderarea unui astfel de grup necesită abilități antrenate

Respondenții aflați în minoritate tind să își restrângă exprimarea opiniilor

Există dinamici semnificative atunci când membrii grupului se cunosc anterior

 Nu sunt recomandate în cazul unor teme controversate sau care implică informații,
experiențe extrem de personale. FG este recomandat pentru determinarea unor teme, tendințe
dar nu pentru analiza în profunzime a unui fenomen.

Confidențialitatea nu poate fi asigurată

De cele mai multe ori se desfășoară în medii străine intervievaților.

După ce se determină tehnica utilizată pentru a colecta informațiile, se vor culege

acele date care să răspundă la întrebările de evaluare. Pentru a face asta, trebuie specificat de
la cine trebuie culese datele, cine le va culege și cum intenționezi să analizezi datele.

Formular pentru organizarea culegerii și analizei datelor necesare evaluării

Întrebarea de evaluare nr. 1 Ce este colectat Cum se colectează/Ce

tehnică
De la cine se culeg Când se colectează și de Cum vor fi datele analizate
datele/Sursa datelor către cine

5. Colectarea datelor
De câte date este nevoie?

- Este necesar de stabilit dacă se culeg date de la întreaga populație sau de la un

eșantion (în cazul populațiilor largi). Ca principiu general, colectarea informațiilor de la
întreaga populație este mai bună decât de la un eșantion. Un eșantion atent selectat este mai
bun decât unul realizat la întâmplare. Volumul de date colectate (numărul de respondenți)
este determinat de nivelul de resurse aflat la dispoziție pentru evaluare.

- Un eșantion este o parte a universului cercetării despre care încerci să afli informații.
Culegi date de la această parte pentru a trage concluzii despre întregul grup. Scopul major în
stabilirea eșantionului este acela ca grupul să fie resprezentativ pentru întreaga populație.

- Tipuri de eșantioane în cercetările cantitative

- Eșantionare aleatoare Fiecare persoană din grup are aceleași șanse să fie
selectată

- Eșantionare sistematică Fiecare al n-lea membru al populației este selectat

- Eșantionare stratificată Populația este împărțită în două sau mai multe

straturi (semnificative pentru tema de cercetare/evaluare) și se aplică eșantionarea (din
tipurile de mai sus) în fiecare strat.

- Tipuri de eșantioane în cercetările calitative

Intenționat: Cercetătorul caută elemente (persoane, cazuri) care întrunesc

criterii specifice;
 Bulgărele de zăpadă: Cercetătorii se bazează pe referințele participanților
pentru a recruta noi subiecți;

Cote: Se selectează cazuri din câteva subgrupuri diferite;

Convenabil: Se obțin date din oricare cazuri se întâmplă să fie la îndemână.

6. Analiza datelor
- Frecvența

- Procentaj

- Schimbarea sau diferența (înainte - după)

- Atingerea obiectivelor sau compararea scopurilor

- Obiectiv 100% realizat 75%

- Medie vizată: peste 7.5, realizat 8.33

- Examinarea tendinței

- Scăderea cazurilor de bullying după 6 luni - 12 luni - 18 luni

- Procent de persoane angajate: dup 1 an - după 2 ani - după trei ani

- Medii (evaluarea satisfacției)

- Corelații (între variabile)

- Participare/rezultate

- Rezultate neașteptate

7. Formularea concluziilor
- Ce spun datele despre program? Cum răspund ele la întrebările de evaluare?

- Raportul ar trebui să conțină:

- Descrieri clare și exacte ale ceea ce ai evaluat

- Scopul și obiectivele evaluării

- Întrebările de evaluare

- Metodele, tehnicile, procedurile de colectare a datelor

- Descrierea instrumentelor de colectare a datelor

- Descrierea furnizorilor de date (cine a furnizat informații pentru fiecare

întrebare)
 - Tipuri de eșantioane și metode de eșantionare

- Rata de răspuns

- Metode de analiză

- Concluzii (răspunsuri la întrebările de evaluare)

- Concluzii generale despre program

- Recomandări pentru programele/intervențiile viitoare

8. Diseminarea concluziilor

9. Feed-back în vederea îmbună tă țirii programului/intervenției