II. Tipuri de intervenie social III. Condiii pentru realizarea schimbrii IV. Rezolvarea problemelor sociale prin intermediul proiectelor de intervenie V. Elementele proiectelor de intervenie
Anexa Metodologia elaborrii proiectelor de intervenie
MANAGEMENTUL I EVALUAREA PROGRAMELOR DE ASISTEN SOCIAL Conf. dr. tefan COJOCARU CUPRI NS
Managementul i evaluarea programelor de Asisten Social 79 MANAGEMENTUL I EVALUAREA PROGRAMELOR
Evaluarea formativ i cea sumativ
Evaluarea programelor sociale constituie un domeniu care s-a dezvoltat n ultimele decenii i care atrage un numr nsemnat de cercettori pentru consolidarea corpus-ului de modele, teorii, metode de cercetare i tehnici de culegere a datelor utilizate pentru realizarea unor cercetri de tip evaluativ; mai mult dect att, fondurile alocate proiectelor de intervenie prevd i costurile necesare evalurii i monitorizrii programelor, pentru identificarea celor mai bune practici i msurarea succesului acestora. Ciclul de via al unui program cuprinde inclusiv evaluarea, ca etap principal, alturi de iniiere, proiectare, implementare i monitorizare, i aceasta se poate realiza prin raportare la elementele semnificative ale programului (Cojocaru, 2006, pp.115-164): scopuri, obiective i indicatori, activiti, resurse existente i poteniale, beneficiari, metodologie de intervenie, rezultate ateptate, monitorizare i evaluare; astfel, putem realiza evaluarea la fiecare nivel al acestor elemente, n funcie de nevoile identificate de implementator sau de cerinele finanatorilor. De aceea, putem vorbi de evaluarea gradului de atingere a obiectivelor, de evaluarea procesului de oferire a serviciilor, de evaluarea modului de utilizare a resurselor, de evaluarea eficacitii i a eficienei programului, de evaluarea progresului, de evaluarea impactului programului i, nu n ultimul rnd, de evaluarea evalurii. Depind confuziile care exist la nivelul utilizrii termenilor de proiect i program (Cojocaru, 2006, pp. 73-98), considerm c evaluarea proiectelor reprezint procesul de apreciere a propunerilor de finanare, iniiat de ctre finanatori i care are ca scop selectarea proiectelor care satisfac cerinele acestora i care n urma acestui proces vor primi fonduri necesare derulrii programelor. Metodologiile de evaluare a proiectelor sunt diverse n funcie de cerinele fiecrui finanator n parte, dar atunci cnd selectarea se face n urma unei competiii, rezultatul evalurii se prezint ca o form de cuantificare a calitii, valorii i importanei proiectelor, prin atribuirea unor scoruri de ctre evaluatori prin care sunt departajate propunerile primite. Pe de alt parte, evaluarea programelor este un proces de msurare, analiz, interpretare i verificare a modurilor n care sunt puse n practic proiectele finanate, de identificare a punctelor tari i a celor slabe, precum i de apreciere a calitii serviciilor oferite beneficiarilor. Evaluarea programelor, indiferent de forma i perioada n care se realizeaz pe parcursul derulrii activitilor determin valoarea unui anumit program care face obiectul unei analize (Krogsrud Miley, OMelia i DuBois, 2004/2006, p. 470). Cele mai semnificative sensuri ale evalurii sunt date de unele definiii care pun n relaie att scopurile, utilitatea i rezultatele acesteia cu procesul de culegere, analiz i interpretare a datelor; astfel, evaluarea reprezint culegerea sistematic, analiza i interpretarea informaiilor despre activitile i rezultatele programului, pentru a permite persoanelor tefan COJOCARU 80
interesate s fac judeci asupra unor aspecte specifice ale programului i s mbunteasc programul (Patton, apud. Muan, 1999, pp.63-64). mbuntirea programului poate fi un rezultat att al deciziilor interne luate la nivelul organizaiei implementatoare, ct i al recomandrilor fcute acesteia de ctre finanatori. Pentru ali autori, accentul pus n definiia evalurii este pe aplicarea cercetrii sociale n sfera programelor sociale: cercetarea de evaluare este o aplicare sistematic a procedurilor de cercetare social pentru aprecierea conceptualizrii, design-ului, implementrii i utilitii programelor de intervenie social (Rossi i Freeman, 1993, p. 5). Pornind de la perspectivele n evaluare propuse de Chelimsky (1978), respectiv cea managerial i administrativ prin care se urmrete mbuntirea rezultatelor programului i identificarea celor mai eficiente forme de intervenie, cea a finanatorilor care doresc s se asigure de obinerea rezultatelor estimate nc din etapa de proiectare i de experimentare a unor practici inovatoare ce pot influena politicile publice i cea a testrii unor ipoteze ale tiinelor sociale sau a verificrii unor principii ale practicii, Rossi i Freeman disting ntre trei tipuri de cercetri evaluative (1993, pp. 34-35): (1) analiza referitoare la conceptualizarea i designul interveniilor; (2) monitorizarea implementrii programului; i (3) evaluarea eficacitii i eficienei programului. Lund n discuie complexitatea procesului de evaluare generat att de orientrile teoretice i paradigmatice, ct i de circumstanele derulrii programului, autorii consider c uneori trebuie incluse toate cele trei clase de activiti, iar evalurile care fac acest lucru se numesc comprehensive (1993, p. 35). Indiferent de accentul pus n evaluare, cea mai utilizat distincie este cea dintre evaluarea formativ i cea sumativ, propus de Scriven (1967) cu referire la mbuntirea programului i la aprecierea performanei acestuia; astfel, autorul consider c evaluarea formativ urmrete n principal mbuntirea programului, iar cea sumativ are ca scop msurarea performanei, vzut n relaiile cu achiziiile beneficiarilor programului; evaluarea formativ se realizeaz n timpul derulrii programului i continu pe toat perioada desfurare a acestuia, cuprinznd elementele care analizeaz modul de implementare a acestuia i progresele nregistrare pn n momentul realizrii evalurii, fiind o form de msurare continu a activitilor desfurate (Westat et al., 2002, p. 8). Pentru a sublinia diferenele dintre evaluarea formativ i cea sumativ autorii aduc n atenie exemplul oferit de Stake, pe care l prelum i noi, fiind deosebit de sugestiv: atunci cnd buctarul gust supa... [evaluarea, n.n.] este formativ... i atunci cnd invitaii gust supa, aceasta este sumativ (Stake, apud. Westat et al, 2002, p. 8). Exemplul de mai sus ne ajut s operm cteva diferene iniiale ntre cele dou forme de evaluare: evaluarea formativ i evaluarea sumativ.
Evaluarea formativ
Evaluarea formativ este preponderent intern i are rolul de a mbunti serviciile oferite i de a aprecia n ce msur programul se desfoar conform planificrii iniiale, oferind totodat repere pentru modificri ce pot fi realizate pe perioada derulrii programului; acest tip de evaluare se realizeaz nc din stadiile de Managementul i evaluarea programelor de Asisten Social 81 nceput ale programului, iar aceste cercetri formative sunt direcionate de ntrebri specifice referitoare dezvoltarea sistemului de servicii, selectarea [grupurilor sau beneficiarilor, n.n.] int i la structurarea interveniei (Rossi i Freeman, 1993, p. 135); astfel, ntrebrile cercetrii nu au doar rolul de a obine informaii legate de aceste aspecte, ci i direcionarea personalului implicat n derularea programului ctre pstrarea i ncurajarea practicilor pozitive, de succes i schimbarea unor aciuni care nu conduc la obinerea rezultatelor dorite. Evaluarea formativ poate conduce la redefinirea modalitilor de intervenie i a practicilor utilizate, la urmrirea modului n care sunt realizai indicatorii de performan, ea nsi fiind o form de control al calitii (Hahn, Lavery, Stevenson, 2006, p. 15). Unul dintre obiectivele evalurii formative este cel de verificare a conformitii, fiind parte a procesului de evaluare prin care se urmrete verificarea n teren a modului n care sunt desfurate activitile i dac acestea sunt conform planificrii i datelor oferite de implementator n rapoartele de monitorizare reprezint o oglind a activitilor desfurate. Un avantaj, deloc de neglijat, al evalurii formative este posibilitatea de a opera modificri n implementarea programului i adaptarea acestuia n funcie de rezultatele obinute pn la etapa intermediar de evaluare. Criteriul pertinenei, utilizat n evaluarea formativ, urmrete s msoare dac aciunile desfurate pot atinge obiectivele propuse, dac aceste obiective au fost atinse pe perioada de implementare ca un rezultat al aciunilor ntreprinse. Aa cum subliniaz autorii manualului evalurii al National Science Foundation (Westat et. al, 2002), evaluarea formativ are dou tipuri semnificative: a) primul ce se orienteaz asupra implementrii conform planificrii realizate iniial n cadrul proiectului i b) al doilea, urmrete s msoare progresul realizat n atingerea obiectivelor propuse. Indiferent c se refer la evaluarea implementrii sau a progresului nregistrat n cadrul programului, evaluarea formativ urmrete evaluarea procesului; de accea, o distincie pe care o face evaluarea procesului este diferena dintre activitile actuale ale proiectului i populaia care a beneficiat de servicii i activitile intenionate i populaia int (Hahn et. al, 2006, p. 19), fiind o form de verificare a modului n care au fost realizate activitile n concordan cu ateptrile precizate iniial n conceperea proiectului. Cu alte cuvinte, evaluarea formativ reprezint un proces de verificare a coerenei dintre proiectul iniial i modul de implementare a programului. Deseori exist confuzii ntre evaluarea implementrii i monitorizarea programului; de obicei, evaluarea implementrii este un proces intern de verificare a modului n care se desfoar activitile n acord cu filosofia programului, pe cnd monitorizarea reprezint un proces continuu de verificare i msurare a indicatorilor stabilii pentru obiectivele programului realizat la iniiativa finanatorilor.
Utilizarea anchetei apreciative n evaluarea formativ
Ancheta apreciativ a devenit o metod de cercetare, dar cu accentuate valene ale interveniei, datorit lucrrilor de referin ale lui Cooperrider i colaboratorilor si prin care se propune un model de interpretare i schimbare organizaional, plecnd de la identificarea i valorizarea experienelor pozitive; mai mult dect att, aceast form de abordare a realitilor sociale propune renunarea la paradigma deficienei, prin tefan COJOCARU 82
stimularea i dezvoltarea creativitii, fiind o mbinare ntre cercetare i aciune. Modalitile de organizare ale anchetei apreciative aduc n atenie importana dialogului, ca proces al anchetei calitative i al iniierii unor schimbri dorite i intenionate; chiar dac sunt unele critici legate de caracterul exclusiv al utilizrii aspectelor pozitive, ancheta apreciativ integreaz ancheta i aciunea ntr-un cadru particular de dezvoltare care ghideaz analiza i procesele interaciunii de grup (Patton, 2001, p. 182). Din acest punct de vedere, ancheta apreciativ poate fi utilizat mai ales n procesul de evaluare formativ, ...prezena cercettorului care pune ntrebri, sau ...care ofer feedback-uri, poate fi considerat o intervenie... (Patton, 2001, p. 42) care ar ca scop mbuntirea programului (Patton, 2001, p.213), ... a politicilor, a personalului implicat n program sau a produselor oferite (Patton, 2001, p. 220). Chiar dac ancheta apreciativ este considerat ca o form util de realizare a evalurii formative, Patton subliniaz faptul c "i cazurile negative ofer noi oportuniti de nvare n evaluarea formativ (Patton, 2001, p. 554), ceea ce arat c nu doar exemplele pozitive, de succes particip la mbuntirea programului, pentru c oamanii nva i din greeli; acest punct de vedere subliniaz i unele limite ale evalurii apreciative, dar fr a fi negate valenele pozitive ale acesteia.
Evaluarea sumativ
Evaluarea sumativ reprezint o form de msurare a rezultatelor finale ale programului, fiind un proces realizat mai ales cu participarea unor evaluatoricare nu au fost implicate n implementare, rezultatele obinute neputnd fiind modificate datorit finalizrii programului. Evaluarea sumativ reprezint o form de msurare a impactului programului asupra beneficiarilor i asupra mediului n care acesta s-a desfurat i urmrete s determine dac activitile programului influeneaz populaia int i conduce la schimbrile dorite n comportamentele i / sau atitudinile acesteia (Hahn et. al, 2006, p. 23). Atunci cnd se realizeaz evaluarea sumativ a unui program derulat, este foarte important s se identifice aciunile care au condus la schimbrile acestea de comportament i de atitudine, ca rezultat al programului. Criteriul eficacitii utilizat n evaluarea sumativ ofer modalitatea de evaluare a obinerii rezultatelor din perspectiva obiectivelor programului, cu alte cuvinte msoar gradul de atingere a obiectivelor propuse. Este un criteriu orientat ctre rezultate. Criteriul eficienei este poate cel mai cantitativist criteriu deoarece urmrete msurarea modului n care activitatea desfaurat produce rezultatele ateptate n cadrul celui mai bun raport calitate /cost posibil. Astfel, evaluarea programului se face n funcie de ntregul sistem acional i cel administrativ. Acesta este criteriul care pune n balan activitatea profesional desfurat n cadrul serviciilor oferite i costurile necesare pentru derularea activitilor necesare atingerii obiectivelor propuse. De aceea, criteriul eficienei ia n considerare cheltuielilor efectuate pentru deservirea numrului de beneficiari ai programului. Unii evaluatori utilizeaz acest criteriu i pentru determinarea efectelor pe care le au serviciile sociale n reducerea unor cheltuieli ale altor instituii. De exemplu, evaluarea eficienei unui serviciu de prevenire a abandonului i instituionalizrii poate fi calculat intern prin raportarea valorii totale a cheltuielilor la numrul total de clieni deservii i Managementul i evaluarea programelor de Asisten Social 83 extern prin calcularea reducerii de cheltuieli datorat prevenirii instituionalizrii, innd cont de valoarea standard a acestora.
Planificarea evalurii
Utilizarea modelului cadrului logic al programului n evaluare
Pentru analiza felului n care modelul cadrului logic este utilizat pentru evaluare, considerm c modul n care sunt definite elementele programului direcioneaz sensurile i formele n care se realizeaz evaluarea programelor sociale. Astfel, aa cum sunt definite de ctre United Way of America (1996), elementele cadrului logic sunt urmtoarele: 1. Resursele programului (inputs): sunt factorii interni ce determin atingerea obiectivelor proiectului prin asigurarea condiiilor de desfurare a activitilor. Acestea pot fi: personal, voluntari, bani, timp, echipamente, suporturi de curs etc. Tot n categoria resurselor sunt incluse i constrngerile i regulile impuse de legislaie, de situaiile specifice ale beneficiarilor sau de ctre finanator. 2. Activitile programului: reprezint ceea ce se desfoar pentru realizarea activiti cu resursele existente; rezultatele acestora sunt vizibile n serviciile oferite i includ tehnicile i tipurile de intervenie. De exemplu, consilierea prinilor pentru reintegrarea copiilor n familie, programe de educaie parental, grupuri de suport etc. 3. Servicii oferite n cadrul programului (outputs): sunt rezultate sau produse imediate al activitilor desfurate i care msoar n termeni cantitativi activitile realizate pentru implementarea programului. De exemplu, numrul edinelor de consiliere oferite prinilor, numrul orele de educaie parental de care au beneficiat prinii, numrul ntlnirilor realizate n cadrul grupurilor de suport, numrul materialelor de informare distribuite, numrul de participani la cursurile de educaie parental, numrul participanilor la edinele de consiliere etc. Astfel, n aceast categorie se msoar ceea ce se face, iar indicatorii msurabili se refer doar la operaionalizarea obiectivelor de implementare. 4. Rezultatele programului (outcomes): exprim beneficiile i schimbrile produse la nivelul indivizilor sau grupurilor int n urma participrii la activitile programului. Acestea msoar impactul programului asupra beneficiarilor, att la nivel individual, ct i la cel macrosocial, lund n analiz rezultatele ateptate i intenionale, precum i pe cele neateptate sau perverse.
tefan COJOCARU 84
Perspective ale evalurii
Aceste definiii, prezentate mai sus, propuse de ctre United Way of America (1996, pp. 1-2) pot fi utilizate pentru alegerea strategiilor pentru evaluare, clarificarea demersurilor pentru cercetare, alegerea i combinarea metodelor de culegere a datelor, precum i pentru construirea unui cadru de analiz a datelor obinute n vederea realizrii evalurii.
Pornind de la aceste elemente eseniale ale programului putem atribui un anumit tip de evaluare fiecrui element, putem identica urmtoarele patru forme: a) evaluarea resurselor i a modului n care acestea au fost gestionate, b) evaluarea implementrii programului, c) evaluarea serviciilor oferite i d) evaluarea impactului. 5. Evaluarea resurselor i a gestionrii acestora se refer la verificarea modului n care au fost utilizate resursele programului n comparaie cu planificarea realizat iniial exprimat n propunerea de finanare, a respectrii regulilor privind utilizarea resurselor conform legislaiei n vigoare, a prevederilor legale privind realizarea procedurilor de achiziionare a anumitor produse i echipamente, a regulilor privind regulie referitoare la folosirea voluntarilor sau a prevederilor din codul muncii. 6. Evaluarea implementrii reprezint acel tip de evaluare care urmrete s msoare modul n care sunt aplicate anumite tehnici de intervenie, respectarea eticii profesionale n interaciunea cu beneficiarii, aprecierea modului n care se aplic anumite strategii i metode de intervenie, analiza documentelor care justific aciunile realizate etc. 7. Evaluarea serviciilor se refer la msurarea i analiza rezultatelor imediate ale aciunilor ntreprinse, cuantificarea activitilor n care au fost implicai beneficiarii programului, evaluarea serviciilor oferite i a accesibilitii acestora pentru membrii grupurilor int crora li se adreseaz programul, Managementul i evaluarea programelor de Asisten Social 85 msurarea gradului n care beneficiarii primesc anumite servicii din partea iniiatorilor programului. Cu alte cuvinte, evaluarea serviciilor urmrete s msoare doar ceea ce anume se ofer beneficiarilor fr a lua n considerare efectele pe care le au aciunile ntreprinse asupra acestora, punnd n centrul ateniei analiza a ceea ce se ofer beneficiarilor. 8. Evaluarea impactului urmrete s identifice i s msoare efectele pe care le-a avut programul asupra beneficiarilor la nivelul cunotinelor, abilitilor i atitudinilor, al comportamentelor sau la nivelul condiiilor i situaiei acestora. Pentru clarificarea ariilor de analiz n ceea ce privete impactul asupra beneficiarilor, se fac diferene (United Way, 1996, p. 32) ntre rezultate iniiale (initial outcomes) care se refer la cunotinele dobndite, atitudinile i abilitile dezvoltate; rezultate intermediare (intermediate outcomes) surprinse la nivelul comportamentelor, ca form de exprimare a noilor cunotine, abiliti i atitudini; i rezultate pe termen lung (long- term outcomes) care reflect status-ul sau schimbarea condiiei beneficiarilor. Termenul evaluare desemneaz activiti diferite, fiind un subiect al unor interpretri diferite, n funcie de scopul, natura, caracteristicile specifice ale activitilor ce se doresc a fi evaluate, n funcie de teoriile utilizate att pentru explicarea i descrierea programelor, ct i pentru argumentarea unui anumit tip de metodologie utilizat. Dincolo de diferitele accepiuni acceptate ale termenului de evaluare, putem spune c exist diferite forme de evaluare a programelor n funcie de ce-i propune evaluarea, ce anume dorim s argumentm, s descoperim i s analizm n acest proces de cercetare a modului n care se deruleaz un program i a impactului pe care acesta l are asupra beneficiarilor i asupra mediului n care se desfoar, ce dorim s facem cu informaiile culese i cum dorim ca acestea s fie repere n dezvoltarea programului evaluat sau a unor programe similare generate de capacitatea de replicabilitate a programului. Pe de alt parte, atunci cnd propunem s evalum un program de intervenie n domeniul asistenei sociale i nu numai, este necesar clarificarea elementelor care sunt urmrite n cadrul acestui proces de apreciere i valorificare a rezultatelor, n funcie de obiectivele urmrite axate pe evaluarea integral a programului sau doar a anumitor componente, innd cont de resursele financiare, umane i de timpul necesar.
Scopurile evalurii
La fel ca orice proiect, planificarea evalurii trebuie s fie direcionat de obiectivele stabilite iniial n acord cu recomandrile celor care doresc aceast evaluare (finanatori, implementatori, factori de decizie etc.) i care se circumscriu intereselor de a nelege care au fost efectele derulrii programului asupra organizaiei implementatoare, asupra populaiei i grupurilor int, asupra comunitii etc. Totodat, un obiectiv important al evalurii este de a sprijini mbuntirea serviciilor oferite n cadrul programului, de a oferi informaii bazate pe analiz care s direcioneze programul ctre zone mai sensibile i care nu au fost luate n considerare, de a ntri prin argumente tiinifice bazate pe date i informaii din teren practicile dovedite tefan COJOCARU 86
eficiente i care au participat de oferirea unor servicii de calitate pe parcursul derulrii programului. Dac evaluarea programului este solicitat de ctre finanatori, atunci acest proces este ghidat i de inteniile de natur administrativ impuse de criteriile utilizate n contractele de finanare i nevoia de a prezenta rezultatele programului raportate la propunerile iniiale, de analiz a modificrilor produse n implementarea acestuia. Deseori, pentru ntrirea capacitii organizaionale de a rspunde eficient nevoilor beneficiarilor sunt realizate evaluri care au doar un uz intern, menite s surprind aspecte cheie legate de nevoile beneficiarilor i de modul n care acestea sunt n centrul ateniei implementatorului, de utilitatea i necesitatea serviciile oferite beneficiarilor, precum i de identificare a unor noi aspecte legate de practicile organizaionale pentru mbuntirea programelor viitoare i a eficienei interveniilor propuse, ca instrument pentru luarea unor decizii privind modificri ale programului. Dac evaluarea este solicitat de ctre autoriti sau de ctre finanatori ea urmrete s clarifice caracteristicile grupurilor int deservite, eficiena serviciilor oferite i identificarea unor argumente necesare n ceea ce privete alocarea resurselor. n condiiile n care n Romnia se discut din ce n ce mai mult despre contractarea serviciilor ctre furnizori privai, evaluarea programelor devine un aspect primordial n alocarea resurselor de ctre autoritile publice, n direcionarea acestor resurse ctre zone cu o nevoie imediat i pentru ajustarea interveniilor la caracteristicile diferitelor categorii de populaii care au nevoie de anumite servicii. Cu alte cuvinte, evaluarea poate fi un demers iniial ca rspuns fie la o solicitare intern (din partea personalului implicat n derularea programului, a echipei de management sau de guvernare organizaional sau chiar din partea beneficiarilor serviciilor oferite), fie la o solicitare extern (venit din partea unor categorii care nu sunt implicate direct n implementarea programului: finanatori, grupuri de interes, autoriti locale sau naionale, parteneri sau mass media).
Stabilirea ntrebrilor evalurii
ntrebrile evalurii sunt importante pentru c direcioneaz ntregul demers de cercetare, fiind o form de clarificare a inteniilor finanatorilor, a autoritilor sau a echipei de management. n urma discuiilor evaluatorului cu cei interesai de evaluarea programului sunt enunate ntrebrile evalurii care combin ceea ce trebuie s aflm cu ceea ce este interesant de analizat n implementarea programului respectiv. Dup stabilirea ntrebrilor evalurii sunt definii termenii cheie i indicatorii care exprim ceea ce dorim s aflm sau s descoperim n procesul de evaluare. De exemplu, dac un termen cheie este participarea beneficiarilor atunci trebuie s identificm acele aciuni care indic c persoanele cuprinse n eantion au manifestat dezvoltarea abilitilor de participare. n cadrul evalurii, indicatorii reprezint acele filtre de identificare a aspectelor cercetate i de analiz a datelor culese prin diferite tehnici de cercetare. Definirea termenilor cheie i operaionalizarea acestora n indicatori mbin viziunea evaluatorilor i cea a participanilor la evaluare (beneficiari, informatorilor cheie, personalul implicat n derularea programului). n exemplul de mai sus este important s surprindem att definiiile i indicatorii operate de ctre evaluator, ct i descrierile Managementul i evaluarea programelor de Asisten Social 87 beneficiarilor i ale personalului care ofer servicii acestora, pentru c modurile diferite de definire a participrii construiesc un univers la nivel sociolingvistic i al practicilor dezvoltate n cadrul programului. Definiiile operate de ctre persoanele implicate n desfurarea activitilor sunt eseniale pentru procesul de evaluare pentru c n cadrul aceluiai program ntlnim definiii diferite operate de persoanele implicate, iar diferite organizaii pot folosi indicatori diferii pentru msurarea obiectivelor stabilite n cadrul programului. n aceast etap a planificrii evalurii este important identificarea caracteristicilor publicului int cruia i sunt orientate rezultatele evalurii, pentru articularea evalurii cu interesele acestuia i pentru obinerea informaiilor care vor fi utilizate pentru deciziile privind desfurarea n continuare a programului. n formularea ntrebrilor se ine cont de relevana acestora pentru programul evaluat, de importana aspectelor urmrite prin elaborarea ntrebrilor. Deseori, pentru identificarea celor mai relevante aspecte ale programului este utilizat evaluarea participativ, prin care sunt implicai informatorii cheie n elaborarea designului evalurii, n culegerea datelor i n interpretarea datelor, acetia fiind considerai parteneri ai evaluatorilor. Pentru cunoaterea programului, evaluatorii iniiaz i particip la etapa de documentare n care sunt implicate persoanele de referin ale programului: personal angajat, beneficiari i informatori cheie. ntrebrile evalurii sunt elaborate n urma acestui proces de documentare i reprezint un rezultat al negocierii i consensului ntre evaluator i cei care sunt interesai de evaluare. Pentru a descrie logica programului i legturile dintre servicii i rezultate, Taylor- Powell, Steele i Douglah justific utilitatea ierarhiei evidenei elaborat de Bennett, considernd c primele trei nivele se refer la implementarea programului i urmtoarele patru la rezultate [impact, n.n.] (1996, p. 6): Nivelul 1: Resursele utilizate pentru derularea programului se refer att la cele de ordin material i financiar, ct i la cele legate de personalul angajat, inclusiv voluntari. Nivelul 2: Activitile desfurate se refr la toate activitile realizate de ctre echipa programului i partenerii acestuia pentru atingerea obiectivelor intenionate. Nivelul 3: Participarea beneficiarilor urmrete s surprind modul n care sunt implicai beneficiarii n realizarea activitilor i ndeplinirea obiectivelor, modalitile de lucru care-i ncurajeaz s participe, nivelul de accesibilitate al serviciilor, diversitatea persoanelor implicate, frecvena participrii la diferite activiti, amplitudinea interaciunilor dintre beneficiari etc. Nivelul 4: Reaciile participanilor acesta este primul nivel al impactului programului i se refer la rspunsurile beneficiarilor fa de serviciile primite n cadrul programului, satisfacia fa de rezultatele obinute, acceptarea i respectarea contractului cu furnizorul de servicii, atitudinea fa de personal i fa de ali beneficiari etc. Nivelul 5: Cunotinele, opiniile, abilitile i aspiraiile beneficiarilor orice program i propune sprijinirea membrilor grupului int pentru dezvoltarea unor deprinderi i abiliti, creterea nivelului de cunotine, schimbarea atitudinilor care genereaz comportamente ineficiente social, redefinirea situaiilor particulare de ctre beneficiari. Aspiraiile i dorinele beneficiarilor programului reprezint n sine indicatori ai modului n care se raporteaz la realitate, construiete aceast realitate i acioneaz pentru urmrirea obiectivelor proprii propuse. n majoritatea cazurilor, persoanele afectate de diverse probleme definesc situaiile personale n termeni de disfuncie utiliz- tefan COJOCARU 88
nd un limbaj de deficit, ncrcat cu sentimente negative, fapt care nu produce schimbri pozitive majore n situaia personal. Deseori, pentru msurarea efectelor pe care le-a avut un serviciu de consiliere sau de educaie asupra beneficiarilor este util analiza calitativ a expresiilor verbale utilizate de ctre beneficiari, proces care poate demonstra modul n care aceste servicii de consiliere sau educaie au produs modificri sau nu n situaia beneficiarului. Nivelul 6: Aciunile i comportamentele participanilor exprim n mod esenial efecte ale programului produse asupra beneficiarilor. Chiar dac acetia au primit informaii, au fost ncurajai i sprijinii s-i exerseze i dezvolte anumite abiliti, dar acestea din urm nu se regsesc n comportamentele acestora, nseamn c nc nu s-a obinut un rezultat de durat destinat reducerii dependenei fa de serviciile primite. Imposibilitatea identificrii unor indicatori observabili care s msoare aciunile i comportamentele dezvoltate de ctre participani la proiect demonstreaz rezultate foarte slabe, care nu pot fi cunatificate, iar rezultatele programului sunt puse sub semnul ntrebrii. Nivelul 7: Impactul programului social, economic. Impactul se refer nu doar la schimbrile produse la nivelul status-ului beneficiarilor, ci i la modificrile realizate la nivelul grupurilor i comunitii. Programul urmrete producerea unor diferene n viaa beneficiarilor care pot fi sesizate i argumentate ca rezultate ale aciunilor realizate i sunt observabile n status-ul final al beneficiarilor la ncheierea programului. n cadrul evalurilor de impact se urmrsc deseori i efectele neintenionate pe care le-a avut programul asupra beneficiarilor direci i indireci, precum i asupra comunitii, rezultate care pot constitui fundamente pentru intervenii viitoare ale unor programe destinate unor grupuri int similare. Ierarhia prezentat de autori (Taylor-Powell, Steele i Douglah, 1996) poate fi utilizat totodat pentru planificarea evalurii, pentru elaborarea ntrebrilor evalurii specifice fiecrui nivel i adaptate cerinelor programului respectiv, precum i la stabilirea temelor de evaluare pentru aceste nivele.
ntrebri despre implementarea programului
Evaluarea implementrii programului urmrete s msoare ceea ce s-a realizat n cadrul acestuia, aciunile i rezultatele acestora. Astfel, n evaluarea de implementare pot fi utilizate ntrebri care direcioneaz procesul de culegere a datelor ctre msurarea calitii serviciilor oferite, respectarea anumitor standarde i adaptarea interveniilor la caracteristicile grupurilor int. Evaluarea calitii nu nseamn, din aceast perspectiv, excluderea furnizorilor de servicii care nu au satisfcut anumite standarde, ci o form de a posibilitatea acestora de a fi incluse n categoria celor care ofer servicii de calitate. Msurarea calitii nseamn, n fond, un feedback important pentru furnizorii de servicii i un sprijin pentru direcionarea acestora n asigurarea unor servicii care s ndeplineasc standardele utilizate n evaluare. De aceea, toate ntrebrile formulate pentru aceast latur a evalurii sunt orientate ctre aspectele acionale, urmrind s neleag, s descrie i s analizeze practicile dezvoltate: Managementul i evaluarea programelor de Asisten Social 89 - Care sunt cele mai importante activiti desfurate n cadrul programului i care au produs rezultate? - Ce metode de intervenie au fost utilizate n lucrul cu beneficiarii? - Care au fost modalitile promovate de personalul angajat pentru creterea accesibilitii serviciilor oferite n cadrul programului? - Care au fost criteriile utilizate pentru selectarea beneficiarilor? - Care au fost metodele utilizate n evaluarea nevoilor potenialilor beneficiari? - Ce caracteristici au solicitanii de servicii care au apelat la program i nu au fost inclui n categoria beneficiarilor? - Care au fost serviciile ce s-au dezvoltat ca urmare a derulrii programului? - Ce contribuii semnificative a avut personalul angajat n oferirea serviciilor din cadrul programului? - Care sunt practicile organizaionale fa de beneficiari, parteneri i voluntari ai programului? - Cum au fost implicai beneficiarii n implementarea programului? - Care a fost frecvena diferitelor tipuri de intervenie realizate pe parcursul derulrii programului? - Ce resurse au fost utilizate pentru implementarea programului? - Care sunt activitile ce au produs efecte benefice i pot fi pstrate pentru derularea unor programe similare n viitor?
ntrebri despre impactul programului
Acest tip de ntrebri urmresc s surprind modificrile produse de program asupra beneficiarilor. De aceast dat nu mai este vorba de ceea ce se face, ci de ce anume s-a produs n situaia beneficiarilor. ntrebrile de impact sunt orientate ctre aciunile, comportamentele i status-ul beneficiarilor: - Cum s-a modificat status-ul beneficiarilor la finalul programului? - Care sunt comportamentele beneficiarilor ce s-au schimbat n urma participrii la finalul programului? - Ce au ctigat beneficiarii n urma participrii la program? - Care sunt cele mai importante rezultate ale programului? - Ce activiti au participat n mod crucial la atingerea obiectivelor programului? - Care este gradul de satisfacie al beneficiarilor n urma participrii la program?
Culegerea informaiilor
Aceast etap reprezint procesul de consultare a surselor de informare reprezentate de persoane care cunosc programul (beneficiarii care sunt considerai cea mai important surs de obinere a datelor, personalul care ofer servicii, informatori cheie) i de documente oficiale care au fost elaborate pe parcursul derulrii acestuia tefan COJOCARU 90
(rapoarte statistice, rapoarte narative i financiare, studii, descrierea programului care se implementeaz conform proiectului de intervenie propus iniial, documente existente la dosarele beneficiarilor, articole n mass media, documente video etc.). O modalitate des folosit n evaluare este observaia direct realizat de ctre evaluator la diverse activiti i evenimente, prin care sunt surprinse elemente cu valoare de fapte (Miftode, 2002); de exemplu, dac intenionm s evalum practicile dezvoltate de asistenii sociali n ceea ce privete consilierea beneficiarilor, este util observarea direct a edinelor de consilierea sau filmarea acestora, cu acordul prealabil al consilierului i al beneficiarului.
Eantionarea n procesul de evaluare
Evaluatorul i celelate persoane implicate i interesate de evaluare programelor de asisten social i pun ntrebri n legtur cu mrimea eantionului necesar pentru analiza i evaluarea pertinent a programului, iar rspunsurile sunt diverse pentru c, pe fond, mrimea eantionului este stabilit n funcie de scopul i ntrebrile evalurii, de resursele financiare, umane i organizaionale i de tipurile de informaii considerate necesare, dorite i intenionate din partea celor care sunt interesai de programul evaluat i de rezultatele acestuia. Pentru selectarea subiecilor n eantion este necesar definirea populaiei care este inclus n procesul de evaluare; populaia studiat se refer la anumite categorii de persoane care sunt implicate n programul evaluat fie ca beneficiari direci sau indireci, fie care persoane care cunosc desfurarea programului sau a efectelor acestuia asupra populaiei int sau a grupurilor int. Pentru definirea populaiei investigate este necesar ca evaluatorul s identifice grupurile sau unitile de interes, s delimiteze perioada temporar i locaia subiecilor, aspecte care sunt clarificate n cadrul programului evaluat. Fiecare program derulat are precizate aceste caracteristici: populaia i grupurile int, perioada de derulare a programului i etapele acestuia de implementare, precum i locaia n care se desfoar programul, cu referiri foarte clar precizate la locaia beneficiarilor direci i indireci ai programului de asisten. Populaia studiat este reprezentat de toi participanii la programul de asisten social evaluat; de pild, dac evalum un program de integrare socioprofesional a tinerilor care au prsit sistemul de protecie a copilului dintr-o anumit zon geografic, atunci populaia investigat va fi format de tinerii care au participat la programul respectiv ntr-o anumit perioad de timp. De obicei, datorit fenomenului de volatilitate a programelor sociale (Cojocaru, 2006, pp. 32-33), condiiile de organizare i desfurare a acestora se modific n timp ca efect al stabilirii i dominanei unor obiective pe termen scurt. Acest lucru face posibil selectarea relativ facil a subiecilor inclui n eantion pentru evaluarea rezultatelor; astfel, dac dorim s evalum efectele unui asemenea program de asisten pentru tinerii care au prsit sistemul de protecie n anul 2006, atunci vom analiza doar acele cazuri specifice care au beneficiat de programul respectiv, derulat n perioada 2006-2007; pe de alt parte, dac dorim s evalum efectele pe termen mediu i lung a unui asemenea program de integrare socioprofesional care se desfoar cu regularitate de mai muli ani, atunci vom selecta diferii subieci care au beneficiat de program n perioade de timp diferite. Managementul i evaluarea programelor de Asisten Social 91 Dac evaluarea programului urmrete s generalizeze concluziile obinute prin studierea subiecilor inclui n eantion la nivelul ntregii populaii studiate, atunci este necesar realizarea unei eantionri probabilistice, care reprezint un proces de selectare aleatoare a subiecilor cuprini n procesul de evaluare, iar fiecare dintre unitile cuprinse n populaia studiat are aceleai anse de a fi selectat n eantion, astfel nct pot fi fcute aprecieri i estimri la nivelul populaiei int pornind de la concluziile studierii subiecilor din eantion.
Stabilirea mrimii eantionului statistic
Utilizarea eantionului statistic este dirijat de dorina de a obine o reprezentativitate a acestuia i a a putea generaliza concluziile evalurii unui numr redus de subieci la nivelul ntregii populaii studiate. Reprezentativitatea reprezint acea calitate a eantionului de a reproduce la scar mic a calitilor i caracteristicilor populaiei investigaiei totale, iar generalizabilitate este capacitatea de a estima rezultatele la nivelul populaiei ntre limitele stabilite de marja de eroare i intervalul de ncredere stabilit iniial. n general, stabilirea eantionului statistic este realizat n funcie de numrul unitilor din populaia total. Unii autori (Isaac i Michael, 1981; Smith, 1983) au realizat chiar tabele cu valori ale eantionelor construite n funcie de mrimea populaiei studiate i de intervalul de ncredere. Dac consultm tabelele realizate de autorii menionai mai sus, observm c, de exemplu, pentru evaluarea unui program de informare-educare-comunicare a populaiei dintr-o localitate cu 100.000 de locuitori cu privire la riscurile la care sunt expui copiii abuzai i neglijai, putem stabili un eantion format din 398 de subieci pentru o marj de eroare de 5% sau din 100 de subieci pentru o eroare de maxim 10%. Atunci cnd stabilim mrimea eantionului trebuie s inem cont de mrimea populaiei; cu ct populaia este mai mic, cu att eantionul este mai mare raportat la aceast populaie. Dac ne propunem s evalum un program de consiliere a prinilor pentru prevenirea abandonului nou nscuilor n maternitate folosind tehnici cantitative, iar numrul de beneficiari este de 480 de persoane consiliate, putem stabili o anumit proporie din populaia total investigat, de exemplu 25% dintre beneficiari. Astfel, eantionul poate fi constituit din 120 de prini care au participat la edine de consiliere, dar mrimea acestuia poate s nu fie reprezentativ pentru ntreaga populaie. Dac aplicm logica eantioanelor recomandate n funcie de mrimea populaiei i nivelul de eroare, atunci pentru o populaie de 480 de persoane, eantionul statistic reprezentativ pentru o marj de eroare de 5% este format din 218 de persoane (Isaac i Michael, 1981; Smith, 1983). Logica alegerii unui anumit procent din populaia total nu este cea mai productiv n stabilirea dimensiunilor eantionului, pentru c, de exemplu, dac ne propunem s studiem 25 % din populaia total i aceasta este format din 100.000 de persoane ar nsemna ca eantionul nostru s fie format din 25.000 de subieci, lucru care necesit foarte multe resurse pentru investigare i nu ofer cu certitudine ansele unei erori ct mai mici.
tefan COJOCARU 92
Eroare de eantionare i intervalul de ncredere
Atunci cnd dorim s evalum un program utilizd metode statistice, pentru obinerea datelor poate fi construit un eantion reprezentativ cruia i se aplic diferite instrumente de culegere a datelor. Pentru a estima n ce msur eantionul reprezint populaia total investigat, n general, se folosesc doi parametri: marja de eroare i intervalul de ncredere. n momentul proiectrii eantionului, se stabilete nivelul dorit al erorii de estimare a valorilor populaiei totale pe intervalul 1-5 % (Mrginean, 2004, p. 148), acest lucru fiind o etap obligatorie n cazul eantionrii probabilistice. De exemplu, dac la o ntrebare prezent n chestionarul utilizat pentru investigarea subiecilor din eantion, 35% din persoanele investigate au oferit un anumit rspuns, iar eantionul are o eroare de 3 %, atunci putem spune c n intervalul dintre 33,5% i 36,5% acel rspuns este caracteristic populaiei totale. Un alt exemplu, dac 85% dintre respondeni, beneficiari ai programului de educaie parental, consider prestaia educatorilor parentali ca fiind foarte bun, acest lucru nseamn c ntre 83,5 % i 86,5 % din totalul participanilor la cursurile de educaie parental apreciaz prestaia educatorilor ca fiind foarte bun. Nivelul de ncredere msoar riscul de a fi eronat rezultatul obinut prin consultarea subiecilor din eantion n limitele intervalului de eroare. De exemplu, atunci cnd intervalul de ncredere este de 95%, aceasta nseamn c n 95% cazuri, rspunsurile sau opiniile exprimate de ctre persoanele chestionate pot fi cu siguran extrapolate la nivelul ntregii populaii investigate.
Anticiparea nonrspunsurilor
n orice proces de evaluare exist riscuri legate de participarea subiecilor la cercetare, de interesul i dorina acestora de a oferi informaii sau de imposibilitatea de a gsi subiecii respectivi; de aceea, n organizarea demersurilor pentru evaluare trebuie s inem cont de aceste riscuri. Taylor-Powell consider c un nivel de 30% al nonrspunsurilor este realistic (1998, p.5) i acesta trebuie luat n considerare atunci cnd se stabilete mrimea eantionului i cnd se analizeaz datele. Dac evalum un program de consiliere a tinerilor seropozitivi HIV prin care au fost oferite acest serviciu unui numr de 275 de beneficiari i utilizm un eantion statistic cu o marj de eroare de 10 %, atunci vom avea un eantion format din 74 de subieci; dac inem cont de anticiparea nonrspunsurilor (estimat la 30 % din totalul subiecilor), atunci trebuie s mrim eantionul la 105 subieci pentru a pstra aceeai marj de eroare. Aceast logic poate fi aplicat n orice program de evaluare cnd se dorete utilizarea unor tehnici cantitative de culegere a datelor (chestionarul, de exmplu). Un alt exemplu, dac dorim s evalum un program de prevenire a abandonului copilului care a oferit servicii unui numr de 6.000 de persoane, pentru aplicarea unui chestionar n rndul populaiei investigate prin care se obin date de la un eantion reprezentativ, cu o marj de eroare de 5 %, atunci valoarea acestui eantion este de 375 de subieci (n situaia n care nu sunt anticipate nonrspunsurile); dac inem cont de rata nonrspunsurilor a subiecilor Managementul i evaluarea programelor de Asisten Social 93 (fie c nu doresc s participe la evaluare, fie c nu sunt gsii etc.), atunci numrul persoanelor stabilite pentru investigare este de 535 de persoane.
Strategii de construire a eantioanelor statistice
Cnd ne propunem s putem generaliza concluziile obinute n urma studierii unui numr definit de subieci este necesar alegearea unui eantion probabilistic care presupune o selectare aleatoare a subiecilor care vor fi consultai din ntreaga populaie. Aceast caracteristic a eantionului conduce ceea ce se numete reprezentativitate, adic la capacitatea grupului de uniti selectate pentru a fi studiate de a reprezenta calitile populaiei totale, iar aceasta [reprezentativitatea] este dependent de mrimea eantionului i de schema de eantionare utilizat (Mrginean, 2004, p. 141). Pentru a asigura ansa de a identifica eantioane care s ndeplineasc aceast condiie, evaluatorii programelor sociale utilizeaz mai multe strategii astfel nct rezultatele obinute s poat fi generalizat la nivelul populaiei cercetate, urmrind selectarea aleatoare a subiecilor. O procedur de eantionare este aleatore atunci cnd fiecare individ din populaie are ans calculabil i nenul de a fi ale n eantion. Orice procedur care ncalc cel puin una dintre aceste cerine este neprobabilistic (Rotariu, et. al., 2000, p. 91). De exemplu, dac populaia studiat, respectiv beneficiarii unui program de asisten social, este reprezentat de familii ale copiilor cu dizabiliti care primesc servicii de domiciliu de reabilitare i recuperare pe raza judeului Suceava, alegerea eantionului se va face innd cont de faptul c aceste categorii au primit servicii, iar concluziile cercetrii unui numr redus de familii selectate probabilistic sunt valabile doar la nivelul populaiei cercetate.
Eantionarea simpl aleatoare
Eantionarea simpl aleatoare poate fi aplicat n mai multe feluri, n funcie de numrul unitilor din populaia total. n acest caz, fiecare unitate trebuie s aib anse egale pentru a fi selectat n eantion. n cazul populaiilor cu un numr mic de uniti, aa cum este cazul numeroaselor programe de asisten social, se opteaz pentru alegerea la ntmplare a subiecilor care vor fi inclui n eantion print-o procedur foarte simpl; se trec numele beneficiarilor pe bileele care se introduc nt-o cutie, apoi se extrage primul bilet. Pentru a pstra aceleai anse de a fi ales n eantion, numele beneficiarului extras din cutie se trece pe o list, dup care bileelul se introduce din nou n cutie, extrgndu-se n continuare dup aceast procedur toi subiecii care vor face parte din eantion. Dac, de exemplu, numrul mamelor care au beneficiat de serviciile centrului maternal n cadrul unui program de prevenire a nounscutului i consolidarea relaiei mam-copil n ultimii 3 ani a fost de 125 de mame i marja de eroare este de 10%, atunci numrul subiecilor inclui n eantion este de 56 de beneficiari; dac dorim ca marja de eroare s fie de maxim 5 %, atunci trebuie s optm pentru un eantion format din 96 de subieci. S presupunem c acceptm un eantion care are o marj de eroare de 10 %, atunci trebuie s realizm acele bileele cu numele mamelor, dup care extragem 56; este important ca dup fiecare extragere s reintroducem bileelul n urn. tefan COJOCARU 94
Pentru aplicarea acestei strategii de eantionare n cazul unei populaii numeroase este dificil de urmrit selectarea subiecilor extrgnd din urn numele fiecruia; de aceea, se apeleaz la selectarea subiecilor folosind tabelele cu numere aleatoare, care cuprind suite de numere aleatoare i care pot fi utilizate n varianta tiprit a acestora sau prin selectarea automat utiliznd computerul: cnd se dorete realmente utilizarea practic, n mod riguros, e eantionrii simple aleatoare, e preferabil s se recurg la un procedeu ce reproduce, n condiii aproape perfecte, exigenele matematice; este vorba de aa- numita procedur a tabelelor cu numere aleatoare (Rotariu i Ilu, 1997, pp. 131-132). Un tabel cu numere aleatoare se prezint astfel (asemenea tabele se gsesc n orice carte de statistic):
Pentru a utiliza tabelul numerelor aleatoare n selectarea unitilor ce vor fi cuprinse n eantion este necesar realizarea listei cu numele tuturor persoanelor din populaia cercetat, dup care se aleg la ntmplare numerele din tabel, lundu-se n considerare ultimele cifre ale fiecrui numr n funcie de numrul populaiei totale; dac numrul beneficiarilor unui program de planificare familial este pn la 1000 de persoane, atunci putem lua ca i numr de referin, ce corespunde n lista persoanelor, ultimele trei cifre ale numerol selectate; de exemplu, dac a fost ales la ntmplare al doilea numr din coloana a cincea, respectiv numrul 69373, atunci n eantion va fi aleas persoana care figureaz la numrul 373 din lista beneficiarilor. Un aspect important legat de utilizarea tabelelor cu numere aleatoare este legat de existena unor liste complete cu beneficiarii programului care se evalueaz, crora li se atribuie un numr; acest lucru este facil pentru c orice iniiator al unor programe de asisten social are o baz de date cu toi beneficiarii programului, fiind o condiie esenial a finanatorului i a unui management eficient, fiind parte important n sistemul de management al informaiei (management of information system). Mai dificil este n cazul programelor de intervenie care-i propun realizarea unor campanii de informare- educare-comunicare a populaiei dintr-o anumit zon cu privire la unele aspecte legate de unele informaii ce in de campaniile de marketing social. De exemplu, dac se urmrete educaia populaiei tinere cu privire la riscurile sexului neprotejat, selectarea Managementul i evaluarea programelor de Asisten Social 95 unui eantion utiliznd tabelele numerelor aleatoare este inutil, pentru c nu exist informaii detaliate ale membrilor grupurilor int crora le sunt adresate mesajele.
Eantionarea sistematic
Aceast procedur de eantionare este considerat a fi cvasialeatoare pentru c se ndeprteaz ntr-o anumit msur de cerinele seleciei probabiliste (Mrginean, 2004, p. 156). Numit i metoda pasului sau a intervalelor egale, acest tip de eantionare presupune alegerea subiecilor dintr-o list utiliznd un anumit criteriu rezultat din raportul dintre populaia total i mrimea eantionului. De exemplu, dac evalum un program de intervenie pentru persoanele de vrsta a treia fr locuin care beneficiaz de serviciile oferite de un adpost de noapte, iar numrul beneficiarilor n perioada de timp evaluat este de 2000, iar mrimea eantionului pentru o eroare de 5 % este de 333 de persoane, atunci pasul sau intervalul este 6; utiliznd lista beneficiarilor, alegem la ntmplare primul numr pe lista subiecilor (care este pus la dispoziie de ctre furnizorul de servicii care implementeaz programul), constituind punctul de plecare n selectarea celorlai subieci; dup care continum selectarea celorlalte persoane urmrind acest interval, adic din ase n ase persoane trecute pe lista respectiv. Reducerea calitii probabiliste a eantionului selectat utiliznd metoda pasului este datorat i de erorile care pot conduce la sub sau suprareprezentare, chiar dac subiecii sunt trecui n ordine alfabetic; exist anumite nume caracteristice anumitor etnii sau poate aprea o dominan a anumitor nume pe lista beneficiarilor. De aceea, pentru a apropia aceast strategie de eantionare de una simpl aleatoare sunt utilizate mai multe ci, cum ar fi: realizarea iniial a unor liste aleatoare cu beneficiarii programului, sau n cazul populaiilor mari se utilizeaz eantionarea multistadial, alctuind liste cu beneficiarii numai pe anumite zone stabilite iniial, selecia acestora fcndu-se n funcie de zona de apartenen (n cazul nostru, poate fi fcut o selecie n funcie de domiciliul persoanelor), de sex etc. n procesul de selectare a subiecilor urmnd metoda pasului este util construirea unei rezerve de subieci care pot fi consultai n situaia n care o parte din eantionul iniial nu poate fi contactat sau refuz s participe la evaluare. Mrginean (2004, p.156) consider c o rezerv realist poate fi gndit la un nivel 10-20% din valoarea eantionului iniial.
Eantionarea stratificat
Eantionarea prin stratificare este o strategie care mparte populaia care este inclus n procesul de evaluare a programului (de exemplu, populaia beneficiar a unui program sau populaia int a unei campanii de informare-educare-comunicare) n diferite grupuri sau straturi n funie de anumite caracteristici relevante pentru evaluarea respectiv (cum ar fi: sex, vrst, locaie etc.) dup aceast operaie se poate construi un eantion probabilistic pentru fiecare strat n parte. Utilizarea acestei strategii de eantionare este recomandat atunci cnd exist diferene semnificative ntre diferite straturi selectate n funcie de anumite caracteristici, cum ar fi vrsta. De exemplu, dac tefan COJOCARU 96
se evaluae un program care are ca scop reorientarea profesional a omerilor dintr-o anumit zon, construirea unor eantioane probabilistice pe categoriile de vrst, domiciliu etc. poate reprezenta o form adecvat de selectare a subiecilor n eantion, mai ales dac succesele / insuccesele programului sunt corelate cu vrsta beneficiarilor. Unii autori consider c acest tip de eantionare prezint condiii pentru o reprezentativitate a eantionului dect n cazul eantionrii simple apleatoare: dintre dou eantioane de volum egal, cel realizat prin stratificare are o reprezentativitate superioar celei a eantionului obinut prin tehnica simpl aleatoare (Rotariu i Ilu, 1997, p. 134), dar o condiie important este aceea de a utiliza mai multe criterii simultane de construire a straturilor. n cazul programelor de asisten social acest lucru este mai facil deoarece exist liste cu beneficiarii programului, baze de date care cuprind anumite date ce pot folosi pentru construirea eantioanelor stratificate. n exemplul prezentat mai sus, dac numrul beneficiarilor este de 475 de persoane, mrimea eantionului pentru o eroare de 5% este de 218 persoane, care poate fi distribuit n sugrupuri din care apoi vor fi selectai subiecii, innd cont de faptul distribuia grupurilor n populaia total trebuie s fie reflectat n distribuia categoriilor respective n eantion.
Vrsta 20-30 ani 31-40 ani 41-50 ani 51-60 ani Total Numrul beneficiarilor 180 145 90 60 475 % din total 37,9 30,6 18,9 12,6 100 Valoarea eantionului 83 67 41 27 218 Tabel 2. Exemplu de construire a eantionului stratificat n funcie de o singur caracteristic
Aceast strategie de selectare a subiecilor care vor fi inclui n eantion este utilizat deseori pentru evaluarea programelor care se desfoar n mai multe locaii, locaia fiind unul dintre criteriile de selecie stabilite iniial. Un alt exemplu, dac se evalueaz efectele serviciilor de consiliere pentru prevenirea abandonului n maternitate a nou nscutului i acest program se desfoar n 4 locaii, primul criteriu de selecie este locul de oferire a serviciilor; dac n documentarea iniial pentru evaluare cunoatem faptul c n numrul total de beneficiari, n cursul unui an (de referin pentru evaluarea respectiv) au beneficiat de servicii de consiliere n cele patru materniti un numr de 5000 de mame, iar repartiia lor a fost: 1700 de mame n maternitate A, 1300 de mame n maternitatea B, 1100 de mame n maternitatea C i 900 de mame n maternitatea D, iar eantionul pentru toate cele patru locaii este de 370 de persoane, eantion cu eroare de 5 %, atunci repartiia mamelor va fi urmtoarea:
Managementul i evaluarea programelor de Asisten Social 97
Maternitatea A Maternitatea B Maternitatea C Maternitatea D Total Nr. total de beneficiari 1700 1300 1100 900 5000 % din nr. total de beneficiari 34 26 22 18 100 Nr. de subieci n eantion 125 96 82 67 370 Tabel 3. Exemplu de construire a eantionului stratificat pentru evaluarea multisite
Dac inem cont de recomandrile conform crora un singur crieriu nu este suficient pentru a obine o reprezentativitate ridicat, putem continua procesul de eantionare combinnd straturile din care este format populaia beneficiar. Astfel, dac lum n considerare i alte criterii, precum sex i domiciliu, tabelul cu valoarea eantioanelor stratificate se va complica foarte mult, dar prezenta n detaliul tipurile de subieci pe care-i vom selecta din lista tuturor beneficiarilor. De remarcat este faptul c prin calcului acestor eantioane, la nivelul populaiei totale i dac inem cont de faptul c mrimile eantioanelor pentru anumite grupuri sunt foarte mici, atunci se poate opta pentru redimensionarea eantionelor de dimensiuni reduse.. Valoarea de 218 persoane n eantion este considerat ca fiind reprezentativ pentru o eroare de 5 %, dac populaia investigat este analizat n ansamblu ei, pentru c dac populaia inclus n evaluare este de dimensiuni reduse, atunci fie este investigat n totalitate utiliznd tehnici cantitative de culegere a datelor, fie se pot utiliza strategii de eantionare calitativ.
Eantionarea multistadial
Aceast strategie de eantionare urmrete realizarea seleciei unitilor de analiz n mai multe etape, pentru asigurarea unei eficiene sporite n culegerea datelor, mai ales dac este vorba de o dispersie ridicat a populaiei, scopul principal l constituie reducerea costului i timpului reclamate de culegerea informaiei (Rotariu i Ilu, 1997, p. 136). Chiar dac la prima vedere, aceast strategie de eantionare seamn cu cea stratificat, mai ales c unele criterii de selecie pot fi ntlnite n ambele forme de eantionare, exist deosebiri n ceea ce privete modalitile de organizare i de selectare a subiecilor. n primul caz este vorba de o mprire a populaiei totale n funcie de anumite criterii i selectarea subiecilor din fiecare subgrup construit, n cel de-al doilea este vorba de realizarea direct a unor eantioane n funcie de anumite criterii ce i-au n considerare dispersia populaiei investigate. De exemplu, dac urmrim s evalum serviciile oferite familiilor adoptatoare din Romnia, n diferite etape ale adopiei, n cadrul unui studiu naional, putem avea dou strategii diferite. n cazul eantionrii stratificate, putem selecta populaia total n subgrupuri n funcie de judeul de domiciul i / sau anul realizrii adopiei, calculm repartiia acestora pe judee i pe ani, dup care construim eantioane aleatoare n cadrul fiecrui subgrup construit. Astfel, eantionul propune o repartiie a persoanelor care vor fi chestionate la tefan COJOCARU 98
nivelul fiecrui jude, n funcie i de anul realizrii adopiei. Pe de alt parte, dac urmrim s realizm aceast evaluare utiliznd strategia evalurii multistadiale, datorit dispersiei mare a populaiei care urmeaz a fi cercetat, putem selecta cteva judee pilot care fac parte din eantion, dup care construim eantioane locale n funcie de anul realizrii adopiei, de exemplu. Chiar dac un eantion multistadial este mai puin reprezentativ, la volum egal, dect unul simplu aleator... ndrznim totui s spunem c eficacitatea practic a acestui tip de eantionare prevaleaz asupra inconveninelor teoretice, eantioanele multistadiale fiind extrem de des folosite n anchete i sondaje, pentru ameliorarea reprezentativitii lor procedndu-se aproape ntotdeauna la mbinarea cu eantionarea stratificat... (Rotariu i Ilu, 1997, pp. 136- 137).
Eantionarea multifazic
Eantionarea multifazic presupune construirea unui eantion iniial cruia i se aplic un instrument de culegere a datelor, de obicei foarte simplu, dup care, n funcie de datele obinute sunt construite i alte eantioane n cadrul grupurilor identificate, care sunt investigate n profunzime. Eantionarea multifazic const n esen, n alegerea, iniial, a unui eantion de dimensiune mare, la nivel cruia se aplic un instrument de cercetare mai simplu, eantion care la rndu-i se supune unor operaii succesive de eantionare, determinndu-se astfel loturi din ce n ce mai mici, crora li se aplic (i) alte instrumente, de regul tot mai complexe, mai subtile i deci mai sofisticate (Rotariu i Ilu, 1997, p. 137). Aceast strategie de eantionare este folosit n mod special pentru investigarea din ce n ce mai profund a temei stabilite pentru evaluare, n mai multe faze, innd cont de informaiile oferite de subieci n diferite stadii de cercetare, i mai ales n ceea ce privete combinarea metodelor cantitative i calitative. De exemplu, dac iniiem o evaluare la nivelul unui jude a unui program de asisten maternal pentru a evalua calitatea condiiilor de via ale copiilor plasai n aceste familii i dificultile cu care acestea se ntlnesc n procesul de integrare social a copiilor putem constitui un eantion la nivel judeean care s reprezinte ntreaga populaie de asisteni maternali, dup care aplicm un chestionar care s culeag informaii generale despre condiiile de via ale copiilor n asisten maternal. Dup analiza datelor obinute, se pot constitui eantioane pe subgrupuri, care pot fi calculate n funcie de caracteristici ale copiilor, precum: subgrupuri de asisteni maternali formate n funcie de vrsta copiilor aflai n plasament, subgrupuri de asisteni maternali care au n plasament copii cu dizabiliti, copii seropozitivi HIV, grupuri de frai etc. La acest nivel al subgrupurilor pot fi pot fi construite eantioane calitative, iar persoanele alese n eantion vor fi consultate utiliznd tehnici calitative, cum ar fi interviul comprehensiv, focus grupul, observaia etc. Dac se introduc i alte criterii de selecie, precum perioada de edere a copilului n familia de asisteni maternali, etapa de vrst n cadrul ciclului de via familial, atunci se poate opta pentru utilizarea studiului de caz n cadrul subgrupurilor construite. Eantionarea multifazic poate fi considerat i un demers al evalurii, al organizrii i realizrii unei evaluri multifazice, constituind o orientare a evalurilor n domeniul asistenei sociale. Managementul i evaluarea programelor de Asisten Social 99
Eantionarea pe cote
Aceast strategie de eantionare se aseamn cu eantionarea prin stratificare, n sensul c se utilizeaz anumite criterii de mprire a populaiei, obinndu-se indicaii pentru operatorii de teren n ceea ce privete caracteristicile subiecilor care vor fi consultai. Acest lucru face ca eantionarea pe cote s fie considerat una nealetoare n sensul c evaluatorii nu pot alege la ntmplare persoanele care vor fi consultate, ci trebuie s urmreasc limitele pentru selecie stabilite n procesul de eantionare. Dac n eationarea prin stratificare, construirea eantionului pe straturi avea rolul de a stabili numrul de subieci pentru fiecare strat, dup care n cadrul fiecrui strat era aplicat o metod aleatoare de selecie, n cadrul eantionrii pe cote, fiecare categorie de persoane este bine definit, stabilindu-se n mod clar caracteristicile acesteia. n evaluarea programelor se utilizeaz strategia eantionrii pe cote pentru c furnizorul serviciilor evaluate dispune de date detaliate ale beneficiarilor, astfel se poate realiza selectarea acestora n funcie de repartiia pe cote a beneficiarilor. De exemplu, dac pentru evaluarea unui program de educaie sexual i contraceptiv se opteaz pentru utilizarea unui eantion pe cote i se cunoate c din totalul beneficiarilor acestor servicii 70 % sunt femei i 30 % brbai, iar 46 % sunt din mediul rural i 54 % din mediul urban, atunci structura eantionului n funcie de aceste caracteristici este urmtoarea:
Rural Urban Total Femei 129 151 280 Barbati 55 65 120 Total 184 216 400 Tabel 4. Exemplu de construire a eantionului pe cote pornind de la date primare
Dac furnizorul de servicii deine informaii detaliate despre legate de repartiia pe sexe a beneficiarilor din mediul rural (72 % din beneficiari sunt femei i 28 % sunt brbai), respectiv urban (68 % dintre beneficiari sunt femei i 32 % sunt brbai), atunci structura eantionului este urmtoarea:
Rural Urban Total Femei 133 147 280 Barbati 51 69 120 Total 184 216 400 Tabel 5. Exemplu de construire a eantionului pe cote utiliznd informaii detaliate ale furnizorului
Observm c cifrele din cele dou tabele difer, lucru care demonstreaz nc o dat faptul c eantionarea pe cote este recomandat mai ales atunci cnd dispunem de date detaliate ale populaiei care urmeaz a fi investigat. n cazul evalurii programelor, mai ales n cazul celor de servicii directe furnizorul de servicii deine tefan COJOCARU 100
suficiente informaii pentru a detalia eanionul, construindu-l n funcie de mai multe cote. Dac ne imaginm ca la tabelul de mai sus poutem aduga un alt criteriu de selecie, cum ar fi vrsta beneficiarilor, cu att mai mult obinem o structur mai detaliat i condiii riguroase de selectare a subiecilor din eantion. n cazul utilizrii eantionrii prin cote, operatorii trebuie s selecteze din populaie doar persoanele care satisfac criteriile stabilite n fia de eantionare. Astfel, n momentul n care acesta ntlnete persoane care nu mai satisfac cerinele eantionului, acestea nu mai sunt consultate pentru a oferi date n vederea analizei.
Strategii de construire a eantioanelor calitative
Patton (2002, pp. 230-246), autor de referin n domeniul evalurii programelor, identific mai multe strategii pentru identificarea cazurilor de studiu calitativ n cadrul evalurii pe care le prezentm n coninuare: eantionarea pe baza cazurilor extreme sau deviante, eantionarea intensiv, eantionarea pe baza variaei maxime, eantionarea omogen, ........
Eantioane formate din cazuri extreme sau deviante
Opiunilea pentru alegerea cazurilor extreme sau deviante care sunt bogate n informaii pentru c sunt neobinuite sau speciale ntr-o form anume (Patton, 2002, p.231) ofer posibilitate analizei i evalurii n vederea identificrii modelelor de bun practic sau eecurile i factorii care au determinat rezultatele. De altfel, analiza excepiilor sunt deosebit de importante pentru analiz pentru c o explicaie plauzibil pentru cazurile excepionale extreme i neateptate produce creterea ncrederii n tendina central identificat (King, 2005, p. 299). Patton subliniaz rolul important al acestui tip de strategie pentru alegerea cazurilor n mbuntirea programelor similare: n evaluare, logica eantioanelor formate din cazurilor extreme este o ocazie de a nva despre condiiile neobinuite sau rezultatele extreme care sunt relevante pentru mbuntirea programelor (2002, p. 233). Aceast modalitate de selectare a cazurilor poate fi utilizat att la nivelul unei singure locaii n care se desfoar programul, ct i n cazul programelor care se desfoar concomitent n mai multe locuri sau zone geografice. Dac avem n vedere prima variant n alegerea acestui tip de eantion i dorim s evalum un program de prevenire a abandonului copilului prin oferirea de servicii sociale n cadrul unui centru de zi, putem analiza cazurile extreme n ceea ce privete atingerea unui obiectiv al programului, repectiv meninerea copilului n familia sa biologic; vom lua n analiz cazuri considerate de succes, dar i cazuri caracterizate de eec, adic situaiile particulare n care copii au ajuns ntr-o anumit form de protecie. n ceea ce privete alegerea cazurilor extreme i deviante din locaii diferite, este necesar stabilirea criteriilor de selecie a acestora. De exemplu, pentru evaluarea programelor de prevenire a abandonului copiilor la nivel naional pot fi alese judeele extreme, cele cu numrul cel mai mare i cel mai mic de intrri n sistemul de protecie a copiilor. Astfel, utiliznd acest criteriu, n urma consultrii statisticilor oficiale pot fi Managementul i evaluarea programelor de Asisten Social 101 identificate judeele cu cea mai mare, respectiv cea mai mic, rat de instituionalizare a copiilor sau a plasrii n sistemul de asisten maternal. Evaluarea poate urmri identificarea strategiilor de prevenire a abandonului care au fost urmrite n fiecare dintre cele dou judee selectate, analiza factorilor care au influenat obinerea rezultatelor extreme i rspunsurile oferite de sistemul de protecie la solicitrile cazurilor sociale respective. Dup cum putem sesiza, alegerea cazurilor extreme ofer informaii preioase necesare modelrii practicii n aceast sfer a serviciilor sociale. n analiza cazurilor extreme sau deviante de la medie pot fi utilizate mai multe strategii: a) pe de o parte, sunt analizate caracteristicile fiecrui caz n parte, factorii care au determinat succesul sau insuccesul, analiza modelelor de lucru i de intervenie, indicatorii i instrumentele utilizate n monitorizarea activitilor, progresului i rezultatelor; b) pe de alt parte, analiza poate urmri stabilirea codurilor i a indicatorilor care sunt urmrii n cele dou dou cazuri specifice, studiul comparativ al similitudinilor i al diferenelor din perspectiva indicatorilor urmrii. Dac, de exemplu, studiem eficiena managementului de caz n domeniul proteciei copilului, msurabil n funcie de gradul de atingere a finalitilor planurilor individualizate de protecie este necesar studierea statisticilor oficiale la nivel naional n legtur cu realizarea acestor finaliti. Astfel, stabilim unitatea de timp la care ne raportm aceste date, apoi identificm direciile generale de asisten social i protecia copilului cu cea mai mare i cea mai mic rat de reintegrare familial (aceasta pune n relaie numrul de copii reintegrai familial cu cei existeni n sistemul de protecie a copilului), cu ratele extreme n ceea ce privete adopia copiilor abandonai i judeele cu valori extreme ale ratei de integrare socioprofesional a tinerilor cu vrste peste 18 ani i care au prsit sistemul de protecie. n urma acestei selecii, putem identifica ase zone n care vor fi aplicate diferite tehnici calitative de culegere a datelor, cum ar fi interviul, focus grupul, observaia, analiza documentelor etc. i combinarea acestora conform principiului triangulrii metodologice. n situaia n care resursele financiare, umane sau de timp nu ne ofer posibilitatea analizei celor ase cazuri extreme identificate, atunci se poate opta pentru cazurile pozitive, respectiv cele cu rezultatele cele mai bune din ar n sfera reintegrrii familiale, a adopiei i a integrrii socioprofesionale a tinerilor din sistemul de protecie a copilului. Aceast opiune ne ofer posibilitatea de a identifica punctele tari ale practicilor personalului, ceea ce poate constitui un model care poate fi replicat i de alte instituii, fiind un factor de motivaie att pentru personalul care a participat la obinerea rezultatelor deosebite, ct i pentru cei din instituiile care nu au fost incluse n eantion. n situaia n care este dificil de a selecta cazurile extreme, pentru evaluarea programului se apeleaz uneori la cazurile deviante. Acestea reprezint cazuri are variaz mult fa de media cazurilor i reprezint unele cazuri neobinuite; studierea acestor cazuri are anumite limite date de faptul c acestea pot fi considerate limite neobinuite care au nevoie de anumite condiii speciale pentru a se manifesta, iar succesele extreme sau eecurile extraordinare pot fi discreditate ca fiind prea extreme sau extrordinare pentru a produce informaii utile (Patton, 2002, p. 234). Dincolo de aceste limite generate de caracterul extraordinar al cazurile respective, studierea acestora ne poate ajuta s nelegem, s descriem i s explicm anumii factori care particip la realizarea acestora. tefan COJOCARU 102
Eantioane intensive
O alt strategie de eantionare este cea conform creia sunt selectate cazuri care pot oferi date calitative necesare pentru evaluare practicilor i a rezultatelor programului. Patton consider c acest tip de eantionare are aceeai logic a cazurilor extreme, dar mai puin accentuat pe extreme; un eantion intensiv consist n cazuri bogate n informaii care manifest intens fenomenul de interes (dar nu extrem) (2002, p. 234). Autorul menioneaz faptul c atunci cnd vorbim despre eantion intensiv alegem cazuri exemplare, dar nu neaprat neobinuite, aa cum sunt cele extreme sau deviante. n situaia n care nu dispunem de suficiente date pentru selectarea cazurilor extreme, putem apela la selectare unor cazuri intensive, cazuri specifice care ne pot oferi foarte multe informaii relevante pentru programul evaluat. De exemplu, dac sunt evaluate efectele pe care le are traiul copiilor n familii substitutive (de asisteni maternali), pot fi selectate cazuri specifice n funcie de diferite criterii relevante pentru identificarea acestor efecte, cum ar fi durata de edere a copilului n familia substitutiv, existena sau nonexistena copiilor biologici n familia de plasament, etapa ciclului de via n care se afl familia de asisteni maternali, proveniena copilului aflat n plasament, numrul de plasamente consecutive ale copilului etc. Pentru selectarea cazurilor intensive este necesar cunoaterea detaliat a problematicii care urmeaz a fi evaluat i documentarea de tip explorativ n cadrul programului care urmeaz a fi evaluat, att prin discuii i interviuri de tip comprehensiv realizate cu personalul implicat n implementarea programului, ct prin observaii ale beneficiarilor i a interaciunilor acestora cu personalul care le ofer servicii, interviuri i chiar focus grupuri. Deseori, acest tip de eantion este utilizat n evalurile cu scop explorativ al programelor pilot pentru c informaiile i strategia cercetrii este determinat de noutatea cazurilor studiate i profunzimea datelor obinute.
Eantioane cu variaie maxim
Aceast strategie de eantionare analizat de Patton are ca scop capturarea i descrierea temelor centrale care desconsider distribuia mare a variaiei (2002, p. 235) pentru c diversitatea mare a cazurilor poate constitui un impediment generat de acest caracter heterogen, dar acest dezavantaj poate fi transformat ntr-un punct forte, aplicnd urmtoarea logic: orice model obinuit care apare dintr-o variaie ridicat prezint un interes i o valoare particulare n surprinderea esenei experienelor (Patton, 2002, p.235). n cazul evalurii programelor sociale care se desfoar n mai multe zone geografice i prezint o mare diversitate n ceea ce privete implementarea acestora se pune problema cum poate fi selectat un eantion cu un numr redus de cazuri. Modalitatea de selectare a eantionului pe baza variaiei maxime cea mai utilizat n evaluarea programelor este cea care urmeaz procedurilor de stabilire a unei matrici care cuprinde caracteristicile programelor n funcie de tematica abordat. Astfel, pentru evaluarea programelor prin care se ofer servicii la domiciliu pentru Managementul i evaluarea programelor de Asisten Social 103 copiii cu dizabiliti se construiete o matrice care combin posibilitile existente n derularea programului n diferite zone, cum ar fi: mediu rural / urban, tipul de dizabiliti, categorii de servicii oferite copiilor i familiilor, costurile serviciilor oferite, frecvena cu care se ofer servicii, vrsta copiilor beneficiari etc., dup care sunt selectate cazurile diferite n funcie de ndeplinirea criteriilor stabilite. Utilizarea acestui tip de eantioane n evaluarea programelor cu un nivel ridicat de heterogenitate ofer posibilitatea analizei n profunzime a practicilor i rezultatelor cu un accent deosebit pe descrieri detaliate ale fiecrui caz n parte care sunt utile n documentarea unicitii (Patton, 2002, 235) i care surprind aspectele semnificative ale modelelor dincolo de diversitatea acestora i diferenele dintre modalitile diverse de desfurare. Acest tip de eantionare poate fi folosit pentru evaluarea programelor pilot sau a programelor de asisten social n cadrul crora se ofer servicii diferitelor categorii de beneficiari, dar nu exist standarde elaborate de verificare a calitii acestora. Un alt exemplu este cel al serviciilor la domiciliu pentru persoane de vrsta a treia care prezint o mare diversitate n zone georgrafice diferite, multe dintre acestea desfurndu-se n funcie de resursele existente, de viziunea i filosofia programelor, de nevoile existente la nivelul comunitii i de nivelul de cunotine a personalului implicat. Diversitatea modalitilor practice de oferire a serviciilor la domiciliu pentru persoanele de vrsta a treia este i un rezultat al noutii acestei practici, de faptul c nu exist nc standarde de lucru i nici o politic social naional fa de aceast categorie de beneficiari. Alegerea unor eantioane calitative bazate pe variaia maxim i analiza practicilor existente utiliznd metoda studiului de caz pot constitui cu certitudine o etap important de documentare pentru identificarea modelelor de bun practic necesare n elaborarea unor standarde minime de lucru valabile i acceptate la nivel naional.
Eantioane omogene
Acest tip de eantionare se folosete pentru selectarea cazurilor similare avnd ca scop descrierea n profunzime a subgrupurilor (Patton, 2002, p. 235); astfel, atunci cnd evalum un program destinat unor categorii diferite de beneficiari, se construiete un eantion format din mai multe subgrupuri omogene. De exemplu, dac evalum un program de educaie parental apreciativ destinat diferitelor categorii de prini, sunt selectai subieci pentru fiecare categorie de beneficiari, prini care au copii de vrst mic, copii cu dizabiliti, copii seropozitivi HIV, copii adoptai etc. Astfel, pentru fiecare categorie de beneficiari se pot organiza focus grupuri care s surprind percepiile participanilor la grupurile de educaie parental apreciativ, studierea elementelor similare i a celor difereniate n practica cursurilor, evidenierea efectelor pregtirii asupra prinilor participani la aceste programe de instruire i dezvoltare personal. Acesta strategie de evaluare utilizeaz cu precdere focus grupul care se adreseaz unor grupuri omogene de indivizi; un grad nalt de hetorogenitate a grupului diminueaz ansele de obinere a unor informaii relevante, pentru c, n acest caz, interviul de grup prezint riscul de a deveni un grup de discuii, grup de dezbateri etc.
tefan COJOCARU 104
Eantioane formate din cazuri tipice
Selectarea cazurilor tipice se realizeaz n funcie de distribuia cazurilor, iar alegearea acestora se face cu scopul de a descrie caracteristicile tipurilor de cazuri care se ncadreaz n media normal a celor studiate. Aa cum am precizat, cercetarea eantionoanelor calitative urmresc mai degrab s descrie, s explice i s argumenteze modele de bun practic, dect s generalizeze datele obinute la nivelul populaiei investigate. Cazurile tipice selectate nu sunt identice cu cele extreme sau deviante sau cu cele caracterizate de o variaie mare, ci sunt caracterizate de o frecvena ridicat n populaia studiat. Cazurile tipice pot fi selectate utiliznd datele oferite de sondaje, analiza demografic a mediilor sau alte analize statistice care furnizeaz o distribuie normal a caracteristicilor prin care putem identifica cazurile medii (Patton, 2001, p. 236). De exemplu, dac se evalueaz un program care urmrete ncurajarea spiritului de la nivelul comunitii n mai multe zone rurale, analiza datelor statistice oferite de furnizorul de servicii ofer posibilitatea selectrii comunelor care pot constitui baza unor evaluri calitative de profunzime, ptnd pentru anumite comuniti n baza unor criterii prestabilite. n cazul nostru, dup analiza statistic a datelor de la nivelul comunitilor n ceea ce privete rata abandonului colar datorit dezvoltrii i implicrii organizaiilor locale de femei i a consiliilor comunitare consultative, pot fi selectate comunele n care se nregistraz o rata medie de abandon; astfel, nu sunt selectate comunitile n care a crescut rata de abandon sau cele n care aceasta a sczut foarte mult. Ideea alegerii cazurilor tipice care se ordoneaz n funcie de criteriul mediei calculate. Pe de alt parte, o alt form de selectare a cazurilor tipice este cea a utilizrii consensului n alegearea acestora n funcie de recomandrile persoanelor implicate n implementarea programului, sau de cele ale persoanelor cheie care cunosc programul. Indiferent de strategia utilizat pentru alegerea cazurilor tipice, acestea ofer informaii bogate n ceea ce privete oportunitile de a descrie i explica ceea ce se ntmpl n cadrul programului.
Eantioane formate din cazuri critice
Studierea cazurilor critice reprezint o alt modalitate de evaluare calitativ a programelor sociale, iar acestea pot scoate n eviden o situaie dramatic sau sunt, din anumite motive, n mod particular importante n orinea natural a lucrurilor (Patton, 2001, p. 236). Deseori se utilizeaz aceast strategie de eantionare, aa cum afirm Patton (2001) atunci cnd nu exist suficiente resurse pentru evaluarea i se opteaz pentru studierea unui singur caz, acesta oferind suficiente informaii pentru modul n care se desfoar programului, iar recomandrile fcute n urma evalurii pot constitui fundamentul unor schimbri profunde n ceea ce privete interveniile propuse i argumentarea acestora: un studiu de caz crucial se concentreaz asupra unei observaii n care variabilele independent i dependent trebuie s corespund ateptrilor, pentru a putea convinge un specialist sceptic (King, 2005, p. 299). De exemplu, dac identificm faptul c demararea unui proiect n anumite comuniti locale ce urmrete Managementul i evaluarea programelor de Asisten Social 105 prevenirea i intervenia n cazurile de violen domestic nu se deruleaz conform planificrii pentru c serviciile oferite nu sunt accesate de poteniali beneficiari, atunci analiza datelor ne poate oferi informaii importante pentru derularea n continuare a programului, cum ar fi: strategia de informare a opiniei publice nu a fost realizat innd cont de caracteristicile populaiei int, locaia centrului care ofer servicii nu este cea mai adecvat, serviciile care se ofer nu sunt adaptate nevoilor potenialilor beneficiari etc. Acest model de analiz ofer explicaii n ceea ce privete implementarea unor programe care de la nceput nregistreaz eecuri, cum ar fi unele cabinete de consiliere antidrog dezvoltate n anii 2002-2003 n cadrul inspectoratelor colare, care dup mai bine de un an nu aveau nici un beneficiar al acestor servicii oferite. Astfel, o evaluare calitativ a programului poate oferi informaii relevante pentru direcionarea interveniilor ctre prevenire, informare i comunicare, pentru redefinirea obiectivelor stabilite iniial. Cazurile critice pstreaz aceast logic exprimat de Patton: dac se ntmpl aici, se poate ntmpla oriunde... sau dac nu se ntmpl aici, nu se ntmpl nicieri (2001, p. 236). n concluzie, cazurile critice sunt cele care amenin derularea programului i obinerea rezultatelor sau cele care pot sublinia anumite rupturi n logica obinuit a interveniilor propuse iniial. Un alt exemplu, este cel legat de evaluarea gradului de integrare a serviciilor medicale i sociale de la nivel comunitar, prin stabilirea unor indicatori msurabili care s reflecte acest lucru. Evaluarea condus de cazurile critice nseamn selectare unei comuniti n care nu funcioneaz relaii de colaborare ntre asistentul medical comunitar i cel social comunitar. Analiza relaiilor, a expectanelor, a cadrului organizaional de lucru poate oferi informaii utile pentru realizarea unor recomadri privind condiiile ce trebuie ndeplinite astfel nct cele dou categorii profesionale s fie ncurajate s colaboreze la nivel local. Identificarea unor cazuri critice n derularea programului reprezint, din punctul nostru de vedere, o oportunitate pentru modificri profunde n ceea ce privete obinerea unor rezultate remarcabile n urma evalurii practicilor, contextelor i proceselor care condiioneaz i favorizeaz manifestarea unor asemenea cazuri critice.
Eantioane n lan (strategia bulgrelui de zpad )
Eantionarea n lan sau tehnica bulgrelui de zpad se refer la metoda de selectare a cazurilor de investigat pe baza recomandrilor subiecilor consultai; astfel, fiecare persoan care a fost investigat recomand alte persoane care vor intra n eantion. Acest strategie este utilizat mai ales atunci cnd nu sunt disponibile liste cu nume ale persoanelor din populaia int, cnd fenomenul studiat prezint o mare variabilitate sau cnd comportamentul studiat reclam o anumit strategie de evitare a afirii identitii datorat blamrii respectivului comportament. Deseori se folosete aceast tehnic de estimare a populaiei consumatoare de alcool sau de droguri, atunci cnd se iniiaz evaluri iniiale a unui fenomen social puin cunoscut, cum ar fi prostituia sau fenomenul copiilor strzii. De exemplu, dac se urmrete studierea comportamentelor prostituatelor dintr-un anumit ora, se pornete pri identificarea unui numr restrns de subieci, urmnd ca acetia s indice alte persoane care pot fi consultate; n acest caz, eantionul ajunge la saturaie n momentul n care persoanele tefan COJOCARU 106
recomandate pentru cercetare sunt deja pe lista evalutorilor n urma recomandrilor anterioare. Iar repetarea numelor n lista persoanelor posibil de introdus n eantion prezint interes n ceea ce privete importana persoanelor n reeaua social investigat. n general, furnizorii de servicii realizeaz liste/baze de date cu informaii ale beneficiarilor acestor servicii i de aceea, selectarea subiecilor poate fi realizat consultnd aceste liste. Aceast tehnic de eantionare este utilizat n evaluarea unor programe sociale, mai ales atunci cnd nu dispunem de lista complet a unor beneficiari ai serviciilor, iar evaluarea urmrete s identifice modul n care este perceput programul pornind de la posibili beneficiari.
Eantioane raportate la standardele de calitate (criterion sampling)
n eantionarea calitativ, Patton prezint un caz particular al eantionrii raportat de standardele de calitate, pe care-l numete criterion sampling, iar logica acestui proces de selecie a cazurilor de cercetat n profunzime este aceea de a revedea i de a studia toate cazurile care indic un criteriu predeterminat, o strategie comun a eforturilor realizate pentru asigurarea calitii (2002, p.238). De exemplu, dac standardul serviciului de evaluare iniial a cazurilor sesizate ctre direcia general de asisten social i protecie a copilului este de a realiza acest lucru n maximum n 72 ore, iar dorina este de a studia ce se ntmpl n cazurile n care aceast cerin nu este ndeplinit, atunci putem selecta cazuri sesizate ctre aceast instituie i care nu au fost evaluate n perioada maxim de timp prevzut de standarde, pentru a le studia n profunzime. O alt situaie similar, n ceea ce privete utilizarea eantionrii raportat la standarde de calitate, poate fi surprins n exemplul urmtor: dac ne propunem s evalum ce efecte a avut un program de informare i consiliere a mamelor pentru ncurajarea alptrii la sn pe o perioad minim de 6 luni de la naterea copilului, atunci putem identifica cazuri care nu au respectat aceast perioad minim, indiferent de motive. Selectarea acestor cazuri i cercetarea n profunzime a acestora pot furniza informaii relevante n ceea ce privete calitatea serviciilor de informare i consiliere, date legate de unele practici privind distribuirea de lapte praf de ctre medicii din comunitate, referitoare la ali factori care au determinat ntreruperea alptrii la sn a nou nscutului etc. Filosofia acestui tip de eantionare a aceea de a nelege cazurile critice care sunt bogate n informaie pentru c ele conin i pot arta slbiciunile majore ale sistemului care devin inte ale oportunitii mbuntirii programului sau sistemului (Patton, 2002, p. 238); astfel, dac ne referim la exemplele de mai sus, atunci cnd msurm efectele i impactul asupra beneficiarilor a unor anumite servicii, cum sunt cele de informare i consiliere pentru ncurajarea alptrii la sn, evaluarea programului respectiv poate oferi informaii foarte utile pentru mbuntirea acestor servicii, pentru modificarea modalitilor de distribuire, uneori exagerat, a laptelui praf, extinderea procesului de educaie i informare la nivelul comunitii etc. Aceast strategie de selectare a cazurilor, dincolo de identificarea punctelor slabe n oferirea unor servicii de Managementul i evaluarea programelor de Asisten Social 107 calitate, constituie n sine o important ocazie de a modifica condiiile i termenii n cre sunt oferite aceste servicii.
Eantioane formate din cazuri care confirm sau infirm ipotezele
O alt strategie de eantionarea calitativ expus de Patton este cea prin care sunt exploatate cazurile care confirm sau infirm ipotezele evalurii i care apar pe neateptate n cursul culegerii datelor, fiind o ocazie de a mbogi informaiile, de aduga profunzime i credibilitate sau de a confirma regula (2001, p. 239). Totodat, aceste cazuri sunt utilizate i pentru verificarea ipotezelor lansate de ctre informatorii cheie (stakeholders), de personalul implicat n derularea programului i / sau de ctre beneficiari. Alegerea, analiza i prezentarea cazurilor care confirm sau infirm ipotezele sunt foarte importante, mai ales c acestea pot da greutate concluziilor evalurii. n acelai timp, aceste cazuri sunt utilizate i pentru aplicarea crieriului conformitii n evaluare, adic a verificrii dac ceea ce se realizeaz este conform standardelor fixate n propunerea iniial a planului de intervenie. Deseori, n practica implementrii proiectelor se ntlnesc interpretri diferite ale modului n care programul funcioneaz, ale gradului de ndeplinire a obiectivelor i de rspuns fa de nevoile identificate, exprimate prin opinii diferite ale diferitelor categorii de persoane care sunt implicate n derularea proiectului; de aceea, informaiile furnizate de ctre beneficiari, informatori-cheie sau de ctre specialitii implicai n program pot fi verificate prin triangularea surselor de date i analiza cazurilor urmrind i verificarea acestor opinii. Atunci cnd evalum, de exemplu, un program de servicii la domiciliu pentru persoanele de vrsta a treia i urmrim s identificm practicile eficiente care conduc la creterea calitii acestor servicii, analizm datele pe baza unor indicatori calitativi i cantitativi msurabili, iar analiza unor cazuri poate fi direcionat de opiniile pe care le au beneficiarii despre calitatea acestor servicii. Astfel, putem identifica cazuri de beneficiari care consider c serviciile primite sunt de calitate i atunci analizm n profunzime ce face ca aceste servicii s fie considerate ca atare de ctre respectivul beneficiar, ce practici, interaciuni, servicii au condus la aceast imagine i cum se confirm aceast opinie prin confruntare cu datele obiective msurate. n acelai timp, exist i opinii contrare ale beneficiarilor, iar analiza acestor cazuri care infirm ipoteza c sunt oferite servicii de calitate sunt analizate n detaliu pentru a surprinde elementele care genereaz nemulumirea beneficiarilor. Analiza comparativ a celor dou tipuri de cazuri, urmrind aceleai categorii analitice pot explica diferenele practicilor i contextelor n care se ofer servicii la domiciliu, iar recomandrile evaluatorului cuprind indicaii clare privind factorii care le genereaz.
tefan COJOCARU 108
Eantioane teoretice i nivelul de saturaie a eantionului
Eantionarea teoretic reprezint o modalitate de construcie a unei teorii pornind de la studierea unui fenomen, dar fr a avea stabilit un numr determinat de subieci, sau chiar fr a avea clarificat structura populaiei de investigat. Lansat de ctre Glaser i Strauss (1967), conceptul de eantionare teoretic este reluat n 1998 de ctre Strauss i Corbin, proces care este direcionat de logica i scopul celor trei tipuri de baz ale codrii: codarea deschis, codarea axial i codarea selectiv (p. 205), fiind o form de evaluare ghidat permanent de analiza comparativ. Acest tip de eantionare este amintit i de Paill considernd c aceasta se realizeaz la nceput plecnd de la categorii generate n cursul analizei. ndat ce categoria ncepe s se repete n corpus, se pun n eviden diversele manifestri ale fenomenului reprezentat prin acea categorie (1996/2002, pp. 144-145). Atunci cnd informaia ncepe s se repete, fr a mai oferi un plus de informaie despre categoriile urmrite n evaluare, se consider c atinge un nivel de saturaie care poate constitui finalizarea culegerii datelor. Alturi de aceast caracteristic a saturaiei teoretice, Strauss i Corbin precizeaz c acest nivel este atins i atunci cnd relaiile dintre categorii au fost stabilite, armonizate i validate, iar categoria a fost construit astfel nct proprietile i dimensiunile acesteia prezint i argumenteaz variaia (1998, p. 212). Analiza comparativ este utilizat i ntr-un alt tip de eantionare teoretic, respectiv cea a constructelor operaionale (Patton, 2002, p. 238-239). Dac evalum un program de consiliere a tinerelor mame pentru prevenirea abandonului nou nscutului i plecm de la teoria conform creia n prima perioad din viaa nou nscutului relaia cu mama dezvolt, inclusiv la mam, un ataament puternic i reduce riscul de abandon, atunci putem realiza studii de caz cu mame i copiii lor n funcie de vrsta acestora pentru a studia ce efecte are meninerea copilului n familie asupra riscului de abandon i a modului cum acesta este influenat de relaia de ataament. Constructele operaionale detaliaz categoriile de analiz cuprinse n corpus-ul unei teorii, iar eantionarea urmrete selectarea cazurilor care pot explicita una dintre aceste categorii ce prezint interes pentru evaluarea programului.
Eantioane calitative stratificate
n mod similar eantionrii stratificate probabilistice, conform creia se construiesc eantioane n cadrul eantioanelor iniiale n funcie de anumite criterii dependente de obiectivele evalurii, i eantioanele stratificate sunt eantioane n cadrul altor eantioane (Patton, 2001, p. 240), construite pe straturi omogene. De exemplu, dac se urmrete evaluarea modului n care s-a schimbat situaia copiilor ai cror prini sunt plecai la munc n strintate n urma interveniilor realizate n cadrul unui program de asisten social se poate apela la selectarea cazurilor n funcie de anumite criterii care constituie straturi ale populaiei investigate. Acest lucru urmrete s atenueze diversitatea i variabilitatea ridicat a cazurilor, prin construirea unor eantioane omogene centrat pe selectarea cazurilor ce satisfac anumite criterii; Managementul i evaluarea programelor de Asisten Social 109 straturile astfel selectate fiind dependente de criteriile de selecie folosite: a) locul n care triesc copiii, respectiv mediul rural sau urban, b) dac este plecat un singur printe, ambii sau singurul printe care este unic susintor, c) dac copilul se afl n grija rudelor, a unor cunotine sau este plasat ntr-o form de protecie i d) vrsta copilului; astfel cazuri sunt selectate n funcie de matricea ce combin aceste criterii. Aadar, pentru evaluarea programului care a oferit servicii copiilor prsii temporar de unul sau de ambii prini, pot fi selectate cazuri de copii de vrst colar, din mediul rural a cror mam a plecat la munc n strintate i cazuri similare din mediul urban; sau pot fi selectate cazuri ale copiilor care au fost plasai n sistemul de protecie a copilului, sau cazuri de copii care au rmas acas cu bunicii, fr s existe o decizie din partea autoritilor etc. Analiza cazurilor respective, compararea lor pe straturi ofer importante informaii legate de efectele pe care le-a avut intervenia programului social asupra situaiei acestora. De remarcat i n acest caz este faptul c folosirea eantioanelor calitative stratificate urmrete explorarea, descrierea modului n care diferii factori au condus la modificri n situaia beneficiarilor, fr a fi posibil generalizarea consluziilor la nivelul populaiei totale studiate. Deseori, chiar criteriul referitor la tipurile de intervenie i asisten pot constitui fundamentul selectrii unor eantioane calitativ stratificate, fiind considerate ca i caracteristici ale grupurilor beneficiare de asisten.
Eantioane calitative aleatoare
Chiar dac la prima vedere pare o constradicie alturarea termenilor calitativ i aleator, aceast strategie de selectare aleatoare a cazurilor care vor fi cercetate n profunzime apelnd la tehnici calitative este utilizat n evaluarea programelor cu un buget redus i resurse limitate, sau n cazul cercetrilor calitative n domeniul social. Folosirea acestor tipuri de eantioane pentru evaluare nu urmrete generalizarea concluziilor evalurii, ci creterea credibilitii acestor date n rndul decidenilor: scopul unui eantion aleator de dimensiuni mici este credibilitatea, nu reprezentativitatea (Patton, 2001, p. 241). ntr-o cercetare ntreprins de noi pentru evaluarea efectelor parentalitii substitut asupra copiilor aflai n asisten maternal a fost utilizat aceast tehnic de selectare aleatoare a cazurilor care au fost studiate n profunzime. Astfel, din numrul total de asisteni maternali care aveau copii n plasament (aproximativ 1050 de copii) au fost realizate o liste cu numele tuturor asistenilor maternali care aveau n plasament copii de vrst mic, precolar i colar, dup care au fost selectate aleator cazuri pentru fiecare categorie de copii aflai n plasament (n total fiind studiate 30 de cazuri). Rezultatele obinute n urma analizei detaliate a cazurilor selectate ofer informaii relevante legate de efectele parentalitii subtitut la diferite vrste ale copilului, dependente fiind de istoria personal a fiecrui caz n parte, de structura mediului domestic i cultura familial, fr a putea generaliza aceste. Un alt exemplu pe care l considerm util pentru clarificarea strategiei de eantionare calitativ aleatoare poate fi considerat cel de evaluare a efectelor serviciilor de consiliere oferite familiilor pentru meninerea copilului n familie i reducerea riscului de separare a copilului de familia sa, n acest caz fiind vorba de un numr de tefan COJOCARU 110
aproximativ 1200 de beneficiari anual; n acest caz, dac urmrim s evalum i eficiena serviciilor de consiliere oferite de ctre mai muli asisteni sociali, atunci selectarea cazurilor poate fi realizat i n funcie de listele individuale ale cazurilor instrumentate de fiecare asistent social, iar selecia aleatoare a unui numr redus de cazuri se face de pe fiecare list n parte pentru a oferi posibilitatea de a analiza cazuri instrumentate de fiecare specialist n parte, urmrind aceleai categorii analitice n toate cazurile selectate. Chiar dac nu ofer argumente pentru generalizarea concluziilor, acest tip de eantioane ofer condiiile pentru creterea ncrederii i credibilitii concluziilor i recomandrilor oferite.
Eantioane formate din cazuri importante din punct de vedere politic
Uneori exist interes pentru evaluarea unor programe pilot destinate experimentrii unor noi servicii n anumite zone; de cele mai multe ori aceste programe pilot reprezint i o surs important de informaii privind interveniile, rezulatele i costurile implicate pentru atinegerea obiectivelor propuse. Finanatorii prefer s ofere fonduri pentru proiecte pilot i doresc ca experiena acumulat s poat fi replicat sau multiplicat n alte zone, fie prin oferirea altor fonduri, fie prin realizarea unor campanii de adovocay care au ca scop exploatarea experienei pozitive din cadrul programului i transformarea modelului de intervenie n politic public. Pentru a reui s conving factorii decideni n ceea ce privete schimbarea legislaiei, alocarea resurselor i construirea sau redimensionarea unor structuri instituionale, furnizorul de servicii pune la dispoziia acestora rezultatele evalurii programului pilot. Pe de alt parte, utilizarea eantioanelor de acest tip au ca obiectiv i verificarea unor politici publice existente sau oferirea unor argumente suplimentare pentru propunerea de noi politici publice. O variaie a strategiei de eantionare bazat pe cazurile critice implic selectarea (sau uneori evitarea) a locaiilor sau a unitilor de analiz sensibile din punct vedere politic (Patton, 2001, p. 241)
Bibliografie
Birckmayer, J .D., Weiss, C.H., 2000, Theory-based evaluation in practice: what do we learn?, Evaluation review, 24 (4), pp. 407-431. Chelimsky, E., 1978, Differing perspectives of evaluation, n Rentz, C. C. i Rentz, R. R. (eds.), Evaluating Federally sponsored programs: new directions for program evaluation 2, pp. 19-38, J ossey-Bass, San Francisco. Chen, H.T., 1990, Theory-driven evaluation, Sage Publications, Thousand Oaks. Chen, H.T., Rossi, P.H., 1983, Evaluating with sense: the theory-driven evaluation, Evaluation Review, vol. 7, pp.283-302. Cojocaru, ., 2005, Metode apreciative n asistena social. Ancheta, supervizarea i managementul de caz, Polirom, Iai. Managementul i evaluarea programelor de Asisten Social 111 Cojocaru, ., 2006, Proiectul de intervenie n asistena social. De la propunerea de finanare la planurile individualizate de intervenie, Polirom, Iai. Cooksy, L.J ., Gill, P., Kelly, P.A., 2001, The program logic model as an integrative framework for a multimethod evaluation, Evaluation and Program Planning, vol. 24, pp. 119-128. Cooksy, L.J ., Gill, P., Kelly, P.A., 2001, The program logic model as an integrative framework for a multimethod evaluation, Evaluation and program planning, vol. 24, pp. 119-128. Crowley, K.M., Yu, P., Kaftarian, S.J ., 2000, Prevention actions and activities make a difference: a structural equation model of coalition building, Evaluation and Program Planning, vol. 23, pp. 381-388. Doherty, J .E, Rispel, L.C, 1995, From conflict to cohesion: involving stakeholders in policy research, Evaluation and Program Planning, vol. 18, no. 4, pp. 409-415. Glaser, B., Strauss, A., 1967, The discovery of grounded theory, Aldine Publishing, Chicago. Hahn, T., Lavery, T., Stevenson, P., 2006, Enhancing and evaluating local juvenile justice szstems in Illinois: an evaluation manual, http://www.jrsa.org/jjec/state_info/reports/illinois-evaluation-manual.pdf, decembrie 2006. Isaac, S., Michael, W.B., 1981, Handbook in research and evaluation, 2nd edition, Edits Publishers, San Diego. King, R.F., 2005, Strategia cercetrii. Treisprezece cursuri despre elementele tiinelor sociale, Polirom. Iai. Krogsrud Miley, K., OMelia, D., DuBois, B., 2004/2006, Practica asistenei sociale. Abordarea participativ, Polirom, Iai. Love, A.J ., Russon, C., 2000, Building a worldwide evaluation community: past, present and future, Evaluation and Program Planning, vol. 23, pp. 449-459. Mrginean, I., 2004, Proiectarea cercetrii sociologice, Polirom, Iai. Muan, G., 1999, Evaluarea programelor sociale, Expert, Bucureti. Miftode, V., 2002, Tratat de metodologie sociologic, Lumen, Iai. Paill, P., 1996/2002, Eantionare teoretic, Muchielli, A., Dicionar al metodelor calitative n tiinele umane i sociale, Polirom, Iai, pp. 144-145. Papineau, D., Kiely, M.C., 1996, Participatory evaluation in a community organization: fostering stakeholder empowerment and utilization, Evaluation and program planning, vol. 19, pp. 79-93. Patton, M.Q., 1988, The evaluators responsibility for utilization, Evaluation Practice, vol. 9(2), pp. pp. 5-24. Patton, M.Q., 2001, Qualitative research and evaluation methods, 3rd edition, Sage Publications, Thousands Oaks, California. Patton, M.Q., 2002, Qualitative research and evaluation methods, 3 rd edition, Sage Publications, Thousand Oaks, California. Rossi, P.H., Freeman, H.E., 1993, Evaluation. A systematic approach, 5 th edition, Sage Publications, Newbury Park, California. Rotariu, T., (coord), Bdescu, G., Culic, I. Mezei, E., Murean, C., 2000, Metode statistice aplicate n tiinele sociale, Polirom, Iai. tefan COJOCARU 112
Rotariu, T., Ilu, P., 1997, Ancheta sociologic i sondajul de opinie. Teorie i practic, Polirom, Iai. Scriven, M., 1967, The methodology of evaluation, Rand- McNally, Chicago. Smith, M.F., 1983, Sampling considerations in evaluating cooperative extension programs, Florida Cooperative Extension Service, Gainesville, Florida. Stake, R.E., 1967, Countenance of educational evaluation, Teachers College Records, vol. 68, pp. 523-540. Strauss, A., Corbin, J ., 1998, Basics of qualitative research. Techniques and procedures for developing grounded theory, Sage Publications, Tousand Oaks, California. Stufflebeam, D.L., 1983, The CIPP model for program evaluation, n Madaus, G.F., Scriven, M.S., Stufflebeam, D.L., Evaluation models: viewpoints on educational and human services evaluation, Kluwer, Hingham, pp. 117-141. Taylor-Powell, E., 1998, Sampling, Program development and evaluation, Cooperative Extension, University of Wisconsin Extension, Madison, Wisconsin, pp. 1- 10. Taylor-Powell, E., Steele, S., Douglah, M., 1996, Planning a program evaluation, Program development and evaluation, Cooperative Extension, University of Wisconsin Extension, Madison, Wisconsin, pp. 1-20. United Way of America, 1996, Measuring program outcomes: a practical approach, Alexandria, Virginia, SUA. Weiss, C.H., 1972, Evaluation research: methods of assessing program effectiveness, Prentice Hall, Englewood Cliffs. Weiss, C.H., 1997, How can theory-based evaluation make greater headway, Evaluation Review, Vol. 21 (4), pp. 501-524. Westat, J . F., Frierson, H., Hood, S., Hughes, G., Katzenmeyer, C., 2002, The 2002 user friendly handbook for project evaluation, The National Science Foundation, Directorate for Education and Human Resources, Division of Research, Evaluation and Communication, Arlington.