Mestrado em Psicologia Social e Organizacional 2012/2013 Sibila Marques

Devemos estipular quais os factores em que devemos trabalhar na interveno: 1) Identificmos o problema: principais grupos-alvo 2) Definimos as variveis resultados 3) Fazemos o modelo de processo 4) Identificmos quais os factores mais importantes em que temos de actuar 5) Pensmos como fazer a interveno: canais, mtodos, estratgias. Planear os recursos humanos, o tempo, os custos e os riscos envolvidos 6) Desenhmos o modelo lgico do programa E agora... 7) Definir a AVALIAO com base no modelo lgico

O que a avaliao de programas? a recolha sistemtica de informao acerca das actividades, caractersticas e resultados de forma a permitirem fazer julgamentos acerca do programa, melhor-lo, aumentar a sua eficincia e tomar decises acerca de futura programao.

Tomada de deciso e melhoria da qualidade deve privilegiar-se a abordagem da avaliao

focalizada na utilizao (Patton, 1997) e no numa abordagem de avaliao geral: a avaliao deve ser desenhada para responder a questes especficas levantadas por aqueles que so responsveis pelo programa, para que a avaliao seja til para afectar o futuro do programa.

 que a avaliao de programas? Aceita-se que a avaliao uma estratgia til de aprendizagem para melhorar o conhecimento sobre a lgica subjacente ao programa, assim como os seus resultados prticos.

MUITO IMPORTANTE!

A avaliao no deve avaliar apenas os resultados obtidos pelo programa, mas tambm identificar formas de melhorar o programa.

Dois componentes (Johnson & LaMontagne, 1994): (1) A avaliao formativa orientada para o aperfeioamento do programa Os dados servem para intensificar a implementao do programa, resolver problemas novos e assegurar que os participantes esto a atingir os resultados esperados (Patton, 1997). Ex: avaliar as decises relacionadas com os objectivos do programa para alterar ou implementar mudanas (avaliao das actividades realizadas). Ou seja, Monitorizar o processo

(2) A avaliao somatria orientada para o julgamento do programa a avaliao focaliza-se no mrito, trabalho ou valor do programa. Abordagem que envolve a definio de critrios e standards para determinar o impacto do programa nos clientes, na comunidade, custo-eficincia e

responsabilidade (Scriven, 1996). Ou seja, ter em conta dois aspectos: Determinar se o programa foi implementado como foi desenhado (fidelidade e integridade das variveis independentes); Analisar os resultados obtidos com o programa (atribuem-se s variveis independentes?)

Avaliao formativa Improve Providencia informao que ajuda a melhorar o programa

Avaliao somatria Prove Gera resultados que podem ser utilizados para demonstrar a mais-valia do programa aos financiadores e comunidade Foca-se nos resultados a longo prazo e nos impactos. Embora os dados possam ser recolhidos ao longo do programa o foco na determinao do valor do programa Ajuda a descrever a qualidade e a eficcia do programa documentando o seu impacto na comunidade

Foca-se mais na avaliao das actividades e nos resultados de curto prazo com o propsito de ir monitorizando o projecto e propor correces Ajuda a gerar sugestes que permitem melhorar o programa ao longo do tempo

Mas existem mais modelos (Scriven, 1991; Owen & Rogers, 1999; Rossi et al, 1998) (3) A avaliao de Processo orientada para examinar comparativamente os servios criados e os programados. (4) Avaliao descritiva orientada para a descrio detalhada dos programas, por isso a sua implementao pode ser comparada e replicada. (5) Avaliao da monitorizao da realizao analisa o sistema de medidas, o feedback das operaes do programa e os resultados. (6) Anlise da implementao de um sistema/servio depois de ter sido formulado e implementado num determinado contexto.

Para que serve a avaliao?

Ajuda a desenhar os programas Valida programas e os seus resultados Gera informao que assegura uma implementao de programas bem sucedida Melhora as operaes do programa de forma continuada Fornece feedback que guia as politicas de interveno social Demonstra o valor do programa

Questes necessrias para agendar uma avaliao (Hatry, Winnie, & Fisk, 1981; Wholey, 2004)
1. Os avaliadores e os promotores esto de acordo em relao aos objectivos e critrios de realizao que vo ser usados? 2. Os objectivos do programa so realistas dado o programa desenhado, os recursos existentes e as actividades disponveis? 3. Pode a avaliao ser feita em tempo til? Esto os dados disponveis? Quanto tempo demora a recolher os dados necessrios para responder s questes levantadas? A informao pode ser obtida a um custo razovel?

4. Podem os resultados da avaliao influenciar as decises acerca do programa? As decises so acerca da continuao, modificao ou fecho do programa? O programa tem suporte suficiente de forma a que seja pouco provvel que acabe? Pode haver mudana em funo da avaliao? 5. O programa merece ser avaliado? O programa implica uma grande quantidade de recursos? A realizao do programa alternativa (marginal)? Existem problemas com os recursos do programa? um programa piloto com potencial de expanso?

Etapas chave para a avaliao ser possvel

(1)Envolver os decisores polticos, responsveis e equipa
Avaliar as suas expectativas, confront-las com o programa real e explorar as implicaes de possveis mudanas nos objectivos e actividades do programa.

(2)

Clarificar, entre promotores, a ideia sobre a inteno do programa

Pode haver uma estratgia deliberada na descrio vaga dos programas.

Para que o programa possa ser avaliado: Clarificar as relaes entre inputs, actividades e resultados dos diferentes intervenientes. Clarificar os objectivos do programa, expectativas, relaes causais, necessidade de informao, prioridades chave dos clientes, indicadores de realizao, tipos de evidncia etc

Usar duas fontes de informao: (a)Documentao do programa (legal, estudos de avaliao, etc.) (b)Entrevistas Produzir dois tipos de produtos: (a)Modelo lgico (b)Lista de indicadores de realizao que podem servir para a avaliao Os avaliadores no desenham o programa, eles recolhem dados

(documentao relevante e entrevistas) para analisarem as relaes do modelo pelos diferentes actores. Asseguram que o desenho do modelo aceitvel para se comear a realizar uma avaliao.

(3)

Observar o programa
probabilidade dos objectivos serem atingidos com vista a poder: Planear e desenhar a avaliao.

Estipular a possibilidade de medir o nvel de realizao do programa e a

Utilizar como fontes de informao: Documentao Informao dos promotores Comparar os objectivos com os inputs, actividades e resultados actuais; identificar problemas que inibem a realizao e identificar medidas de avaliao.

(4)

Acordar sobre mudanas no programa

se as implicaes do que foi conseguido (aprendido) e exploram-se opes de mudana e de melhoramentos no programa antes de este vir a ser avaliado.

A partir da anlise da informao recolhida nas 3 fases anteriores, examinam-

(5)

Explorar desenhos de avaliao alternativos

Que dados vo ser recolhidos Que anlises vo ser realizadas Custos, Calendrio

(6)

Acordo sobre as prioridades da avaliao e utilidade da informao obtida

Modelo Lgico Bsico

Como clientes Curto termo Porqu Mdio termo Longo termo

Recursos

Actividades

Produtos

Programa

Resultados do Programa

Os exerccios que realizaram....

Porque bom ter um bom modelo lgico do nosso programa?

Not only will a logic model clarify each element of your program, it will enable you to respond to the question: TO WHAT DO I WANT TO BE HELD ACCOUNTABLE?
The evaluation forum (1999)

Modelo Lgico Bsico

Como clientes Curto termo Porqu Mdio termo Longo termo

Recursos

Actividades

Produtos

Programa

Resultados do Programa

Avaliao formativa

Avaliao somatria

UM EXEMPLO Programa: tornar a sociedade portuguesa menos idadista: a educao das crianas
Recursos: Salas se aulas Alunos Activ: Tutoria sobre idadismo Produtos: Curso de formao Manual Res CP: Informa es sobre pessoas idosas Res MP: Mudana atitudes idadistas Res LP: Sociedade menos idadista

Avaliao Como composto o curso? O manual fcil? Os alunos sabem mais sobre pessoas idosas?

Eram precisos mais recursos?

As tutorias corrreram bem?

As atitudes so mais positivas?

Os portugue ses so menos idadistas?

Como se pode pensar na avaliao? No se precisa de avaliar todos os aspectos Tm de se fazer escolhas de quais so os aspectos mais importantes a avaliar!

Mtodos de avaliao dos programas - o que devemos ter em ateno: (A) A monitorizao continua da qualidade do programa (B) A demonstrao da eficcia do programa (C) Determinar a eficcia e a eficincia de um programa

(A) A monitorizao continua da qualidade do programa Medidas Escalas globais so preenchidas pelos tcnicos, so rpidas e eficazes e so aplicadas numa primeira fase e num contacto subsequente com todos os clientes; do uma medida de mudana e de comparao; Satisfao do cliente so preenchidas por email, telefone, entrevista ou contacto e podem ser obtidas ao longo do tempo. Apresentam alguns enviesamentos: incluir somente clientes satisfeitos ou insatisfeitos; relatarem o que esperado; haver diferenas sistemticas em grupos iniciais

(A) A monitorizao continua da qualidade do programa Questes: a) Avaliaes feitas pelos tcnicos podem ser enviesadas b) As medidas globais podem no evidenciar mudanas especificas nos clientes c) Os resultados a longo termo podem no estar relacionados com mudanas obtidas no servio d) No haver grupo controle pode no evidenciar que as mudanas se devem ao tratamento e) As medidas do fim do programa podem confundir eficcia com durao do servio f) A avaliao de qualidade com uma amostra pequena pode no representar adequadamente os resultados da populao que recebeu o tratamento

B) A demonstrao da eficcia do programa Usar resultados de investigao anterior Usar informao sobre a mudana do cliente obtida de forma rotineira Desenvolver e usar comparaes normativas Isto envolve definir: a) a populao alvo; b) a modalidade de servio; c) a seleco da amostra de clientes; d) o tempo da avaliao; e) os instrumentos de medida; f) as pessoas que fazem a avaliao. Ver as mdias e as varincias entre os grupos

SOLUO: ESTUDOS QUASI-EXPERIMENTAIS

Questes para o planeamento da avaliao da eficcia

Seleccionar o servio de comparao Seleccionar os sujeitos Consentimento Descrio da amostra Descrio dos servios prestados Seleco das variveis predictoras Seleco das medidas do resultado Anlise dos resultados Feedback dos resultados e processo de tomada de deciso

Seleco do servio de comparao ter em conta: A) a relevncia do objectivo da comparao; B) e a oportunidade de seleccionar uma amostra capaz, obtendo o numero de sujeitos pretendidos e limitar o enviesamento do processo A) Servio de comparao 1) Listar as opes 2) Identificar os objectivos do programa sobre as quais vo ser julgados e avaliar a importncia desses objectivos 3) Avaliar a probabilidade de cada um dos servios tendo em considerao os objectivos do programa

B) Seleco da amostra No se devem comparar muitos grupos (mais de trs muito) O tamanho da amostra depende de dois factores: 1) O tamanho do efeito 2) A variabilidade dos resultados intra grupos que esto a ser comparados. Quanto mais pequena for a diferena no resultado entre as estratgias do servio e maior for a varincia dos resultados entre clientes dum grupo maior a amostra tem de ser. Mnimo 20 sujeitos A pool de sujeitos dever ser trs vezes maior do que a amostra necessria

C) Determinar a eficcia e a eficincia de um programa

Determinar a eficcia - medida em que as actividades planeadas foram realizadas e conseguidos os resultados planeados de acordo com os requisitos iniciais;

Mas tambm:

Determinar a eficincia - relao entre os resultados obtidos e os recursos utilizados.

Os diferentes sistemas de monitorizao de projectos e de programas

O sistema de medidas de realizao so ferramentas de avaliao descritivas que complementam, informam e suportam metodologias de avaliao rigorosas. Tipos de medida de realizao: que indicadores esto disponveis e podemos usar? Recursos (quantos e que recursos foram gastos?) Outputs (medidas do que foi produzido. Ex: quantos clientes foram atendidos?) Produtividade (produo de outputs por unidade de um recurso especifico por hora; ex: o numero de clientes atendidos por um psiclogo de orientao vocacional por hora) Eficincia. Rcio do output por euros. Custo de um determinado output ou servio dado a um cliente (ex: custo por crime investigado. Mede os custos do processo). Qualidade do servio. medida por indicadores do processo (ex: tempo de espera, n de erros, queixas) mas tambm pode ser avaliado pela qualidade dos outputs.Comparao com um standard.

Outcomes (em que grau o programa eficaz a produzir os resultados esperados. Requer muitas vezes follow-up depois do programa terminar) Custo beneficio. Est relacionado com as medidas do custo dos resultados (outcomes). Ex: custo por crime resolvido) Satisfao do cliente. Pode estar relacionada com a qualidade e eficincia do servio, mas dever ser uma medida independente.

Qualidade das medidas (medidas compreensveis e com significado, accionveis e ajustadas ao tempo, centradas nos objectivos e que tenham em considerao o custo e a praticabilidade)

Abordagem das duas etapas para implementar a avaliao: (A) Modelo cronolgico para desenvolvimento de um programa (Berk & Rossi, 1999). 4 fases: Fase 1 Avaliar as necessidades e a praticabilidade (necessidades do grupo, que programas foram implementados para dar resposta, quais as boas prticas na rea, que recursos so necessrios, entre as alternativas, qual a melhor escolha?) Fase 2 Planear e desenhar o programa (qual a teoria do programa para atingir os resultados esperados, o que necessrio fazer para tornar a teoria eficaz, o contexto de implementao do programa suporta ou impede o desenho do programa, que aspectos do programa desenhado necessitam de modificao para se atingirem os resultados, como se monitoriza?).

Fase 3 Criar o programa (o programa serve o grupo, os clientes iro desistir, porqu, est a ser implementado como foi desenhado, est a produzir os produtos, tem qualidade, resultados a curto termo, que obstculos?) Fase 4 Melhorar o programa (atingiu objectivos e alvos, existem os resultados esperados, existem resultados no esperados (negativos e positivos), acontecimentos internos ou externos, foras e constrangimentos, o que que tem de melhorar, os esforos resultaram?).

(B) Seleccionar um conjunto de mtodos prticos para avaliar cada fase Fase 1 Reviso de literatura Entrevistas a experts sobre implementao de programas na rea Fase 2 Modelo lgico do programa Template do programa (racional, misso e objectivos, estrutura organizacional e plano de implementao do programa). Hierarquia de resultados (definir uma teoria para o programa, traduzir uma teoria num programa para poder analisar/relacionar os resultados com a teoria, seleccionar medidas, definir resultados a curto, mdio e longo prazo).

Categoria Problema O grupo-alvo Misso do programa O modelo lgico A estrutura organizacional Os resultados de curto e longo prazo O plano de avaliao do programa

Descrio dos contedos Descrio do problema em que se baseia o programa Definio clara do grupo alvo Deve colocar-se o desenho do modelo lgico Os recursos humanos Comece pelos resultados de longo prazo e depois por aqueles de curto prazo Como est a ser avaliado o sucesso do programa?

Hierarquia de resultados Assunes de validade 1. Resultados curto-prazo recrutar mentores 2. Resultados intermdios assinatura do contrato com o mentor 3. Resultados de longo prazo os menores aceitam a autoridade dos mentores A mudana no programa exige que os menores aceitem a autoridade das figuras adultas importante estabelecer uma relao formal para o sucesso da interveno Nmero de mentores aconselhvel

Fase 3 Anlise de cobertura (aceitao, participao e seleco do grupo) Anlise de componentes ( relao entre as operaes do programa e os resultados para cada componente do programa referncia, seleco, incluso, avaliao, tratamento e follow-up) Registo do programa (processos dos clientes e dados administrativos, formas de actividade tipo, durao, intensidade, unidades de servio). Estudo de caso (integra informao quantitativa e qualitativa, de vrias fontes e em profundidade sobre a implementao do programa, o contexto organizacional e o meio envolvente).

Fase 4 Modelo do servio criado (diagrama que descreve as actividades chave do programa criadas para atingir os resultados positivos esperados). Feedback do cliente (focus, papel e lpis, entrevistas sobre as expectativas e resultados atingidos)

Referncia de amigos, pais Recrutamento dos jovens (60) Referncia a outros servios

Referncia das escolas, servios juvenis

Os jovens participam (50) Os jovens trazem consentiment o dos pais (40)

E por a adiante at chegar aos resultados pretendidos

Sugestes: Kellog Foundation (2004)

Flowchart for Evaluation Question Development EXERCCIO 6

Audincia Gestores do programa e staff

Questes tpicas (ex. ) Estamos a atingir o pblico-alvo? Os participantes esto satisfeitos? Como podemos melhorar o Programa? O Programa ajudou-me?

Uso da avaliao Programar as decises, operaes do dia-a-dia

Participantes

Decises sobre a continuao de participao no programa Decises acerca da participao e do suporte ao programa Decises acerca do suporte ao programa Conhecimento sobre a utilidade do programa Responsabilizao Esforos de financiamento futuros

Membros da comunidade

O Programa serviu os interesses da comunidade? Que diferena fez este programa? O Programa vale o seu custo? Conseguiu-se atingir o que foi planeado? O Programa vale o seu custo?

rgos pblicos

Financiadores