UNIVERSIDADE FEDERAL DO RIO DE JANEIRO

CENTRO DE FILOSOFIA E CIÊNCIAS HUMANAS

ESCOLA DE SERVIÇO SOCIAL
DEPTO. DE POLÍTICA SOCIAL E SERVIÇO SOCIAL APLICADO

DISCIPLINA

Avaliação e Monitoramento em Serviço Social

Profª: Ludmila Fontenele Cavalcanti
Créditos: 03 CH: 60 Período 2011.2

Material Instrucional A
 Material Instrucional 2
Avaliação e Monitoramento em Serviço Social
Profª Drª Ludmila F. Cavalcanti

CONTEXTO
Características das políticas sociais: descentralização na ordem do dia,
dependência de fluxos e vinculações constitucionais, distanciamento da área
econômica, burocracias com baixíssima articulação horizontal, possibilidades de
irrupção do novo
Pontos de estrangulamento: déficits de capacidade do setor público em diversos
campos do sistema político e do aparato estatal
Estratégias de enfrentamento: “cadeia produtiva” de serviços públicos na área
social (amarração top-down,totalidade, integralidade); implementação de políticas
em redes (fluidez e flexibilidade na gestão, mobilização de parceiros,
convergência, controle social); politização das políticas sociais (intra-setores e com
outros campos – parametrização, publicização e precificação); recursos humanos
como recursos estratégicos (Gaetani, 1997)

CONTEXTO
Gestão das políticas sociais – balizadas e referenciadas por uma determinada
forma de organização da administração pública
Reforma de Estado conduzida numa perspectiva economicista – Estado
despreparado para novas e velhas tarefas (estrutura inorgânica e disfuncional)
Área social vulnerável a esse quadro
Mitos que afetam a gestão das políticas sociais: ilegitimidade do gasto social,
ineficiência congênita do gerenciamento social, visão burocrática-formalista da
gestão social (Kliksberg, 1994)
Fragmentação da problemática social + despolitização do conteúdo pelas
autoridades econômicas

AVALIAÇÃO - CONCEITO
É o ato ou efeito de avaliar(-se), ou também o valor determinado pelos avaliadores
Avaliar é assinalar o valor de uma coisa - processo pelo qual estimamos o mérito
ou o valor de algo
Avaliar é uma forma de estimar, apreciar, calcular
Em sentido lato, avaliação se refere ao termo valor e supõe um juízo sobre algo de
acordo com determinados critérios
Exame sistemático para medir o grau de eficiência, eficácia e efetividade (impacto)
de políticas, programas e projetos sociais
Exercida como função do planejamento / programação das políticas sociais

TRAJETÓRIA
 Material Instrucional 3
Avaliação e Monitoramento em Serviço Social
Profª Drª Ludmila F. Cavalcanti

Avaliar programas e projetos sociais com métodos e técnicas científicas tornou-se

freqüente após a Segunda Guerra Mundial no países centrais do capitalismo
Déc. 60 - pesquisas orientadas para a decisão e pesquisas orientadas para a
conclusão; avaliação como esforço para determinar o mérito de programas e
projetos, avaliação comparativa de diferentes programas
Quanto aos fins - avaliação responde a questões sobre um produto acabado - é
uma atividade que produz e compara dados de desempenho com um conjunto de
objetivos hierarquizados, justifica e valida instrumentos e metas, atribuindo valores
ao programa para alcançá-las, avalia o programa na etapa de implementação e
resultados (avaliação somativa)
Quanto ao papel - avaliação busca o aprimoramento do programa durante o
processo de sua elaboração e pode ser usada para testar, rever e redefinir o
programa global ou vários de seus componentes (conteúdos, metodologias,
treinamento e desempenho das equipes, caracterização do público-alvo,
configuração dos materiais adotados e o tempo ideal para sua implementação
(avaliação formativa)

TRAJETÓRIA
Passou a fazer parte da pauta de investimentos teóricos e práticos visando à maior
eficiência na aplicação de recursos e à efetividade nas ações
Donabedian – toma como ponto de partida os conceitos de estrutura, processo e
resultado na operacionalização de métodos de avaliação em saúde (integração
entre os 3)
Adotada como uma ação externa isolada, como etapa do planejamento e da
gestão de programas e projetos, e acompanhando as ações sociais desde o seu
primeiro desenho
Transdisciplina, com um campo de estudo próprio, oferecendo instrumentos de
reflexão para outras áreas de conhecimento (Scriven, 2003)
O processo de institucionalização das tecnologias de avaliação de intervenções
sociais, no Brasil, é recente e tímido – intensificação a partir dos anos 90

FATORES QUE CONTRIBUIRAM PARA A INTENSIFICAÇÃO DAS PRÁTICAS

DE AVALIAÇÃO NA ÁREA SOCIAL NO BRASIL
Reforma do Estado
Focalização da ação governamental em determinadas atividades
Entrada de organizações não-governamentais e da iniciativa privada na realização
de serviços de interesse público
Exigência dos órgãos internacionais que financiam projetos sociais
Ampliação e aprofundamento dos mecanismos de controle social
 Material Instrucional 4
Avaliação e Monitoramento em Serviço Social
Profª Drª Ludmila F. Cavalcanti

Aumento da capacidade téorico-metodológica, técnica e crítica dos intelectuais e

pesquisadores na colaboração com governos e com o terceiro setor

AVALIAÇÃO - CONCEITO
Avaliação em sentido amplo (Sulbrandt, 1989) - exame sistemático das atividades
específicas desenvolvidas pelos governos para cumprir com as metas e produzir
os efeitos esperados, em conformidade com suas políticas e programas -
institucionalização da avaliação como instrumento importante para a tomada de
decisão a respeito das políticas sociais

AVALIAÇÃO DE PROGRAMAS SOCIAIS

Conjunto de atividades técnico-científicas ou técnico-operacionais que buscam
atribuir valor de eficiência, eficácia e efetividade a processos de intervenção em
sua implantação, implementação e resultados (Rossi, Howard & Lipsey, 1999;
Aguillar & Ander-Egg, 1994)

AVALIAÇÃO DE PROGRAMAS SOCIAIS

Utilização de metodologias de pesquisa social para investigar, de forma
sistemática, a efetividade de programas de intervenção social, que foi adaptada ao
seu ambiente político e organizacional e planejada para conformar a ação social,
de maneira que contribua para a melhoria das condições sociais (Rossi et al, 1992)

AVALIAÇÃO DE PROGRAMAS SOCIAIS

Elaboração, negociação, aplicação de critérios explícitos de análise, em um
exercício metodológico cuidadoso e preciso, com vistas a conhecer, medir,
determinar e julgar o contexto, o mérito, o valor ou estado de um determinado
objeto, a fim de estimular e facilitar processos de aprendizagem e de
desenvolvimento de pessoas e de organizações (Silva & Brandão, 2003)

AVALIAÇÃO NORMATIVA
É a atividade que consiste em fazer julgamento sobre uma intervenção,
comparando os recursos empregados e sua organização (estrutura), os serviços e
os bens produzidos (processo) e os resultados obtidos com critérios e normas
(Contandriopoulos et al, 1997)
Ênfase teórica nas tecnologias que tratam o evento a analisar, buscando isolá-lo
de qualquer interferência de contexto

INVESTIGAÇÃO AVALIATIVA
 Material Instrucional 5
Avaliação e Monitoramento em Serviço Social
Profª Drª Ludmila F. Cavalcanti

Pretende analisar a pertinência, os fundamentos teóricos, a produtividade, os

efeitos e o rendimento de uma intervenção, assim como as relações existentes
entre a intervenção e o contexto no qual se situa
Tem fundamentos científicos e acrescenta, ao processo normativo, os elementos
de contexto

AVALIAÇÃO COMO TÉCNICA E ESTRATÉGIA INVESTIGATIVA

É um processo sistemático de fazer perguntas sobre o mérito e a relevância de
determinado assunto, proposta ou programa
Um processo de avaliação de programas e projetos sociais tem, como sentido
mais nobre, fortalecer o movimento de transformação da sociedade em prol da
cidadania e dos direitos humanos
Dimensões: utilidade, viabilidade (política, prática e de custo benefício), ética,
precisão técnica
(Minayo, 2005)

INVESTIGAÇÃO AVALIATIVA E PESQUISA ACADÊMICA - DISTINÇÃO

Quanto à motivação
Quanto ao objetivo da investigação
Quanto à autonomia
Quanto às propriedades do fenômeno
Quanto aos critérios de adequação
Quanto aos clientes
Quanto aos limites do tempo
Quanto aos aspectos disciplinares
Quanto à preparação
(Worthen & Sanderes, 2004)

INVESTIGAÇÃO AVALIATIVA E PESQUISA ACADÊMICA - DISTINÇÃO

ESPECIFICIDADE E COMPETÊNCIA DA ÁREA DE AVALIAÇÃO
Conteúdo substantivo dos fenômenos estudados, as técnicas de coleta,
organização e análise de dados e a utilização dos resultados
DIMENSÕES
Do ponto de vista metodológico (compara dados)
Do ponto de vista de sua finalidade (julgar e informar)
Do ponto de vista de seu papel/ atitude (durante a elaboração do programa,
formativa)

AVALIAR POLÍTICAS E PROGRAMAS SOCIAIS - IMPORTÂNCIA

 Material Instrucional 6
Avaliação e Monitoramento em Serviço Social
Profª Drª Ludmila F. Cavalcanti

Maior efetividade do gasto público e maior eficácia dos serviços/programas

ofertados (os programas refletem ou não as pressões e demandas sociais) - Brasil
não desenvolveu uma cultura da avaliação da efetividade do gasto público, em
especial, quanto aos programas sociais
Tem importância estratégica para acompanhar o comportamento das ações sociais
e realimentar decisões e opções políticas e programáticas
Tornou-se imprescindível para captar recursos
É um dever ético
Dar transparência às ações públicas, democratizar o Estado e a sociedade civil
Conhecer as políticas e compreender o Estado em ação
Melhorar as políticas e a ação do Estado

O PROCESSO DE AVALIAÇÃO DEVE

Oferecer respostas aos beneficiários, à sociedade e ao governo sobre o emprego
dos recursos públicos
Orientar os investidores sobre os frutos de sua aplicação
Responder aos interesses das instituições, de seus gestores e de seus técnicos
(avaliação como um processo de aprendizagem)
Buscar sempre uma melhor adequação de suas atividades
Estabelecer o grau de pertinência, idoneidade, efetividade/eficácia e
eficiência/rendimento de um programa, projeto ou serviço
Determinar as razões dos êxitos e fracassos; facilitar o processo de tomada de
decisões para melhorar e/ou modificar o programa ou projeto
Estabelecer até que ponto ocorreram outras conseqüências ou efeitos imprevistos

O DESAFIO DA QUALIDADE NO SETOR PÚBLICO

Bens públicos?
Avaliação como instrumento fundamental de gerência das atividades e propulsor
de melhorias para a população
Mudança cultural (“santo de casa é que faz milagre”, “cachorro velho aprende
novos truques”, “acertar é humano”, “o ferreiro é quem faz o espeto, à sua maneira
e com seus materiais”)
Sistema de informação ágil
Qualificação e formação profissional
Articulação com outros setores da estrutura institucional
Eventos-sintinela (sinal de alarme)
Metodologia que articule os estudos dos resultados com o da estrutura e do
processo
Incorporação do processo avaliativo na prática rotineira e cotidiana
 Material Instrucional 7
Avaliação e Monitoramento em Serviço Social
Profª Drª Ludmila F. Cavalcanti

Transparência e participação voltados para a equidade social (democratização da

gestão pública)

AVALIAÇÃO DE POLÍTICAS OU PROGRAMAS SOCIAIS

CATEGORIAS OPERACIONAIS DAS AÇÕES DE AVALIAÇÃO
Analítica
Propositiva
OBJETIVOS DA AVALIAÇÃO
Objetivos científicos
Objetivos políticos
Objetivos operativos

PRESSUPOSTOS DA ESTRUTURA DE AÇÃO DA AVALIAÇÃO

Sistema de informações estruturado operativo, gerencial e eficiente em uso desde
o início do programa – factibilidade da avaliação
Estabelecimento de fluxos dos procedimentos administrativos priorizando a
necessidade dos usuários
Rigoroso monitoramento dos registros (regularidade, qualidade e fidedignidade)
Controle posterior de serviços prestados dirigido para a qualidade
Organização sob controle público
Organização das atividades de forma sistemática e contínua
Envolvimentos de todas as instâncias (gestores, conselhos, autoridades, etc)
Hierarquização/ descentralização (quanto? o quê? como? quem?)

TIPOLOGIA DE AVALIAÇÃO
Segundo o momento em que se avalia
Segundo as funções que a avaliação deve cumprir
Segundo os aspectos do programa que são objeto de avaliação

QUANDO DEVE SER FEITA A AVALIAÇÃO?

Avaliação ex-ante - infra-estrutura econômica e desenvolvimento urbano - consiste
na análise da relevância e viabilidade (política, técnica, financeira e institucional)
de um programa com vistas a se decidir se deve ou não ser implementado –
avaliação do diagnóstico e da proposta
Avaliação “durante”
Acompanhamento avaliativo – investiga o processo com coleta de dados
específicos para identificar fatores programáticos
Monitoramento – acompanha processos e ações previstos no plano de ação, com
vistas ao ajuste e correções imediatas no desempenho do projeto
 Material Instrucional 8
Avaliação e Monitoramento em Serviço Social
Profª Drª Ludmila F. Cavalcanti

Avaliação ex-post (post-facto) - trabalha com resultados e impactos – avaliação ao

final do projeto de modo a dimensionar a sua eficácia e o seu impacto (imediato e
mediato)

AVALIAÇÃO DA IMPLEMENTAÇÃO
Análise da extensão com que ele alcança a população-alvo
A freqüência e a intensidade de aplicação da proposta, bem como a participação
dos sujeitos envolvidos
As questões organizacionais e administrativas
A viabilidade e variabilidade das metas propostas
A formação da equipe de intervenção nos diferentes níveis

OUTROS TIPOS DE AVALIAÇÃO

Avaliação das mudanças que ocorrem na realidade, em relação à situação-
problema que se procura superar
Eficácia – expressa o grau em que o programa atinge os seus objetivos específicos
traçados a priori
Avaliação da eficiência ou rentabilidade econômica - termo econômico que
significa a menor relação custo/benefício possível para o atingimento dos objetivos
estabelecidos, a eficiência é um objetivo democrático relacionado com a confiança
pública
Impacto (ou efetividade) – avalia os resultados obtidos em termos de efeitos sobre
a população destinatária, indica se o projeto tem efeitos (positivos) no ambiente
externo em que ele interveio em termos sociais (antes/ depois), impacto sobre o
conjunto da população e meio; é preciso medir e avaliar também os efeitos
indiretos, imprevistos ou secundários
Sustentabilidade – mede a capacidade de continuidade dos efeitos benéficos
alcançados através do projeto após o seu término
Custo-efetividade – similar à idéia do custo de oportunidade

ASPECTOS QUE PODEM SER AVALIADOS

Avaliação do plano e conceituação do programa:
Avaliação do estudo-pesquisa
Avaliação do diagnóstico
Avaliação do plano e concepção do programa
Avaliação da instrumentação e seguimento do programa
Refere-se a forma em que um programa ou projeto está sendo realizado na prática
e se reúnem os requisitos de propriedade e idoneidade necessários
Avaliação da cobertura
 Material Instrucional 9
Avaliação e Monitoramento em Serviço Social
Profª Drª Ludmila F. Cavalcanti

Avaliação da implementação e seguimento

Avaliação da disponibilidade de recursos
Avaliação da estrutura e ambiente organizacional
Avaliação do rendimento do pessoal

AVALIAÇÃO DE ESTRUTURA
Contém informações sobre recursos físicos, humanos, materiais, formas de
organização e funcionamento (normas e procedimentos), especificação de
equipamentos e tecnologias disponíveis
Baseia-se no estudo das características dos insumos empregados
Relação com o resultado é indireta

AVALIAÇÃO DE PROCESSO
Se dirige às atividades realizadas pelos provedores da intervenção, incluindo-se aí
os componentes técnicos e as relações interpessoais
É orientada para as próprias ações das equipes
Compara os procedimentos empregados com o estabelecido nas normas e rotinas
Foco em questões organizacionais e ligadas ao gerenciamento do programa
(avaliação formativa)
Privilegia análises qualitativas - supõe variações político-institucionais num
continuum de tempo e espaço - desenho complexo de estratégias (cultura
organizacional se reveste de importância) - trabalho diferenciado com os vários
níveis (percepções variadas)
Inclusão de mecanismos de devolução da informação aos beneficiários
Variações em circunstâncias específicas dentro de um mesmo programas
(abrangência nacional)

AVALIAÇÃO DE RESULTADO
Se refere aos efeitos e aos produtos que as ações e os procedimentos provocam,
de acordo com os objetivos da intervenção
Visa dimensionar as diferenças entre o momento inicial e os objetivos (metas)
atingidos ao final de uma intervenção (considerar o caráter complexo e provisório
dos processos sociais)
Reflete as conseqüências do programa ou serviço para quem recebe
Limitação – causalidade múltipla
Inclui a acessibilidade e a satisfação do usuário
Foco nos resultados e impacto do programa (avaliação somativa)

AVALIAÇÃO DO IMPACTO
 Material Instrucional 10
Avaliação e Monitoramento em Serviço Social
Profª Drª Ludmila F. Cavalcanti

Avaliação de impacto pode sofrer limitação que são próprias da natureza dos
problemas a enfrentar (efeitos produzidos pela intervenção governamental)
Capacidade explicativa de um único tipo de intervenção propiciada por
determinado programa para justificar alguma mudança na situação a ser
equacionada

AVALIAÇÃO PARTICIPATIVA
Os interlocutores que são o alvo da observação deveriam tomar parte em todas as
etapas da investigação (na sua concepção, na definição do problema, na
teorização, no levantamento de dados, nas análises do material coletado e na
elaboração dos resultados)

AVALIAÇÃO POR TRIANGULAÇÃO DE MÉTODOS

Conjuga a presença do avaliador externo, as abordagens quantitativas e
qualitativas, a análise do contexto, da história, das relações, das representações e
a participação
Faz o diálogo entre questões objetivas e subjetivas (análise dos consensos, dos
conflitos e das contradições que são indícios de mudança)
Percebe movimentos, estruturas, ação dos sujeitos, indicadores e relações entre
micro e macro realidades (postura dialética)
(Minayo, 2005)

AVALIAÇÃO POR TRIANGULAÇÃO DE MÉTODOS

Expressa uma dinâmica de investigação e de trabalho que integra a análise das
estruturas, dos processos e dos resultados, a compreensão das relações
envolvidas na implementação das ações e a visão que os atores diferenciados
constroem sobre todo o projeto
Respeito aos campos disciplinares
Relativização da visão fragmentada de cada um deles
Crença na capacidade dialógica dos pesquisadores frente a proposta teóricas e
metodológicas diferentes e com os sujeitos que atuam no mundo da vida
(Minayo, 2005)