Avaliação de Políticas Públicas: síntese de

conceitos e principais metodologias

PROFA. CRISTIANE KERCHES DA SILVA LEITE

GRADUAÇÃO E PÓS-GRADUAÇÃO DE GESTÃO DE POLÍTICAS PÚBLICAS

ESCOLA DE ARTES, CIÊNCIAS E HUMANIDADES DA UNIVERSIDADE DE SÃO P AULO – EACH/USP

CRISKERCHES@GMAIL.COM
Bibliografia
BAKER, Judy. Avaliando o impacto de projetos de desenvolvimento voltados à pobreza. In: BARREIRA E CARVALHO
(org.) Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP, 2001.
DRAIBE, Sonia Miriam. Avaliação de implementação: esboço de uma metodologia de trabalho em políticas
públicas. In: BARREIRA e CARVALHO (org.) Tendências e perspectivas na avaliação de políticas e programas sociais.
São Paulo: IEE/PUC-SP, 2001.
GOMIDE, A. & PIRES, R., 2014. Capacidades Estatais e Democracia: arranjos institucionais de políticas públicas.
Brasília: Ipea.
JANNUZZI, Paulo de Martino. Avaliação de programas sociais no Brasil: repensando práticas e metodologias das
pesquisas avaliativas. Planejamento e Políticas Públicas – PPP, no 36, Jan/Jun, IPEA, 2011.
http://www.ipea.gov.br/ppp/index.php/PPP/issue/view/30
JANNUZZI, Paulo de Martino. Métodos de pesquisa social aplicados à Avaliação de Programas. In: Monitoramento
e Avaliação de programas sociais: uma introdução aos conceitos e técnicas. Campinas, SP: Editora Alínea, 2016.
TREVISAN, Andrei P. e VAN BELLEN, Hans M. Avaliação de políticas públicas: uma revisão teórica de um campo em
construção. RAP – Rio de Janeiro 42(3):529-50, maio/jun. 2008.
 Agenda

Difusão,
Formulação transferência
e circulação
MÚLTIPLAS ABORDAGENS
TEÓRICAS E METODOLOGIAS DE
de ideias
PESQUISA: ANÁLISES
QUANTITATIVAS E QUALITATIVAS
DE DADOS QUANTI E QUALI

Tomada de
decisão Avaliação
Existe uma metodologia e uma abordagem única para
análise de políticas públicas? Não!!

MÉTODOS QUANTITATIVOS – lógica

hipotético-dedutiva: aplicação de
pressupostos, conceitos e princípios
gerais a fenômenos. Levantamentos
amostrais, experimentos e quase-
experimentos. MAIS CASOS COM
MENOR PROFUNDIDADE.
MÉTODOS QUALITATIVOS – lógica indutiva:
desenvolvimento de generalizações a partir
da observação de fenômenos empíricos e
posterior verificação. Observação, entrevistas
e grupos de discussão para exploração de
problema complexos. MENOS CASOS E MAIS
PROFUNDIDADE.
Avaliação de políticas públicas: polissemia
• Avaliação: conceito admite múltiplas definições, relacionadas com a
própria pluralidade do campo de políticas públicas – “perpassada por
uma variedade de disciplinas, instituições e executores, abrangendo
diversas questões” (Trevisan e Bellen, 2008, p. 535).

• “É um empreendimento técnico-científico que se vale de métodos de

pesquisa social para investigar a situação, problemas e diferentes
aspectos da gestão de um programa público ao longo do seu ciclo de
vida, da sua concepção à entrega de bens e serviços para usufruto
dos públicos-alvo visados, considerando o contexto organizacional e
político em que ele se insere, com a finalidade de informar, em tempo,
as necessidades de aprimoramento de suas atividades e produtos”
(Jannuzzi 2016, 74)
Classificação da avaliação em função do timing
(antes, durante ou depois da implementação)
Ex ante – avaliação inicial: antecipa questões, elabora critérios para tomada de
decisão, decisão sobre a própria implementação ou não do projeto. Permite
verificar pertinência, viabilidade e eficácia potencial de um programa. Muito
estimulada pelos órgãos multilaterais de financiamento. Ex: análise de custo-
benefício e custo-efetividade.

Durante a execução – avaliação intermediária: Informações sobre o

andamento do programa, ponderando resultados, para verificar cumprimento com
o que foi estabelecido inicialmente e subsidiar alterações na gestão do programa.
Avaliação de processo ou de implementação.

Ex post – avaliação de resultados e impacto: objetiva avaliar a eficiência, a

eficácia e a efetividade (impactos) do programa e fornecer conhecimento para
programas futuros. Julgamento global de um programa.
Classificação pela posição do avaliador

Externa: feita por especialistas que não formam o quadro da instituição

responsável pelo programa. Permite comparar resultados de diferentes
avaliações mas os avaliadores podem não dominar completamente o objeto da
avaliação. Vantagem da maior objetividade;
Interna: realizada pela instituição gestora; vantagem de menor resistência e
maior conhecimento e dados sobre o programa, mas pode apresentar menor
objetividade entre avaliador e avaliado e choques de interesses. Para minimizar,
avaliação pode ficar com pessoas não diretamente vinculadas à formulação e
execução;
Mista: combinação da interna e externa;
Participativa: avaliação que requer a participação da comunidade em todo o
processo da avaliação – planejamento, programação, execução, operação e
avaliação.
Avaliação no ciclo de políticas públicas
Tipos de avaliação e métodos (Jannuzzi, 2011)
• Avaliação da necessidade do programa: pertinência do programa na
agenda de políticas públicas.
• análise documental, estudos comparativos, estudos institucionais típicos da
Ciência Política, avaliação econômica;

•Avaliação de desenho: verifica se o programa de fato representa o

melhor modo de intervenção para resolução do problema, considerando:
relações intergovernamentais, distintas capacidades de gestão e controle,
etc.
• revisão de documentos, técnicas de planejamento de projetos, comparação
com outros modelos de intervenção semelhantes;
Tipos de avaliação e métodos (Jannuzzi, 2011)
• Avaliação de processo: avaliação da implementação do programa;
cobertura do público-alvo atendido, qualidade dos serviços oferecidos,
dificuldades na operação do programa.
• Matriz político-ideológica que apoia as ações do programas – arranjos
de implementação, capacidades estatais (Draibe, Gomide e Pires).
• Técnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti);
Tipos de avaliação e métodos (Jannuzzi, 2011)

• Avaliação de resultados e impactos: realizada,

idealmente, quando problemas de gestão e implementação
já foram resolvidos; busca de respostas para as seguintes
perguntas: O problema social que estimulou a criação do
programa foi solucionado? Qual a contribuição do programa
para isso? O programa deve continuar, ser expandido ou
descontinuado?
• entrevistas com agentes institucionais, com usuários, grupos de
discussão, pesquisas amostrais, estudos comparativos, desenhos
experimentais e quasi-experimentais.
• Avaliação da eficiência: ex post, depois da implementação;
custo da operação do programa legitima-se pelos efeitos
obtidos?
Fatores que influenciam as decisões metodológicas

Na prática, decisões sobre métodos são afetadas por:

•Complexidade do objeto investigado ou natureza do programa;

•Estágio de desenvolvimento do programa - TEMPORALIDADE
•Objetivos da avaliação – QUAIS PERGUNTAS?
•Disponibilidade de recursos e tempo

Importância também dos dados secundários (incluindo relatórios de órgãos de

controle, como CGU e TCU), dos sistemas de monitoramento, das bases de
dados disponíveis – nem sempre é necessária coleta de dados primários
Escolha do método depende dos objetivos específicos almejados
pelo avaliador

Busca de dados
secundários

Pesquisa de
Observação e campo com
suas variantes questionário

Avaliação como
empreendimento
técnico-científico

Desenhos quasi-
Grupos de experimentais e
discussão não
experimentais

Entrevistas
Estratégias qualitativas de avaliação
•Abordagens mais exploratórias e semiestruturadas em contextos complexos e distintos.
•Variedade de técnicas:
• Compilação de estudos anteriores – pesquisa bibliográfica;
• Meta-avaliações: análise mais específica das avaliações realizadas;
• Análise documental: exame de documentos, textos e relatórios de cunho administrativo;
• ANÁLISE SITUACIONAL DO PROBLEMA SOCIAL E DAS SOLUÇÕES ELABORADAS; BASE PARA ROTEIROS DE
OBSERVAÇÃO, MODERAÇÃO OU ENTREVISTAS.
Estratégias qualitativas de avaliação
• Oficina com especialistas, técnicos e gestores: de 20 a 30 pessoas; situações de diagnósticos participativos, problemas de
implementação, apreciação de resultados, impactos e externalidades;

• Entrevistas individuais: semiestruturadas, em profundidade; exige atenção na formulação das perguntas e planejamento da
amostra de entrevistados;

• Grupos focais: grupos menores, com identidade de interesses, permite aprofundar questões de desenho, gestão, resultados,
impactos e externalidades – tangíveis ou latentes;

• Observações estruturadas: métodos menos invasivos; suposto distanciamento na análise de comportamentos; exigem
cuidados para não ser fiscalização ou auditoria.

• Observação etnográfica: registro do cotidiano de quem vivencia os efeitos dos programas; imersão na rotina, no modo de
vida do objeto de pesquisa; permite avaliar adequação de desenhos em segmentos, sem interferir.

• Análise Estruturada de Textos: técnica de análise de conteúdo; análise dos termos e categorias de interesse; permite criação
de termos indexados e categorias codificadas; permite interpretação estruturada de ideias e conteúdo informacional de docs.
Estratégias quantitativas de avaliação de
resultados e impactos
1. Parte-se da suposição de que existe uma relação causal entre uma variável independente (o
programa) e uma variável dependente (alteração nas condições sociais).
2. É uma pesquisa dirigida para fora, para além do programa, e pode ser realizada durante ou
depois da implementação, observando as causas dos resultados.
3. O objeto é o estudo do efeito de um programa, observando: houve mudança? Qual
magnitude? Quais segmentos foram afetados? Em que medida cada um dos componentes
atendidos pelo programa contribuiu para o alcance dos objetivos?
◦ Os objetivos são:
◦ medir o resultado dos efeitos de uma política;
◦ servir de medida de desempenho da ação pública;
◦ estabelecer relação de causalidade entre as políticas e as alterações das condições sociais.
Avaliação Banco Mundial – Baker
•Estudo do contrafactual:
Uso de um grupo de controle ou comparação (com indivíduos similares aos do grupo de
tratamento):
◦ Desenhos experimentais: benefício aplicado aleatoriamente entre os elegíveis gera grupo de controle
também criado ao acaso.
◦ Desenhos quase-experimentais: grupos são criados por métodos econométricos depois da intervenção.
◦ Métodos qualitativos: em amostras menores, mais rápidos e participativos.
Pesquisa avaliativa da avaliação de impacto

Sendo impacto o resultado dos efeitos de um programa, determinar o impacto exige considerar
dois momentos: antes e depois;
Para tanto, controle de efeitos não atribuíveis ao programa – requer controle de variáveis
intervenientes;
Dificuldade de afirmar que mudança resultou do programa (relação de causalidade) é
enfrentada com a PESQUISA EXPERIMENTAL.
PESQUISA EXPERIMENTAL
Duas populações: grupo experimental, que recebe o estímulo (variável independente), e grupo
de controle, constituindo duas situações contrastantes controladas.
Constituídas de forma ALEATÓRIA, para evitar viés e permitir controle do experimento.
As mudanças no grupo experimental podem ser maiores (êxito), iguais (sem impacto) ou
menores (impacto negativo) do que as que ocorreram no grupo de controle.
DUAS DIFICULDADE DE APLICAÇÃO:
condições exigentes – difícil conseguir duas populações idênticas;
questões de natureza ética – ao grupo de controle é negado o benefício, agindo como “cobaias”.
PESQUISA QUASE-EXPERIMENTAL
• Não usa a aleatoriedade para compor os grupos;
• Séries temporais: medição periódica, mas sem capacidade de afirmar causalidade;
• Grupos de controle não equivalentes ou de comparação: suposição de semelhança
entre os grupos selecionados;
PESQUISA NÃO EXPERIMENTAL
População-alvo não pode ser comparada com um grupo-controle:
◦ antes e depois com um único grupo: estuda-se a população objetivo do programa, não podendo
afirmar causalidade, com variáveis de controle tempo de permanência no programa e grau de
intensidade de exposição ao mesmo.
◦ somente depois com grupo de comparação: entre os resultados de um grupo focado e de um grupo de
comparação tomado como testemunha.
◦ somente depois: considera apena a população-alvo do programa, reconstitui a situação anterior à
implementação e compara com informações de depois da implementação.
 • Modelo
HARD Experimental

• Modelo Quase
Experimental

• Modelo Não
SOFT Experimental
Operacionalizar a avaliação de impacto...
Integrar técnicas quanti, quali e de análise de custos e benefícios:

◦ Estimativa de contrapartida para projetos experimentais e quase-

experimentais, com métodos econométricos para gerar grupo controle;

◦ Controle das diferenças dos participantes antes (coleta de dados para a

baseline) e depois (follow-up) com prazo suficiente para a observação dos
efeitos;
Operacionalizar a avaliação de impacto...
◦ Grupos de comparação e de tratamento com tamanho suficiente para
garantir significância estatística;

◦ Medição da eficiência do projeto com análise de custo-benefício ou eficácia

em função dos custos;

◦ Uso de técnicas qualitativas, para triangular os resultados.