1

Avaliao de Polticas, Programas e Projetos: Notas Introdutrias

A avaliao de polticas pblicas, programas e projetos
governamentais tem finalidades bastante precisas: (1) accountability,
significando estabelecer elementos para julgar e aprovar decises, aes
e seus resultados. (2) desenvolver e melhorar estratgias de interveno
na realidade, ou seja, a avaliao tem que ser capaz de propor algo a
respeito da poltica que est sendo avaliada. (3) empoderamento,
promoo social e desenvolvimento institucional, significando que a
avaliao deve ser capaz de abrir espao para a democratizao da
atividade pblica, para a incorporao de grupos sociais excludos e para
o aprendizado institucional e fortalecimento das instituies envolvidas.


Toda avaliao tem que enfrentar uma srie de desafios. Primeiro,
deve lidar com as limitaes resultantes do fato de que uma das suas
principais fontes de informaes so registros administrativos. Ora,
como a avaliao nem sempre concebida ex-ante, os registros
administrativos no so elaborados com a perspectiva de prover os dados
necessrios avaliao. Com isso, o avaliador sempre tem que lidar com
lacunas nesses dados e tentar ir alm delas.

Segundo, uma outra fonte de informaes so os beneficirios, dos
quais se obtm dados diretos. Isso coloca a necessidade de construir
instrumentos fidedignos de coleta, bases de dados precisas e confiveis o
suficiente para sustentar as apreciaes a serem feitas. Assim, quanto
mais slido o treinamento metodolgico do avaliador, melhor, embora a
avaliao no se resuma aplicao de tcnicas metodolgicas.

Terceiro, fundamental que sejam avaliados os contextos. H uma
importante pergunta neste sentido: porque que em contextos diferentes
as mesmas aes apresentam resultados diferentes? Esta indagao d
a medida da relevncia do contexto e indica a necessidade de mtodos
prprios para o seu estudo.

Quarto, ao mesmo tempo que a avaliao implica associar meios e
fins, preciso abrir a possibilidade de exame de resultados no
antecipados. Isto tem sido feito com mtodos de avaliao livre dos
resultados ou avaliao independente dos objetivos, que permite
questionar se h outros processos que podem produzir tais resultados,
independentemente dos objetivos e atos dos gestores.

Quinto, preciso que a avaliao seja capaz de captar mudanas
atravs do tempo, retroalimentando as polticas, programas e projetos.
2
Isto requer que, ao invs de representar uma iniciativa pontual, a
avaliao seja concebida como um processo contnuo.

Sexto, preciso abrir a possibilidade da avaliao orientada para a
inovao. Trata-se da avaliao que comea com incio do ciclo de uma
poltica, quando h pouco conhecimento sobre a mesma. Este tipo de
avaliao implica uma concepo ex-ante, ou seja, a avaliao que
construda anteriormente prpria formulao, a partir da qual se
realizam simulaes com a finalidade de identificar estratgias e propor
cursos de ao . Isso, evidentemente, vai requerer o estabelecimento de
uma base de informao (baseline) e a coleta e anlise de evidncias
capazes de sustentar polticas novas.

Um aspecto que deve ser considerado tem a ver com os
avaliadores, suas habilidades e competncias (alm das habilidades
analticas que so tomadas como dadas). fundamental que os
avaliadores tenham capacidade de trabalhar com policy-makers no
sentido de estabelecer com eles parcerias estratgicas visando o melhor
resultado das polticas pblicas; isso significa superar a postura de que
avaliadores e gestores se situam em campos opostos, sem perder a
caractersticas da independncia da avaliao. Tambm essencial que o
avaliadores sejam capazes de atuar junto aos stakeholders,
estabelecendo dilogos, ajudando a construir consensos e a gerenciar
mudanas. igualmente necessrio que o avaliador seja capaz de
analisar a coerncia da poltica e interpretar resultados com o
distanciamento necessrio. Finalmente, indispensvel que a avaliao
tenha conseqncias. E isso significa elaborar planos de ao, formular
recomendaes visando o aperfeioamento das polticas, programas e
projetos. Essas habilidades so a base para a formao e consolidao de
uma cultura de avaliao, capaz de encarar as falhas como
oportunidades de aprendizado para fazer mais e melhor em termos de
polticas pblicas.


Entendendo o que significa avaliao

O termo avaliao amplamente usado em muitos e diversos
contextos, sempre referindo-se a julgamentos. Por exemplo, se vamos ao
cinema ou ao teatro formamos uma opinio pessoal sobre o que vimos,
considerando satisfatrio ou no. Se assistimos a um jogo de futebol,
formamos opinio sobre as habilidades dos jogadores. E assim por
diante. Estes so julgamentos informais que efetuamos cotidianamente
sobre todos os aspectos das nossas vidas.
Porm, h avaliaes muito mais rigorosas e formais, envolvendo
julgamentos detalhados e criteriosos, sobre a consecuo de metas, por
exemplo, em programas de reduo da excluso social, melhoria da
3
sade dos idosos, preveno da delinqncia juvenil ou diminuio de
infeces hospitalares. Para isso adota-se a avaliao formal, que o
exame sistemtico de certos objetos, baseado em procedimentos
cientficos de coleta e anlise de informao sobre o contedo, estrutura,
processo, resultados e/ou impactos de polticas, programas, projetos ou
quaisquer intervenes planejadas na realidade.
Muitos dos princpios da avaliao formal foram desenvolvidos nos
EUA no final dos anos 1960 e incio da dcada de 1970, especialmente a
partir do desenvolvimento das avaliaes de impacto ambiental (AIA). Em
1969 observou-se que, embora fosse possvel prever as mudanas fsicas
no meio ambiente, resultantes da construo de um oleoduto no Alaska,
no foram previstas as mudanas sociais trazidas por tais mudanas
fsicas e nem o modo como as mudanas sociais provocariam novas
mudanas fsicas. A construo do oleoduto no somente provocou
mudanas que afetaram os animais da regio e portanto afetou a
atividade de caa dos nativos, alterando seus modos de vida e sua
cultura. As construtoras do oleoduto levaram seus trabalhadores para
realizar as obras, e estes tinham cultura, lngua e modos de vida
diferentes. Alm disso, muitos nativos acabaram precisando trabalhar na
construo do oleoduto para sobreviver, j que a caa tinha se tornado
escassa. Tudo isso gerou novas mudanas ambientais e sociais. Em
1973, pela primeira vez, foi usado o termo impacto social para relatar
as mudanas na cultura indgena nativa do Alaska devido ao oleoduto.
Em 1981 foi criada a Associao Internacional de Avaliao de
Impacto, reunindo os interessados em avaliar impactos ambientais,
sociais, tecnolgicos, bem como outros tipos de avaliao. O
desenvolvimento da avaliao formal, inclusive da avaliao de impacto,
mudou a maneira pela qual os governantes e a sociedade encaravam o
planejamento e o desenvolvimento em geral, introduzindo a idia-chave
de que, em grande parte as mudanas podem ser antevistas,
acompanhadas e conduzidas.


A avaliao como instrumento de gesto


Entre as inmeras definies existentes pode-se sustentar que
avaliao formal (1) um julgamento (porque envolve valores) (2)
sistemtico (porque baseia-se em critrios e procedimentos previamente
reconhecidos) (3) dos processos ou dos produtos de (4) uma poltica,
programa ou projeto, tendo como referncia (5) critrios explcitos, a fim
de contribuir para (6) o seu aperfeioamento, a melhoria do processo
decisrio, o aprendizado institucional e/ou o aumento da accountability.
Assim sendo, possvel reconhecer que a avaliao contm duas
dimenses. A primeira tcnica, e caracteriza-se por produzir ou coletar,
segundo procedimentos reconhecidos, informaes que podero ser
4
utilizadas nas decises relativas a qualquer poltica, programa ou
projeto. A segunda valorativa, consistindo na ponderao das
informaes obtidas com a finalidade de extrair concluses acerca do
valor da poltica, programa ou projeto. Ainda assim, a finalidade da
avaliao no necessariamente distinguir as intervenes de qualquer
natureza segundo sejam boas ou ms, exitosas ou fracassadas.
Muito mais importante e proveitoso apropriar-se da avaliao como um
processo de apoio a um aprendizado contnuo, de busca de melhores
decises e de amadurecimento da gesto.
A avaliao formal permite julgar processos e produtos de vrios
modos. Primeiro, levantando questes bsicas tais como os motivos de
certos fenmenos (por exemplo: o que causa os elevados ndices de morte
violenta entre os jovens brasileiros?). Este tipo de avaliao pode
focalizar relaes de causa e efeito com a finalidade de recomendar
medidas para lidar com o problema.
Em segundo lugar, a avaliao formal pode ser usada como
instrumento de acompanhamento de polticas ou programas de longo
prazo. Nesses casos so realizadas vrias avaliaes em estgios-chave
da poltica ou programa, a fim de prover dados confiveis sobre os seus
impactos e sobre como podem ser estes mitigados ou melhorados.
Em terceiro, ao final de um programa ou projeto a avaliao pode
indicar o seu sucesso na consecuo dos seus objetivos e permitir avaliar
a sua sustentabilidade, ou seja, a possibilidade da sua continuidade
atravs do tempo.
A avaliao formal pode contribuir para aperfeioar a formulao
de polticas e projetos especialmente tornando mais responsvel a
formulao de metas, e apontar em que medida os governos se mostram
responsivos frente s necessidades dos cidados. Pode mostrar se as
polticas e programas esto sendo concebidos de modo coordenado ou
articulado; e em que medida esto sendo adotadas abordagens
inovadoras na resoluo de problemas que antes pareciam intratveis.
Pode indicar como vo sendo construdas as parcerias entre governo
central e local, entre os setores pblico, privado e terceiro setor,
identificar as condies de sucesso ou fracasso dessas parcerias e
apontar como podem ser aperfeioadas a fim de ganharem abrangncia e
se tornarem estratgias nacionais das polticas de desenvolvimento.
Os modelos contemporneos de formulao de polticas enfatizam
a importncia dos objetivos compartilhados em lugar das estruturas
organizacionais ou das funes existentes. Mas a articulao de
polticas/programas no se resume a abordagens compartilhadas de
questes comuns. A articulao horizontal entre agncias ou
organizaes requer melhor coordenao entre os gestores e melhor
articulao vertical entre os que tomam as decises e os que os
implementam. Isto no um fim em si mesmo, mas deve estar presente
onde agrega valor, e especialmente importante quando as polticas ou
programas se dirigem s questes socialmente perversas. Nesses casos, a
5
avaliao formal permite aprender e incorporar lies implementao
de novas polticas/programas.


Tipologia da Avaliao


Desde a dcada de 1980 foram feitos significativos avanos na rea
de avaliao, tornando-se os conceitos mais precisos, as estratgias e as
tcnicas mais adequadas e os instrumentos de coleta mais acurados.
Alm disso passou-se a distinguir os diversos tipos de avaliao que se
pode efetuar. Hoje possvel discriminar as avaliaes segundo o foco ou
objeto, a lgica que orienta sua concepo, a nfase metodolgica, etc. A
fim de ordenar um pouco a discusso so apresentadas a seguir algumas
das possibilidades da avaliao formal.

Segundo o foco ou objeto, as avaliaes podem ser:

1 - Avaliao Jurdica ou Avaliao de Conformidade corresponde
ao exame da conformidade dos atos do gestor em relao lei, na
conduo da poltica pblica, programa ou projeto.

2 - Avaliao de Desempenho - refere-se ao que se faz com relao a
uma poltica, programa ou projeto. Compreende dois subtipos:

2.1 - Desempenho institucional - tem como finalidade apreciar em
que medida uma instituio realiza a misso que lhe foi atribuda,
mediante a consecuo dos seus objetivos e o cumprimento de
suas metas.

2.2 - Desempenho pessoal
1
- destina-se a averiguar em que medida
cada indivduo em uma instituio cumpre suas atribuies e
contribui para o alcance dos objetivos e metas da instituio.
Tambm focaliza a produtividade do desempenho pessoal e a
qualidade dos servios prestados.


3 - Avaliao de Processo significa o conjunto de aes
destinadas a produzir um bem ou servio ou a desencadear
alguma mudana numa dada realidade. Este tipo de avaliao se
subdivide em:


1
Distintamente do que costuma ocorrer, a avaliao de desempenho pessoal no tem por finalidade alocar gratificaes
salariais e s tem valor efetivo quando integrada avaliao de desempenho institucional.
6
3.1 Monitoramento ou avaliao em processo trata-se da
utilizao de um conjunto de estratgias destinadas a realizar o
acompanhamento de uma poltica, programa ou projeto, de modo
a identificar de maneira oportuna e tempestivamente as vantagens
e pontos frgeis na sua execuo, a fim de efetuar os ajustes e
correes necessrios maximizao dos seus resultados e
impactos.

O monitoramento tem por base o plano de trabalho de uma
poltica, programa ou projeto e representa uma ferramenta de uso
cotidiano na gesto destes. Orienta-se para a busca de respostas
s seguintes indagaes: Em que medida so cumpridas as
atividades especificadas na programao? Em que medida esto
presentes os recursos necessrios? Com que grau de
tempestividade? Em que medida est sendo observada a seqncia
das aes? Qual o grau de proximidade observado entre a
quantidade e qualidade das aes, servios ou produtos planejados
e os que esto sendo executados? Em que medida a interveno
vem atingindo a populao-alvo? Que manifestaes de queixa ou
satisfao ocorrem entre os diversos atores envolvidos na execuo
da poltica, programa? Onde podem ser identificados pontos de
estrangulamento na produo de bens ou servios? Que recursos
vem se mostrando sub-utilizados? Que oportunidades existem para
otimizar a explorao do recurso X?

3.2 Avaliao de processo ou a posteriori - trata-se do exame
das estratgias, procedimentos e arranjos (inclusive institucionais)
adotados na implementao de uma poltica, programa ou projeto,
com a finalidade de identificar os pontos onde podem ser obtidos
ganhos de eficincia e eficcia. Tem por hiptese central a idia de
que os meios adotados afetam os resultados. Portanto, o seu objeto
de anlise o como uma ao foi executada, ou seja, a cadeia de
passos adotados desde a formulao da poltica ou programa at a
obteno do seu produto final.

4 - Avaliao de Produto toda avaliao cujo foco recai sobre os
produtos de uma poltica, programa ou projeto, em suas vrias
dimenses, as quais do origem a diferentes modalidades:

4.1 Avaliao de Resultados: Tem por objeto os resultados,
tambm chamados de outputs, significando bens ou servios de
um programa ou projeto que so necessrios para que seus
objetivos finais sejam alcanados. Por exemplo, os servios de
extenso agrcola proporcionados aos agricultores para que
produzam uma cultura x ou para que aumentem a sua
produtividade. Mas tambm pode focalizar os resultados obtidos
7
com uma poltica, programa ou projeto, indicados como seus
objetivos de curto prazo ou intermedirios, chamados de
outcomes. Ex.: aumento da rea cultivada com a cultura x ou
aumento da produo por hectare ou aumento da venda dos
agricultores.


4.2 Avaliao de Impactos: trata-se de avaliao de um ou mais
resultados de mdio ou longo prazo, definidos como impactos, ou
seja, conseqncias dos resultados imediatos. Ex.: elevao da
qualidade de vida no meio rural, melhoria do abastecimento dos
centros urbanos, aumento da poupana devido reduo das
importaes, etc.. Adiante, neste texto, sero apresentados
detalhes das avaliaes de impactos.

4.3- Avaliao de Qualidade: o produto pode ser avaliado,
tambm, quanto sua qualidade. Ou seja, a capacidade de um
bem ou servio atender s expectativas do seu pblico-alvo. Nesta
dimenso se incluem, por exemplo, as avaliaes de satisfao dos
usurios de um servio, to em voga nos anos recentes.

A avaliao pode variar, tambm, conforme a lgica que orienta
sua concepo. Nesse caso, pode-se falar de avaliao ex-ante e de
avaliao ex-post.
Numa acepo mais generalizada, a avaliao ex-ante expressa
uma concepo holstica, interativa e iterativa, segundo a qual a
avaliao se inicia desde o momento em que se define o problema ou
necessidade que justifica a poltica, programa ou projeto, integra as
discusses em torno da formulao das alternativas, envolve a tomada de
deciso, e acompanha o processo de gesto, informando-o sobre os seus
avanos, riscos e limitaes, desvios a corrigir, vantagens a maximizar,
etc.
Numa outra acepo, mais restrita, a avaliao ex-ante consiste
na anlise de eficincia e na anlise de impacto. A primeira corresponde,
especificamente, ao clculo de custos de cada alternativa. Alm das
categorias bsicas
2
, os projetos sociais podem envolver ainda custos
adicionais do usurio e custos de oportunidade
3
. Essa modalidade de

2
Estes podem envolver apenas trs categorias bsicas: custos de capital (aquisio de bens que um projeto utiliza por
um ano ou mais), custos de manuteno ( compra de servios e materiais para manuteno de bens de capital) e custos
operacionais ( compra de bens e servios com vida til menor que um ano, podendo ser ou custos diretos, quando so
indispensveis; ou custos indiretos, quando no so indispensveis, mas condicionam a eficincia das aes).

3
O custo adicional do usurio aquele que recai sobre a populao-alvo, por exemplo, no acesso a um servio escolar
pode haver um custo de deslocamento que, alm do transporte, inclui o custo do tempo gasto esperando o transporte e
viajando. O custo de oportunidade refere-se s oportunidades de ganho s quais se renuncia para investir em uma
atividade. Por exemplo, pode-se investir o capital em qualquer atividade lucrativa ao invs de aloca-lo a um projeto
social; esta renncia representa o custo de oportunidade.
8
avaliao ex-ante envolve a construo de uma matriz de custos, que
contm todos os custos que se espera que uma interveno requeira em
cada perodo de execuo, divididos entre as diversas categorias acima
mencionadas. A anlise ex-ante de impacto consiste na estimao do
impacto de cada alternativa, derivado dos objetivos propostos. Essa
estimao pode basear-se no Mtodo Delphi
4
ou pode envolver o clculo
do custo por unidade de impacto, que corresponde ao custo de
realizao de 1% do impacto para um determinado objetivo, usando uma
determinada alternativa, em um perodo de um ano (por exemplo, a
reduo do ndice de mortalidade infantil). Em ambos os casos, a matriz
de custos usada para a tomada de deciso, monitoramento e avaliao.
Uma outra lgica de concepo usada na avaliao ex-post. Em
se tratando da perspectiva generalizada, refere-se avaliao que
concebida sem relao com planejamento e nem mesmo com o processo
de implementao, sendo desenhada quando a poltica, programa ou
projeto j se encontra consolidado ou em fase final.
Na acepo restrita, a avaliao ex-post no diz respeito ao
momento em que se pensa ou se planeja a avaliao. O foco, nesse caso
recai sobre o que calculado: o custo efetivo de cada alternativa, pelo
mesmo processo de anlise de custos da avaliao ex-ante, porm tendo
como referncia os valores efetivamente dispendidos. Embora usando os
mesmos procedimentos de clculo, os impactos so mensurados por
meio da comparao entre a situao inicial da populao-alvo (baseline)
e a sua situao ao final de um certo perodo de tempo. possvel
comparar os impactos observados tambm com os impactos estimados
na avaliao ex-ante, para verificar se a seleo de alternativas de
interveno foi tima.

As avaliaes tambm podem se distinguir segundo suas
finalidades e, portanto as questes que colocam. Nesta perspectiva h
dois tipos:

Avaliao de matriz, de estrutura, ou de modelo
Destina-se a identificar os pontos fortes e as fraquezas de uma
interveno. A informao coletada refere-se ao desenho e
implementao da poltica/programa ou projeto, de modo a julgar a sua
eficcia. O objetivo verificar se alguma mudana necessria a fim de
aperfeioar a poltica/programa/projeto. Pode ser realizada como
monitoramento ou a posteriori, periodicamente.



4
Em termos bastante simplificados, trata-se de um painel de especialistas que conduzido a um consenso mediante um
processo de aproximaes sucessivas. Esta tcnica largamente utilizada, mas pode ser questionada, especialmente
quando o conhecimento cientfico acumulado pelos especialistas pouco, pois no tero outra base para julgamento
que no suas experincias acumuladas.
9
As questes tpicas deste tipo de avaliao so: (a) Os objetivos da
poltica/programa esto claramente formulados em termos de resultados
a serem obtidos? (b)Existe uma compreenso compartilhada dos
significados dos objetivos e um compromisso dos envolvidos para com a
implementao dos objetivos? (c) A poltica/programa foi implementada
conforme o pretendido? (d) H alguma evidncia de desempenho sub-
timo requerendo redesenho da implementao ou aes de correo? (e)
Se o desempenho sub-timo, quais as suas causas e como podem ser
tratados? (f) A populao alvo, os beneficirios ou as pessoas mais
afetadas pela poltica/programa esto satisfeitas com o servio ou bens
que esto recebendo? (g) A poltica ou programa est sendo
implementada de modo articulado com outras aes, de forma a
contribuir para os objetivos governamentais mais amplos?

Avaliao de substncia ou de contedo
Destina-se a informar os gestores para que decidam se uma
poltica ou programa deve continuar, ser interrompida ou mudada. O
foco recai sobre os resultados (eficcia) e impactos (efetividade).
As questes tpicas desse tipo de avaliao so: (a) A poltica ou
programa tem produzido os outputs, resultados e impactos pretendidos?
Em que medida? (b) Esses resultados mostram-se sustentveis pelo
perodo pretendido? (c) Os pretendidos beneficirios esto de fato se
beneficiando? H algum grau de excluso social ou geogrfica no
pretendida? (d) H algum efeito negativo para o qual os resultados
tenham contribudo? Ou que deveria ter sido evitado? Ou para o qual
ser necessria alguma ao de mitigao? (e) A poltica ou programa
condio para ou complementar a polticas mais amplas? (f) Que lies
podem ser extradas, que possam contribuir para aperfeioar a busca de
resultados em programas futuros?


Vrias outras dimenses e aspectos podem ser usados para
mapear os tipos e as possibilidades de avaliao, mas estas so as
principais. A seguir sero apresentados os conceitos e descritas as
estratgias e tcnicas adotadas na sua realizao.


Conceitos Bsicos na Avaliao


I) Causa e efeito as avaliaes geralmente buscam relaes de causa
e efeito entre a poltica/programa e a mudana social, econmica,
cultural, tecnolgica, etc.

Como regra, nessas hipteses, a poltica/programa avaliado a
varivel independente e a mudana planejada a varivel
10
dependente. No se trata de relaes causais segundo o mximo
rigor da metodologia cientfica. Na verdade, os avaliadores esto
procurando regularidades ou padres em sries de eventos. Em
geral, quando se atribui um valor numrico s variveis torna-se
possvel usar tcnicas estatsticas como anlise bivariada e
multivariada. A anlise se torna mais difcil quando no possvel
quantificar. Por exemplo, diferentes padres de comportamento
social podem ser o principal fator que afeta as reaes das pessoas
numa campanha de educao sanitria, mas difcil colocar isto em
termos numricos. Nestas situaes til distinguir os fatores que
podem ser claramente atribudos a um resultado e aqueles que
apenas contribuem para o mesmo. Em qualquer caso essencial ter
uma clara compreenso dos outputs e outcomes.

II) Efeito atribudo e contribuio acima foi feita uma distino entre
o que pode ser atribudo a um resultado e o que contribui para o
mesmo. Como diferenciar estes dois status? Os fatores atribudos a
um resultado podem ser identificados indagando-se: se o fator X
no existisse ou se no fosse assegurado, o resultado Y
aconteceria? Se a resposta for No o fator em tela provavelmente
atribudo.

Por outro lado, se outros fatores podem afetar o resultado, mas a
sua fora menor, eles tero contribudo para aquele resultado. Por
exemplo, na hiptese de que na falta de emprego entre ex-presidirios
resulta na reincidncia no crime. O fator que pode ser atribudo
reincidncia a falta de emprego. Mas h fatores que contribuem para a
reincidncia, como a falta de apoio social para a adaptao vida livre,
etc. Podem ocorrer casos onde no h um fator especificamente
atribudo, mas vrios fatores que contribuem para um resultado, todos
eles merecedores de aes intecionais de mudana.

III) Paradigmas diferentes um paradigma um modelo ou um
conjunto de postulados que expressam uma forma de conceituar e
interpretar certas situaes. Isto significa que o paradigma do
avaliador provavelmente influenciar os mtodos de anlise que ele
escolhe, mas tambm que a prpria poltica ou programa
influenciada pelo paradigma do seu planejador/gestor. Portanto
til identificar o paradigma subjacente a uma poltica/programa,
pois facilita entender o seu contexto.

IV) Aspectos comportamentais e efetividade organizacional os
comportamentos dos indivduos e a cultura organizacional afetam os
outputs e outcomes de uma poltica/programa. Estes aspectos
costumam ser difceis de avaliar e geralmente so considerados
evidncias fracas. Porm, a adaptabilidade a base da
11
sustentabilidade e pode ser til avaliar a capacidade das
organizaes para mudar e responder inovao
5
.

V) Anlise Longitudinal trata-se da anlise diacrnica, que pode ser
realizada durante vrios anos. Permite acompanhar resultados e
impactos ao longo do tempo. Permite reduzir o risco de bias. Pode-se
valer de registros administrativos e dados secundrios.

VI) Abordagem experimental a mais adequada ao exame de relaes
de causa e efeito. Requer a criao/definio de grupo experimental
e grupo de controle (que no foi exposto interveno). Usualmente,
procura-se manter constantes as caractersticas de ambos os grupos
e efetuar seleo aleatria dos seus componentes. H situaes em
que no possvel formar grupos de controle, ento usa-se a
chamada abordagem quasi-experimental, examinando o momento
anterior e o momento posterior a uma poltica ou programa.

VII) Sustentabilidade trata-se de identificar fatores essenciais
produo de certos outputs, outcomes e impactos e averiguar se (a)
esto todos disponveis; (b) esto adequadamente garantidos para
assegurar que a poltica/programa provavelmente ter continuidade
e no ser apenas um evento isolado. Os fatores essenciais podem
ser infraestrutura, treinamento, incentivos, mudanas de
comportamento, recursos organizacionais, etc.




O Processo de Avaliao


A definio, desenho e manejo da avaliao requerem o conhecimento
de trs elementos:

1 O marco conceitual que define o que a poltica/programa ou projeto
deve realizar. Ou seja: os objetivos mximos, as metas, as
estratgias ou atividades (aes) selecionadas para atingir objetivos e
metas e as relaes supostamente existentes entre os objetivos
estabelecidos e as aes propostas.

5
Para isto podem ser exploradas quatro dimenses: (a) Capacidade de adaptao s foras externas (responsividade aos
usurios, cidados e comunidades; efetividade das redes e parcerias como alavancas para a mudana). (b) Capacidade
de originar resultados (extenso da inovao no processo de ao ou trabalho; efetividade dos sistemas de
gerenciamento, considerando planejamento, estratgia, delegao, etc. (c) Capacidade de accountability e controle
(extenso do foco em accountability e na avaliao de desempenho). (d) Desenvolvimento de capacidade cultural para
o futuro (efetividade do gerenciamento de pessoas, extenso do foco no desenvolvimento de sinergia interna). Estas
dimenses podem ser analisadas a partir de questionrios preenchidos pelos gestores, que atribuem pontos sua
organizao em cada uma das dimenses.
12

2 Os stakeholders, ou seja todos os atores que tenham algum tipo de
interesse na poltica/programa/projeto: os gestores, as populaes-
alvo, os fornecedores de insumos, os financiadores (inclusive os
contribuintes), os excludos e os diferentes segmentos da sociedade
civil envolvidos direta ou indiretamente. Especialmente til, neste
ponto, a matriz de anlise de stakeholders, em anexo.

3 Os critrios que sero usados para avaliar a
poltica/programa/projeto. Esses critrios estabelecem quais as
caractersticas esperadas dos processos (aes) e/ou dos resultados
(outputs/outcomes/impactos). Usualmente so cinco os critrios
adotados nas avaliaes de poltica/programas/projetos:

Eficcia a capacidade de produzir os
resultadosesperados/desejados.

Eficincia a capacidade de produzir os resultadosdesejados
com o menor dispndio de recursos (humanos, materiais e
financeiros).

Efetividade a capacidade de produzir resultadospermanentes,
diretos e indiretos, usualmente definidos como impactos, ou
seja, as conseqncias maiores de um resultado; e de produzir
o nmero possvel de efeitos colaterais ou externalidades
negativas.

Equidade a capacidade de contribuir para a reduo das
desigualdades e da excluso social.

Sustentabilidade a capacidade de desencadear mudanas
sociais permanentes, que alteram o perfil da prpria
demanda por polticas/programas sociais e que
retroalimentam o sistema de polticas sociais.

A tarefa de avaliao de polticas/programas/projetos pode ser
facilitada quando so observados alguns passos essenciais:

1 Identificao e caracterizao dos stakeholders, ou seja os atores
individuais e/ou coletivos e as agncias governamentais e
organizaes privadas que tm seus interesses afetados pela
poltica/programa ou projeto em avaliao.

13
2 Identificao dos usurios do processo de avaliao e demais
interessados no mesmo e sua incorporao ao desenho e manejo do
processo.

3 Identificao do marco conceitual da poltica/programa/projeto, com
a definio dos objetivos, recursos necessrios, aes ou estratgias
e seus responsveis ou encarregados e dos resultados esperados.

4 Definio das questes de avaliao: perguntas que os interessados
pretendem responder mediante o processo avaliativo e dos critrios a
serem usados na avaliao.

5 Identificao das informaes necessrias e das fontes de
informao. Seleo dos indicadores.

6 Seleo, elaborao e teste das estratgias, tcnicas e instrumentos
de coleta de dados.

7 Definio dos mtodos de anlise dos dados obtidos.

8 Coleta e sistematizao dos dados.

9 Anlise dos dados e elaborao de concluses.

10 Estratgias para disseminao dos resultados da avaliao e para
aperfeioamento do processo avaliativo.



Estratgias de Avaliao

Uma poltica, programa ou projeto pode ser tratada de diversas
formas, abordando diferentes dimenses, segundo sua especificidade e
segundo os aspectos considerados mais prioritrios para a avaliao.
Dependendo das caractersticas da interveno e dos interesses quanto
ao foco da avaliao, pode-se adotar uma ou outra das seguintes
estratgias de avaliao:

1) Avaliao Participativa trata-se de um conjunto de procedimentos
desenvolvidos com a finalidade de incorporar tanto os usurios como
as equipes de gestores ao processo de monitoramento e avaliao. A
seguir so descritas algumas das modalidades de Avaliao
Participativa

14
Participatory Impact Monitoring (PIM) no focaliza planos ou
sistemas de objetivos formalizados, mas as percepes individuais dos
beneficirios e outros afetados pelas polticas, programas ou projetos,
com a finalidade de tornar rotineira e amadurecida a prtica de
refletir e analisar as atividades e mudanas introduzidas por uma
interveno em suas vidas e na sua comunidade. Consiste nos
seguintes passos:

I promoo de um debate entre os beneficirios/afetados sobre as suas
principais expectativas e receios para o futuro prximo, envolvendo a
poltica, programa ou projeto em tela.

II a partir dos elementos levantados neste debate, a equipe externa,
facilitadora deste processo, constri alguns indicadores, usando o
detalhamento, pelos participantes, de exemplos concretos daquilo a que
se referem. Esses exemplos so generalizados e tomados como
indicadores a partir da.

III escolha de uma comisso de observadores que fica encarregado de
acompanhar as atividades e mudanas priorizadas no debate inicial. A
cada reunio (realizada em intervalos regulares) esta comisso abre o
debate falando sobre as mudanas constatadas desde a ultima reunio.
Esta descrio serve de insumo para o debate do grupo, que procede a
uma avaliao conjunta da situao e decide sobre possveis medidas
corretivas, novas atividades e sugere novos indicadores.

Avaliao Independente de Objetivos no se inicia pelos objetivos da
poltica ou programa, mas com a populao-alvo mais afetada pelo
mesmo. A finalidade apurar os resultados e impactos da poltica ou
programa, examinando como e quanto a populao-alvo afetada e
comparando esses dados com o que a poltica/programa especificamente
indica como objetivos. Dessa forma procura-se evitar o bias trazido pelo
prvio conhecimento dos objetivos: o avaliador conhece a clientela e o
programa, mas no seus objetivos precisos.

Avaliao de Quarta Gerao focaliza as queixas, interesses e
reinvidicaes dos stakeholders. O objetivo capturar e compreender as
percepes dos atores envolvidos e afetados pela poltica/programa. Em
vez dos objetivos explicitados, os custos, riscos e benefcios so
examinados atravs dos olhos dos stakeholders.

2) Meta Avaliao - freqentemente uma poltica ou programa passa por
diversas avaliaes em diferentes estgios da sua formulao e
implementao. Essas avaliaes podem focalizar diversos aspectos e
informantes. Elas so o material para a Meta-avaliao. No podem
ser tomadas pelo seu valor de face, mas so examinadas de modo a
15
propiciar uma viso da qualidade e do contexto em que a
poltica/programa se desenvolveu. A Meta-avaliao serve para nos
situarmos melhor sobre a poltica/programa, identificarmos
problemas recorrentes, contradies, etc
6
. Os critrios para apreciar
esses relatrios de avaliao so:

a) confiabilidade das evidncias ou dados nos quais as
avaliaes se baseiam;

b) perodo em que foram realizadas, que d o contexto da
avaliao e indica se os dados ainda so vlidos;

c) qualidade, expertise e independncia dos avaliadores;

d) aceitabilidade das recomendaes apresentadas;

e) aes que resultaram da avaliao.


3) Mapeamento Organizacional trata-se de examinar o arranjo
organizacional para a deciso/implementao de uma poltica,
programa ou projeto, j que podem ser muitas e complexas as
ligaes entre agncias e instncias envolvidas. A anlise focaliza
como (e se) as agncias envolvidas em uma poltica/programa so
organizadas de modo a (a) evitar duplicao ou superposio e
assegurar que suas aes sejam articuladas e complementares; (b)
garantir um interface consistente e facilmente compreensvel com os
usurios/clientes; (c) atingir um objetivo comum e sustentvel; (d) a
presena dos incentivos adequados e os procedimentos necessrios
para promover efetiva parceria. Este tipo de tcnica requer os
seguintes passos:

[1] identificar todas as organizaes ou partes de uma organizao
que possam influenciar o sucesso ou fracasso da
poltica/programa/projeto ou um exame.).

[2] estimar a contribuio de cada agncia para a consecuo de
cada um dos objetivos da poltica/programa/projeto. Procurar
esclarecer tal contribuio segundo pontuao ou nveis
(alto/mdio/baixo).


6
Cabe distinguir Meta-Avaliao de Meta Anlise, que uma tcnica quantitativa, usada na pesquisa social em geral.
Trata-se de aplicar instrumentos estatsticos (anlise multivariada) a dados obtidos em uma srie de avaliaes para
extrair concluses sistemticas. Exemplo: se h uma srie de avaliaes com dados quantitativos obtidos em vrios
anos, pode-se avaliar o impacto dos programas de educao de adultos sobre a gerao de renda.
16
[3] produzir um mapa organizacional mostrando os vnculos entre
as agncias e entre estas e os principais resultados.

[4] usando tal mapa, avaliar se o envolvimento de cada agncia
relevante, consistente e complementar.

[5] investigar lacunas aparentes, gargalos, superposies,
contradies (por exemplo, onde os inputs de uma organizao
parecem inconsistentes com os de outra; onde os mais afetados
pelos resultados desejados so incapazes de procurar
esclarecimentos porque a interface com os clientes no est
clara; ou onde o programa como um todo parece incoerente e
mal organizado, colocando em risco seus resultados e
impactos).

Para o mapeamento organizacional til usar critrios como:
compartilhamento de objetivos e metas; clareza da
comunicao; compartilhamento dos riscos (e nus) de no
consecuo dos resultados; grau de compartilhamento do
financiamento do programa; apoio para atuar em conjunto;
responsabilizao compartilhada. Usa-se surveys e grupos
focais para obter dados que permitam estimar o peso de cada
critrio.



4) Marco Lgico
7
Trata-se de uma estratgia que permite definir os
fatores e os vrios estgios de uma poltica/programa. Na sua forma
mais simples um marco lgico pode assumir a seguinte
representao:


7
O Marco Lgico ou Logical Framework foi desenvolvido no final dos anos 1960 por uma empresa privada de
consultoria a pedido da USAID, que vinha enfrentando dificuldades no gerenciamento dos seus projetos devido ao
excesso de objetivos previstos, falta de clareza quanto ao controle dos efeitos previstos e excesso de estudos e
documentos para descrever o projeto. O Marco Lgico basicamente um instrumento de planejamento, consistindo de
uma matriz 4X4, cujas colunas tem os seguintes contedos: 1-Sumrio de Objetivos; 2-Indicadores Objetivos; 3-Meios
de Verificao (Instrumentos e fontes de dados); 4-Pressupostos (condies necessrias fora do controle do gestor). E
cujas linhas tm os seguintes contedos: 1-Finalidade (ou objetivo de desenvolvimento), que a finalidade ltima do
programa/projeto; 2-Propsito(contribuio do programa/projeto para a realizao da finalidade estabelecida); 3-
Componentes (outputs, ou seja, servios e produtos que representam os resultados imediatos do programa/projeto,
expressos em termos de tarefas cumpridas); 4- Atividades (aes necessrias produo dos produtos e servios).
17
Elementos de Avaliao do Marco Lgico

Clientes
+ + + Atingidos




Interferncias externas e programas relacionados


Vantagens desta estratgia:

a) prov a compreenso de como o programa foi concebido em termos de
funcionamento , principais impactos, outputs, outcomes e de como
efetivamente se realizou; permite avaliar o afastamento entre o
planejado e o realizado.

b) ajuda a identificar projetos que necessitam ser incrementados ou
componentes (recursos financeiros, tecnolgicos e humanos,
parcerias, etc.) que so condies para produzir os outputs e
outcomes pretendidos.

c) ajuda a identificar onde os vrios inputs e outputs tm relaes
implausveis ou inconsistentes.

d) permite identificar pontos-chave para a mensurao de resultados e
questes essenciais para a avaliao, tornando mais fcil focalizar a
coleta de dados.

Um aspecto crtico do Marco Lgico a identificao e descrio dos
fatores contextuais externos ao programa, que no esto sob controle
(governabilidade) e que podem influenciar positiva e negativamente os
seus resultados e impactos. preciso examinar as condies externas
sob as quais um programa implementado e definir como estas podem
afetar os outputs, outcomes e impactos.

5) Anlise de Custo-benefcio corresponde estimao dos benefcios
tangveis e intangveis de um programa e os custos de sua realizao.
Por exemplo, num programa de alfabetizao, os benefcios tangveis
seriam a reduo do analfabetismo, o aumento da escolarizao
global, etc. Os benefcios intangveis seriam o aumento da auto
estima, do exerccio da cidadania, etc.


Recursos
(inputs)

Atividades

Outputs
Outcomes de
curto prazo e
intermedirios

Impactos
18
Aps serem identificados, tantos os custos como os benefcios devem
ser transformados em uma medida comum, geralmente uma unidade
monetria. Evidentemente, h custos que so imensurveis do ponto
de vista tico. Porm, ainda assim til tentar transforma-los em
medidas. Por exemplo, sempre vlido o esforo de estimar o custo da
violncia e/ou o custo da misria, em termos objetivos, de modo a
mostrar como so vantajosas as medidas de mitigao.

Uma variante desta anlise a de custo-efetividade, na qual somente
os custos so estimados em unidades monetrias. Os benefcios so
expressos de alguma outra forma quantitativa. Por exemplo:

Num programa de distribuio de renda a famlias com crianas
carentes o custo-efetividade pode ser expresso da seguinte forma:
cada R$ 1.000,00 dispendidos pelo programa aumentam os nveis de
escolaridade, na mdia, em 1 ano para cada 100 crianas.

importante ter claro que todo programa ou projeto pode apresentar
efeitos colaterais ou externalidades, ou conseqncias no
pretendidas, que podem ser benficas ou prejudiciais. Tais efeitos
devem ser includos na anlise.

6) Mapeamento Cognitivo uma tcnica de coleta de dados adequada
tanto formulao de polticas/programas quanto sua anlise.
um instrumento para saber como os indivduos percebem a operao
de uma poltica/programa ou projeto. Possibilita (a) visualizar e
esclarecer as percepes dos informantes no momento de coleta de
dados; (b) focalizar os pontos fortes e as fraquezas do programa; (c)
focalizar as percepes sobre os outcomes e impactos dos programas;
(d) compreender os problemas a partir da perspectiva das pessoas
envolvidas e afetadas pelo programa examinado.

O Mapeamento Cognitivo compreende os seguintes passos:

(1) Identificar os atores que tem maior influncia ou que so mais
afetados pelo programa examinado.

(2) Realizar sesses de brainstorming com esses atores,
individualmente ou em grupos focais, de modo a formar um
quadro de como eles percebem o programa em termos de:
interesses, incentivos, operao, vantagens, fragilidades, outputs,
outcomes, impactos.

(3) Com a participao dos entrevistados, inicia-se um esforo de
ordenar e representar graficamente suas vises. O resultado deve
ser um mapa lgico apontando os fatores que exercem influncia
19
sobre o funcionamento do programa. Quando so identificadas
dificuldades, deve-se solicitar aos informantes que digam sob que
condies tais dificuldades podem ser consideradas aceitveis ou
como podem ser solucionadas.

(4) Analisar o mapa completo com o foro na identificao de
vantagens e desvantagens, lacunas e superposies
recorrentemente apontadas pelos diversos informantes.

7) Mystery Shopping uma estratgia observacional, baseada no
princpio de que a melhor maneira de avaliar a qualidade de um
servio ou de compreender os seus efeitos sobre os usurios
experimentar a condio de usurio daquele servio. O que a
diferencia de qualquer outra forma de observao participante o fato
de que o avaliador no revela a sua identidade ou condio. Esta
estratgia requer bastante cuidado na seleo da amostra para
assegurar que os locais visitados sejam representativos.


8) Avaliao de Impacto Social trata-se de um conjunto de estratgias
destinadas a isolar e mensurar as conseqncias dos resultados
obtidos com as polticas, programas ou projetos. Um dos grandes
desafios da Avaliao de Impacto conseguir isolar, em uma situao
especfica, as mudanas "naturais" - por assim dizer - e as mudanas
provocadas, ou seja: (i) resultantes de uma determinada
interveno, cujo impacto se pretende avaliar; e (ii) resultantes de
outras intervenes.

Na tentativa de responder a este desafio podem ser adotados trs
mtodos para avaliar impacto social. O primeiro baseia-se numa
abordagem sincrnica. Significa, basicamente, identificar um
conjunto de situaes reais comparveis (S), dotadas de
caractersticas similares ou equivalentes, de acordo com as variveis
selecionadas para a anlise de impacto. Em seguida, separa-se dois
subconjuntos: o primeiro (S1), composto por situaes onde se
pretende realizar intervenes; o segundo (S2), constitudo de
situaes onde isso no ocorre. A seguir, tendo incio as intervenes
(X), acompanha-se, nos dois subconjuntos, sob perspectiva
comparativa, o comportamento das variveis selecionadas. Este
mtodo, de lgica sincrnico-comparativa, tambm denominado
"acompanhamento de impactos".

Anlise sincrnico-comparativa: acompanhamento de impactos
S1: T1 ...X...Tn --------------------------- S2: T1 ...Tn

20

Outro mtodo envolve a abordagem diacrnica. Significa identificar
uma ou mais situaes-objeto de intervenes. Realiza-se uma
descrio/mensurao/caracterizao de cada uma das situaes
(diagnstico) no momento imediatamente anterior interveno
(Tzero), a partir das variveis selecionadas para a anlise de impacto.
Em seguida, examina-se os diversos aspectos da interveno (X). E,
por fim, compara-se o comportamento das variveis em Tzero com o
seu comportamento em um momento dado, aps a interveno (T1).
Nesse caso, preciso dispor, primeiro, de um diagnstico adequado
quanto a Tzero; e segundo, de capacidade de isolar outras
intervenes que no aquela cujos impactos se pretende medir, de
modo a evitar intervenincias. Este mtodo conhecido como
"diagnstico de impactos".


Anlise diacrnica: diagnstico de impactos
X
Tzero----------------------------T1


O terceiro mtodo equivale, por assim dizer, a uma combinao dos
dois anteriores. Permite comparar situaes similares para realizar
previses para o futuro. Se as situaes examinadas compem reas
relativamente prximas ou contguas, permite avaliar o alcance
(extenso no espao) dos impactos. E permite re-examinar situaes
de interveno para avaliar quais foram os impactos efetivos, de modo
a medir a consistncia entre o impacto previsto e o impacto efetivo.
o que se entitula anlise de controle de impactos e anlise
prospectiva.

Anlise prospectiva: controle e previso de impactos
X X X
S1:Tzero-------------- T1 -------------- T2-------------- T3

S2:Tzero-------------- T1 -------------- T2-------------- T3
(passado) (presente) (futuro) (futuro distante)


Qualquer que seja o mtodo adotado, entretanto, a primeira tarefa, para
a Avaliao de Impacto Social , sempre, selecionar as situaes a serem
examinadas. Os critrios bsicos de seleo so similaridade e
comparabilidade. Tais critrios compreendem algumas dimenses-chave
que devem ser contempladas:

21
(1) unidade scio-espacial de anlise (municpio, assentamento, etc), pois
cada um destes possui diversas caractersticas prprias; por exemplo, o
grau de autonomia e de complexidade de um municpio muito distinto
do de um bairro, e assim por diante. Isto no significa que s se possa
analisar um tipo de unidade, mas que devem ser selecionados vrios
exemplares de cada tipo, de maneira a permitir a comparao intra-tipos
e entre-tipos.

(2) caractersticas geogrficas e scio-culturais similares. Vale a mesma
observao feita quanto s unidades de anlise.

(3) projetos de magnitude, metodologia, tipo e finalidades (resultados)
similares. Observe-se que deve-se compatibilizar esta dimenso (3) com
as dimenses (1) e (2). Como princpio metodolgico deve-se compor
grupos homogneos tanto quanto possvel - de situaes a serem
analisadas, combinando-se estas trs dimenses, que se referem
natureza da comunidade e do projeto.

As duas outras dimenses referem-se aos dados disponveis para anlise:
(4) bases de dados com datas similares (horizonte de tempo coberto,); (5)
fontes de dados comparveis (variveis e categorias compatveis).


A segunda tarefa, na avaliao de impacto social, selecionar a(s)
perspectiva(s) de anlise, porque isso estabelece a referncia para a
elaborao/seleo dos indicadores. Vale assinalar que a clara definio
da perspectiva de anlise essencial, porque os impactos sociais podem
variar conforme diversas dimenses.

Para comear, podem variar quanto escala. Por exemplo, uma
determinada interveno pode gerar 50 ou 1000 empregos, etc. Pode
alterar a produtividade de uma certo tipo de cultivo em 1% ou em 500%.
Isto exemplifica a variao de escala do impacto obtido.

Os impactos sociais igualmente podem variar em intensidade. Por
exemplo, uma interveno pode transformar radicalmente os padres de
vida, hbitos e comportamentos de um grupo ou populao ou mud-los
apenas marginalmente.

Os impactos sociais variam, tambm, conforme a extenso no espao. Ou
seja, determinadas intervenes tm impacto localizado, outras tm
desdobramentos sobre reas contguas, mais ou menos amplas,
alterando a distribuio da populao, provocando migraes, etc.

Os impactos sociais variam, ainda, quanto durao no tempo. Vale
dizer, uma interveno pode gerar empregos em uma rea durante curto
22
perodo de tempo, podendo atrair trabalhadores temporrios, etc, at se
esgotar. Outras tm impacto de maior durao pois geraram atividades
econmicas dotadas de sustentabilidade, de modo que, quando a
interveno se esgota, persistem seus efeitos, que geram novos impactos,
e assim por diante. Esta dimenso especialmente delicada para a
anlise de impacto social, havendo analistas que afirmam que somente
podem ser efetivamente avaliados os impactos de curta durao, j que
impossvel isolar os demais.

Ademais, os impactos sociais variam quanto cumulatividade. Ou seja,
podem expressar mudanas que se reforam mutuamente ou, ao invs,
que se neutralizam umas s outras. Por exemplo, sabe-se que renda e
sade, interagem e geram impactos cumulativos sobre a qualidade de
vida. Mas tambm sabe-se que determinados programas de gerao de
emprego neutralizam os ganhos em sade porque contm externalidades
como atividades de risco, deteriorao ambiental, etc, que geram efeitos
negativos sobre a qualidade de vida.

Finalmente, os impactos variam quanto sua racionalidade. Neste caso,
inclui-se um componente de valor que a desejabilidade de um impacto
frente aos seus custos, s suas possveis consequncias e capacidade
do planejador de prever estas ltimas. Assim, tem-se as seguintes
possibilidades:

IMPACTOS Desejveis Indesejveis
Previstos Atendem aos objetivos Custos e renncias para
atingir os objetivos
No Previstos Ganhos em escala,
excedem positivamente os
objetivos
Externalidades e efeitos
perversos



Cuidados para assegurar a qualidade da avaliao

A avaliao formal no possui uma metodologia especfica. Pode
lanar mo de um conjunto de mtodos de diagnstico e anlise, de
tcnicas de coleta de dados como surveys, observao, entrevistas em
profundidade, individuais ou em grupos focais; e de instrumentos como
questionrios, formulrios, roteiros de observao, etc. A experincia tem
ensinado que a avaliao ganha preciso quando recorre a dados
quantitativos e qualitativos, combinando abordagens em extenso e em
profundidade. Por outro lado, a mesma experincia tem mostrado que h
alguns cuidados imprescindveis qualidade das avaliaes.

23
1) Incorporao da avaliao ao processo regular de planejamento,
sendo assumida como disciplina pelos stakeholders.

2) Julgamento de avaliabilidade. Trata-se de um estudo exploratrio a
ser efetuado antes de comear a avaliao. Nem todos os
programas esto prontos para ser avaliados. O objetivo deste
estudo definir o que precisa ser feito para preparar o programa
para ser avaliado e identificar os aspectos/questes que requerem
ateno.

3) Definio dos objetivos da avaliao, claramente; e escolher o tipo
de avaliao adequada a tais objetivos.

4) Identificao e incluso dos stakeholders quem afetado pela
poltica/programa, desde os gestores at os usurios finais como
interlocutores.

5) Identificao da teoria que orienta a poltica ou programa a ser
avaliado. Seja o marco lgico ou outro modelo qualquer,
necessrio definir uma teoria ou modelo que indica as condies e
aes necessrias para a poltica ou programa funcionar.

6) Identificao e teste dos mtodos, que devem ser consistentes com
os objetivos e tipo de avaliao a ser realizada.

7) Apresentao de recomendaes prticas, claras, exeqveis e
consistentes com os custos e benefcios esperados.


Bibliografia:
ALA-HARJA, M. & HELGASON, S. Em direo s melhores prticas de avaliao.
RSP. No. 4, 2000.

BOZZI, S. Ospina. Evaluacion de la gestion pblica: conceptos y aplicaciones en el caso
latinoamericano. RSP, no. 1, 2001

BURDGE. R. J. A Conceptual Approach to Social Impact Assessment. Collection of
Writings by Rabel J. Bordge and Colleagues. Social Ecology Press. Middletan.
Wisconsin. 1998

COTTA, Tereza. Metodologias de Avaliao de Programas e Projetos Sociais: anlise de
resultados e de impacto, RSP, no 2, ab-jun 1998.

GONI, E. Zapico. La integracion de la evaluacion de polticas publicas en el proceso
presupuestario. RSP, no. 2, 2001.

24
RUA, M.G. "As Polticas Pblicas e a Juventude dos Anos 90" in CNPD (Comisso
Nacional de Populao e Desenvolvimento), Jovens Acontecendo na Trilha das Polticas
Pblicas, Braslia 1998, pp. 731-752.

RUA, M.G. et all.Evaluation of Preventive Actions against STDs/AIDS and Drug Abuse
in Elementary and High Schools in Brazilian Capitals, Brasilia: UNESCO/UNDCP,
2001. (Com Miriam Abramovay)H verso em portugus.

RUA, M.G. et all. Avaliao de Situao: Programa SESI-Educao do Trabalhador,
Servio Social da Indstria, Departamento Nacional.Braslia, 1999. (Com Miriam
Abramovay)

RUA, M.G. et all. Avaliao de Impacto: Programa de Capacitao em Gesto Social,
Casa Civil da Presidncia da Repblica, mimeo, 1998. (Com Miriam Abramovay)

THOENING, JC. A avaliao como conhecimento utilizvel para reformas de gesto
pblica. RSP, 2, 2000.

WALKER, R. K. Impacting Social Problems. Writing and Evaluating International
Development Projects. EMAD. Brasilia, 2000.