ESTUDO TCNICO N.

07/2013

Monitoramento e avaliao de programas sociais no Brasil e Amrica Latina: apontamentos conceituais, consideraes metodolgicas e reflexes sobre as prticas
MINISTRIO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME SECRETARIA DE AVALIAO E GESTO DA INFORMAO SALA 3

MINISTRIO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME SECRETARIA DE AVALIAO E GESTO DA INFORMAO ESPLANADA DOS MINISTRIOS BLOCO A SALA 307

CEP 70054-960 BRASLIA DF TEL. 61 2030 1501

Estudo Tcnico No. 07/2013 Monitoramento e avaliao de programas sociais no Brasil: apontamentos conceituais, consideraes metodolgicas e reflexes sobre as prticas

Responsvel tcnico pelo estudo Paulo de Martino Jannuzzi

Estudos Tcnicos SAGI uma publicao da Secretaria de Avaliao e Gesto da Informao (SAGI) criada para sistematizar notas tcnicas, estudos exploratrios, produtos e manuais tcnicos, relatrios de consultoria e reflexes analticas produzidas na secretaria, que tratam de temas de interesse especfico do Ministrio de Desenvolvimento Social e Combate Fome (MDS) para subsidiar, direta ou indiretamente, o ciclo de diagnstico, formulao, monitoramento e avaliao das suas polticas, programas e aes. O principal pblico a que se destinam os Estudos so os tcnicos e gestores das polticas e programas do MDS na esfera federal, estadual e municipal. Nesta perspectiva, so textos tcnico-cientficos aplicados com escopo e dimenso adequados sua apropriao ao Ciclo de Polticas, caracterizando-se pela objetividade, foco especfico e tempestividade de sua produo. Futuramente, podem vir a se transformar em artigos para publicao: Cadernos de Estudos, Revista Brasileira de Monitoramento e Avaliao (RBMA) ou outra revista tcnica-cientfica, para alcanar pblicos mais abrangentes.

Palavras-chave: Avaliao; Monitoramento; Polticas Pblicas Unidade Responsvel Secretaria de Avaliao e Gesto da Informao Esplanada dos Ministrios | Bloco A | Sala 307 CEP: 70.054-906 Braslia | DF Fone: 61 2030-1501 | Fax: 2030-1529 www.mds.gov.br/sagi Secretrio de Avaliao e Gesto da Informao Paulo de Martino Jannuzzi Secretria Adjunta Paula Montagner

Apresentao
O presente Estudo Tcnico apresenta uma discusso conceitual e metodolgica no campo de Monitoramento e Avaliao, alm de reflexo sobre as experincias prticas no Brasil e outros pases da Iberoamrica. Traz subsdios para especificao e estruturao de painis de indicadores de monitoramento e pesquisas de avaliao de programas sociais1.

1.

Introduo
O processo de estruturao de Sistemas de Monitoramento e Avaliao

(SM&A) de Polticas, programas ou mais amplamente, da ao governamental um empreendimento complexo, como bem e extensamente revelam a literatura internacional sobre o tema e as experincias vivenciadas e muitas vezes sofridaspor que passam os gestores e tcnicos pblicos que procuram coloc-los em p. Afinal, um SM&A pode ser entendido, em um sentido lato, como o conjunto de atividades articuladas, sistemticas e formalizadas de produo, registro, acompanhamento e anlise crtica de informaes geradas na gesto de polticas pblicas, de seus programas, produtos e servios, por parte das organizaes, agentes e pblico-alvo envolvidos, com a finalidade de subsidiar a tomada de deciso com relao aos esforos necessrios para a melhoria da ao pblica. Se trata, por tanto, de um conjunto de atividades inerentes ao ciclo de gesto e produo das Polticas Pblicas, direcionadas sistematizao de informao acerca dos aspectos considerados crticos para o xito dos programas. Ademais de prover informao para anlise das entregas de produtos e servios e para a correo de eventuais falhas da ao governamental, os SM&A tambm se destinam a gerar conhecimentos a respeito dos impactos das polticas e programas, assim como de custos de produo dos mesmos. Sistemas de M&A seriam, portanto, instrumentos importantes para garantir maior transparncia da
1

Este texto uma reviso ampliada de outro, entitulado Estruturao de sistemas de monitoramento e especificao de pesquisas de avaliao, os problemas dos programas pblicos no Brasil so, desenvolvido para uso no Curso de Evaluacin de Programas no mbito da Escuela Iberoamericana de Administracin y Polticas Pblicas, no ms de agosto de 2010 em Braslia, promovido pelas Escola Nacional de Administrao Pblica.

forma de utilizao dos recursos pblicos e para subsidiar decises sobre o mrito e relevncia das polticas y programas na repartio oramentria. Os SM&A podem se diferenciam segundo vrios critrios, como discutem MacDavid&Hawthorne (2006), Mackay (2007), Owen (2007), Cunill y Ospina (2008). Podem ser mais dirigidos melhoria interna de programas, gesto e deciso oramentrias ou prestao de contas da ao governamental ao parlamento ou sociedade. O alcance conceitual e programtico dos sistemas de M&A podem ser macro-contextual quando fazem referncia a polticas ou estratgias de governo; meso-contextual quando dirigidas ao acompanhamento gerencial e analtico de programas e organizaes; e mesmo micro-ambiental quando a nfase da avaliao recai sobre indivduos, processos o produtos muito especficos. Podem ainda abarcar a integralidade de aes de governo, algumas reas setoriais ou um conjunto seletivo de projetos prioritrios. Dependendo de onde esto localizados (Ministrio da Fazenda, Ministrio de Planejamento, Ministrios setoriais, assessorias de altos dirigentes, Casa Civil, rgo de controle interno ou externo) e da cultura existente em M&A no governo, estes sistemas podem dispor de um conjunto mais amplo ou restrito de ferramentas e produtos: mapas estratgicos, balanos de gesto, sistemas informatizados, indicadores de desempenho, indicadores de polticas e programas, painis de indicadores, painis situacionais, pesquisas de satisfao, desenhos experimentais ou quasi-experimentais, grupos focais, entre outros. Como se v, a estruturao de sistemas de M&A envolvem decises de natureza poltica, administrativa e tcnica. Aportar reflexes sobre esse ltimo aspecto o que este texto se prope. Mais especificamente, este texto busca trazer alguma contribuio de natureza conceitual e metodolgica para ajudar na estruturao dos sistemas de monitoramento e na especificao de pesquisas de avaliao que realmente se prestem ao objetivo de permitir o seguimento contnuo e aperfeioamento efetivo da ao governamental e, mais propriamente, a gesto de programas sociais, a partir da perspectiva de um Ministrio setorial (ou rgo equivalente, voltado a um campo especfico da Poltica Social).

Inicia-se com uma discusso sobre os desafios da legitimao e estruturao que os SM&A vem passado no Brasil e outros pases. Depois, faz-se uma exposio do ciclo de formulao e avaliao de polticas pblicas e programas, para, em seguida, discutir as especificidade dos sistemas de indicadores de monitoramento e das pesquisas de avaliao; de como e devem se integrar. Este texto parte da hiptese de que as dificuldades apontadas no monitoramento e avaliao de programas no Brasil e as frustraes da decorrentes so consequncia, em boa medida, de desenvolv-los seguindo modelos e prescries muito particulares e padronizados, sem a devida customizao que deveriam ter em funo do estgio de maturidade dos programas ou do momento do ciclo de vida em que eles se encontram , ou ainda de conduzi-los sem uma anlise prvia do grau de avaliabilidade dos programas e sem uma compreenso de que essas atividades se integram a processos mais amplos, e igualmente importantes, da gesto de programas. Forando um pouco o argumento para torn-lo mais claro ainda que em prejuzo do reconhecimento do esforo meritrio e do trabalho competente observado em diversos setores da administrao pblica brasileira , o fato que as lacunas de formao e o pouco domnio de conceitos e tcnicas no campo de monitoramento e avaliao, na comunidade de gestores, acabam trazendo problemas na especificao dos instrumentos de monitoramento e avaliao das aes governamentais. Isso leva s conhecidas frustraes com resultados to ansiosamente esperados e aos questionamentos sobre a utilidade dos estudos. Explicitando melhor a motivao para elaborao desse texto agora, sob o risco de simplificar demais a natureza e minimizar o alcance dos estudos avaliativos conduzidos por colegas pesquisadores nas universidades e centros de pesquisa no pas , a abordagem marcadamente disciplinar da pesquisa aplicada no campo, a sobrevalorizao de algumas abordagens e modelos especficos de avaliao, o desconhecimento do contexto de operao da ao pblica e da forma com que os resultados dos estudos podem ser usados mais efetivamente pelos gestores tambm contribui para conformao de tal quadro. Este texto procura, assim, em uma perspectiva modesta em substncia, mas comprometida no seu sentido pblico, contribuir para melhoria na especificao da demanda de instrumentos de

monitoramento e pesquisa de avaliao por parte da comunidade de gestores pblicos e na estruturao dos servios a serem oferecidos pela comunidade de pesquisadores acadmicos e profissionais.

2. O monitoramento e a avaliao no Brasil e Iberoamrica: um campo em processo de legitimao e estruturao

A crescente atuao do Estado Brasileiro e de diversos pases da Iberoamerica na promoo de polticas sociais, em especial a partir da Constituio Federal de 1988 (no caso do Brasil), tem sido acompanhada, com alguma defasagem, do aprimoramento da capacidade de formulao e avaliao de programas pblicos no pas. De modo geral, os estudos de avaliao de demandas sociais, os diagnsticos propositivos para intervenes especficas, os sistemas de indicadores de monitoramento e as pesquisas de avaliao de programas vm se tornando mais consistentes e presentes no cotidiano dos gestores pblicos, ainda que em um ritmo menos veloz que o necessrio e de forma bastante desigual pelas esferas de governo e regies do pas. Em que pesem os avanos na capacidade de gesto de programas, ainda so expressivos os contrastes que se podem observar, por exemplo, no acompanhamento dos programas na rea da sade e na rea da qualificao profissional, ou entre equipes de gestores do governo federal e tcnicos de prefeituras de pequenos municpios no interior do pas. H mesmo quem diga nos crculos acadmicos e nas diferentes esferas da administrao pblica que no por falta de estudos, diagnsticos e indicadores que os programas sociais no conseguem alcanar os resultados e impactos esperados no Brasil. Afinal, fato que centros de pesquisa, universidades, empresas de consultoria e equipes de tcnicos do setor pblico tm produzido, de forma sistemtica ou por meio de projetos contratados, um amplo conjunto de trabalhos, artigos e estudos sobre diferentes aspectos da realidade social, referidos direta ou indiretamente ao contexto de operao dos vrios programas pblicos. Entretanto, tambm verdade que muitos desses trabalhos, mesmo os contratados para subsidiar a formulao de programas especficos, acabam se revelando como diagnsticos descritivos bastante gerais, aplicveis a diferentes programas sociais,

com contribuies certamente relevantes, mas desprovidas de informaes mais particulares e customizadas para formatao de aes pblicas mais dirigidas, no grau que se requer atualmente. Nos diagnsticos contratados pelo setor pblico, contribuem para isso, sem dvida, as imprecises ou lacunas dos termos de referncia que espelham, muitas vezes, a falta de clareza dos objetivos e natureza do programa pblico a ser implementado, fato decorrente, por sua vez, das deficincias de formao do gestor pblico e a exiguidade de tempo e recursos para realizao de levantamentos de campo especficos. Nesse contexto, acabam se justificando estudos diagnsticos mais gerais, baseados em trabalhos anteriores e em fontes de dados e pesquisas j disponveis. Tambm preciso reconhecer as limitaes das pesquisas de avaliao de programas pblicos como fontes de informao para readequao dos programas existentes ou proposio de novos. Nas avaliaes de impacto, as constataes empricas acerca da efetividade dos programas so, no raras vezes, ambguas ou pouco consistentes. Nos casos em que se adotam delineamentos metodolgicos quasi-experimentais, as condies para garantir a validade interna dos estudos acabam por inviabilizar a apropriao e a generalizao dos resultados para avaliaes mais abrangente de programas (WORTHERN et al., 2004). Vrios estudos avaliativos focados no processo de implementao dos programas acabam tendo baixo poder de generalizao devido s lacunas de conhecimento sobre as atividades desenvolvidas e o papel dos agentes institucionais envolvidos nos programas, seja pelas limitaes ou inexistncia de sistemas de informaes de monitoramento, seja pelas decises metodolgicas quanto s tcnicas, amostras e casos investigados, muitas vezes escolhidos mais em funo dos prazos e recursos disponveis do que pelas perguntas as quais se quer responder. Avaliaes voltadas anlise da consistncia terica e do desenho lgico de programas que poderiam gerar conhecimento mais generalizvel na rea so menos frequentes ou, pelo menos, menos conhecidas do que outros tipos de estudos avaliativos no pas. Enfim, em que pesem os avanos na rea, preciso reconhecer que a insatisfao com os estudos avaliativos ainda mais frequente do que o desejvel. Como j revelava Cotta h mais de dez anos:

As metodologias de avaliao de programas sociais tm sido objeto de severas crticas. Basicamente, afirma-se que, na prtica, as avaliaes no subsidiam o processo decisrio porque seus resultados so inconclusivos, inoportunos e irrelevantes. Inconclusivos em funo das prprias limitaes deste tipo de estudo, inoportunos devido morosidade do processo avaliativo e irrelevantes porque no respondem s demandas informacionais de todos os agentes sociais afetos interveno. (COTTA 1998, p.118).

Situao semelhante parece ter passado os Estados Unidos (EUA) nos anos 1970, a julgar pelo relatrio do General Accounting Office que, mobilizado por demanda do Senado americano em 1974, constatou que as informaes das pesquisas sociais e estudos avaliativos financiados com recursos pblicos no

contribuam para o desenho das polticas pblicas, pela disperso e fragmentao de temas investigados, falta de coordenao e orientao do que era de interesse governamental investigar, dificuldade de acesso e compreenso dos relatrios de pesquisas(GAO 1977). Mesmo mais recentemente tm-se constatado limitaes e problemas nos estudos avaliativos de programas pblicos nos EUA, s vezes com desdobramentos at piores que os descritos por Cotta. De fato, como colocam Worthern et al. (2004):
De vez em quando, uma avaliao mal concebida ou mal executada produz informaes que, no melhor dos casos, seriam enganosas e, no pior, absolutamente falsas. Embora essas ocorrncias sejam raras, podem causar problemas graves. Como geralmente tem ar de respeitabilidade, essas avaliaes no costumam ser questionadas, e o resultado que decises importantes sobre programas e servios essenciais baseiam-se inadvertidamente em informaes falaciosas. (WORTHERN et al., 2004, p.44).

Conspiram para conformao de tais problemas, entre tantos fatores, a crena desmesurada na capacidade de antecipao e implementao de programas por parte de tcnicos de alto escalo que, ao no incorporar a contribuio de agentes envolvidos no trabalho, acabam por desenhar processos e rotinas que desconsideram as distintas realidades de operao dos programas. Esse

tecnocratismo ingnuo invariavelmente esquece-se das dificuldades de articulao e colaborao dos trs nveis de governo ou de pastas sociais em uma mesma esfera e das diferenas de capacidade de gesto e controle social pas afora. To ou mais grave, tambm desconsidera a heterogeneidade socioeconmica da populao

demandante na formulao dos programas, considerando-a como nico pblicoalvo, para o qual se deve disponibilizar um mesmo conjunto de servios, de Norte a Sul, do centro periferia das cidades. Assim, com problemas nas fases iniciais do ciclo de gesto de programas no reconhecimento das questes sociais e no desenho das intervenes idealizadas para mitig-los no se poderiam esperar resultados, de fato, impactantes. Desconhecimento sobre o estgio de avaliabilidade dos programas outro fator a minar a credibilidade dos instrumentos de monitoramento e avaliao. A prematuridade na encomenda de estudos avaliativos de resultados e impactos, quando se sabe que o programa ainda se encontra em fase de implantao ou com problemas de gesto; e a antecipao de avaliaes externas, com natureza mais de auditoria em detrimento de avaliaes de carter mais formativo, conduzidas

internamente e voltadas ao aprimoramento incremental do programa so problemas mais frequentes do que se poderia esperar. So aportados volumes significativos de recursos em pesquisas de avaliao, procurando garantir representatividade amostral de resultados em nvel nacional, esquecendo-se de estruturar painis ou sistemas de indicadores de monitoramento que com todas as limitaes de cobertura, mas com a tempestividade devida permitiriam identificar boa parte dos problemas em tempo de serem corrigidos. De fato, um dos achados sistemticos das avaliaes de programas realizadas pelo Tribunal de Contas da Unio a inexistncia de sistemas de informao para acompanhamento das atividades dos programas. ilustrativa, nesse sentido, a constatao, , reproduzida a seguir, acerca da avaliao do Programa Nacional Biblioteca na Escola (PNBE), operado pelo Fundo Nacional de Desenvolvimento Escolar (FNDE) do Ministrio da Educao (MEC), com objetivo de distribuir acervo de livros para formao de bibliotecas nas escolas.
O trabalho constatou que o FNDE tem mostrado grande eficcia operacional na distribuio dos acervos do Programa para as escolas beneficiadas. Foram atendidas 20 mil escolas em 1998 e 36 mil em 1999, com previso de atendimento de 139 mil escolas em 2002. Todavia, tambm se verificou que o PNBE no tem atividades de monitoramento e avaliao bem estruturadas. O MEC no dispe de informaes que permitam conhecer o nvel de utilizao dos acervos, bem como os problemas que podem estar afetando a efetividade do uso dos livros no desenvolvimento escolar dos alunos nas escolas beneficiadas. Tal

fato mais preocupante justamente no momento em que aumenta a escala de atendimento do Programa. (TCU, 2002, p.10).

Para isso, contribui o estgio ainda incipiente do conhecimento do campo aplicado de monitoramento e avaliao de programas no Brasil, seja dentro da estrutura pblica, seja nas universidades e nos centros de pesquisa. Enquanto nos EUA e em pases europeus desenvolvidos a cultura de avaliao de programas j se encontra em estgio maduro, depois de mais de trs ou quatro dcadas de desenvolvimento, com marcos conceituais abrangentes e testados, com profissionais com formao multidisciplinar e com instituies especializadas, no Brasil, a institucionalizao do campo bem mais recente. Como comentam Worthern et al. (2004), a cultura de monitoramento e avaliao de programas nos Estados Unidos assim como os instrumentos de planejamento e programao oramentria comeou a se fortalecer nos anos 1960 no Governo Lyndon Johnson, quando da estruturao de vrios programas sociais em nvel federal, no contexto do que se denominou Great Society, e da necessidade, portanto, de garantir melhor gesto dos programas pblicos naquele pas. Rossi et al. (2004) identificam esforos sistemticos em avaliao de programas sociais norteamericanos, j a partir da dcada de 1930, como desdobramento do papel

crescente do Estado americano no financiamento de servios sociais (respondendo aos efeitos da crise de 1929). A avaliao de programas, que se concentrava, inicialmente, nas reas de educao (sobretudo na investigao de programas de alfabetizao), de sade pblica (nas aes de combate mortalidade por doenas infecto-parasitrias) e de qualificao profissional, passa, no ps-guerra, a abranger reas como preveno da violncia juvenil, planejamento familiar, programas habitacionais, desenvolvimento rural. No entanto, nos anos 1960, o campo da avaliao de programas passa por um boom, com a ampliao dos programas sociais, como j mencionado, e tambm, como lembram Rossi et al. (2004), com o avano e a disseminao das tcnicas aplicadas da pesquisa social, desenvolvidas nas universidades americanas. Ao contrrio do que se poderia imaginar, nas dcadas seguintes, a nfase na desregulamentao e descentralizao da prestao de servios pblicos e no questionamento sobre a pertinncia e o tamanho dos programas sociais nos nutrio,

governos republicanos conservadores, que assumiram o poder mais tarde, acabou por valorizar a prtica da avaliao, ao disseminar a cultura de monitoramento e avaliao para governos estaduais, municipais e organizaes no governamentais. Afinal, mesmo um estado regulador requer instrumentos de medio de resultados para acompanhar a prestao dos servios financiados com recursos pblicos, at para justificar, com alguma base tcnica e transparncia, a

descontinuidade de programas sociais ineficazes e redirecionar os gastos para outras reas (como para os despesas militares da Guerra do Vietn, no governo Nixon, e para defesa militar no Governo Reagan). Respondendo a essas demandas, comentam os autores que, nos anos 1970, so estruturados cursos de psgraduao, de natureza disciplinar e, mais tarde, multidisciplinar, com forte nfase em tcnicas de pesquisa (quantitativas e qualitativas), abrindo a possibilidade para criao de uma comunidade profissional de avaliadores2. A avaliao de programas deixaria de ser preocupao apenas de cientistas sociais, em temas de pesquisas acadmicas nas universidades, ganhando projeo e interesse na comunidade de gestores pblicos como instrumento para aprimoramento dos servios pblicos. Essa mudana qualitativa da produo e apropriao de conhecimentos na rea que parece se processar neste momento no Brasil muito bem registrada pela seguinte passagem de Rossi et al. (2004):
In its early years, evaluation was shaped mainly by the the interests of social researchers. In later stages, however, the consumers of evaluation research exercised a significant influence on the filed. Evaluation in now sustained primarily by funding from policymakers, program planners, and administrators who use the findings and by the interests of general public and the clients of the programs evaluated. Evaluation results may not make front-page headlines, but they are often matters of intense concern to informed citizens, program sponsors, and decision makers, and those whose lives are affected, directly or indirectly, by the programs at issue. (ROSSI et al., 2004,p.9).

No caso brasileiro, atualmente, parte significativa da avaliao de programas pblicos tem sido realizada por equipes de centros de pesquisa e universidades, com boa experincia em anlise de macropolticas, conjuntura social ou projetos de
2

Vide, por exemplo, as publicaes, eventos e sites das associaes profissionais ou acadmicas de avaliao nesses pases, entre os quais: American Evaluation Association (www.eval.org); Canadian Evaluation Society (www.evaluationcanada.ca); European Evaluation Society (www.europeanevaluation.org); e Societ Franaise dEvaluation (www.afe.asso.fr).

pesquisa acadmicos, mas, em geral, sem experincia na implementao real de programas e sem reunir o conhecimento multidisciplinar requerido para abordagem dos problemas complexos em que os programas procuram atuar3 .No h dvidas de que, em geral, essas avaliaes de programas contam com equipes competentes no emprego das boas prticas da pesquisa social e no uso rigoroso de tcnicas quantitativas e qualitativas de coleta e anlise de dados. Como nas pesquisas acadmicas, fundamental garantir o rigor metodolgico nos estudos avaliativos, para permitir conhecimento mais circunstanciado dos problemas, as solues idealizadas para mitig-los e para conferir legitimidade tcnica-cientfica na avaliao da ao governamental. Mas, como j alertado em um dos primeiros manuais abrangentes de avaliao de programas no incio dos anos 1970, programas sociais so objetos de pesquisa inerentemente difceis de serem tratados, pelo ambiente muitas vezes inspito e pouco colaborativo, pelo contexto poltico menos ou mais favorvel, pela natureza fugidia das perguntas e questes que so demandadas ao avaliador responder, pela menor ou maior disponibilidade de dados, pelo tempo e recursos disponveis para conduzir anlises mais consistentes (Weiss, 1972). Em manuais mais recentes, como os j citados de Worthern et al. (2004) e Rossi et.al. (2004), recomenda-se que os estudos avaliativos sejam realizados por pesquisadores com conhecimento tcnico e metodolgico apropriado temtica em questo, mas tambm com experincia emprica anterior e, sobretudo, com desprendimento para inovar e improvisar nas diversas circunstncias e dificuldades que insistem em aparecer no cotidiano prtico da rea. No incomum, pois, que
3

De fato, no Brasil, os trabalhos de avaliao de programas pblicos e seus autores encontram-se dispersos pelas principais associaes cientficas disciplinares, tais como: Anpad (administrao e administrao pblica); Anpec (economia); Anpocs (cincias sociais); Anped (educao); Abep (estudos populacionais); Abet (estudos do trabalho); Abrasco (sade coletiva). Vale destacar alguns dos principais peridicos em que se pode encontrar estudos avaliativos: Revista do Servio Pblico; Revista Brasileira de Cincias Sociais; Revista de Administrao Pblica; Revista So Paulo em Perspectiva; Textos de Discusso (Ipea); Planejamento e Polticas Pblicas; Pesquisa de Planejamento Econmico; Texto de Discusso Ence, entre outros (alguns desses peridicos esto disponveis no portal www.scielo.br. A partir dos anos 2000, foram criados espaos mais multidisciplinares para discusso e apresentao de estudos de avaliao de polticas pblicas, entre eles a Associao Brasileira de Avaliao Educacional (www.abave.org.br); a Rede Brasileira de Monitoramento e Avaliao (http://redebrasileirademea.ning.com); o portal Polticas Pblicas em Foco (www.boletimfundap.cebrap.org.br), mantido pela Fundap e Cebrap ; o stio do Tribunal de Contas da Unio (www.tcu.gov.br) e da Controladoria-geral da Unio (www.cgu.gov.br ), alm dos fruns criados pelos programas de ps-graduao lato e stricto sensu, acadmicos e profissionais,e das linhas de pesquisa nesse sentido em programas de ps-graduao em administrao pblica, economia social, sade coletiva, direito etc.

estudos avaliativos realizados por puristas metodolgicos cheguem a resultados j conhecidos do gestor de programas, ou concluam com ingnua assertividade acerca da necessidade de descontinuidade do programa avaliado, pela suposta baixa efetividade apurada, segundo suas escolhas metodolgicas sobre o que investigar e como faz-lo. Essas consideraes iniciais um tanto extensas, mas necessrias para contextualizao e justificativa da discusso aqui pretendida ilustram as dificulddes ou deficincias dos sistemas de monitoramento e os frquentes problemas de especificao de pesquisas e avaliao para permirit o acompanhamento das aes e programas governamentais no Brasil e possivelmente outros pases da Iberoamrica. Muitos so os exemplos de pesquisas de avaliao que, mesmo motivadas por preocupao legtima e meritria com a eficcia e efetividade do gasto pblico, revelam, infelizmente, resultados triviais, metodologicamente questionveis ou com baixa apropriao para reformulao dos programas. Equacionar tal situao

requer, ademais de decises polticas e administrativas, aprofundar o conhecimento sobre aspectos tcnicos dos sistemas de M&A. o que se apresenta nas sees seguintes.

3.

O ciclo de Polticas e Programas Pblicos

Antes de passar a uma explicao mais detalhada sobre o ciclo de Polticas e

suas etapas, vale formalizar dois termos citados correntemente no texto polticas pblicas e programas. Isso importante para circunstanciar os limites do campo de dilogo estabelecido neste texto, j que avaliao de polticas pblicas e avaliao de programas pblicos so termos muito imbricados, mas referem-se a contextos muito diferentes (em amplitude) da anlise da interveno estatal. Evitando entrar em uma discusso muito extensa sobre os diferentes significados do termo sistematizados em Villanueva (2006) poltica pblica , na definio de Nascimento (1991), o conjunto de decises tomadas por aqueles que detm competncia legal para deliberar em nome da coletividade as instituies de Estado visando soluo de um problema ou ao redirecionamento de uma

tendncia, com a inteno de orientar sua evoluo para um fim estabelecido como o desejvel. Como esclarece Saravia (2006), em
[...] uma perspectiva mais operacional, poderamos dizer que ela [a poltica pblica] um sistema de decises pblicas que visa a aes ou omisses, preventivas ou corretivas, destinadas a manter ou modificar a realidade de um ou vrios setores da vida social, por meio da definio de objetivos e estratgias de atuao e da alocao dos recursos necessrios para atingir os objetivos estabelecidos. (SARAVIA, 2006, p.29).

As decises que conformam tal poltica pblica distributiva, redistributiva ou regulatria, universal ou focalizada assumem diferentes formatos: podem ser enunciados de diretrizes estratgicas de governo, leis e decretos normativos, que especificam de forma mais clara e operacional tais diretrizes, criao de organizaes ou programas que vo conferir operacionalidade s diretrizes, leis e normas. (VILLANUEVA, 2006). O programa pblico , pois, um dos instrumentos operacionais das polticas pblicas. Mais especificamente, trata-se de um conjunto sistmico de aes programadas e articuladas entre si, com objetivo de atender uma demanda pblica especfica, encampada na agenda de prioridades de polticas pblicas do Estado ou governo. Assim, um programa social um conjunto de atividades direcionadas para solucionar um problema vivenciado pela sociedade, no seu todo ou por grupos. (ROSSI et al., 2004). Avaliao de polticas pblicas, ou melhor, anlise de polticas pblicas, termo preferido por Owen (2007), , pois, uma atividade muito mais ampla que a avaliao de programas. Trata do contexto poltico-social de surgimento da poltica, dos atores participantes. Volta-se mais ao esclarecimento de seu processo de construo do que da recomendao prtica de como aprimor-la, constituindo, na realidade, um campo de investigao mais propriamente acadmico que a perspectiva tcnicaprofissional em que se realiza a avaliao de programas. Vale observar que h Programas, inclusive, com escopo temtico e escala de operao muito mais abrangente que o usual, revelando-se mais como um guarda-chuva de outros programas mais especficos. Outros programas podem ser projetos de curto alcance, ou atividades que visam produo de um produto ou servio finalstico ou da rea-

meio. A discusso aqui empreendida suficientemente ampla para contemplar essas modalidades. Nos manuais clssicos de Cincia Poltica, o processo de formulao de polticas pblicas tem sido apresentado recorrentemente pelo ciclo de etapas sucessivas (Policy Cycle), com mais ou menos estgios, como ilustrado no Diagrama 14. Em que pesem as crticas de longa data quanto forma simplificada com que esse diagrama apresenta o processo poltico e sua prpria veracidade emprica, a separao em etapas se presta aos objetivos de evidenciar, ao longo do processo, nfases diferenciadas no planejamento, operao ou avaliao dos programas. Justifica-se ainda para fins didticos e para orientar o recorte analtico na pesquisa acadmica na rea (NASCIMENTO, 1991). Nesse modelo, a primeira etapa Definio da Agenda Poltica (AgendaSetting) corresponde aos mltiplos caminhos e processos que culminam com o reconhecimento de uma questo social como problema pblico e da necessidade da ao governamental para sua soluo; isto , a legitimao da questo social na pauta pblica ou agenda das polticas pblicas do pas, em determinado momento. A etapa seguinte Formulao de Polticas e Programas (Policy Formulation) referese aos processos e atividades relacionados construo de possveis solues, encaminhamentos e programas para lidar com a questo recm-legitimada na agenda. preciso, ento, em sequncia na Tomada de Deciso Tcnica-Poltica (Decision Making) , escolher o rumo a seguir, de ao efetiva ou no, decidindo-se por uma ou algumas das alternativas formuladas. A quarta etapa Implementao de Polticas e Programas (Policy Implementation) corresponde aos esforos de implementao da ao governamental, na alocao de recursos e desenvolvimento dos processos previstos nas alternativas e programas escolhidos anteriormente.. Por fim, preciso analisar se os esforos empreendidos esto atuando no sentido esperado de solucionar o problema original etapa de Avaliao das Polticas e Programas (Policy Evaluation). necessrio avaliar se preciso realizar mudanas
4

Como apresentado nos vrios textos reunidos na valiosa coletnea organizada por Saravia e Ferrarezi (2006) em polticas pblicas, publicada pela ENAP e disponibilizada em seu stio (www.enap.gov.br), o Ciclo de Polticas Pblicas pode ser descrito com um nmero maior ou menor de etapas. De modo geral, distinguem-se, pelo menos, trs macroetapas: formulao (no qual estaria a formao da agenda), a implementao e a avaliao. Essa publicao, organizada segundo as etapas do ciclo, traz artigos clssicos que aprofundam a vasta discusso envolvida em cada uma delas.

nos programas implementados para garantir sua efetividade; descontinu-los, se o problema deixou de compor a agenda; ou ento adapt-los a uma nova realidade, reiniciando o ciclo. oportuno registrar que a avaliao, enquanto etapa do ciclo, realiza-se aps a implementao. Trata-se de um momento de natureza mais reflexiva para continuidade ou no do programa. Distingue-se, portanto, das atividades de monitoramento e avaliao, que se realizam mediante os sistemas de indicadores e as pesquisas de avaliao, instrumentos investigativos que podem ser empregados a qualquer momento do ciclo, como discutido mais adiante. Denominar essa etapa decisiva do ciclo como de avaliao somativa talvez ajudasse a evitar o duplo sentido que o termo assume na rea. Diagrama 1: O Ciclo de Polticas e Programas Pblicos

Definio de agenda Percepo e definio das questes pblicas. Problemas e demandas sociais

Formulao Diagnstico e desenho de programas.

Tomada de deciso Sobre programas e pblicos-alvo Avaliao Anlise de resultados e impactos. Deciso sobre continuidade/ incio do ciclo.

Implementao Produo e oferta dos servios.

A agenda poltica corresponde ao conjunto de assuntos e problemas que os gestores pblicos e a comunidade poltica entendem como mais relevantes em dado momento e, no necessariamente, lista de preocupaes da sociedade ou destaques da imprensa (JANN; WEGRICH, 2007). Afinal, o reconhecimento de uma questo social como problema de governo ou Estado no um processo simples e imediato, que responde automaticamente s estatsticas disponveis, por mais

reveladoras que sejam da gravidade da questo, quando comparada a outros pases ou a outros momentos do passado. No a vontade de um tcnico do setor pblico, um pesquisador acadmico ou governante eleito, com conhecimento emprico consistente da realidade ou viso ousada, que garante imediatamente sua incorporao na agenda formal de governo. Como coloca Parada (2006, p.73), no toda idea entra a la agenda. No todos temas de la agenda se convierten em programas. Quando existe a convico de que um problema social precisa ser dominado poltica e administrativamente, que ele se transforma em uma questo pblica (FREY, 1997). Se parece haver soluo tcnica vivel e factvel para determinada questo social, essa entra mais facilmente na agenda. Afinal, a estrutura do setor pblico, pelos mecanismos institucionais existentes e operantes, um ambiente que digere inovaes a seu prprio tempo e estilo5. H vrias interpretaes diferentes de como a agenda construda. Em todas as perspectivas, ela entendida como um processo coletivo e conflituoso de definio, como assinalam Howlett & Ramesh (2003). Vai sendo formada por meio de diferentes mecanismos de presso externa de grupos organizados em partidos polticos, sindicatos, associaes patronais, imprensa e outras instituies, pelas temticas por eles entendidas como relevantes; por iniciativa interna do governo e mobilizao social em funo de compromissos assumidos nas eleies; pela atuao da burocracia pblica no encaminhamento das demandas setoriais etc. Os atores polticos so elementos catalisadores desse processo. Eles so diversos e possuem caractersticas distintas: polticos e burocratas; empresrios, trabalhadores/sindicatos, servidores pblicos e os meios de comunicao (RUA, 1998). Grandes empresrios, individualmente ou por meio de seus lobbies (grupos de presso), encaminham suas demandas e pressionam os atores pblicos, nas decises governamentais, em favor de seus interesses. Outro ator poltico de grande
5

A resistncia mudana e incorporao de inovaes no problema s no setor pblico, mas tambm nas empresas privadas. Os mecanismos de motivao, presso e coero nessas ltimas acabam mobilizando mudanas, s vezes a custos pessoais e institucionais elevados. No setor pblico, os instrumentos para mobilizao envolvem, em tese, mais coordenao de esforos e convencimento, at porque as resistncias podem ser bastante legtimas. Ou seja, nem toda mudana necessariamente uma inovao positiva. Para o bem ou para o mal, so conhecidos os casos em que a resistncia da burocracia pblica acaba revertendo ou minando propostas consideradas muito ousadas.

importncia so os agentes internacionais, tais como o Fundo Monetrio Internacional (FMI), o Banco Mundial, a Organizao das Naes Unidas (ONU), a Organizao Mundial do Comrcio (OMC) etc; ou ainda os pases com os quais o Brasil mantm relaes polticas. Esses atores podem afetar no apenas a economia, como tambm a poltica interna do pas (RUA, 1998). Alm desses, os meios de comunicao so outros agentes importantes no processo de modo especial, a televiso, com difuso massificada em todas as camadas da populao pois dispem de recursos para influenciar a opinio pblica na formao das demandas (FREY, 1997). Enfim, as organizaes polticas partidos, sindicatos, grupos de interesse so fundamentais para que as demandas entrem na agenda poltica do governo e para que, l presentes, possam se transformar em aes e programas concretos. A amplitude da agenda poltica estaria condicionada tambm ao nvel de desenvolvimento econmico e tecnolgico do pas, j que tais fatores, ao viabilizar ganhos crescentes de produtividade na economia, permitiriam o atendimento de demandas de grupos de interesse organizados, pela ampliao da oferta, cobertura e diversidade dos servios sociais (CAREY, 2006). O ritmo de constituio de tal agenda de bem-estar social seria potencializado, em contextos de maior liberdade e participao poltica, com maior atuao de partidos polticos, sindicatos, imprensa e outros grupos de interesse. Os nveis de urbanizao e envelhecimento populacional tambm seriam outros condicionantes importantes para entender a formao da agenda poltica, pela visibilidade e concretude que conferem aos problemas sociais deles decorrentes. Na etapa da formulao da poltica, os problemas, propostas e demandas explicitados na agenda transformam-se em leis, programas e propostas de aes. Isto , a formulao de poltica envolve a busca de possveis solues para as questes priorizadas na agenda. Nesse momento, os elementos operacionais da poltica em questo precisam ser explicitados: diretrizes estratgicas, propostas de leis, decretos normativos, programas e projetos. Em uma viso simplificada e um tanto romntica e ingnua, como diria Charles Lindblom do processo, tais programas e propostas seriam elaborados pelo emprego de tcnicas gerais de planejamento de projetos; conhecimentos setoriais especficos; anlise de

viabilidade poltica, de custo-benefcio ou custo-efetividade das solues; reviso crtica de experincias anteriores e boas prticas identificadas. Essas tarefas so conduzidas por tcnicos do setor pblico, com maior ou menor participao de consultores externos, seguindo orientaes emanadas de gestores pblicos no topo da hierarquia. Em funo da natureza do problema e orientao geral de governo, os programas propostos se classificariam em aes de cunho distributivo, redistributivo ou regulamentatrio (Howlett & Ramesh, 2003). Na realidade, essa fase no est to desvinculada assim do cotidiano da poltica ou to isolada das influncias das propostas dos grupos de interesse, como se supe. Muitas vezes, as propostas de encaminhamento de solues chegam junto com as presses para introduzir a questo na agenda formal de governo. Se no, colocada a questo, h sempre atores com maior ou menor influncia na formatao dos possveis programas e aes (JANN; WEGRICH, 2007). Levantadas as diferentes alternativas para uma dada questo social, preciso escolher qual dever ser adotada. Enquanto que na definio da agenda poltica e formulao de programas a participao de agentes no pertencentes ao governo ou Estado desempenha papel central, a tomada de deciso envolve os gestores e tcnicos mais diretamente relacionados poltica ou ao programa.Esse o nus e o bnus do exerccio da atividade pblica. Isso no significa que outros agentes e atores no estejam ativos no processo, de modo a influenciar a deciso em um ou outro sentido, introduzindo legitimamente em muitos casos consideraes de ordem poltica em rotinas de cunho mais eminentemente tcnico. Como bem colocam Howlett & Ramesh (2003):
These actors can and do, of course, engage in various kinds of lobbying activities aimed at persuading, encouraging, and sometimes even coercing authoritative office-houlders to adopt options of which they approve. However, unlike office-holders, those other actors have, at best, a voice in the decision-making process, but they do not have a vote per se. (HOWLETT & RAMESH, 2003, p.163).

Chega ento o momento da implementao dos programas, projetos e aes pontuais ou mais abrangentes. A fase de Implementao o momento em que a

poltica pblica comea a ser executada, em que os recursos alocados comeam a se transformar em aes capazes de agir e mudar certa realidade. Aqui a poltica adquire uma concretude objetiva maior e, por isso, comea a revelar mais explicitamente as dificuldades de sua introduo e operao pelos agentes encarregados de por a mo na massa (NASCIMENTO, 1991). Trata-se da gesto das aes para fazer uma poltica sair do papel e funcionar efetivamente, compreendendo o conjunto de aes realizadas, por grupos ou atores de natureza pblica ou privada, para a consecuo de objetivos definidos. Envolve programao de atividades, previsionamento de recursos financeiros, alocao de recursos

humanos, mobilizao de agentes, interlocuo com atores estratgicos, manejo dos mecanismos que assegurem a governabilidade das atividades e correo de cursos, caso se identifiquem obstculos ou surpresas no antecipadas. na avaliao ou melhor, na avaliao somativa que so confrontados os resultados esperados com os resultados alcanados. o momento em que se d um retorno etapa inicial de formulao, com correes no plano de ao, caso seja uma poltica de ordem contnua; ou quando se decide pelo encerramento da poltica. tambm uma etapa de verificao dos impactos desejados e indesejados. Trata-se de verificar os efeitos obtidos para deduzir consequncias indesejadas nas aes e programas futuros. Como bem coloca Frey (1997), a avaliao imprescindvel para o desenvolvimento e a adaptao contnua das formas e dos instrumentos de ao pblica, o que pode ser denominado como a fase de aprendizagem poltica. O ciclo de polticas pblicas tal como descrito , certamente, um modelo idealizado, com aderncia bastante limitada ao cotidiano verificado no Brasil ou em outros pases. Como bem observa Saravia (2006, p.29), o processo de poltica pblica no possui uma racionalidade manifesta. No uma ordenao tranquila na qual cada ator social conhece e desempenha o papel esperado. Pelo que sugere Lindblom (2006), atualizao da agenda, formulao de polticas e programas, implementao e avaliao seriam estgios permanentes e concomitantes do processo poltico. A atualizao da agenda poltica e as inovaes dos programas seriam, de fato, muito mais incrementais e contnuas do que gostariam os gestores pblicos. Tampouco haveria, segundo Parada (2006, p.72), um momento de

avaliao cabal das polticas e programas, sendo [...] ms habitual que cambien o se combinem com outras. Se h llegado a decir que ls polticas publicas son imortables. Boa parte da crtica feita a esse modelo se refere ao fato de ele sugerir que a administrao pblica, seus gestores, os atores polticos e os tcnicos atuem de forma bastante sistemtica e cooperativa, como se estivessem todos envolvidos na resoluo de um problema consensualmente percebido, empregando mtodos racionais e objetivos na busca da soluo, de acordo com uma sequncia linear de etapas bem delineadas. Como diria Lindblom (2006), mais uma vez, o imperativo da racionalidade tcnica no processo, a anlise exaustiva dos problemas, a busca de solues timas e a crena no poder revelador e conciliador do discurso tcnicocientfico to presente nos rgos de planejamento pblico no seriam empiricamente constatveis, nem factveis e muito menos desejveis. Na realidade, a formulao de polticas configura-se como um processo que envolve a interao de muitos agentes, com diferentes interesses. marcada por apoios entusiasmados de alguns, resistncias legtimas ou no de outros. Est repleta de avanos e retrocessos, com desdobramentos no necessariamente sequenciais e no plenamente antecipveis. (2007):
Policy process rarely features clear-cut beginnings and endings. At the same time, policies have always been constantly reviewed, controlled, modified and sometimes even terminated; policies are perpetually reformulated, implemented, evaluated and adapted. Moreover, policies do not develop in a vacuum, but are adopted in a crowded policy space that leaves little space for innovation[] (JANN; WEGRICH, 2007, p.44-45)

Como observam Jann & Wegrich

Contudo, na viso de Howlett & Ramesh (2003), esse modelo de representao tem a grande virtude de facilitar o entendimento do processo

complexo de interao de diversos agentes, nos mltiplos estgios por que passa a formulao de polticas pblicas, oferecendo um marco metodolgico geral para anlises isoladas de cada etapa do processo ou das relaes de cada uma com as demais, frente ou jusante. Esse modelo seria tambm suficientemente geral para ser aplicado no entendimento do processo na maioria dos mbitos e contextos de

formulao de polticas e programas em nvel federal, estadual, local e mesmo setorial. Jann & Wegrich (2007) acrescentam ainda que o sucesso e a resilincia desse modelo clssico s crticas de pesquisadores acadmicos que ele parece como um modelo prescritivo ideal a ser adotado, em que gestores eleitos governam com corpos burocrticos com boa capacidade de diagnstico de problemas, com posturas ativas e inovadoras na formulao de programas, operando com racionalidade tcnica na tomada de decises, com controle efetivo das atividades na implementao dos programas pblicos e objetividade na avaliao desses.

4. Os sistemas de indicadores de monitoramento no Ciclo de Polticas e Programas

A preocupao com a construo de indicadores de monitoramento da ao governamental to ou mais antiga que a prpria avaliao de programas pblicos, se forem consideradas as medidas de performance mais geral do setor pblico baseadas na entrega de obras e produtos e na computao de indicadores de custos de servios, a partir da execuo oramentria. Como registram Mcdavid e Hawthorn (2006) em livro que procura oferecer uma viso integrada entre avaliao de programas e medio do desempenho governamental:
While we have tended to situate the beginnings of performance measures in the United States, in the 1960s, with the development of performance management systems such as programmed planned budgeting systems (PPBS)[] there is good evidence that performance measurement and reporting was well-developed in some American local governments early in the 20th century. (MCDAVID; HAWTHORN, 2006, p.283).

Os autores citam as iniciativas de alguns governos locais nos EUA, antes da 2 Guerra Mundial, na elaborao de relatrios com computao regular de medidas de eficincia dos servios pblicos ento oferecidos, como a construo e manuteno das ruas e rodovias, distribuio de gua e recolhimento de lixo. Os produtos e servios disponibilizados pelo setor pblico municipal eram bastante simples e tangveis, assim como a contabilizao dos custos para sua produo. Mas a introduo das tcnicas de programao oramentria por programas no Governo Kennedy que marcaria um momento de maior

aprimoramento na medio do desempenho expresso por indicadores de eficincia e efetividade na esfera federal americana. Ao propor a estruturao do oramento segundo conjunto de atividades e programas afins agora bem mais complexos que os oferecidos pelos municpios na primeira metade do sculo XX e no segundo as agncias e organizaes que as executavam, esperava-se conseguir apurar resultados e custos mais consistentes dos servios pblicos disponibilizados e, portanto, medidas de eficincia mais precisas. (MCDAVID; HAWTHORN, 2006). Em que pesem o fracasso na implementao do oramento-programa na vinculao entre recursos-produtos ao nvel de programas, e o contexto de crise fiscal do estado, comentam os autores que a orientao voltada medio dos

resultados ganhou fora nos anos 1970 e na dcada seguinte, Os governos conservadores desse perodo em especial na Inglaterra, com Tatcher, e nos EUA, com Reagan imprimem reformas no setor pblico, que vieram a ser conhecidas como o movimento da Nova Administrao Pblica, preconizando a adoo de instrumentos de controle e gesto de resultados do setor privado. Sem entrar na discusso acerca dos excessos, limitaes e aspectos

meritrios de tal movimento debate esse j empreendido no Brasil por vrios autores, com muito mais competncia, autoridade e espao, do que o disponvel para este texto , o legado de preocupao com a transparncia e responsabilizao pblica criou oportunidades para aprimoramento da gesto de programas, seja para a estruturao de sistemas de indicadores de monitoramento, seja para a realizao das pesquisas de avaliao. Neste tpico do texto, discute-se o primeiro desses instrumentos de gesto: os sistemas de monitoramento. O modelo idealizado de ciclo de vida de polticas e programas apresentado anteriormente uma referncia conceitual interessante para ilustrar como os sistemas de indicadores de monitoramento podem ser estruturados e como as pesquisas de avaliao podem ser especificadas de forma a potencializar seu emprego na gesto dos programas. A proposta bsica desta seo mostrar a importncia de se dispor de indicadores relevantes e periodicamente atualizados para acompanhar as atividades e a produo de servios dos programas, que permitam corrigir desvios, reprogramar atividades ou mesmo especificar pesquisas

de avaliao para entender por que determinados processos no esto se encaminhando no sentido idealizado originalmente. Como discutido em texto anterior6, as atividades de cada etapa do ciclo apoiam-se em um conjunto especfico de indicadores. Na definio da agenda, os indicadores so recursos valiosos para dimensionar os problemas sociais, servindo como instrumentos de advocacy e presso de demandas sociais no satisfeitas. Indicadores produzidos pelas instituies oficiais de estatsticas sobretudos os computados a partir de censos demogrficos e pesquisas amostrais regulares prestam-se bem a esse papel, pela legitimidade que gozam perante diferentes pblicos. No Brasil, o relatrio Sntese de Indicadores Sociais, publicado

anualmente pelo IBGE, uma referncia importante nesse sentido, provocando grande interesse na mdia quando de sua divulgao 7. O ndice de Desenvolvimento Humano (IDH) computado para pases, municpios, mulheres e negros outro bom exemplo de como uma medida simples pode mobilizar os veculos de comunicao e recolocar anualmente o debate sobre desigualdade social e os impactos das polticas pblicas na mdia e nas esferas de governo8. Na elaborao dos diagnsticos para formulao de programas, os indicadores so imprescindveis para qualificar os pblicos-alvo, localiz-los e retrat-los de modo to amplo e detalhado quanto possvel. preciso adequar as intervenes s caractersticas e necessidades dos demandantes dos programas. De modo geral, na elaborao de diagnsticos socioeconmicos propositivos para programas pblicos empregam-se indicadores de vrias reas temticas analticas ou de atuao governamental. Para desenvolver programas no campo da educao bsica, por exemplo, preciso conhecer no apenas as condies de acesso escola, a infraestrutura escolar, o desempenho dos alunos, mas tambm aspectos relacionados s condies de vida dos estudantes, como moradia, nvel de pobreza e

Jannuzzi (2005), disponvel para download na Revista do Servio Pblico, v.56, n.2, em www.enap.gov.br. Outra referncia para aprofundamento nesse campo Jannuzzi (2004). 7 Essa publicao do IBGE, assim como diversas outras da instituio, est disponveis para download em www.ibge.gov.br. 8 Uma discusso dos limites e potencialidades do IDH pode ser vista em Guimares e Jannuzzi (2005).

rendimento familiar, acesso a servios de sade, escolaridade dos pais, fatores esses que certamente podem afetar ou potencializar as aes programticas especficas9. Indicadores construdos a partir dos censos demogrficos so

particularmente teis nessa fase, pela amplitude do escopo temtico investigado e pela possibilidade de desagregao territorial ou por grupos sociodemogrficos especficos. O Censo Demogrfico 2010 potencializou ainda mais essas duas caractersticas escopo e desagregabilidade , constituindo-se em marco importante para reavaliao das demandas sociais da populao brasileira, nesse momento de ampliao da estrutura de proteo social no pas. Na seleo de alternativas programticas idealizadas para atender questo pblica colocada na agenda e eleger prioridades de interveno, preciso dispor de indicadores que operacionalizem os critrios tcnicos e polticos definidos. Indicadores sintticos, como o j citado ndice de Desenvolvimento Humano, o ndice de Desenvolvimento da Educao Bsica, o ndice da Pegada Humana (Footprint Index) ou as classificaes geradas por tcnicas de anlise multicritrio podem ser teis para apoiar decises nessa fase do ciclo, como discutido em Scandar et al. (2006) e Jannuzzi et al. (2009) 10. Para acompanhar a implementao dos programas e, posteriormente, para gesto, quando eles entrarem em plena operao, so necessrios indicadores que permitam acompanhar regularmente as aes programadas, do previsionamento e alocao do gasto produo dos servios e, idealmente, aos eventuais resultados e impactos esperados quando da idealizao dos programas. So os indicadores que estruturam processos formais de monitoramento, entendido, nas palavras de Coutinho (2001, p.11) como um processo sistemtico e contnuo que, produzindo informaes sintticas e em tempo eficaz, permite rpida avaliao situacional e a interveno oportuna que confirma ou corrige as aes monitoradas.

Um bom exemplo de indicadores para diagnsticos de programas setoriais demonstrado na publicao Construindo o diagnstico municipal, disponvel em www.cepam.sp.gov.br. Outro exemplo de diagnstico apoiado em indicadores multitemticos o Diagnstico para Programa de Qualificao Profissional do Estado de So Paulo, disponvel em www.emprego.sp.gov.br . Os Relatrios de Informao do MDS tambm so outro bons exemplos (www.mds.gov.br/sagi) . 10 No stio www.anipes.org.br est disponvel um aplicativo (Pradin) que permite entender o potencial da Anlise Multicritrio na tomada de deciso em polticas pblicas.

Dispostos em painis ou em sistemas informatizados, os indicadores de monitoramento devem ser atualizados com regularidade e tempestividade adequada tomada de deciso. Idealmente, esses indicadores devem ser especficos e sensveis s aes programadas, a fim de se tornarem, de fato, teis para inferir se o programa est sendo implantado conforme planejado ou para permitir as

correes de rumo (aspectos que s podero ser comprovados mais precisamente por meio de pesquisas de avaliao especficas, durante ou aps a implantao). Para isso, esses painis ou sistemas de indicadores de monitoramento devem se valer dos dados continuamente atualizados nos cadastros e registros administrados pelos gestores e operadores envolvidos nos programas. Devem estar interligados aos sistemas informatizados de gesto do programa, no qual so registrados atendimentos prestados, informaes dos agentes que o operam, caractersticas dos beneficirios, processos intermedirios, que produziro os efeitos idealizados pelo programa. Diferentemente do que se passa nas pesquisas de avaliao, na estruturao de sistemas de monitoramento no se prev levantamentos primrios de dados. Pode ser necessrio criar rotinas de coleta de dados que operem fora dos crculos normais de produo de servios dos programas, mas preciso fazer esforos para aproveitar as informaes geradas no mbito de operao cotidiana dos programas. A criao de mais uma rotina para registro de informao, pelo beneficirio do programa ou pelo agente envolvido na implementao, pode implicar atrasos indesejados e, pior, declaraes mal

preenchidas que acabam no se prestando sua finalidade original. Vale observar que, em geral, as informaes compiladas e enviadas para atualizao dos registros de acompanhamento do Plano Plurianual, no Ministrio do Planejamento, Oramento e Gesto, so somente a ponta do iceberg de dados armazenados em planilhas eletrnicas e gavetas nos escritrios da administrao pblica. Alis, curioso que, nas mdias e altas gerncias do setor pblico prefeituras, secretarias de estados ou ministrios , reclame-se de falta de informao para gesto em meio a tanta informao continuamente produzida nas unidades de prestao de servios pblicos (escolas, postos de sade, delegacias, centros de referncia da assistncia social, postos de intermediao de mo de obra, agncias do INSS etc). Para superar esse paradoxo da escassez na abundncia,

preciso aprimorar os processos de gesto da informao nos escritrios em que se planejam e coordenam as polticas e programas pblicos. Os fluxos de informao, os processos de tratamento, validao, classificao e, naturalmente, de armazenamento precisam ser pensados de forma articulada, valendo-se de aplicativos e ferramentas de integrao de dados (e no dos custosos em planejamento, tempo dinheiro sistemas informatizados de 4, 5 ou ensima gerao propostos por consultorias experientes em automao de processos na iniciativa privada, mas pouco conhecedoras da complexidade operacional da gesto de programas pblicos). possvel que algumas informaes produzidas pelas agncias estatsticas no caso brasileiro, o IBGE, o Datasus, o Inep, a Secretaria de Avaliao do Ministrio de Desenvolvimento Social, entre outros11 possam ser teis para a construo de indicadores de monitoramento de programas, sobretudo de natureza universal ou com pblico-alvo numeroso. Em geral, essas fontes proveem informaes para avaliaes de polticas ou para um conjunto de polticas e macroaes governamentais mais adequadas para composio de mapas estratgicos da ao governamental e no para os propsitos de monitoramento de programas especficos, em funo da escala territorial de desagregao dos dados ou do tempo que levam para serem produzidas. Esse quadro pode mudar para melhor com as transformaes anunciadas nas pesquisas amostrais do IBGE para a dcada de 2010, com maior integrao conceitual, maior possibilidade de incorporao de temas suplementares, ampliao e adensamento da amostra pelo interior do pas. No s se poder dispor de um escopo mais amplo de estatsticas e indicadores sociais divulgados mais regularmente ao longo do ano, como tambm referidos para domnios territoriais e grupos sociodemogrficos bem mais diversos. Aos indicadores mensais de emprego, hoje restritos s seis principais regies metropolitanas, somar-se-o muitos outros indicadores educacionais,

habitacionais, de rendimentos etc. divulgados em base trimestral (semestral ou anual) para todos os estados brasileiros. Mediante o emprego de mtodos

11

As pesquisas e dados destas instituies podem ser consultadas, respectivamente, em www.ibge.gov.br, www.datasus.gov.br, www.inep.gov.br. No portal www.anipes.org.br, podem ser acessados stios de rgos subnacionais de estatstica no Brasil.

estatsticos avanados, usando informao combinada dessas pesquisas com outras fontes de dados, pesquisadores de centros de anlise de polticas pblicas e

universidades podero estimar indicadores sociais com bom grau de preciso para domnios territoriais ainda mais especficos12. De qualquer forma, as informaes estatsticas mais gerais so teis para que se possam disponibilizar alguns indicadores de contexto socioeconmico no mbito do sistema de monitoramento. Afinal, todo sistema aberto, como so os programas pblicos, est sujeito aos efeitos de fatores externos, que podem potencializar ou atenuar resultados. Sistemas de indicadores de monitoramento de programas de qualificao profissional, por exemplo, devem dispor de indicadores de mercado de trabalho e de produo econmica como informaes de contexto, pelos impactos que uma conjuntura econmica menos ou mais favorvel podem ocasionar na operao do programa. Como alternativa ou complemento s pesquisas estatsticas oficiais, possvel construir indicadores de contexto ou mesmo de monitoramento de programas, a partir dos registros administrativos de programas de grande cobertura populacional como o Cadastro nico de Programas Sociais do Ministrio de Desenvolvimento Social e Combate a Fome; a Relao Anual de Informaes Sociais e o Cadastro Geral de Empregados e Desempregados do Ministrio do Trabalho; e o Cadastro Nacional de Informaes Sociais do INSS/Ministrio da Previdncia. Naturalmente, os registros de provimento e execuo oramentria do Sistema Integrado de Administrao Financeira do Governo Federal (Siafi) tambm so importantes fontes de informao para construo de indicadores de

monitoramento (sobretudo porque permitem computar indicadores de regularidade de repasse de recursos, dimenso crucial para programas que envolvem diversas aes intermedirias para viabilizar a consecuo das atividades mais finalsticas). Vale registrar que os ministrios responsveis pela gesto desses cadastros tm feito

12

Vide, nesse sentido, o que as agncias estatsticas americanas produzem regularmente, acessando o portal www.fedstats.gov. O Bureau of Labor Statistics produz, por exemplo, estimativas mensais de taxa de desemprego para 372 reas metropolitanas e taxas anuais para os mais de 3 mil condados e 50 maiores cidades americanas. O Bureau of Census, por sua vez, traz anualmente estimativas populacionais para mais de 20 mil localidades e indicadores sociais referidos a mais de 10 temticas de ocupao, moradia educao para municpios acima de 65 mil habitantes.

esforos importantes com o objetivo de disponibilizar as informaes neles depositadas para pesquisadores e pblico em geral13. Um bom sistema de indicadores de monitoramento no necessariamente composto de grande quantidade de informao, mas sim um sistema em que a informao foi selecionada de diferentes fontes e est organizada de forma sintetizada e mais adequada ao uso analtico pelos diferentes gestores (Diagrama 2). preciso encontrar um ponto de equilbrio entre o caos informacional, potencialmente gerado pela estruturao de sistemas de monitoramento construdos de baixo para cima (em que participam inicialmente tcnicos e gestores da base e depois de nveis tticos e mais estratgicos), e a pobreza analtica das propostas desenvolvidas de cima para baixo. Um sistema de indicadores de monitoramento no um sistema de gesto operacional do programa, que prov acesso aos incontveis registros dirios e individuais de operao de convnios, prestao de servios, recursos transferidos, projetos e atividades concludas. Um sistema de monitoramento vale-se do(s) sistema(s) de gesto dos programas para buscar informaes, integr-las segundo unidades de referncia comum (municpio, escola etc.), sintetiz-las em indicadores e conferir-lhes significado analtico. Ao apresentar informaes sintetizadas na forma de indicadores, que podem ser analisados no tempo, por regies e pblicos-alvo, ou que podem ser comparados com metas esperadas, os sistemas de monitoramento permitem ao gestor avaliar se os diversos processos e inmeras atividades sob sua coordenao esto se somando no sentido preconizado. Um sistema de monitoramento no , pois, um conjunto exaustivo de medidas desarticuladas, mas uma seleo de indicadores de processos e aes mais importantes. Um sistema que no prov acesso orientado s centenas de indicadores disponveis talvez no se preste ao propsito de monitoramento (ainda que possa ser til como base de dados para estudos avaliativos a posteriori). Tambm no se presta ao monitoramento um sistema em que a informao no est organizada segundo o nvel de relevncia operacional-estratgica do gestor usurio. Ao gerente

13

Vide, nesse sentido, os aplicativos da Senarc/MDS (www.mds.gov.br), os sistemas de consulta online da Rais e do Caged no MTE (www.mte.gov.br), e os dados da Previdncia na ferramenta Infologo em www.dataprev.gov.br.

de processos operacionais bsicos, deve estar disponvel a informao essencial para o bom desempenho das atividades de seus coordenados. Ao gestor mais estratgico, devem estar disponveis indicadores que lhe permitam acompanhar os macroprocessos segundo o modelo lgico do programa. Diagrama 2: Integrao de informaes de diferentes fontes na estruturao de um Sistema de Indicadores de Monitoramento

Ferramentas para anlise comparativa no tempo e espao Pesquisas do IBGE Sistema de Indicadores de Monitoramento

Cadastros pblicos

Chave de integrao de dados: municpios, CPF, CNIS

Indicadores de contexto Indicadores de recursos Indicadores Indicadores de processos de resultados Indicadores Indicadores de de impactos eficincia qualidade Indicadores referentes a processos operacionais

Indicadores estratgicos

Registros de outros ministrios

Registros de gesto dos programas

Dados de execuo oramentria

Para um e para outro gestor, os indicadores devem ser os pertinentes sua esfera de deciso, ajustados referncia temporal e territorial que lhes compete e interessa. As novas ferramentas de integrao de dados permitem construir painis de indicadores de forma customizada, possibilitando, inclusive, acesso a informao mais detalhada se assim o gestor o desejar. Podem-se construir painis em camadas explicativas, isto , organizando indicadores segundo uma estrutura nodal, em que um primeiro conjunto reduzido de indicadores estratgicos seja acompanhado de um segundo conjunto mais amplo de indicadores mais especficos, que ajudem a entender o comportamento e a evoluo dos primeiros, e assim por diante. Na realidade, trata-se de um sistema de monitoramento que rene informaes sintticas para anlise de tendncias gerais das atividades estratgicas e informaes analticas para entendimento mais aprofundado das tendncias

observadas. A proposta de acompanhamento das metas de incluso social nos pases da Comunidade Europeia segue essa lgica de estruturao, dispondo os indicadores em trs painis articulados (ATKINSON et al., 2005), como se v no Diagrama 3: Diagrama 3: Organizao de Painis de Indicadores em SM&A
Painel Nvel 1 conjunto restrito de indicadores-chave (lead indicators) cobrindo as dimenses consideradas mais importantes para acompanhar a excluso social.

Painel Nvel 2 indicadores complementares em cada dimenso, que ajudam a interpretar cada um dos indicadores-chave.

Painel Nvel 3 indicadores que cada pas membro decidir incluir para acompanhar as especificidades nacionais e que ajudem a entender os indicadores dos nveis 1 e 2.

Tal proposta de organizao vem acompanhada de algumas premissas bsicas para escolha de indicadores que parece oportuno resgatar neste texto, pois podem ser teis em outras aplicaes (Quadro 1). Vale registrar que tal escolha deveria se orientar tambm pela anlise da aderncia dos indicadores s propriedades de relevncia social, validade de constructo, confiabilidade, periodicidade, sensibilidade s mudanas, especificidades das aes programadas, como discutido em Jannuzzi (2005).

Quadro 1: Premissas para escolha de indicadores de monitoramento da incluso/excluso social na Comunidade Europeia
O conjunto de indicadores no pode se pretender exaustivo e deve ser equilibrado entre as dimenses da excluso social (sade, educao, moradia etc.). Um conjunto muito amplo de indicadores leva perda de objetividade, perda de transparncia e credibilidade. Os indicadores devem ter uma interpretao normativa claramente definida (Para monitorar a excluso social a taxa de desemprego cumpre tal requisito; j um indicador de produtividade do trabalho no). Os indicadores devem ser mutuamente consistentes, isto , no devem sugerir tendncias inconsistentes (indicadores de desigualdade como o ndice de Gini e a Proporo de Massa Salarial Apropriada podem ter comportamentos diferentes ao longo do tempo, j que medem aspectos distributivos diferentes). Os indicadores devem ser inteligveis e acessveis a toda a sociedade. So preferveis medidas simples, de fcil entendimento. Deve-se resistir s simplificaes indevidas (indicadores sintticos).

Se o programa foi especificado segundo as boas prticas e tcnicas de planejamento de projetos, deve haver um desenho lgico de encadeamento de atividades e etapas. Tal sistema deve conseguir oferecer evidncias acerca da execuo do gasto, da produo, eficincia e qualidade dos servios, do consumo e usufruto por parte do pblico-alvo e, se possvel, antecipar dimenses impactadas pelo programa. Isto , um bom sistema de monitoramento deve prover indicadores de insumo, processo, resultado e possveis impactos do programa. Exemplificando, tal sistema deve permitir monitorar, simultaneamente: o dispndio realizado por algum tipo de unidade operacional prestadora de servios ou sub-projeto; o uso dos recursos humanos, financeiros e fsicos; a gerao de produtos e a percepo dos efeitos gerados pelos programas. Em Resende e Jannuzzi (2008), apresentado o exemplo de Painel de Indicadores de Monitoramento do Plano de Desenvolvimento da Educao (PDE) estruturado na lgica insumo-processo-resultado-impacto. Na dimenso insumo, deu-se prioridade aos indicadores voltados para o financiamento da educao. Para a dimenso processo, foram definidos indicadores que pudessem ser produzidos com certa regularidade e estivessem relacionados ao processo de ensino-aprendizagem, como percentual de docentes com nvel superior, percentual de alunos atendidos por turno integral, entre outros. Como medida de resultados, os indicadores de proficincia da Prova Brasil, defasagem idade-srie e taxa de

abandono. Como apontamentos de impactos potenciais, o ingresso de jovens no ensino superior14. . A compilao de indicadores e de programas (Dici-VIP), organizada pela Secretaria de Avaliao e Gesto da Informao do Ministrio de Desenvolvimento Social e Comate Fome, um produto til para servir como referncia estruturao de sistemas de monitoramento de programas nessa perspectiva processual, no apenas no mbito do ministrio, mas de outros setores da administrao pblica15. O documento Guia metodolgico para construo de indicadores do PPA (MPO, 2009), elaborado pelo Ministrio do Planejamento, Oramento e Gesto, outra referncia importante para especificao de sistemas de indicadores de monitoramento de programas, pela extensa reviso bibliogrfica empreendida na sua elaborao; pela preocupao em incorporar aspectos de propostas desenvolvidas em outros estados e contextos do setor pblico brasileiro; pela experincia de mais de 10 anos na elaborao de planos plurianuais no governo federal; e pela preocupao com clareza na exposio de conceitos, etapas e fontes de dados. Em geral, h maior disponibilidade de indicadores de processos, que espelham os esforos e produtos gerados nas aes programadas, para os quais h registros formais e maior controle operacional pelos gestores. Ainda assim, em alguns casos, possvel dispor, no painel de monitoramento, de indicadores de resultados e impactos junto ao pblico-alvo dos programas, buscando informaes nos registros e cadastros pblicos citados anteriormente. No caso do Sistema de Indicadores de Monitoramento de Programas de Qualificao Profissional, ilustrado h pouco, seria possvel dispor de alguma medida de impacto do programa, com a integrao de informaes cadastrais dos trabalhadores qualificados com os dados da Rais ou mesmo do Cadnico, mediante o uso do Nmero de Identificao do
14

No referido texto, empregou-se o aplicativo Monit disponvel em www.anipes.org.br para compor um painel situacional com grficos dos indicadores escolhidos para duas unidades territoriais de interesse de monitoramento. Uma breve apresentao do aplicativo encontrada em Jannuzi e Miranda (2008), disponvel no Boletim de Estatsticas Pblicas n.4, no mesmo site. 15 Consulte o Dicionrio de variveis, indicadores e programas sociais no endereo http://aplicacoes.mds.gov.br/sagi/dicivip. Esse dicionrio tambm est disponvel para download em www.mds.gov.br/sagi.

Trabalhador ou do CPF (de fato, procedimentos anlogos so usados correntemente pelo Ministrio do Desenvolvimento Social para fins de fiscalizao na concesso de benefcios do Programa Bolsa Famlia). Com o avano da informatizao no setor pblico brasileiro, possvel tambm obter informaes referidas a unidades de prestao de servios muito especficas (em tese, escolas, hospitais, postos policiais etc.), com boa periodicidade de atualizao (frequncia escolar mensal, atendimentos ambulatoriais semanais etc.), o que permitiria a construo de indicadores de monitoramento relacionados ao contexto de vivncia dos beneficirios de programas e ao tempo adequado de tomada de deciso. De fato, projetos sociais de alcance local tm recorrido busca peridica de informaes nesses postos de prestao de servios pblicos como estratgia de monitorar resultados e impactos de sua ao. Centros de promoo de cursos de artesanato, atividades culturais e esportivas voltados reintegrao social de jovens em comunidades muito violentas, projetos que vieram a surgir com frequncia nos ltimos anos, pela ao direta de prefeituras ou organizaes filantrpicas, podem ter seus resultados e impactos inferidos pelo eventual aumento das taxas de frequncia escola, diminuio dos atendimentos ambulatoriais decorrentes de ferimentos ou das ocorrncias policiais envolvendo jovens, entre outras informaes coletadas localmente. Naturalmente, nos dois casos aqui exemplificados programa de Qualificao Profissional e projeto social de reintegrao social de jovens os indicadores citados podem estar sendo afetados por outros fatores conjuntura mais favorvel do mercado de trabalho, no primeiro caso; policiamento mais ostensivo, no segundo e no propriamente pela excelncia do programa ou projeto. No seriam, pois, exatamente indicadores de impacto, mas talvez indicaes potenciais de impacto, que para efetiva atribuio ou vinculao causal com o programa ou projeto requereriam uma pesquisa de avaliao especfica. Diferentemente dessas ltimas, em que a investigao da atribuio de um efeito a um programa pode ser questo a avaliar para inferncia a posteriori; em sistemas de monitoramento, assume-se a priori, acreditando-se na validade do desenho de implementao, a vinculao de aes (e de seus indicadores) com os resultados (na

forma como podem ser medidos pelas informaes geradas pelo programa e outras fontes secundrias de baixo custo de aquisio). (MCDAVID; HAWTHORN, 2006). Indicadores de eficincia, produtividade na prestao dos servios, de

cobertura de pblico-alvo, de qualidade de produtos ou satisfao dos beneficirios tambm deveriam constar da matriz de indicadores de monitoramento. Em programas de qualificao profissional, por exemplo, com base nos registros de operao deles prprios, possvel computar indicadores como custo de formao por aluno, nmero mdio de alunos formados por entidade credenciada, taxa de frequncia ou abandono de qualificandos. H cinco sistemas de macroacompanhamento de programas que podem ilustrar alguns dos aspectos estruturantes aqui apresentados: o Painel de Indicadores do Brasil Sem Misria MONIB-, o Siga Brasil, do Senado; a Matriz de Informao Social (MIS), da Secretaria de Avaliao e Gesto da Informao do Ministrio do Desenvolvimento Social e Combate Fome (Sagi/MDS); o SIM-

Trabalho, da Secretaria de Emprego e Relaes do Trabalho de So Paulo; e a Agenda 2012, da Prefeitura de So Paulo. Talvez a experincia mais completa em termos das propostas aqui apresentadas seja aquela em estruturao na Secretaria de Avaliao do MDS, com o Painel de Indicadores do Brasil Sem Misria MONIB e o Painel de Conjuntura, que organizam painis de indicadores em diferentes nveis e temas, e diferentes formas de apresentao e funcionalidades. As outras quatro relacionadas no so propriamente sistemas de indicadores de monitoramento para gestores de programas, mas sim ferramentas para consulta e acompanhamento de programas pblicos por parte do cidado, j que esto franqueados aos usurios da Web. O Siga Brasil16 permite acesso a dados e indicadores histricos sobre a execuo oramentria de programas do governo federal para estados e municpios. A MIS17 rene um conjunto amplo de dados de contexto e indicadores de programas federais, que interessam a gestores e pesquisadores da rea de assistncia social. O SIM-Trabalho18 um sistema voltado

16 17

Acesse por meio de um buscador na Web, procurando por Siga Brasil + Senado. Acesse por meio do endereo http://aplicacoes.mds.gov.br/sagi. 18 Acesse por meio do stio www.emprego.sp.gov.br.

a elaborao de diagnsticos para especificao de planos locais de qualificao profissional permitindo tambm acesso a informaes sobre a execuo de programas de intermediao de mo de obra e microcrdito. A Agenda 201219 um portal de comunicao da Prefeitura de So Paulo que apresenta a evoluo das metas de gesto, nas vrias secretarias, por distritos e subprefeituras, com atualizao semestral. Como j assinalado, um bom sistema de monitoramento deve permitir a anlise comparativa dos indicadores ao longo do tempo e para distintas unidades de prestao dos servios ou atendimento do programa, assim como em relao a padres normativos de referncia. A anlise da evoluo dos indicadores, de seus avanos, retrocessos e permanncias permite identificar falhas operativas do programa, ainda que, em geral, no possibilite a explicao dessas. Esta a uma diferena bsica entre os sistemas de monitoramento e as pesquisas de avaliao: os primeiros, ao assumir que existe uma lgica de encadeamento de atividades,

delineiam comportamentos esperados aos indicadores; nas pesquisas de avaliao, alertados pelos desvios no esperados na evoluo dos indicadores, buscam-se as explicaes valendo-se dos mtodos e tcnicas da pesquisa social. (MCDAVID; HAWTHORN, 2006). No exemplo apresentado anteriormente, se um gestor precisar entender porque a taxa de abandono de alunos em cursos de qualificao em dada localidade ou em uma instituio est aumentando, talvez ele consiga alguma interpretao em seu prprio sistema de monitoramento se este for um sistema que dispe de informaes analticas, alm de sintticas. Pode ser que haja indicadores de contexto que mostrem forte aumento das vagas no mercado de trabalho regional (da a evaso). A extrao de informaes do sistema para um pacote estatstico ou aplicativo de minerao de dados pode permitir ao gestor refinar sua hipteses, se ele dispuser de conhecimento ou consultoria especializada no uso das ferramentas20.
19

Acesse por meio do stio www.agenda2012.com.br. A Agenda 2012 foi criada para responder s exigncias da Emenda 30 Lei Orgnica do Municpio, aprovada pela Cmara Municipal, ao final de 2008. Essa iniciativa vai ter, certamente, repercusses em outras localidades do pas. 20 Um pacote estatstico gratuito de ampla difuso o Epi-info, disponvel em www.lampada.uerj.br/, onde se pode encontrar tambm material de consulta e treinamento. O Weka, disponvel em www.cs.waikato.ac.nz/ml/weka, um aplicativo gratuito para minerao de dados, isto , dispe de rotinas para anlise descritiva e exploratria de dados.

Ou talvez ele no tenha qualquer pista adicional e busque uma explicao com o dirigente da instituio ou gestor responsvel pela rea. o que Worthern et al. (2004, p.38) classificam como avaliao informal, que ocorre sempre que uma pessoa opta por uma entre vrias alternativas existentes, sem antes ter coletado evidncia formal do mrito relativo dessas alternativas. Embora no seja m pautadas em procedimentos sistemticos, tais avaliaes nem sempre ocorrem no vcuo.
A experincia, o instinto, a generalizao e o raciocnio podem, todos eles, influenciar o resultado das avaliaes informais, e qualquer desses fatores, ou todos eles, pode ser a base de bons julgamentos. (WORTHERN et al., 2004, p.38).

Se o seu conjunto de indicadores de monitoramento no lhe permite chegar a explicaes satisfatrias; se suas estratgias de visitao ou contato informal no lhe agregam evidncias convincentes; ou se o processo de evaso ganha dimenses preocupantes em algumas reas e no em outras; talvez seja o momento de o gestor pensar em encomendar uma pesquisa de avaliao.

5. As pesquisas de avaliao no Ciclo de Polticas e Programas

O fato de se denominar avaliao a fase posterior implementao de programas no Ciclo de Polticas e Programas cria uma distino artificial entre as atividades de monitoramento, exercida com base nos sistemas de indicadores descritos no tpico anterior, e as de realizao de pesquisas de avaliao, que podem ser realizadas a qualquer momento do ciclo. Na realidade, monitoramento e avaliao de programas so termos cunhados para designar procedimentos tcnicos formais de acompanhamento de programas, focados na anlise da eficincia, eficcia e efetividade, visando ao aprimoramento da ao pblica. (COHEN; FRANCO, 2000). Monitoramento e avaliao so processos analticos organicamente articulados, que se complementam no tempo, com o propsito de subsidiar o gestor pblico de informaes mais sintticas e tempestivas sobre a operao do programa resumidas em painis ou sistemas de indicadores de

monitoramento e informaes mais analticas sobre o funcionamento desse, levantadas nas pesquisas de avaliao. Como bem conceitua documento do Tribunal de Contas da Unio:
O monitoramento e a avaliao dos programas de governo so ferramentas essenciais para a boa prtica gerencial. A avaliao um procedimento que deve ocorrer em todas as etapas permitindo ao gestor federal o acompanhamento das aes e sua reviso e redirecionamento quando necessrio. Enquanto o monitoramento uma atividade gerencial interna, que se realiza durante o perodo de execuo e operao, a avaliao pode ser realizada antes ou durante a implementao, como ao concluir uma etapa ou projeto como um todo, ou mesmo algum tempo depois, devendo se preocupar com o impacto provocado pela interveno pblica em seus beneficirios. (TCU, 2006, p. 75).

As tipologias clssicas usadas para classificar as pesquisas de avaliao acabam tambm favorecendo alguma confuso, como por exemplo considerar monitoramento como avaliao de processo. Esta ltima aquela realizada quando se requer avaliar as atividades de implementao dos programas, a extenso de cobertura do pblico-alvo atendido, a qualidade dos servios oferecidos ou ainda entender as dificuldades que esto emperrando a efetiva operao do programa, em contraposio pesquisa de avaliao de resultados e impactos, realizada idealmente depois de resolvidos os problemas de gesto, quando se requer, j na fase de avaliao do ciclo, uma resposta cabal s perguntas: O problema social que originou o programa foi equacionado? Qual a contribuio desse programa para isso? O programa deve continuar, ser expandido ou descontinuado? (Carvalho, 2003). Cohen e Franco (1994) as classificam, respectivamente, de avaliaes formativas e avaliaes somativas. Estas ltimas seriam avaliaes do tipo ex-post, distintas das avaliaes ex-ante, que se destinam a estudos de necessidade e viabilidade de criao de um programa. Worthern et al. (2004) resgatam outra classificao clssica, diferenciando as pesquisas de avaliao segundo seus protagonistas. Tem, ento, a avaliao interna, conduzida pela equipe do programa; a avaliao externa, realizada por equipe de consultores externos contratados; a avaliao mista, que prev a interao dos dois grupos; e a avaliao participativa, construda juntamente com os beneficirios dos programas (que tambm contribuem para o planejamento).

Cada modalidade tem vantagens e limitaes. Se a avaliao externa parece permitir um olhar externo no enviesado e comprometido com a continuidade do programa, conferindo maior iseno anlise (supondo que os consultores so absolutamente profissionais, no preocupados com as chances de contratao em uma a prxima demanda de avaliao); a avaliao interna, a mista e a participativa parecem permitir aportes mais circunstanciados na anlise dos processos e resultados, alm de facilitar a incorporao de melhorias na gesto do programa objetivo ltimo da avaliao. Avaliaes internas podem ser rpidas e baratas, ao contrrio das outras modalidades. Avaliaes participativas podem viabilizar aprimoramentos mais efetivos, pelo envolvimento dos beneficirios no sucesso do programa. Uma tipologia de pesquisas avaliativas particularmente interessante, face sua aderncia ao Ciclo de Polticas e Programas j exposto, proposta por Rossi et al. (2004), como ilustrado no Diagrama 3. Para esses autores, os estudos avaliativos deveriam compor um programa de investigao completo, seguindo a lgica implcita do ciclo de vida dos programas. Antes de mais nada, seria preciso analisar a pertinncia do programa na Agenda de Polticas Pblicas (Needs Assessment), investigando se responde a uma demanda social efetivamente existente. Se o programa existe para responder a uma demanda pblica de fato, e no a uma necessidade de autopreservao de uma estrutura organizacional criada em algum momento do passado, deveria se investigar a teoria ou modelo de

interveno em que o programa se assenta (Design Assessment). Afinal, este o melhor desenho lgico de interveno, no quadro de relaes institucionais prevalecente entre as esferas de governo? E frente s distintas capacidades de gesto e controle social pelo pas afora? Respondidas essas questes, faria sentido, ento, investigar o processo de implementao do programa (Program Process Assessment), e se constatada a inexistncia de graves problemas quanto entrega dos servios ao pblico-alvo, faria sentido avaliar impactos e resultados do programa (Impact Assessment). Ao final, tendo-se constatado que o programa socialmente justificvel, conta com um desenho de implementao adequado, com procedimentos operacionais bem estabelecidos e com resultados efetivamente comprovados, passar-se-ia para a Avaliao da Eficincia ou Custo-Efetividade

(Efficiency Assessment), para responder se o custo da operao do programa legitima-se pelos efeitos obtidos e se replicvel para outras escalas de operao. A proposta de Rossi et al. (2004) certamente um avano conceitual na forma de se entender os diferentes focos dos estudos avaliativos, para alm daquelas dicotomias avaliao de processos/avaliao de impactos, avaliao exante/avaliao ex-post etc. Ao propor nfases avaliativas para cada etapa do ciclo de vida do programa, os autores oferecem um plano de avaliao abrangente, orientando a especificao das pesquisas de avaliao segundo uma lgica de abordagem que tenderia a garantir, a priori, resultados relevantes e teis ao final do processo. Tal proposta ajudaria a definir melhor a questo crucial para sucesso de uma pesquisa de avaliao de programas: que aspectos do programa devem ser avaliados e quais devem ser abordados posteriormente, em funo do estgio de maturidade do programa, para maximizar as chances de se obter informaes teis e relevantes para seu aprimoramento no momento.
When developing the questions around which the plan for an evaluation will resolve, therefore, it is best for the evaluator to start at the bottom of the evaluation hierarchy [Avaliao da necessidade do programa] and consider first what is known and needs to be known about the most fundamental issues. When the assumptions that can be safely made are identified and the questions that must be answered are defined, then it is appropriate to move to the next level of hierarchy. . By keeping in mind the logical interdependencies between the levels in the evaluation hierarchy and the corresponding evaluation building blocks [tcnicas e instrumentos apropriados da pesquisa social], the evaluator can focus the evaluation on the questions most appropriate to the program situation. (ROSSI et al., 2004, p.81).

Afinal, no caberia especificar uma pesquisa de avaliao de resultados e impactos se h dvidas com relao ao estgio de maturidade dos processos e aes previstas na implementao do programa ou ainda se existem suspeitas de que o desenho de implementao padece de supostos no sustentveis em sua estrutura lgica de interveno. No caberia proceder-se a investigaes complexas de

Anlise de Custo-Efetividade se no h certeza de que os resultados e impactos gerados pelo programa so significativos. Enfim, evidncias de baixa efetividade do programa poderiam ser consequncias menos de falhas no desenho ou da forma como ele foi implementado e sim da prpria inadequao da existncia do

programa, como parece ser o caso dos programas voltados a oferecer experincia de primeiro emprego para jovens (Madeira, 2004). A hierarquia de focos avaliativos de Rossi et al. (2006) no implica que o gestor s possa dispor de informaes acerca da eficincia, da qualidade dos servios, da cobertura de atendimento do pblico-alvo nas fases mais adiantadas do ciclo de vida do programa. Pressupe-se que h um sistema de indicadores de monitoramento j estruturado que rene informaes indicativas nesse sentido. Pode at ser necessrio encomendar pesquisas de avaliao de resultados e impactos ou estudos mais aprofundados de avaliao da eficincia em estgios ainda incipientes da implementao do programa, para responder a demandas externas de avaliao. O que os autores defendem que se organize um plano consistente de avaliao em todas as etapas do ciclo de vida do programa, e que se resista tentao de colocar a carroa antes dos bois, encomendando pesquisas de

avaliao de forma precoce e desarticulada. preciso ser diligente com o risco de produo de resultados irrelevantes ou, pior, com a produo de resultados

precipitados em pretensa legitimidade cientfica. Diagrama 3: Indicadores e as Pesquisas de Avaliao no Ciclo de Polticas e Programas
Avaliao de Desenho

Avaliao de Necessidade de Programa

Definio de agenda Percepo e definio das questes Indicadores pblicas. Problemas e demandas sociais Indicadores
sociais diagnstico

Formulao Diagnstico e desenho de programas.

Indicadores sntese

Tomada de deciso Sobre programas e pblicos-alvo

Avaliao de Eficincia

Avaliao de Resultados e Impactos

Avaliao Indicadores de Anlise de monitoramento Implementao resultados e Produo e oferta impactos. dos servios. Avaliao de Deciso sobre Processo continuidade/ incio do ciclo.

Cada um desses tipos de estudos avaliativos requer uma abordagem metodolgica e/ou disciplinar diferente. Estudos de viabilidade ou necessidade de programas podem se valer de anlises documentais comparativas, de recurso s tcnicas de anlise econmica ou mesmo s anlises institucionais tpicos da Cincia Poltica. Anlise de desenhos lgicos de implementao envolve reviso de documentos usados quando da formulao do programa, emprego das tcnicas de planejamento de projetos e de comparao com outros modelos de interveno social semelhantes em outros contextos e momentos. A avaliao de processos pode requerer emprego de tcnicas variadas de coleta de informaes usados na pesquisa social. A avaliao de resultados e impactos, por sua vez, pode requerer emprego de entrevistas com agentes institucionais, grupos de discusso com beneficirios dos programas, pesquisas amostrais, delineamentos quasi-experimentais ou estudos comparativos de casos. A especificao do delineamento metodolgico adequado aos objetivos da pesquisa de avaliao pretendida , pois, aspecto crucial. A avaliao de programas um empreendimento tcnico-cientfico de uso de mtodos da pesquisa social para investigar a situao, problemas e diferentes aspectos da gesto de um programa pblico, ao longo do seu ciclo de vida, da sua concepo ao usufruto dos produtos e servios por ele disponibilizado, considerando o contexto organizacional e poltico em que ele se insere, com a finalidade ltima de informar as necessidades de aprimoramento de suas aes, de modo a contribuir, juntamente com outros programas, na melhoria das condies sociais da populao. Como empreendimento tcnico-cientfico, tal como na conduo de pesquisas acadmicas, a escolha do mtodo depende dos objetivos especficos almejados pelo avaliador. A busca de dados secundrios, a observao e suas variantes visitao, observao participante etc. , as entrevistas semiestruturadas ou estruturadas , os grupos de discusso, as pesquisas de campo com questionrios com amostras probabilsticas ou intencionais , e os desenhos quasi-experimentais e no experimentais so algumas das estratgias metodolgicas mais empregadas nas pesquisas de avaliao de programas no Brasil. Cada tcnica tem suas caractersticas, vantagens e limitaes. Os mtodos quantitativos, organizados sob a gide do modelo hipottico-dedutivo, como os

levantamentos amostrais e experimentos compreendem tcnicas bastante estruturadas destinadas investigao de problemas especficos , voltadas ao dimensionamento de quantidades ou da intensidade de relaes entre variveis, supondo distanciamento do pesquisador em relao ao objeto investigado. Os mtodos qualitativos, baseados no princpio da produo do conhecimento pela lgica indutiva, do particular para o geral, como a observao, as entrevistas e os grupos de discusso, compreendem tcnicas pouco ou semiestruturadas, para investigar exploratoriamente problemas complexos, pressupondo proximidade do pesquisador ao objeto avaliado. Foge ao escopo deste trabalho detalhar prescries metodolgicas acerca do emprego de uma ou outra tcnica, dada a complexidade de cada uma e pela boa disponibilidade de manuais brasileiros de mtodos e tcnicas de pesquisa social, como os de Laville e Dionne (1999), Cano (2002), Richardson et al. (2002) e Babbie (1999), entre outros. Vale incluir nessa lista, como importante material de referncia para delineamento metodolgico de pesquisas de avaliao, o documento organizado pela Secretaria de Avaliao e Gesto da Informao do Ministrio de Desenvolvimento Social e Combate Fome21 (MDS, 2007). So apresentados 18 estudos, na sua maioria pesquisas de avaliao de programas do ministrio nas reas de assistncia social, segurana alimentar e nutricional, e renda da cidadania. Na

exposio do estudo avaliativo de cada programa, so apresentados as instituies e pesquisadores participantes, o perodo de realizao, os objetivos da avaliao, os aspectos metodolgicos acerca das tcnicas de coleta de dados empregadas, as caractersticas da amostra e sujeitos entrevistados . As bases de dados dessas pesquisas de avaliao foram disponibilizadas no Portal da Secretaria e no Consrcio de Informaes Sociais da Associao Nacional de Ps-graduao e Pesquisa em Cincias Sociais (Anpocs), permitindo a pesquisadores e avaliadores buscar respostas preliminares para questes de outros programas similares22. Esse material evidencia, na prtica, como a natureza do programa, o estgio em que ele se encontra, os objetivos de avaliao, a disponibilidade de tempo e de recursos acabam orientando as decises metodolgicas acerca de instrumentos e
21 22

Vide www.mds.gov.br, menu Institucional Sagi. Vide www.nadd.prp.usp.br/cis.

tcnicas de pesquisa, o tamanho, intencionalidade ou no das amostras das pesquisas de avaliao encomendadas pela Sagi. Ilustra-se como pesquisas de avaliao de processo conduzidas para vrios programas procuram garantir levantamento de informaes atravs de entrevistas semiestruturadas com agentes pblicos em diferentes posies da produo dos servios (gestores municipais, tcnicos atendentes do pblico), em localidades intencionalmente selecionadas (segundo tempo de implantao do programa, por exemplo). Grupos de discusso com equipes tcnicas envolvidas nos programas e, sobretudo, com beneficirios desses permitem levantar rapidamente informaes cruciais para aprimoramento de procedimentos e aes dos programas e tambm para captar dimenses de impacto no facilmente tangveis. Exemplo ilustrativo da tcnica descrito por Carvalho (2003), na estratgia para avaliar os resultados e impactos do programa Jovem Cidado em So Paulo. Esse programa visava proporcionar, aos estudantes de 16 a 21 anos da rede pblica estadual de ensino mdio, a primeira oportunidade de experincia profissional no mercado de trabalho.
Por se tratar de um pblico composto por jovens, a tcnica utilizada foi a de grupos de discusso, aplicando-se dinmicas que estimulam e facilitam a manifestao dos participantes, como simulaes e jogos, tornando a pesquisa quase ldica. Tais dinmicas ajudam a atenuar dificuldades como inibio, timidez, desconfiana de determinados pblicos. Isso particularmente til no caso de jovens, segmento que geralmente se caracteriza por falas lacnicas, em cdigo, em especial diante de adultos.[...] CARVALHO, 2003, p.189)

A anlise estruturada de textos uma tcnica usada para interpretar relatos de entrevistas ou de grupos de discusso de forma mais estruturada, tratando palavras, frases, pargrafos como entidades empricas, permitindo contabilizar frequncias, recorrncias e relacionamentos entre ideias de um conjunto de textos e documentos. No campo dos estudos de avaliao de programas, em especial nas pesquisas de satisfao ou avaliao de impacto junto a beneficirios de programas sociais, a tcnica pode ser utilizada como recurso analtico para sistematizar, de forma mais objetiva e padronizada, as manifestaes, opinies e crticas presentes nos discursos dos entrevistados, e como estratgia metodolgica para garantir maior replicabilidade das avaliaes em outros contextos territoriais e temporais. Worthen

et l. (2004) consideram que estas tcnicas podem produzir avanos significativos nos enfoques qualitativos de avaliao. No existe a priori um mtodo universal, mais legtimo ou com maior status cientfico para toda e qualquer pesquisa de avaliao, como no existe um nico mtodo para as pesquisas acadmicas. Como bem assinalado em um importante manual da Pesquisa Social Americana acerca da prtica da pesquisa cientfica:
It seems to us futile to argue whether or not a certain design is scientific[] It is not a case of scientific or not scientific, but rather one of good or less good design [] The proof of the hypotheses is never definitive[] There is no such thing as a single correct design. Different workers will come up with different designs favoring their own methodological and theoretical predispositions[] All research design represents a compromise dictated by the many practical considerations that go into social research. None of us operates except on limited time, money, and personnel budgets[] A research design must be practical. A research design is not a highly specific plan to be followed without deviation, but rather a series of guideposts to keep one headed in the right direction[...] (SUCHMAN in MILLER, 1991, p.98)

estranho, pois, que ainda persista, em certas comunidades, o mito de que os delineamentos experimentais ou quasi-experimentais constituem-se nos mtodos mais adequados e legtimos cientificamente para avaliao de impactos. Esses desenhos metodolgicos de avaliao so inspirados no formato clssico do experimento nas Cincias Naturais. Tal modelo tem o objetivo de investigar a estrutura e intensidade de causalidade entre uma varivel-efeito dependente e seus fatores determinantes. Para isso, preciso garantir o controle da situao experimental em laboratrio e o emprego de grupos tratamento (beneficirios de programas) e controle (no beneficirios) escolhidos de forma aleatria. Nos desenhos quasi-experimentais, uma das condies bsicas que definem o experimento no verificada, em geral, a designao aleatria em grupos experimental e de controle. Como ilustrado no Quadro 3, o desenho visa avaliar a evoluo dos dois grupos supostamente idnticos no comeo do experimento , ao longo de tempo, e constatar se ao final h evidncias de que o primeiro mostrou melhor performance que o segundo, em uma varivel entendida como reveladora dos efeitos do programa.

Quadro 3 Desenho experimental clssico

Programa O1 ---------------- O2 -----------------------------------------------C1 ---------------- C2 Medida Pr-programa Medida Ps-programa

O: Grupo de tratamento (beneficirio do programa) C: Grupo de controle (similar ao outro grupo, mas no beneficirio) Grupos de indivduos O e C definidos por designao aleatria. Se O2 O1 > C2 C1, ou se O1 = C1 e O2 > C2, ento o programa produz impacto.

Na realidade, tal delineamento de pesquisa experimental ou quasiexperimental um dos mtodos usados para avaliao de impacto, no necessariamente o melhor ou mais factvel. Nesse tipo de desenho avaliativo, h problemas ticos (Como escolher e justificar quem vai ser beneficirio e quem vai ficar de fora do programa?); operacionais (Como evitar a evaso dos beneficirios? Como garantir que os efeitos medidos so apenas do programa em foco, em meio a um contexto crescente de intervenes sociais?); metodolgicos (O indicador empregado a melhor medida para captar a dimenso impactada? O que se supe como dimenso impactada guarda, pelo desenho lgico do programa, vinculao estreita com as aes e atividades desse? O impacto deve ser medido sobre os beneficirios ou junto comunidade a que pertencem?); e epistemolgicos (Como os esforos de garantia da validade interna do experimento conspiram contra a generalizao dos resultados?Como garantir que um programa bem avaliado em circunstncias to artificiais possa repetir o xito em situaes normais?) (WEISS, 1972; MOHR, 1995; CANO, 2002). Ainda que todos esses problemas fossem contornveis, restaria um de natureza prtica: se os efeitos potenciais do programa, tal como medidos em uma determinada varivel, no forem elevados algo que o incrementalismo de Lindblom sugeriria , as amostras de beneficirios atendidos e do grupo controle

teriam que ser consideravelmente grandes para que os testes estatsticos possam ser aceitos sem hesitao (ROSSI et al., 2004). A mitificao desse desenho na avaliao de programas se deve, em alguma medida, pela origem dos estudos avaliativos centrados na investigao de programas nas reas de educao e sade pblica, como j mencionado, onde tais modelos podem se viabilizar mais concretamente pelas condies de simulao de laboratrio em salas de aula ou pela tradio dos ensaios de tratamento clnico de doenas. A hegemonia circunstancial dos modelos quantitativos importados da pesquisa em Cincias Naturais, no debate sobre a cientificidade dos mtodos de pesquisa a serem ensinados e adotados na pesquisa social americana nos anos 1960 momento de expanso dos estudos avaliativos naquele pas, como j mencionado tambm outro fator explicativo. Nesse contexto, como sugerem Worthern et al. (2004), o livro Experimental and Quasi-Experimental Designs for Research, escrito pelos psiclogos Donald Campbell e Julian Stanley, publicado em 1966, acabou sendo adotado como o manual de referncia metodolgica da comunidade de avaliadores que ora se formava. Afinal, apesar das advertncias sobre as dificuldades de replicao das condies de controle laboratorial no contexto de operao dos programas sociais, a elegncia e a preciso do mtodo experimental levaram a maioria dos avaliadores de programa a v-lo como ideal. (WORTHERN et al., 2004, p.116). As crticas que se seguiram nas dcadas seguintes sobre aspectos ticos, factibilidade operacional e poder de generalizao dos resultados de desenhos experimentais e suas aproximaes quasi-experimentais , seja na pesquisa acadmica, seja na pesquisa de avaliao de programas, a incorporao de avaliadores provenientes das vrias disciplinas das Cincias Sociais antroplogos, socilogos, comuniclogos etc. e a formalizao mais rigorosa de abordagens de investigao mais qualitativas, mais adequadas aos problemas complexos e pouco estruturados da realidade social, acabaram por consolidar a percepo, na comunidade de avaliadores nos EUA, de que os estudos avaliativos requerem certo ecletismo metodolgico, integrando mtodos quantitativos e qualitativos.
Na verdade, a maioria dos avaliadores srios comeou a entender que as abordagens quantitativas e naturalistas tm padres metodolgicos e rigor

que so diferentes, e no ausentes. A maioria dos avaliadores passou a aceitar a existncia das mltiplas realidades ou pelo menos das mltiplas percepes da realidade. Com essa conscincia e uma legitimidade maior, a avaliao qualitativa surgiu como alternativa real ou complemento da abordagem quantitativa tradicional. (WORTHERN et al., 2004, p.117)

Ainda assim, continuam os autores, alertando que o debate no est encerrado, na medida em que:
Aqueles que preferem o uso exclusivo ou majoritrio de mtodos quantitativos esto, em sua maior parte, aborrecidos com a aceitao dos estudos qualitativos (apesar do fato de o trabalho quantitativo ainda manter sua posio como abordagem dominante da avaliao e pesquisa [...] Esses crticos da avaliao qualitativa queixam-se com frequncia da subjetividade de muitos dos mtodos e tcnicas qualitativos, mostrando a preocupao de que a avaliao tenha abandonado a objetividade em favor de uma subjetividade exercida inabilmente. WORTHERN et al., 2004, p.117)

Dada a complexidade operacional, os contextos de implementao, os desenhos institucionais e a diversidade de pblicos-alvo dos programas pblicos no Brasil, no se pode definir uma tcnica de investigao como melhor em qualquer situao. Muitos programas operam em contextos complexos, pouco estruturados para abordagens quantitativas (e muito menos para desenhos quasi-experimentais). Nessas situaes, abordagens metodolgicas menos estruturadas podem levantar evidncias mais relevantes e teis para aprimoramento dos programas. possvel que permitam a estruturao de questes mais especficas a investigar, para aplicao posterior de desenhos quantitativos de pesquisa. Abordagens

quantitativas e qualitativas no so mutuamente excludentes em um projeto de pesquisa ou avaliao. So complementares, compatveis e conectveis. Desta forma, a estratgia avaliativa que deve se ajustar complexidade do programa ou problema a ser investigado, e no o contrrio. o problema a ser avaliado que deve orientar a escolha dos mtodos, sujeitos, instituies a serem investigadas. No a suposta consistncia tcnica dos mtodos de avaliao que deve condicionar a forma de como o programa deve ser implementado ou conduzido. O desenho ou estratgia de implementao do programa deve ser aquele que melhor se ajusta aos condicionantes, restries e potencialidades existentes no contexto de operao do programa. Problemas sociais complexos requerem estratgias avaliativas igualmente complexas, exigindo muitas vezes a triangulao

de metodologias e sujeitos, ou melhor, a abordagem do objeto de estudo segundo tcnicas diferentes de investigao e de sujeitos a serem entrevistados (Diagrama 5). Pluralismo metodolgico, enfoques avaliativos mistos, triangulao de abordagens investigativas23, complementariedade de tcnicas. So essas as perspectivas da pesquisa de avaliao de programas partilhadas pelos autores das duas principais referncias bibliogrficas aqui citadas Worthern et al. (2004) e Rossi et al. (2004). Rigor metodolgico, capacidade de improvisao e maleabilidade tcnica frente complexidade do objeto de estudo, estas so as prescries

generalizveis para qualquer equipe necessariamente multidisciplinar que queira encarar responsavelmente a pesquisa aplicada na avaliao de programas.

23

Triangular significa abordar o objeto de pesquisa com trs (ou mais) tcnicas diferentes de investigao, como linhas no paralelas na forma de um tringulo cercando o objeto de pesquisa ao centro.

Diagrama 5: Problemas complexos, avaliaes complexas por meio de triangulao de tcnicas e sujeitos
Populao Beneficirios dos programas

Pesquisas amostrais

Problemas sociais a investigar

Abordagens qualitativas: entrevistas, grupos focais, etnografias, etc

Lideranas polticas QuaaiExperimentos

Gestores e agentes de programas

Deve-se observar ainda que na estratgia de avaliao no se requer necessariamente a obteno de dados atravs de alguma tcnica anteriormente relacionada. Os dados disponveis nos registros operacionais dos programas, o sistema de indicadores de monitoramento, as pesquisas dos Institutos Nacionais de Estatstica e dados de outros rgos podem permitir realizar anlises preliminares a baixo custo e tempo. O problema que, em geral, essas fontes de informao no garantem a especificidade necessria para responder a perguntas mais concretas de interesse. Mas em vrias situaes possvel integr-las em nvel individual ou segundo algum agregado regional e analis-las por meio de um modelo economtrico com certo poder avaliativo. Outras fontes teis de informao secundria so os relatrios de avaliao de rgos de Controle Pblico, que no Brasil so o Tribunal de Contas da Unio (TCU) e a Controladoria Geral da Unio (CGU)24. Os relatrios de avaliao de programas do TCU, elaborados desde 1998, so organizados em grandes tpicos, iniciando-se com a exposio dos objetivos da avaliao do programa (seo O que foi
24

Os relatrios destas instituies podem ser acessados em www.tcu.gov.br e www.cgu.gov.br .

avaliado), a justificativa para a realizao (Por que foi avaliado), os aspectos metodolgicos da pesquisa de avaliao, explicando mtodos e tcnicas de coleta e anlise de dados, as amostras e sujeitos investigados (Como se desenvolveu o trabalho) e uma breve apresentao do programa (Histrico do programa). Os resultados da avaliao (O que o TCU encontrou) so apresentados em sees organizadas segundo os objetivos da investigao. Ao final, so sistematizados as sugestes de aperfeioamento para o programa melhorar o programa). Os relatrios de avaliao da execuo dos programas federais, conduzidos pela CGU, na forma de sorteios sistemticos de estados e municpios so tambm fontes de informao muito interessantes para avaliaes preliminares do processo de implementao de programas pblicos. Um exemplo o de Vieira (2008), que empregou os relatrios da CGU para identificar os problemas de gesto municipal do programa de Assistncia Farmacutica em uma amostra de 597 municpios. A autora constatou que 90,3% dos municpios apresentou problemas de gesto de recursos ou de servios, como falta ou deficincia de controle de estoque e medicamentos, compras irregulares e condies inadequados de armazenamento entre outros aspectos. Os documentos, informes e relatrios de rgos internacionais das Naes Unidas - PNUD, Unicef, Unesco, Habitat, FAO, OIT, Cepal, etc. assim como Banco Mundial, OCDE, Banco Interamericano de Desenvolvimento so outras fontes de informao para avaliao de Polticas, programas e aes governamentais em escala nacional e internacional. Estes relatrios, usualmente anuais, tambm trazem dados estatsticos, anlises temticas e experincias de diferentes pases. Se pode fazer comparaes de indicadores sociais, considerando os gastos oramentrios e a dinmica econmica de cada pas. Se pode conhecer experincias e programas de outros pases, as melhores prticas, os desafios e dificuldades comuns. H que se considerar, como em toda avaliao ou estudo, que a viso de mundo e os enfoques metodolgicos dos autores e da instituio executora determinam os resultados que so registrados nos relatrios. (O que pode ser feito para

Quadro 3: Alguns dos principais relatrios sociais internacionais

Instituo CEPAL PNUD UNESCO UNICEF FAO OIT Banco Mundial OCDE Bco Interamericano Informe Social Panorama Social de Amrica Latina y Caribe Relatrio de Desenvolvimento Humano Global Education Digest Estado Mundial da Infancia Estado mundial da agricultura e alimentao Tendencias mundiales del empleo Relatrio de Desenvolvimento Mundial OECD Factbook Development Effetiveness Overview

6.

Consideraes finais
A ampliao do gasto social no Brasil e a diversificao dos programas

voltados a atender s diversas demandas pblicas vm pressionando o setor pblico a aprimorar suas prticas de gesto. Nesse sentido, a preocupao com o aprimoramento tcnico na elaborao de diagnsticos e nas atividades de monitoramento e avaliao de programas vem crescendo. Estruturar melhor os sistemas de indicadores de monitoramento e especificar pesquisas de avaliao mais consistentes so desafios que precisam ser rapidamente enfrentados nos trs nveis de governo federal, estadual e municipal , sob pena de estender, por mais tempo ainda, a superao das iniquidades sociais no pas e sob o risco de se perder a crena de que os programas pblicos podem ser vetores impactantes da mudana social no Brasil. Este texto procurou mostrar que tais instrumentos precisam ser especificados, respondendo s demandas de informao do gestor nas diferentes fases do ciclo de vida do programa, de acordo com o estgio de maturidade desse. No existe uma receita nica, pronta e acabada para desenhar esses instrumentos. Existem experincias, recomendaes e boas prticas. Que elas sirvam para enfrentar os desafios da estruturao dos nossos sistemas de M&A.

Referncias Bibliogrficas
ALMEIDA, A. C. Como so feitas as pesquisas eleitorais e de opinio. Rio de Janeiro: FGV, 2002.

ATKINSON, T. et al. Social Indicators: the EU and Social Inclusion. Oxford: Oxford Univ. Press, 2005. BABBIE, E. Metodos de pesquisa de Survey. Belo Horizonte: Ed.UFMG, 1999. BENNETT,C. A . ; LUMSDAINE, A .A . Evaluation and experiment: some critical issues in assessing social programs. New York: Academic Press, 1975. CANO, I. Avaliao de programas sociais. Rio de Janeiro: FGV, 2002. CAREY,G. W. Government. Encyclopedia Americana. Danburry: Scholastic, 2006. p. 127-131. CARVALHO, S. N. Avaliao de programas sociais: balano das experincias. So Paulo em Perspectiva, So Paulo, v. 17, n. 3-4, p. 185-197, 2003. COHEN, Ernesto; FRANCO, Rolando. Avaliao de projetos sociais. Petrpolis, RJ: Vozes, 1999. COTTA, T. C. Metodologias de avaliao de programas e projetos sociais: anlise de resultados e impacto. Revista do Servio Pblico, Braslia, v. 49, n. 2, p. 103-124, 1998. E contribuio para o debate. So Paulo em Perspectiva, So Paulo, v. 17, n. 3-4, p. 185-197, 2003. COUTINHO, R. G. Subsdios para organizar avaliaes da Ao Governamental. Textos para discusso, Braslia, n. 776: IPEA, 2001. FREY, Klaus. Polticas Pblicas: Um debate conceitual e reflexes referentes prtica da anlise de polticas no Brasil. Planejamento e Polticas Pblicas, 21. Braslia: IPEA, 2002. GENERAL ACCOUNTING OFFICE. Social research and development of limited use to national policymakers: Report to the congress. Washington: 1977. GUIMARES, J. R. S; JANNUZZI, P. M. IDH. Indicadores sintticos e suas aplicaes em polticas pblicas: uma anlise crtica. Revista Brasileira. Est. Urbanos e Regionais, Salvador, v. 7, n. 1, p. 73-89, 2005. HOWLETT, M.; RAMESH, M. Studying public policy: policy cycles and policy subsystems. DonnMills: Oxford University Press, 2003. JANN, W.; WEGRICH, K. Theories of the policy cycle. FISCHER, F. et al. Handbook of public policy analysis: theory, politics and methods. Boca Raton: CRC Press, 2007, p. 43-62.

JANNUZZI, P. M. Indicadores sociais no Brasil: conceitos, fonte de dados e aplicaes. Campinas: Alnea, 2004. __________ Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil. Revista do Servio Pblico, Braslia, v. 56, n. 2, p. 137-160, Abr./Jun. 2005. JANNUZZI, P. M., MIRANDA, W. L. Pradin e Monit: ferramentas para tomada de deciso no ciclo de polticas pblicas. Boletim de Estatsticas Pblicas, Salvador , n.4, p.62-73, 2008. JANNUZZI, P. M., MIRANDA,W. L., SILVA, D. S. G. da. Anlise Multicritrio e Tomada de Deciso em Polticas Pblicas: Aspectos Metodolgicos, Aplicativo Operacional e Aplicaes. Revista Informtica Pblica, Belo Horizonte, ano II, p. 69-87, 2009. LAVILLE, C.; DIONNE, J. A construo do saber. Porto Alegre: Artmed/ED.UFMG, 1999. LINDBLOM, C. Todava tratando de salir del paso. SARAVIA, E.; FERRAREZI, E.(orgs.) Polticas pblicas: coletnea. Braslia: ENAP, 2006, p.99-122. MADEIRA, F. R. A improvisao na concepo de programas sociais: muitas convices, poucas constataes o caso do primeiro emprego. So Paulo em Perspectiva, So Paulo, v. 18, n. 2, p. 78-94, 2004. MCDAVID, J. HAWTHORN.L. Program Evaluation and Performance Measurement: An Introduction to Practice. Thousand Oaks: Sage, 2006. MILLER, D.C. Handbook of research design and social measurement. Nwebury Park: Sage, 1991. MINISTRIO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME. Metodologias e instrumentos de pesquisas de avaliao de programas do MDS: Bolsa Famlia, Assistncia Social, Segurana Alimentar e Nutricional. Rmulo Paes-Sousa; Jeni Vaitsman (orgs.). Braslia, DF: MDS; SAGI, 2007. MINISTRIO DO PLANEJAMENTO, ORAMENTO E GESTO. Guia metodolgico para construo de indicadores para o PPA. Braslia, 2009. MOHR, L.B. Impact analysis for program evaluation. Thousand Oaks: Sage, 1995. NASCIMENTO, B. A reforma universitria de 1968: origem, processo e resultados de uma poltica pblica para o ensino superior. 1991. Tese (Doutorado) UFRJ, Rio de Janeiro. OWEN, J.M. Program evaluation: forms and approaches. New York: Guilford Press, 2007.

PARADA, E. L. Poltica y polticas pblicas. SARAVIA, E.; FERRAREZI, E. (orgs.) Polticas pblicas: coletnea. Braslia: ENAP, 2006. p.67-95. REZENDE, L. M. e JANNUZZI, P. M. Monitoramento e Avaliao do PDE: IDEB e painel de indicadores. Revista do Servio Pblico, Braslia, v. 59, n. 2, p. 121-150, 2008. RICHARDSON, R. J et al. Pesquisa social: mtodos e tcnicas. So Paulo: Atlas, 2002. ROSSI, P. H. et al. Evaluation: a systematic approach. Thousand Oaks: Sage, 2004. RUA, M.G. Algumas consideraes preliminares sobre poltica e polticas pblicas. In: RUA, Maria das Graas e CARVALHO, M. I. V. (orgs). O estudo da poltica: tpicos selecionados. Braslia: Paralelo 15, 1998. RUA, M.G. A avaliao no ciclo da gesto pblica. Apostila do curso de Especializao em polticas pblicas da Educao com nfase em monitoramento e Avaliao MPA. ENAP. MIMEO, 2004. SARAVIA, E. Introduo teoria da poltica pblica. In: SARAVIA, E.; FERRAREZI, E.(orgs.) Polticas pblicas: coletnea. Braslia: ENAP, 2006. p. 21-42. SARAVIA, E.; FERRAREZI, E.(orgs.) Polticas pblicas: coletnea. Braslia: ENAP, 2006. SCANDAR NETO, W. et al. Sistemas de indicadores ou indicadores sintticos: do que precisam os gestores de programas sociais. In: HENRIQUES, R. et al (Org). Educao na diversidade : como indicar as diferenas? (Coleo Educao para Todos, Srie Avaliao). Braslia: MEC/Unesco, n. 8, v. 25, p. 16-34. 2006. TRIBUNAL DE CONTAS DA UNIO. Avaliao do TCU sobre o Programa Nacional Biblioteca na Escola. Braslia: TCU, 2002. VIEIRA, Fabiola Sulpino. Qualificao dos servios farmacuticos no Brasil: aspectos inconclusos da agenda do Sistema nico de Sade. Revista Panamericana de Salud Pblica, v. 24, n. 2, p. 91-100, 2008. VILLANUEVA, L. F. A. Estudio introdutrio. SARAVIA, E.; FERRAREZI, E.(orgs.) Polticas pblicas: coletnea. Braslia: ENAP, 2006, p.43-65. WEISS,C. Evaluation research. New Jersey: Prentice Hall, 1972. WORTHERN, B. R. et al. Avaliao de programas: concepes e prticas. So Paulo: EdUsp/Gente, 2004.