Combate À Pobreza Rural

IICA
SRIE DESENVOLVIMENTO RURAL SUSTENTVEL
Aes de Combate Pobreza Rural:

metodologia para avaliao de impactos
Volume 6
INSTITUTO INTERAMERICANO DE COOPERAO PARA A AGRICULTURA (IICA) REPRESENTAO DO IICA NO BRASIL
Aes de combate pobreza rural: metodologia para avaliao de impactos

VOLUME 6
Organizadores da Srie Carlos Miranda e Cristina Costa Autores Antnio Mrcio Buainain (Coordenador) Carlos Guanziroli Carolina Homem de Melo Henrique Neder Hildo Meirelles de Souza Filho (Coordenador) Jos Maria Jardim da Silveira Mrio Otvio Batalha Marta Arretche Rinaldo Artes
1a Edio
Braslia - Abril/2007
dos autores 1a edio: 2007 Direitos reservados desta edio: Instituto Interamericano de Cooperao para a Agricultura Distribuio Instituto Interamericano de Cooperao para a Agricultura IICA SHIS QI 3, Lote A Bloco F Centro Empresarial Terracotta Lago Sul , CEP: 71.605-450 Tel.: (61) 2106 5477 Fax: (61) 2106 5459 www.iica.org.br
Reviso: Marco Aurlio Soares Salgado Capa e diagramao: Joo Del Negro
A719 Aes de combate pobreza rural: metodologia para avaliao de impactos / Carlos Miranda e Cristina Costa (organizadores); Antnio Mrcio Buainain (coordenador), Carlos Guanziroli, Carolina Homem de Melo, Henrique Neder, Hildo Meirelles de Souza Filho (coordenador), Jos Maria Jardim da Silveira, Mrio Otvio Batalha, Marta Arretche, Rinaldo Artes (autores). - Braslia: Instituto Interamericano de Cooperao para a Agricultura, 2007. (Srie Desenvolvimento Rural Sustentvel; v. 6.) p. 228; 15 x 23 cm. ISBN 978-85-98347-11-0 Inclui bibliografia 1. Socioeconmico. 2. Combate pobreza Brasil. 3. Impactos socioeconmicos. 4. Avaliao. I. Miranda, Carlos. II. Costa, Cristina. III. IICA. IV. Srie. CDD 304.330.9 Catalogao na publicao: Rossana Coely de Oliveira Moura CRB-3 / 791
PREFCIO PELO IICA
A dinmica das transformaes hoje vividas pelas organizaes, tanto institucionais quanto de contexto, seria razo suficiente para uma abordagem sria dos temas tratados neste livro. Lamentavelmente, parecenos que um futuro de grandes desafios se avizinha, num mundo em que no somente teremos que prover alimento e energia para uma populao que cresce exponencialmente, mas tambm prevenir e remediar feridas ambientais e sociais centenrias. Assim, monitorar e avaliar, mais do que nunca, preciso; tanto em relao necessidade quanto preciso tcnica encerrados nas palavras. Do contrrio, seguiremos brincando com a vida e com os suportes materiais que a sustentam, num comportamento ao mesmo tempo injusto e contraproducente. Este livro coloca de forma objetiva o tema da mensurao, clareando conceitos e propondo um caminho prtico aos que se propem a encarar com firmeza a tarefa de buscar o desenvolvimento e a mudana. Com essas ferramentas, podero garantir a conduo eficiente de seus projetos e avaliar o impacto da operao. Dessa forma, podero ver se esto mesmo fazendo uma diferena na construo do futuro justo e sustentvel que buscamos todos.
Carlos Amrico Basco Representante do IICA no Brasil
PREFCIO PELA SECRETARIA DE ESTADO DA AGRICULTURA, PECURIA E DESENVOLVIMENTO RURAL DO MARANHO
Esta obra preenche um espao fundamental nas organizaes governamentais e no-governamentais que trabalham na elaborao e no controle social de polticas pblicas, bem como na execuo de aes de combate pobreza no Brasil. Cientistas de diversas universidades brasileiras reuniram-se para avaliar os programas sociais de reduo da pobreza, em curso no pas. O trabalho pautou-se em experincias e no desenvolvimento de tcnicas e mtodos de monitoramento, acompanhamento e controle sobre a eficincia e a eficcia desses programas. Nasceu, assim, um instrumento de orientao prtica e de discusso conceitual para todas as pessoas envolvidas com a diminuio das desigualdades sociais. Reduzir a pobreza tem sido o grande desafio nacional frente concentrao de renda que tem caracterizado o modelo econmico nacional. Fome, desnutrio, pobreza, misria e indigncia so mazelas que vm marcando a sociedade brasileira nas ltimas dcadas, apesar das riquezas naturais. Nos povoados da zona rural e nas periferias das grandes cidades, a populao brasileira mais excluda vive em meio a privaes e restries quanto s suas necessidades bsicas de emprego, moradia, alimentao, renda, saneamento bsico, entre outros. Milhes de brasileiros vivem com dificuldade, na escassez, em uma faixa que vai da linha de indigncia linha de pobreza. Dentre as populaes excludas do processo de desenvolvimento econmico, destacam-se, em especial, os agricultores e as agricultoras familiares, sobretudo, os do Norte e Nordeste. No entanto, milhes de dlares j foram aplicados para que superassem a condio de pobres e excludos. E por que a situao deles no melhorou? O valor desta publicao est em nos oferecer respostas para essa inquietante indagao. As polticas pblicas precisar ser avaliadas de forma sistemtica e sempre.
Inquestionavelmente, o Brasil um pas rico, mas a circulao de riqueza no alcana a maioria da populao. Por outro lado, muitos dos recursos dos programas sociais no so bem empregados ou no chegam ao pblico-alvo, a quem foi destinado. De igual forma, projetos mal elaborados, com desperdcio do dinheiro pblico, e aes equivocadas acabam no beneficiando as comunidades necessitadas. Assim, mtodos cientficos de avaliao para otimizar aes sociais crescem de importncia, tornando-se fundamentais em pases de pobreza generalizada e de riqueza concentrada, como ocorre hoje no Brasil.
Domingos Paz Secretrio de Estado da Agricultura, Pecuria e Desenvolvimento Rural do Maranho
APRESENTAO
O Instituto Interamericano de Cooperao para a Agricultura (IICA) apresenta o Volume 6 da Srie Desenvolvimento Rural Sustentvel. Esta publicao aborda a temtica Aes de combate pobreza rural: metodologia para avaliao de impactos. A iniciativa integra ainda o conjunto de atividades realizadas pelo Frum Permanente de Desenvolvimento Rural Sustentvel Frum DRS, organizado e promovido pelo Instituto. Avaliar impacto de programas e de projetos sociais firma-se como exigncia para melhorar a alocao de recurso pblico e mostra-se eficaz na reduo da pobreza e da desigualdade em todos os pases do mundo, desde os menos desenvolvidos aos mais ricos. Em muitos casos, as avaliaes so tratadas como imposio dos financiadores e executadas burocraticamente pelos responsveis apenas para cumprir a formalidade incontornvel. Em outros, felizmente em nmero crescente, os estudos de avaliao so incorporados s atividades essenciais ao desenvolvimento do projeto e considerados ferramenta til para acompanhar as aes do setor pblico, corrigir rumos, melhorar o desenho das polticas e oportunizar reflexo mais ampla no somente sobre o contexto econmico, social e institucional, no qual se inserem as polticas, mas tambm sobre a estratgia e os instrumentos adotados. Ressalta-se que o resultado e a validade das avaliaes dependem da metodologia adotada, da temporalidade dos estudos e do prprio custo para realiz-los. O desafio efetivar avaliaes tcnicas e metodologicamente consistentes, feitas ao menor custo possvel e concludas em tempo hbil para permitir, por parte dos formuladores, reforo dos acertos e mudana das prticas equivocadas. A obra tem como base a metodologia desenvolvida e utilizada por um grupo de pesquisadores de vrias universidades brasileiras para avaliar o Projeto de Combate Pobreza Rural, financiado com recursos de emprstimo do Banco Mundial e que conta com contrapartida da Unio e dos estados participantes. Esse tipo de projeto, implementado no Brasil
desde meados da dcada de 1990, visa facilitar a compreenso do processo de avaliao, seja para aquele que contrata, seja para os que realizam esse tipo de trabalho. Os estudos realizados orientaram a formulao da metodologia aplicada concepo de que as avaliaes devem vincular-se aos sistemas de monitoramento do processo de implantao dos programas e dos projetos sociais. Avaliaes concebidas e colocadas em prtica como externas so de difcil apropriao pelos formuladores de polticas pblicas, voltadas ao tema, bem como de seus respectivos responsveis, uma vez que essas avaliaes enfrentam dificuldades para serem internalizadas e utilizadas como instrumento de planejamento. O primeiro captulo trata desse ponto, indicando a necessidade bsica de monitorao da poltica a ser implementada e as diferenas entre monitorar e avaliar. Isso implica a construo de indicadores, tema retomado no Captulo 2, que fornece um panorama geral dos processos de avaliao de impactos e dos experimentos s tcnicas economtricas. O captulo 3 aborda outro tipo de anlise: permite o clculo da relao custo/benefcio do projeto, cujo objetivo vincular a deciso de alocar recursos a uma poltica especfica, possibilitando, assim, criao de viveis alternativas para adequado desenvolvimento do projeto a custo acessvel. Consta ainda a dificuldade de se realizar este tipo de anlise, uma vez que muitos desses benefcios so de difcil apreenso e mensurao, alm de exigirem tempo de amadurecimento. A leitura dos trs primeiros captulos j permite a formao de um panorama quase completo sobre avaliao de impactos. Os captulos 4 e 5 detalham as tcnicas que permitem responder duas questes fundamentais: o projeto realmente voltado para o seu pblicoalvo? O programa cria vnculos comunitrios que permitem a reduo de sua dependncia em relao s polticas pblicas focalizadas no combate pobreza? De se destacar que focalizao e capital social so temas atualmente obrigatrios no currculo dos formuladores de polticas do Sculo XXI. Os captulos que se seguem tratam de tcnicas e de procedimentos comuns s avaliaes, independentemente do objeto de estudo, como relacionar variveis, delinear processos amostrais e estabelecer os requisitos para a construo de instrumentos de coleta adequados formao de bancos de dados teis para avaliaes presentes e futuras. O livro tambm fornece apndices com a descrio resumida dos principais mtodos utilizados em avaliao de polticas sociais. Um interessante
resultado de fcil percepo neste trabalho: quem avana essas pginas passa a conhecer um panorama das tcnicas economtricas mais utilizadas na literatura econmica moderna. evidente que o texto deste Volume 6 da Srie Desenvolvimento Rural Sustentvel no pretende substituir a vasta literatura especfica sobre o assunto, mas objetiva sintetizar os diferentes tpicos que qualquer pessoa envolvida em processo de avaliao deveria conhecer, ainda que de forma introdutria. Espera-se que este livro incentive os gestores atuais e futuros da poltica social a sustentar uma mentalidade crtica baseada na objetividade dos fatos e no constante dos processos, em substituio ao achismo to presente nos dias de hoje. Programas do errado por vrias razes. Ao contrrio do que pensam muitos dos contratantes de estudos de avaliao, boas avaliaes no so aquelas que elogiam as aes implementadas, algumas vezes custa da prpria consistncia do trabalho. Boas avaliaes so aquelas capazes de apontar as causas dos erros e de destacar os acertos, sem que quaisquer grupos polticos e ideolgicos se dem ao luxo de no lev-las em considerao.
Os Organizadores
PRESENTATION
The Inter-American Institute for Cooperation on Agriculture (IICA) presents Volume 6 of the Sustainable Rural Development Series. This publication discusses Actions to Fight Rural Poverty: Impact Assessment Methodology. This initiative is also part of a set of activities carried out by the Permanent Sustainable Rural Development Forum SRD Forum, organized and promoted by the Institute. Assessing the impact of social programs and projects has become essential in order to improve allocation of public funds and has proved effective in reducing poverty and inequality all over the world from least developed nations to richer countries. Very often, assessment is seen as an imposition placed by funders and conducted bureaucratically by those in charge only to meet a formal requirement. Fortunately, more and more often, assessment studies are incorporated as an integral part of the project development process and considered a useful tool to use in public sector actions, to get back on track, to enhance policy design and to provide an opportunity to broadly reflect not only on the economic, social and institutional context in which policies are introduced but also on the strategy and tools adopted. It is worth pointing out that assessment validity and outcomes depend on the methodology used, the timeliness of the studies and the costs involved. The challenge is to carry out technically and methodologically consistent assessments that are conducted at the lowest cost possible and completed in a timely manner so as to give designers an opportunity to reinforce strengths and change wrong practices. The work is based on a methodology developed and used by a group of researchers from several Brazilian universities to assess the Project to Fight Rural Poverty, funded by a World Bank loan and supported by the Union and participating Member States.This kind of project, implemented in Brazil since the mid 90s, is intended to facilitate understanding of the assessment process by both contractors and those doing this type of work. The studies conducted focused the applied methodology on the idea that assessments should be linked to the systems used to monitor the implementation process of social programs and projects. The assessments
developed and put into practice as external create ownership difficulties for public policy makers in this field and for those responsible, as there are difficulties in internalizing assessments and using them as a planning tool. The first chapter discusses this issue, indicating the basic need to monitor policies to be implemented and the differences between monitoring and assessing. This implies the elaboration of indicators, which is taken up in Chapter 2. The latter provides an overview of impact assessment processes and experiments with econometric techniques. Chapter 3 addresses another kind of analysis enabling project costbenefit calculation, with a view to linking the decision to allocate funds to a specific policy, thus enabling the development of feasible alternatives for appropriate project development at an affordable cost. It also discusses the problems associated with conducting this kind of analysis, since many of these benefits are difficult to understand and measure and need time to mature. The first three chapters provide the reader with a fairly comprehensive overview of impact assessment. Chapters 4 and 5 describe the techniques by which two key questions may be answered: does the project actually address its target audience?, and does the program create community links that help reduce dependence on public policies intended to fight poverty? It is worth pointing out that focus and social capital are now mandatory subjects in the curriculum of Twenty-first century policy makers. These following chapters deal with common assessment techniques and procedures, regardless of the subject matter, such as relating variables, outlining sampling processes and establishing requirements to develop collection tools suitable to the creation of useful databases for current and future assessments. The book also contains appendices outlining the main methods used in social policy assessment. An interesting outcome of this text is that as readers move forward with the reading, they can easily see how they get an overview of the most commonly used econometric techniques in modern economic literature. Of course, the text of Volume 6 of the Sustainable Rural Development Series is not intended to replace the vast specialized literature on this matter; rather, it aims to summarize and serve as an introduction to the various issues that anyone involved in assessment processes should know. It is hoped that this book will promote critical thinking among current and future social policy managers, based on objective facts and on the continuity of processes, instead of reliance on what the Brazilians call achismo (opinion) so widespread today.
Programs fail for a number of reasons. Unlike what many assessment study contractors think, good assessment does not praise implemented actions, sometimes at the expense of consistency in the work. Assessment is good when it can identify the causes of mistakes and highlight successes, without any political and ideological groups having the satisfaction of not taking them into consideration.
The Organizers
PRESENTACIN
El Instituto Interamericano de Cooperacin para la Agricultura (IICA) presenta el Volumen 6 de la Serie de Desarrollo Rural Sostenible. Esta publicacin aborda la temtica Acciones para combatir la pobreza rural: metodologa para la evaluacin del impacto. Asimismo, la iniciativa integra el conjunto de actividades realizadas por el Foro Permanente de Desarrollo Rural Sostenible Foro DRS, organizado y promovido por el Instituto. Evaluar el impacto de los programas y proyectos sociales se afirma como una exigencia para mejorar la asignacin de los recursos pblicos y se muestra eficaz para reducir la pobreza y la desigualdad en todos los pases del mundo, desde los menos desarrollados a los ms ricos. En muchos casos, las evaluaciones son tratadas como una imposicin por parte de los financiadores y ejecutadas burocrticamente por los responsables, slo para cumplir con un requisito formal. En otros, por suerte cada vez ms, los estudios de evaluacin son incorporados como una actividad esencial dentro del desarrollo del proyecto y considerados una herramienta til para acompaar las acciones del sector pblico, corregir rumbos, mejorar la formulacin de las polticas y brindar oportunidades para una reflexin amplia, no slo sobre el contexto econmico, social e institucional en el cual se insertan las polticas, sino tambin sobre la estrategia y los instrumentos adoptados. Cabe destacar que el resultado y la validez de las evaluaciones dependen de la metodologa adoptada, de los plazos de los estudios y de los propios costos de su realizacin. El desafo es realizar evaluaciones que sean tcnica y metodolgicamente coherentes, supongan el menor costo posible y se concluyan en tiempo y forma a fin de permitir que los formuladores refuercen sus aciertos y modifiquen las prcticas equivocadas. La obra tiene como base la metodologa desarrollada y utilizada por un grupo de investigadores de varias universidades brasileas para evaluar el Proyecto de Lucha contra la Pobreza Rural, financiado con recursos de un prstamo del Banco Mundial y que cuenta con el apoyo de la Unin y de los estados participantes. Este tipo de proyecto, implementado en Brasil
desde mediados de la dcada de 1990, apunta a facilitar la comprensin del proceso de evaluacin, tanto para el contratista como para el que realiza esta clase de trabajo. Los estudios realizados orientaron la formulacin de la metodologa aplicada a la idea de que las evaluaciones deben estar relacionadas con los sistemas de monitoreo del proceso de implementacin de los programas y proyectos sociales. Las evaluaciones concebidas y puestas en prctica como externasson de difcil apropiacin por parte de los formuladores de polticas pblicas relativas al tema, as como por parte de sus respectivos responsables, puesto que esas evaluaciones plantean dificultades para ser internalizadas y utilizadas como instrumento de planificacin. El primer captulo aborda este asunto, indicando la necesidad bsica de monitoreo de la poltica a ser implementada y las diferencias entre monitorear y evaluar. Esto implica la elaboracin de indicadores, tema retomado en el Captulo 2, que ofrece un panorama general de los procesos de evaluacin del impacto y de los experimentos en las tcnicas economtricas. El captulo 3 aborda otro tipo de anlisis que permite el clculo de la relacin costo/beneficio del proyecto, con el objetivo de vincular la decisin de destinar recursos a una poltica especfica, posibilitando as la creacin de alternativas viables para el adecuado desarrollo del proyecto a un costo accesible. Asimismo, trata acerca de la dificultad de realizar este tipo de anlisis, ya que muchos de estos beneficios son difciles de aprehender y medir, adems de que exigen tiempo de maduracin. La lectura de los tres primeros captulos ofrece, pues, un panorama casi completo sobre la evaluacin del impacto. Los captulos 4 y 5 detallan las tcnicas que permiten responder a dos preguntas fundamentales: el proyecto est realmente dirigido a sus destinatarios?, y el programa crea vnculos comunitarios que permiten la reduccin de su dependencia respecto de las polticas pblicas orientadas a la lucha contra la pobreza? Cabe destacar que la focalizacin y el capital social son temas actualmente obligatorios en el currculo de los formuladores de polticas del Siglo XXI. Los captulos siguientes abordan las tcnicas y los procedimientos comunes a las evaluaciones, independientemente del objeto de estudio, tales como relacionar variables, desarrollar procesos de toma de muestras y establecer los requisitos para la elaboracin de instrumentos de recoleccin adecuados a la formacin de bases de datos tiles para la evaluaciones presentes y futuras. El libro tambin contiene apndices que describen brevemente los principales mtodos utilizados en la evaluacin
de polticas sociales. Un resultado interesante y de fcil percepcin del presente trabajo es que a medida que se avanza en la lectura, se llega a obtener un panorama de las tcnicas economtricas ms utilizadas en la literatura econmica moderna. Evidentemente, el texto de este Volumen 6 de la Serie Desarrollo Rural Sostenible no pretende sustituir la vasta literatura especfica sobre el tema, sino que busca sintetizar las diferentes cuestiones que toda persona que participa en los procesos de evaluacin debera conocer, al menos de manera introductoria. Se espera que este libro incentive a los gestores presentes y futuros de las polticas sociales a tener una mentalidad crtica, basada en la objetividad de los hechos y en la continuidad de los procesos, en vez de lo que los brasileos llaman achismo (opiniones) tan presente en la actualidad. Los programas fracasan por varias razones. Contrariamente a lo que piensan muchos contratistas de estudios de evaluacin, una buena evaluacin no es aquella que elogia las acciones implementadas, en ocasiones a costa de la propia consistencia del trabajo. Una buena evaluacin es aquella capaz de identificar las causas de los errores y de destacar los aciertos, sin que ningn grupo poltico e ideolgico se permita el lujo de no tomarlas en consideracin.
Los Organizadores
RESUMO
O objetivo principal deste trabalho fornecer aos pesquisadores e gestores pblicos, que atuam em desenvolvimento rural, um amplo panorama de metodologias e procedimentos que envolvem monitorar e avaliar programas sociais. Foram reunidas, em um mesmo livro, vrias discusses sobre diversos temas: sistemas de monitoramento, avaliao de impactos e anlise custo/benefcio alm de estudos de avaliao da focalizao e do capital social. Todos esses temas esto articulados em torno do desenvolvimento rural. A idia central a de o leitor reconhecer quando e porque aplicar cada um deles, segundo distintos objetivos, bem como ser capaz de combin-los em um s estudo, quando necessrio ou conveniente.
ABSTRACT
This work aims mainly at providing public managers and researchers involved in rural development with a wide range of social program(policy) evaluation methodologies and procedures. The book covers several themes and issues related to the subjects of monitoring systems, impact evaluation and cost-benefit analysis. It also discusses social capital and identification of target audiences, always in relation to the subject of rural development. The publication should allow readers to recognize and combine the appropriate tools at their convenience.
RESUMEN
El objetivo principal de este trabajo es brindar a los investigadores y gestores pblicos que actan en reas de desarrollo rural, un panorama amplio de metodologas y procedimientos que involucran monitoreo y evaluacin de programas sociales. En un mismo libro, se reunieron varias discusiones sobre diversos asuntos: sistemas de monitoreo, evaluacin de impactos y anlisis costo/beneficio, estudios de evaluacin de focalizacin y capital social, todos articulados sobre el tema de desarrollo rural. La idea central es permitir al lector reconocer cundo y porqu aplicar cada uno de ellos, segn objetivos diferentes, as como combinarlos en un solo estudio, de acuerdo a la necesidad o conveniencia.
SUMRIO
INTRODUO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 1. SISTEMAS DE MONITORAMENTO E AVALIAO DE PROGRAMAS E PROJETOS DE DESENVOLVIMENTO E COMBATE POBREZA RURAL . . . . . 33 1.1. Definio e Propsito do Monitoramento e da Avaliao . . . . . . . . 33 1.2. Avaliao Contnua e Avaliao Ex Post . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 1.3. Monitoramento de Objetivos e Resultados . . . . . . . . . . . . . . . . . . . . . . . 36 1.4. Indicadores. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 1.4.1. Indicadores de recursos, operao e performance . . . . . . . . . 40 1.4.2. Indicadores de impacto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 1.4.3. Indicadores indiretos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 1.4.4. Indicadores de condies externas . . . . . . . . . . . . . . . . . . . . . . . . 42 1.5. Resistncias ao Monitoramento e Avaliao . . . . . . . . . . . . . . . . . . . . . . 42 1.6. Problemas Prticos do Monitoramento e da Avaliao . . . . . . . . . . . 44 1.7. Outros Componentes da Avaliao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2. A AVALIAO DO IMPACTO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 2.1. Experimentos, Quasi-Experimentos e Vis de Seleo . . . . . . . . . . . . . 49 2.2. Desenho Experimental. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 2.3. Mtodos Quasi-Experimentais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 2.4. Vis de Seleo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 2.5. Baseline e Follow-Up . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 2.6. Modelo Economtrico Geral para a Medio de Impactos . . . . . . . 57 2.7. Introduzindo Variveis para Controlar a Imperfeio do Pareamento. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 2.8. Variveis Instrumentais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 2.9. Algumas Palavras sobre Mtodos Utilizados para Eliminar Vis de Seleo e Parear Variveis . . . . . . . . . . . . . . . . . . . . . . . . 70 2.10. Variveis do Estudo de Impacto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 2.10.1. Indicadores de impacto no bem-estar . . . . . . . . . . . . . . . . . . . 73 2.10.2. Indicadores de sade. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 2.10.3. Indicadores de educao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 2.10.4. Indicadores de consumo e segurana alimentar. . . . . . . . . 78 2.10.5. Indicadores de capital fsico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.10.6. Indicadores de capital financeiro (poupana) . . . . . . . . . . . . 82 2.10.7. Variveis de controle das diferenas observveis . . . . . . . . 82 2.10.8. Variveis de controle do vis de seleo . . . . . . . . . . . . . . . . . 83 2.10.9. Variveis de determinao do impacto . . . . . . . . . . . . . . . . . . 84 2.10.10. Variveis indicadoras da presena de outros programas . . . 84
3. AVALIAO DE CUSTO-BENEFCIO E CUSTO-EFICCIA . . . . . . . . . . . . . . . . 87 3.1. Anlise de Custo-Benefcio. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 3.1.1. Definio e clculo do mtodo do Valor Presente Lquido (VPL) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 3.1.2. Exemplo de aplicao do mtodo do VPL . . . . . . . . . . . . . . . . . . 94 3.1.3. Definio e clculo da Taxa Interna de Retorno (TIR) . . . . . . . . 96 3.1.4. Clculo do perodo de pay-back do projeto. . . . . . . . . . . . . . . . . 96 3.1.5. Clculo do custo-benefcio descontado (C/Bd). . . . . . . . . . . . . . 98 3.2. Custo-Eficcia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 4. AVALIAO DA FOCALIZAO. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 4.1. Conceituando Focalizao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 4.2. Modalidades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 4.3. Critrios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 4.3.1. Eficincia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 4.3.2. Vazamentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 4.3.3. Custos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 4.3.4. Custos administrativos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 4.3.5. Custos de incentivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 4.3.6. Custos polticos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 4.4. Mtodos de Focalizao. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 4.4.1. Avaliao individual/domiciliar . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 4.4.2. Estabelecendo uma linha de pobreza . . . . . . . . . . . . . . . . . . . . . 116 4.4.3. Focalizao por categorias ou focalizao por grupos . . . . . 123 4.4.4. Auto-seleo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 4.5. Medindo o Grau de Focalizao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 4.6. Comentrios Finais. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 5. ESTUDOS DE AVALIAO DO CAPITAL SOCIAL . . . . . . . . . . . . . . . . . . . . . . . 131 5.1. Indicadores do Capital Social das Comunidades . . . . . . . . . . . . . . . . . 137 5.1.1. O nvel e a natureza da organizao comunitria . . . . . . . . . . 137 5.1.2. ndice de participao comunitria . . . . . . . . . . . . . . . . . . . . . . . . 137 5.1.3. ndice de institucionalizao da associao comunitria. . . 138 5.2. Indicadores da Existncia Prvia de Capital Social nas Comunidades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 5.2.1. ndice de tradio comunitria . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 5.2.2. Nvel de organizao da sociedade civil . . . . . . . . . . . . . . . . . . . 139 5.3. Indicadores do Capital Social nos Conselhos . . . . . . . . . . . . . . . . . . . . . 140 5.3.1. Desempenho dos conselhos municipais . . . . . . . . . . . . . . . . . . 140 5.4. Indicadores de Desempenho da Poltica Pblica . . . . . . . . . . . . . . . . . 141 5.4.1. Desempenho da equipe gestora . . . . . . . . . . . . . . . . . . . . . . . . . . 141
6. ANLISE EXPLORATRIA DOS DADOS: ANLISE DE CORRESPONDNCIAS MLTIPLAS. . . . . . . . . . . . . . . . . . . . . . . . 145 6.1. Blocos de Variveis. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148 6.1.1. Bloco de capital fsico. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 6.1.2. Bloco sobre indicadores de condies scio-econmicas (acumulao de capital prvia) . . . . . . . . . 151 6.1.3. Bloco de capital humano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 6.1.4. Indicadores de capital social e coletivo . . . . . . . . . . . . . . . . . . . . 152 6.2. Preparando os Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 6.3. Escolha do Nmero de Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 6.4. Escolha das Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 7. PLANO AMOSTRAL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 7.1. Sorteio em Mltiplos Estgios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 7.2. O Que Uma Comunidade?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 7.3. Segmentando Grupos Populacionais. . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 7.4. Plano Amostral. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 7.4.1. Aspectos comuns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 7.4.2. Aspectos especficos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 7.5. Dimensionamento Amostral. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 8. ELEMENTOS PARA COLETA DE INFORMAES E CONSTRUO DE QUESTIONRIOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 8.1. Roteiro de Questionrio a Ser Aplicado nos Domiclios . . . . . . . . . 164 8.2. Roteiro para Coleta de Informaes sobre as Unidades Tcnicas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 8.3. Roteiro para Coleta de Informaes sobre os Estados e os Municpios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 8.4. Planejamento de Campo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 8.4.1. Dimensionamento da equipe de campo . . . . . . . . . . . . . . . . . 168 8.4.2. Equipe necessria para aplicao de questionrio . . . . . . . . . 169 8.4.3. Recrutamento e seleo de pessoal . . . . . . . . . . . . . . . . . . . . . . . 169 8.4.4. Aplicao de questionrio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 9. CONSIDERAES FINAIS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 10. ANEXOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 11. REFERNCIAS BIBLIOGRFICAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
NDICE DE TABELAS Tabela 1 Tabela 2 Despesas, receitas e resultados lquidos de um projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .97 Alcance de dois programas por quintil de renda Exemplo 1 percentual dos beneficirios do quintil no total de beneficirios . . . . . . . . . . . . . . . . . . . . . . . . . .129 Alcance em dois programas por quintil de renda Exemplo 2 percentual dos beneficirios do quintil no total da populao do quintil . . . . . . . . . . . . . . . .129
Tabela 3
NDICE DE FIGURAS Figura 1 Figura 2 Figura 3 Figura 4 Exemplo: Sntese da avaliao de impacto do Programa de Combate Pobreza Rural, Brasil . . . . . . . . . . . . . . . .48 Uma comparao de benefcios com/sem projetos . . . . . . . . .89 Fluxo de caixa de um projeto convencional . . . . . . . . . . . . . . . . .91 Fluxo de caixa de um projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .95
NDICE DE GRFICO Grfico 1 Relao entre renda e consumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61
NDICE DE QUADROS Quadro 1 Comparao de alguns mtodos diretos e indiretos para mensurao da fome, pobreza e desnutrio no Brasil . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .122 Erros de excluso e incluso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .126 Resumo esquemtico para o estudo das populaes e seleo das variveis relevantes para a anlise do Programa de Combate Pobreza Rural II, sob a aplicao da Anlise de Correspondncias Mltiplas . . . . . .150 Anlise confirmatria: um esquema simples para relacionar CPI e MCPI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .202 Matriz de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .212 Matriz de similaridades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .213
Quadro 2 Quadro 3
Quadro 4 Quadro 5 Quadro 6
NDICE DE ANEXOS Anexo 1 Anexo 2 Anexo 3 Anexo 4 A correo de Heckman visando eliminar o vis proveniente das variveis no-observveis . . . . . . . . . . . . . . . . . . .179 Os mtodos de pareamento utilizados para corrigir o vis das observveis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .183 O mtodo da dupla diferena e o modelo de efeitos fixos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .185 Consideraes sobre a utilizao de dados em painel em modelos economtricos com variveis dependentes qualitativas . . . . . . . . . . . . . . . . . . . . . . . . . . . .192 Anlise dos Componentes Principais (ACP): um resumo do procedimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .194 Metodologias de construo de indicadores de capital social . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .197 A obteno de um indicador sinttico de capital social usando ACP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .205 Anlise confirmatria de estruturas baseadas em variveis latentes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .207 Expanso dos resultados amostrais, estimador razo e agrupao de municpios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .208
Anexo 5 Anexo 6 Anexo 7 Anexo 8 Anexo 9
NDICE DE BOXES Box 1 Box 2 Box 3 Box 4 Box 5 Box 6 Box 7 Box 8 Box 9 Dados em painel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .56 Pareamento de amostras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .59 Regresso linear: uma tcnica simples que pode ser empregada em avaliao de impactos . . . . . . . . . . . . . . . . . . . . .60 Modelo logit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67 Endogeneidade versus vis de seleo amostral: qual modelo adotar? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .72 Definio de segurana alimentar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .79 Caractersticas dos domiclios e das comunidades . . . . . . . . . . . . .82 Projeto de construo de estrada no espao rural . . . . . . . . . . . .100 Exemplos de critrios de avaliao que podem ser utilizados em projetos de infra-estrutura . . . . . . . . . . . . . . . . . .103
INTRODUO
Em muitos pases, governos tm despendido recursos considerveis em polticas sociais. Entretanto, em vrios programas e projetos, a eficcia tem sido considerada, no mnimo, duvidosa. A pobreza e a desigualdade social continuam elevadas, e as demandas e as necessidades superam em muitas vezes a disponibilidade de recursos. Em perodo recente, o Brasil transformou-se em verdadeiro laboratrio de programas sociais, cobrindo diversas reas (da sade reforma agrria), inclusive com programas de complementao de renda. Os modelos e as concepes tm sido distintas. A execuo tem ficado a cargo de todas as esferas governamentais. Em que pese o meritrio esforo de aes de combate pobreza, os resultados ainda carecem de avaliaes objetivas. A deciso de priorizar o social em um quadro de restries de recursos coloca em pauta o debate sobre a eficcia e a eficincia dos programas. Alguns elementos dessa avaliao podem ser claramente observados e explicitados. Espera-se que os programas sociais alcancem de fato a populao pobre com eficcia e eficincia atributos indispensveis para o sucesso das aes. Enquanto a eficincia diz respeito utilizao dos recursos escassos, a eficcia refere-se melhoria do nvel de bem-estar da populao meta. De pouco adiantaria atingir metas sociais em programas de alto custo, desperdiando recursos que faltariam em outros programas, ainda que de igual cunho social. A experincia acumulada tem demonstrado que o sucesso dos programas sociais depende diretamente de um conjunto de fatores a incluir aqueles que favorecem o custo e a disponibilidade de recursos financeiros, bem como aqueles que dizem respeito exclusivamente ao desenho e concepo das aes. Nesse segundo grupo, esto includas questes relativas focalizao e seleo dos beneficirios, sobre as quais sero feitas algumas reflexes iniciais. Foco e seleo so cruciais para o sucesso das aes sociais. No se trata apenas de definir, com clareza, a quem as aes se dirigem (populao de beneficirios potenciais), mas de selecionar aqueles que participaro
29
efetivamente do programa. Essa questo seria irrelevante caso os recursos fossem suficientes para atender a todos. Como a situao nunca essa, mesmo para polticas de alcance universal, como a de sade e de educao, coloca-se o dilema: pelo menos no futuro imediato, quem participa? Quem fica de fora? Que critrios utilizar para escolher os beneficirios? Fila? Maior necessidade? O critrio de quem tem mais chance de beneficiar-se de fato das aes previstas no programa? O da maior competncia? No trivial tratar essas questes e, naturalmente, no existe uma nica resposta: os critrios so variados e dependem da natureza e do objetivo de cada programa. Esses critrios no so, e nem devem ser, estabelecidos apenas do ponto de vista exclusivamente tcnico, pois os resultados no so neutros do ponto de vista social. As escolhas devem passar por instncias de deciso poltica, apoiadas, claro, pela melhor avaliao tcnica. Assim, um programa de combate fome deve tomar como critrio a maior vulnerabilidade alimentar da populao. J um programa de reforma agrria deveria escolher aquelas famlias com maior aptido para explorar a terra, e cujos integrantes tenham maiores possibilidades de se viabilizarem como produtores. Contudo, a aparente obviedade dos critrios no resolve a questo e, dificilmente, servir de consolo para os pobres que ficarem de fora. A primeira dificuldade para a definio do foco de natureza poltica. Entretanto, dificuldades de natureza tcnica tambm esto presentes, pois mesmo quando h consenso (com relao ao foco dos programas), no trivial selecionar de forma eficaz e eficiente. A escolha de um ou outro mecanismo de seleo, ou mesmo a combinao de mecanismos em diferentes etapas do programa, no deve ser realizada sem considerar a eficincia da estrutura montada para executar o programa. Considerando apenas a questo do foco, essa eficincia diz respeito capacidade do programa de, ao menor custo possvel, em termos de administrao, burocracia, monitoramento, etc., incluir o maior nmero possvel de indivduos do pblico-alvo (maximizar o alcance) e excluir o maior nmero possvel de indivduos que no pertencem a esse grupo (minimizar o vazamento de recursos para o pblico no necessitado). Os desafios no terminam a. No suficiente que o programa defina alcance e pblico-alvo (agricultores familiares; famlias pobres com filhos em idade escolar; populao com deficincia nutricional; grupos tnicos etc.). A adequao a esses critrios gerais de seleo de beneficirios no elimina uma clara realidade: as diferenas entre os indivduos que compem um mesmo grupo. Essas diferenas referem-se a atributos pessoais, familiares e, principalmente, s condies scio-econmicas.
30
Todos so pobres, mas uns so mais pobres do que os outros; todos so sem-terra, mas alguns tm mais aptido para o trabalho no meio rural do que outros; todos querem o benefcio, mas cada indivduo, ou cada famlia, atribui um grau de importncia diferente ao benefcio recebido. O fato de ser pobre no implica automaticamente ter carncias nutricionais. Colocase, portanto, a questo de identificar, nos indivduos do pblico-alvo, alguns atributos que sejam chave para selecionar os beneficirios efetivos. A identificao desses atributos tampouco tarefa comum. O sucesso de alguns programas depende apenas da identificao de atributos explcitos que, com maior ou menor dificuldade, podem ser apontados (em um programa de combate fome, deveria ser suficiente identificar os grupos que tm carncia alimentar e assegurar-lhes acesso ao alimento). Se fosse possvel a perfeita identificao desses grupos, no haveria motivos para supor que os beneficirios desviariam os alimentos para outros fins que no o de nutrir-se. Nesse caso, o problema de seleo diz respeito a como identificar, de forma competente (com custos adequados e eficcia), esse grupo vulnervel. H um claro trade off entre eficcia e custo. Para identificar esse grupo, pode ser necessrio realizar uma pesquisa sobre o status nutricional, o que asseguraria uma seleo perfeita, mas teria um enorme custo financeiro e despenderia muito tempo. O desafio definir mecanismos que permitam compatibilizar eficcia do processo seletivo e eficincia no uso dos recursos. J em outros programas no basta identificar os atributos explcitos dos indivduos. A eficincia da interveno depender de caractersticas e de atributos que no so aparentes (como disposio para trabalhar e dedicarse ao trabalho na terra). Como identificar ex ante essa disposio? bvio que todos os candidatos declararo a maior disposio para o trabalho e mostraro grande entusiasmo em relao ao programa. Como identificar aqueles que de fato esto dispostos e preparados para enfrentar o desafio? Uma focalizao inadequada pode gerar problemas que comprometem, na origem, a possibilidade de sucesso da interveno social. De um lado, introduz distores de natureza diversa, como desincentivo para o trabalho, aps a seleo; atrao de famlias de outras regies para reas que esto sendo assistidas, comprometendo o oramento e a possibilidade de manter a qualidade da ao; vazamento para pblico no-alvo, como no caso de no-negros que se definem negros apenas para ter as vantagens oferecidas pelo programa; outros. De outro lado, tambm h um trade off entre seleo e custos de monitoramento do uso dos recursos, seja dos recursos destinados execuo que so gastos pelos executores , seja dos recursos destinados aos beneficirios. Uma seleo apropriada reduz tanto a
31
necessidade de monitoramento quanto os prejuzos associados a erros de seleo (concesso de auxlio alimentao a quem no tem carncia nutricional). Pelo exposto acima, percebe-se que no tarefa simples estabelecer um programa de combate pobreza, a comear pela definio e pela seleo dos beneficirios. No basta uma elevada dotao oramentria para atender aos programas, pois um programa mal formulado pode esgotar rapidamente os recursos sem atingir os objetivos. Por mais boa vontade que tenham os gestores pblicos, fatores como custos burocrticos, monitoramento, corrupo, vazamento de benefcios para grupos no-alvos, podem exaurir as fontes de recursos, reduzindo a eficincia e a capacidade dos programas de realmente atingir os pobres. Este livro procura trazer subsdios para a formulao e para a avaliao dos programas de combate pobreza. No se consubstancia como uma proposta acabada para a formulao e avaliao de programas, mas apresenta elementos que podem auxiliar no desenvolvimento de melhores metodologias e na identificao de mecanismos de monitoramento e de avaliao de impactos. H uma clara preocupao no sentido de prover insumos para uma reflexo de alto nvel sobre as concepes mais eficazes e que do melhores respostas para atacar determinados problemas. Para tanto, foi fundamental colocar de lado idias pr-concebidas, que, em alguns casos, tm influncia negativa concepo e avaliao de programas sociais. No se trata de evitar um posicionamento poltico, mas sim, de propor abordagens com o mximo rigor cientfico. Apenas dessa forma possvel contribuir para desenvolver programas sociais eficientes que sejam capazes de reduzir a pobreza no Brasil.
Antnio Mrcio Buainain (IE/Unicamp) Hildo Meirelles de Souza Filho (Gepai/DEP/UFSCar)
32
1. SISTEMAS DE MONITORAMENTO E AVALIAO DE PROGRAMAS E PROJETOS DE DESENVOLVIMENTO E COMBATE POBREZA RURAL1
1.1. Definio e Propsito do Monitoramento e da Avaliao
Monitoramento e avaliao de programas podem ser definidos como um processo de medir, registrar, coletar, processar, analisar e comunicar informao com objetivo de auxiliar a gesto de programas, projetos e atividades em geral. Sistemas de monitoramento, ao possibilitar a coleta e a organizao de informaes que se encontram institucionalmente e temporalmente dispersas, e ao automatizar relatrios analticos bsicos, facilitam, em especial, a tomada de decises sobre os rumos das aes empreendidas. Nesse sentido, o sistema de monitoramento e avaliao de um programa ou projeto de desenvolvimento e combate pobreza rural deve ser concebido como uma ferramenta de planejamento e de organizao de informaes para a tomada de decises. Monitoramento e avaliao so temas complexos, pois envolvem um conjunto muito amplo de variveis, fatores, instncias e atores que interagem e respondem a muitas polticas, seja de alcance macro seja de alcance setorial e local. A concepo de um sistema de monitoramento e avaliao no se refere, rigorosamente, ao monitoramento e avaliao do desenvolvimento rural, mas sim da operao, do desempenho e de impactos das aes levadas a cabo no contexto de um programa ou projeto.
1 Esta seo baseia-se em FAO monitoring systems for agricultural and rural development projects Volume 2. FAO: Rome, 1989.
33
Os principais elementos considerados na concepo do sistema de monitoramento e avaliao so: i) A operao de um programa, projeto ou interveno compreende muitas tarefas que, realizadas regularmente ou eventualmente, so relevantes para o funcionamento adequado da atividade. Como exemplo, a constituio e o apoio institucional a conselhos locais de desenvolvimento envolvem atividades de mobilizao dos atores, capacitao institucional, elaborao de um plano de desenvolvimento sustentvel. Essas atividades podem exigir o cadastro de atores, cursos variados, avaliao de consistncia dos planos, visitas locais, alocao de recursos, etc. ii) O desempenho refere-se ao nvel de alcance das metas estabelecidas pelo programa/projeto, tais como realizao de encontros, conselhos implantados, projetos de desenvolvimento executados e populao atingida. iii) O impacto alude aos efeitos da execuo e desempenho sobre a populao rural, podendo ser indicado por alteraes nos nveis e distribuio de renda, receita das propriedades, nvel de emprego, nveis de bem-estar e nutrio das famlias, etc. Incorporam-se tambm indicadores de mudanas no meio ambiente e na economia local que resultam da operao e do desempenho do projeto (eroso e salinidade do solo, mudanas nos preos de insumos e produtos agrcolas, entre outros). O propsito do monitoramento e da avaliao indicar para os agentes envolvidos se os objetivos do programa/projeto esto sendo alcanados. Para isso, utiliza-se um conjunto de informaes relevantes que indica se as tarefas esto sendo executadas conforme planejado; se as condies oferecidas aos beneficirios e se os resultados observados atingiram os nveis estabelecidos no desenho dos projetos; se os impactos esto de acordo com os objetivos ou se esses objetivos devem ser ajustados luz da experincia. A informao monitorada fornece a base para tomada de decises e aes cotidianas referentes gesto de programas e de projetos. Isso ocorre quando o monitoramento revela operaes inadequadas, deficincias no desempenho e discrepncia entre objetivos preestabelecidos (ou impactos previstos) e objetivos alcanados. Dessa forma, possvel modificar objetivos inadequados para redirecionar o projeto, corrigir deficincias e trazer o projeto de volta ao curso desejado. A atividade de monitoramento e avaliao compreende quatro operaes/fases bsicas:
34
i. ii. iii. iv.
a coleta de informaes apropriadas; organizao das informaes; anlise e interpretao dos dados; a adoo de aes apropriadas luz do monitoramento e da avaliao.
As fases (i) e (ii) so a prpria essncia do monitoramento; a fase (iii) a avaliao, j que a interpretao pressupe um referencial conceitual e incorpora, necessariamente, certa subjetividade. O monitoramento frio e objetivo: foram realizados x cursos que correspondem a y% do total planejado. A avaliao envolve interpretar e explicar esse resultado. O xito ou o fracasso, maior ou menor, no podem ser diretamente derivados dos nmeros. Assim, um desempenho relativamente baixo pode ser requalificado em funo das condies enfrentadas para execuo das aes. Tambm um desempenho alto pode ser considerado insuficiente luz da anlise das informaes em seu conjunto. A fase (iv) refere-se tomada de deciso propriamente dita, e no pode ser confundida com a avaliao, nem do ponto de vista metodolgico, nem institucional: a boa prtica recomenda separar quem avalia de quem toma a deciso, exatamente para assegurar a independncia metodolgica e institucional entre as fases. Existe uma distino sutil entre a avaliao (iii) e a tomada de deciso (iv). A avaliao revela e indica o que fazer; a tomada de deciso, a deciso de faz-lo. O monitoramento (ao menos deveria ser) mais ou menos neutro, como neutros so a operao e o desempenho do projeto. Entretanto, a seleo de indicadores de impacto normalmente envolve juzo de valor. A avaliao de dados monitorados revela a necessidade de ajustamentos na execuo dos projetos e programas que podem ou no ser adotados para facilitar e agilizar o alcance dos objetivos iniciais. Com menor freqncia, a avaliao cotidiana possibilita mudanas nos objetivos e metas dos projetos que ocorrem mais como resultado de avaliaes ad hoc (diante daquelas realizadas de tempos em tempos). As informaes colhidas e organizadas pelo sistema de monitoramento e avaliao so importantes insumos que facilitam muito essas avaliaes especiais.
1.2. Avaliao Contnua e Avaliao Ex Post
A atividade de avaliao contnua estabelece a ligao entre a gesto do programa/projeto e o monitoramento. A avaliao contnua compreende a
35
comparao da operao real, do desempenho e do impacto do projeto com o que foi originalmente estabelecido ou planejado. Alm disso, permite determinar as relaes causais entre as atividades do projeto e seus resultados e a influncia de fatores externos ou de suporte sobre a operao e o desempenho. Neste raciocnio, avaliao contnua nada mais do que uma anlise que faz uso da gesto da informao monitorada em base contnua, permitindo ajustar ou redefinir polticas, objetivos, arranjos institucionais e recursos que afetam o projeto durante sua execuo. O monitoramento e a avaliao contnua no devem ser compreendidos como um processo de deciso em si, mas como portadores de elementos para a gesto do projeto e para melhorar o desempenho na tomada de decises. A avaliao ex post utiliza informao monitorada para avaliar a operao, o desempenho e o impacto de projetos em determinado estgio (geralmente o fim do programa/projeto ou de uma fase) e auxiliar no planejamento de aes no futuro. A concepo proposta assume que o sistema deve ser capaz no apenas de monitorar e avaliar continuamente as aes do programa/projeto, mas tambm auxiliar na realizao de avaliaes ex post e ad hoc.
1.3. Monitoramento de Objetivos e Resultados A principal tarefa na gesto de um programa/projeto assegurar a utilizao eficaz e eficiente dos recursos alm de execut-lo em conformidade com sua concepo e objetivos. Em termos prticos, a gesto deve assegurar que os objetivos e as metas planejadas (ou previstas) sejam alcanados dentro do cronograma previamente estabelecido. O monitoramento da operao, do desempenho e do impacto fornece gerncia a informao apropriada para facilitar essa tarefa. Entretanto, a efetividade do monitoramento depender, geralmente, da preciso com que os objetivos e metas so definidos; da validade; da possibilidade de quantificar os objetivos com maior preciso; da consistncia entre objetivos e meios disponveis e entre objetivos, concepo e instrumentos mobilizados. Enfim, a efetividade do monitoramente depende diretamente do desenho do programa/projeto. Projetos mal definidos e/ou com objetivos inconsistentes em relao aos meios disponveis no so raros. Objetivos vagos de desenvolvimento, como melhoria das condies de vida e do bem-estar da populao rural pobre, aumento do nmero de empregos na rea rural e outros, resultados
36
de diversas aes, dificilmente podem ser monitorados com preciso por sistemas de monitoramento especficos. Esse tipo de objetivo abrangente , em geral, melhor captado em estatsticas geradas por rgos responsveis pelas informaes macro e regionais tanto dos estados quanto do pas. O estabelecimento de metas que no podem ser alcanadas dentro de um cronograma de forma razovel acarreta problemas e adversidades para a gesto do projeto. Muitos objetivos e metas relacionados com operao, desempenho e impacto podem (e devem) ser claramente definidos e quantificados. Tais metas e objetivos devem ser selecionados para monitoramento, assim como os indicadores a eles relacionados. necessrio especificar indicadores para cada tipo de projeto. Assim, em projetos de abastecimento de gua, pode-se utilizar o nmero de cisternas ou pontos de captao de gua construdos; em projetos de mecanizao agrcola e introduo de novas variedades, a expanso de rea cultivada, o aumento da produtividade da terra e da produo so componentes mensurveis do desempenho. Mudanas como renda e nutrio, que afetam os beneficirios dos projetos, so aspectos socioeconmicos dos efeitos dos prprios projetos. Os impactos no meio ambiente fsico (eroso do solo, v.g.) e nas comunidades rurais fora do projeto raramente consideradas nos objetivos e negligenciadas como atividade de monitoramento , em muitos casos, podem ser quantificados. Existem sistemas de monitoramento dedicados apenas ao registro da operao e do desempenho, enquanto outros se voltam exclusivamente para a medio de impacto. As atividades de ambos esto relacionadas com os objetivos gerais dos programas/projetos e, de certa forma, se sobrepem, apesar das diferenas na forma de funcionamento e desenho. O monitoramento da operao e desempenho de um programa/projeto compreende, mesmo que de maneira intermitente, contnua medio, registro de tarefas programadas, atividades estabelecidas em cronogramas e resultados esperados. A observao e registros de tarefas e atividades so freqentes; algumas vezes, dirias. O propsito dessa atividade de monitoramento o de prover informao para uma avaliao contnua e gesto diria. A avaliao contnua abrange a comparao de indicadores (tarefas, entradas e sadas) e os objetivos e critrios do projeto. Em contraste, o monitoramento de impacto do projeto compreende o registro peridico e no freqente de entradas, sadas e desempenho, o que possibilita avaliar o impacto sobre os territrios, famlias e indivduos. Essa informao
37
contribui para a avaliao peridica e para a gerncia dar respostas a eventuais problemas, alm de ser fundamental para a avaliao ex post. A divergncia entre indicadores de impacto e os objetivos deve influenciar o desenho de futuros programas e projetos. O monitoramento da operao e do desempenho de determinado programa bem como do impacto que produz requer sistemas com desenhos diferentes. Admitindo-se a hiptese de que a concepo e o desenho do programa so consistentes, a operao e o desempenho dependero, em geral, da ao tcnico-gerencial da equipe responsvel pela execuo. O monitoramento (do programa) est relacionado com a operao e/ou registro de tarefas programadas; e o sistema de monitoramento, s atividades da equipe do programa, que possui um conjunto preestabelecido de obrigaes alm de realizar e registrar, em maior ou menor medida, operaes programadas e propsitos prdefinidos. Funcionrios/tcnicos processam e transmitem as informaes a um ponto preestabelecido na estrutura gerencial. Acima de tudo, o monitoramento do impacto de um projeto est voltado para os efeitos da operao do projeto sobre seus beneficirios, e intrnseco populao rural beneficiada pelo programa. Em alguns casos, relaciona-se populao que est fora, mas que, apesar disso, recebe efeitos positivos ou negativos (spillovers). tarefa complexa cuja execuo deve ser balanceada. Deve-se, ainda, levar em conta os custos de avaliao vis--vis o custo do prprio programa. O sistema de monitoramento de impacto tem como foco principal a obteno de dados relacionados unidade geogrfica de anlise, propriedade, famlia do produtor e da comunidade rural (escolas, posto de sade, comrcio local, etc.). Tem por funo medir e registrar indicadores: custos de produo nas propriedades; renda lquida das propriedades e sua distribuio; composio e nvel de nutrio familiar; uso de gua e higiene no domiclio; disponibilidade e acesso a servios sociais; o papel e o status das mulheres; entre outros. Alguns ou todos esses itens podem estar especificados como objetivos do projeto. Nesse caso, o progresso em direo ao alcance do projeto precisa ser monitorado. Os dados relacionados com o monitoramento de impacto so mais difceis de medir. Esto sujeitos a erros maiores e usam mtodos de coleta diferentes daqueles utilizados para tarefas programadas e outros indicadores tcnicos do desempenho do projeto. Sistemas de monitoramento de impacto envolvem o uso de estudos especiais de campo (crdito, gua, nutrio, higiene) e a aplicao de questionrios sobre a produo, a propriedade e o domiclio. Essas pesquisas de carter
38
emprico apresentam dificuldades, sobretudo em pases menos desenvolvidos: amostragem estatstica, desenho da pesquisa de campo, questionrios de campo, freqncia de coleta, seleo de indicadores adequados de bem-estar ou desenvolvimento rural. Indicadores indiretos so utilizados para a observao de diversos aspectos, incluindo a renda da propriedade e do domiclio e, alm da distribuio dessas rendas, o nvel e a qualidade de nutrio, as disponibilidades de bens sociais para diferentes grupos rurais, a participao das mulheres. Entretanto, diferente dos indicadores tcnicos de desempenho, esses indicadores de impacto possuem significado ambguo e levantam problemas de interpretao. A dimenso temporal tambm diferente. Em vez de uma situao em que a informao coletada diariamente (e obtm resposta), o registro e a medio de indicadores de impacto podem ter que aguardar todo o ciclo de uma safra (o que pode significar anos), como ocorre com dados sobre a renda da propriedade ou do desenvolvimento territorial. Aps a coleta de informaes, alguns meses podem ser requeridos para processar a informao monitorada, segundo um mtodo apropriado para se realizar a avaliao e obter uma resposta. As pesquisas de campo, em geral caras e difceis, no devem ser encaradas como uma atividade que se encerra uma nica vez no tempo. O monitoramento de indicadores relacionados com os objetivos dos programas e dos projetos deve ser iniciado antes da implementao e continuar, muitas vezes de forma intermitente, alm do perodo requerido para alcanar os objetivos do projeto. Com bastante freqncia, nveis preestabelecidos de eficincia operacional dos projetos so alcanados antes dos objetivos dos projetos. Em muitos casos, o monitoramento de impacto mais complexo e caro do que o monitoramento da operao e do desempenho. Isso ter implicaes quanto alocao dos recursos entre esses dois sistemas. Mas no o caso de se dar prioridade para o monitoramento de desempenho, em que a disponibilidade limitada de recursos impe uma escolha. Outros critrios so tambm relevantes para essa deciso, incluindo o tipo de projeto.
1.4. Indicadores A verificao e/ou a medio da operao, desempenho e impacto de um programa/projeto requer(em) a especificao de variveis ou indicadores das entradas (inputs), sadas (outputs), efeitos e fatores externos
39
ou restries. A seleo de indicadores de monitoramento apropriados no tarefa fcil. No h grandes dificuldades para incorpor-las ao sistema de monitoramento e avaliao quando os indicadores sejam de entradas, resultados, atividades, restries e de fatores externos so medidas objetivamente verificveis de fatos e eventos (entregas de equipamentos, volume de gua para irrigao, manuteno de conjuntos de irrigao, volume de crdito concedido, nmero de operaes de crdito realizadas, nveis de produtividade e de produo). Entretanto, algumas vezes no possvel observar e medir determinados resultados de um projeto. Nesses casos, indicadores indiretos ou proxies podem ser utilizados. A seleo de poucos e essenciais indicadores que tornem possvel uma gesto eficiente e uma avaliao completa para a formulao de polticas parte da arte de desenhar sistemas de informao. Qualquer seleo nunca a ltima. No importa quo bem desenhado seja um sistema de monitoramento, ele deve apresentar-se sempre flexvel, como de fato deve ser um projeto. 1.4.1. Indicadores de recursos, operao e performance2 Em um sistema de monitoramento e avaliao bem desenhado e dotado de informaes, alguns indicadores estaro de pronto disponveis: recursos, operao e desempenho. Indicadores de recursos: consistem em utilizao de pessoal, equipamentos e de fundos correntes para operao dos projetos ou programas; podem incluir oferta de crdito, arranjos institucionais e outros. Indicadores de operao: medem e registram a operao, a pontualidade, a qualidade e os possveis custos das tarefas e atividades do projeto. Indicadores de desempenho: comparam os resultados das atividades ou operaes com as metas estabelecidas. So medidos em termos fsicos (quilmetros de estradas ou canais construdos; nmero de hectares plantados; nmero de propriedades visitadas; nmero de animais vacinados; quantidade de fertilizantes distribudos; nmero de famlias assentadas; nmero de casas construdas; nveis de produo e produtividade; emprstimos concedidos; proviso de servios mdicos; alimentos distribudos, etc.).
2 Ver Ptry, F. In: Monitoring systems for agricultural and rural development projects. FAO economic and social development paper, n. 12, Rev. 1. Food and agricultural. Organization of the United Nations.
40
1.4.2. Indicadores de impacto A maioria dos indicadores de impacto estar disponvel apenas depois de decorrido o tempo necessrio para que os benefcios se manifestem. Alguns impactos so diretamente decorrentes do programa ou projeto. Outros impactos decorrem dos efeitos imediatos do projeto ou programa, denominados impactos indiretos. Indicadores de impacto direto (tambm chamados de indicadores de efeitos) medem o efeito imediato das realizaes do projeto como produtividade das propriedades, mudanas nos padres de produo, incidncia de enfermidades animais, renda das propriedades, taxa de mortalidade infantil, etc. Os indicadores de impacto direto podem ser divididos em dois grupos: indicadores de consecuo ou realizao de objetivos: comparam os resultados obtidos com as metas estabelecidas (porcentagens de aumento em relao ao perfil de entrada); indicadores de alcance efetivo: colocam os resultados em um contexto mais amplo, comparando-os com a situao em reas semelhantes ou com um possvel mximo ou padro (IDH, por exemplo). Ambos so necessrios para se obter uma anlise til do julgamento e da tomada de decises. Os rendimentos das culturas podem ter sido melhores do que o estabelecido nos objetivos do projeto; porm, no foram maiores do que aqueles alcanados em reas prximas, fora do projeto. Nesse caso, os elevados rendimentos so devidos, provavelmente, s condies climticas ou a outras polticas governamentais, no apenas ao projeto. J os indicadores de impacto indireto medem todos os outros efeitos. Espera-se alcanar objetivos secundrios como conseqncia do alcance dos objetivos principais: renda do domiclio/renda da propriedade, condies nutricionais/aumento da produtividade e/ou renda, participao e associativismo/crdito coletivo. Efeitos no planejados, desejveis ou no, encontram-se tambm nessa categoria e devem ser monitorados (reduo no suprimento de gua para outros produtores localizados abaixo do aude; aumento da produo e reduo dos preos locais; salinizao do solo; aumento do risco devido ao endividamento; adoo de monocultura; outros).
41
1.4.3. Indicadores indiretos Alguns objetivos melhoria do padro de vida e expanso do associativismo so complexos para se medir ou verificar. A medio direta pode requerer mltiplos indicadores, cuja gerao pode ser cara, demorada e injustificvel para o tamanho da interveno. Para superar essas dificuldades, indicadores indiretos para o padro de vida condies da moradia e o montante de bens durveis possudos pelas famlias tm sido sugeridos. Dados sobre esses itens podem ser obtidos rapidamente e a baixo custo com uma nica visita (uma rpida pesquisa de campo com aplicao de questionrio). Entretanto, a reduo de custos de coleta pode ter como conseqncia a perda de preciso. Se os gastos em investimentos na propriedade e/ou em poupana so ignorados, como saber se o aumento no patrimnio de bens domsticos durveis resultado de um aumento sustentado da renda ou da descapitalizao da propriedade? Assim, deve-se interpret-lo como um indicador parcial e com certo cuidado. Os indicadores indiretos so utilizados com grande dubiedade onde eles no so quantificveis e requerem julgamento pessoal, como indicadores de mudanas no comportamento (inclusive associativista) e atitudes dos atores. Esses indicadores esto sujeitos a grande impreciso, o que faz com que o mrito de sua utilizao deva ser questionado sobretudo as atitudes em relao ao associativismo.
1.4.4. Indicadores de condies externas Indicadores de condies externas esto relacionados a fatores que fogem ao controle da gerncia, embora o seu comportamento seja capaz de requerer mudanas nos objetivos. Alguns exemplos so: preos de insumos e produtos, condies de comercializao, disponibilidade de insumos-chave (como fertilizantes, vacinas, maquinas especiais, mo de obra capacitada), custo do crdito para os produtores (taxa de juros, servios e burocracia), condies climticas (seca, excesso de chuvas, enchentes, etc.), incidncia de pragas e doenas. Alteraes nesses indicadores podem sugerir mudanas nos objetivos dos projetos/programas.
1.5. Resistncias ao Monitoramento e Avaliao Em teoria, o desenho e a implantao de um sistema de monitoramento e avaliao parecem ser inquestionveis. uma questo de organizao. O
42
processo de monitoramento deve ser formalizado em um conjunto de instrues que prescrevam o que ser monitorado, com qual freqncia e por quem, alm de fazer previso ao procedimento de registro e ao processamento da informao registrada para se obter o mximo de significncia operacional. A proposio de que o monitoramento e a avaliao so essenciais para uma gesto eficiente quase nunca questionada. A princpio, os planejadores o aconselham e os ministros o aceitam. Na prtica, os sistemas de monitoramento e avaliao so deficientes e tm pouca efetividade. Tal fato ocorre no apenas com sistemas relativamente sofisticados, mas tambm com procedimentos de monitoramento simples, desenhados para projetos pequenos. No raro encontrar uma oposio no revelada ao monitoramento e avaliao. O monitoramento expe deficincias na operao e no desempenho, e revela debilidades da gesto. Uma das principais fontes de resistncia ao monitoramento e avaliao por parte das gerncias de projetos e subprojetos a desconsiderao da dimenso humanana formulao.Tem sido grande o nmero de sistemas de monitoramento e avaliao. De igual forma, as atividades relacionadas a eles, criados e operados com pouca ou nenhuma participao dos operadores e gerentes, mesmo no estgio relativo ao seu desenho. Esses sistemas, criados externamente, requerem uma substancial dose de gesto para operar. Espera-se ser a gerncia a usuria e a beneficiria principal. Assim, no de surpreender que o monitoramento, em boa medida, no se torne efetivo quando: a equipe do projeto se indignar com o fato de ter que dedicar demasiado tempo ao monitoramento e desviar esforos que poderiam ser canalizados para as atividades de conduo do dia-a-dia do projeto; a equipe do projeto no utiliza os resultados do monitoramento e da avaliao por vrias razes, dentre as quais destacam-se: o fato de no ter sido consultada, desconhecer a utilidade da informao e ter a percepo de que pouco contribui para o desempenho das obrigaes primrias. Apenas recentemente, a necessidade de se incluir a participao dos operadores e gerentes dos projetos no desenho de sistemas de monitoramento e avaliao tem sido reconhecida. Sem essa participao, o monitoramento e a avaliao tornam-se pouco efetivos ou no so utilizados de acordo com o seu propsito. A participao dos gerentes e da equipe permite melhor compreenso do propsito do monitoramento
43
e da avaliao, contribui na formulao do conjunto de informaes a serem coletadas e estabelece um limite de tempo que a equipe deve dedicar-se s atividades de monitoramento. Ainda, evita a gerao de informao excessiva, desnecessria e sem uso. Para aumentar o uso efetivo dos resultados do monitoramento, vital aumentar a cooperao da gerncia nas atividades do prprio monitoramento.
1.6. Problemas Prticos do Monitoramento e da Avaliao Na teoria, um sistema de monitoramento e avaliao, bem desenhado e adequadamente funcionando, fornece a informao certa, na forma certa, na hora certa, no lugar certo (dentro da estrutura gerencial) e com a freqncia certa. Permite gerncia reagir e manter programas ou projetos em curso, mantendo nveis de eficincia e alcanando objetivos e nveis de desempenho preestabelecidos. Entretanto, a experincia revela diferenas entre a prtica e os modelos tericos. Inadequados monitoramento e avaliao esto comumente associados a sistemas mal desenhados. Tais sistemas possuem maior produo de dados do que o necessrio (ou do que pode ser processado), alm de inadequada atribuio de atividades de monitoramento e avaliao junto equipe do projeto, sem contar a incapacidade de realizar estudos do perfil de entrada (baseline) com a necessria antecedncia. Compem ainda esses sistemas, substanciais atrasos devido ao processamento de dados (geralmente devido a inadequadas condies de processamento e carncia de pessoal) e atraso na anlise dos dados e apresentao dos resultados (devido falta de profissionais seniores e falhas na coleta de dados em campo). Finalmente, mesmo evitando todas essas deficincias, o sistema de monitoramento e avaliao pode permanecer sem uso pela equipe do projeto. So inmeras as causas desses problemas, mas destacam-se a introduo apressada do monitoramento e sua excessiva ambio, conforme o caso, sobretudo quando se trata de avaliao de impacto. O custo das atividades de monitoramento e avaliao pode ser elevado, podendo alcanar 4,5% (quatro vrgula cinco por cento) do oramento total do projeto ou programa. Apesar de a experincia ter demonstrado que sistemas de monitoramento e avaliao podem ser de grande valia para a gesto, difcil quantificar os ganhos e confront-los com seus custos. Essa uma das razes que levam governos a serem
44
extremamente relutantes em arcar com os custos de monitoramento e avaliao, pois no lhes claro o retorno desses gastos. Adicione-se a isso o fato de que gerentes e departamentos de planejamento vem o monitoramento e a avaliao com grande desconfiana. A resistncia ainda maior onde existe prvia percepo de que uma massa de dados ser coletada e no utilizada, portanto, sua coleta representa desperdcio de dinheiro. Uma importante lio a ser aprendida da experincia de monitoramento e avaliao a de que a prudncia fundamental: na seleo de projetos, subprojetos ou programas a serem monitorados e avaliados. No existe um conjunto acabado de critrios de seleo. Tamanho e complexidade so certamente importantes. Em programas de mltiplos propsitos pode ser desejvel monitorar apenas os componentes mais crticos e/ou caros. desejvel documentar a experincia e registrar informaes sobre projetos inovadores, pilotos; no desenho de sistemas de monitoramento e avaliao. O tamanho e o tipo de projeto, bem como o nvel de eficincia gerencial, devem influenciar no desenho de um sistema de monitoramento e avaliao. Um gerenciamento pouco competente no conseguir tirar proveito de um sofisticado sistema. Os sistemas devem ser o mais simples possvel, e isso se aplica aos procedimentos de instruo, documentao, comunicao e processamento de dados. Se um sistema informativo simples revela-se adequado, no h porque carreg-lo com procedimentos mais complexos; ao decidir sobre o balano a ser dado quanto ao foco do monitoramento e avaliao, entre operao, desempenho e impacto. Esse balano depende principalmente do tipo de projeto ou programa, de seus objetivos principais, dos ditames polticos e da disponibilidade de recursos. Recursos limitados constituem a principal razo pelos quais sistemas de monitoramento e avaliao raramente cobrem operao, desempenho e impacto no seu conjunto (concentrando-se em uma ou, no mximo, duas dessas reas). usual que os projetos de irrigao tenham o foco na operao e, talvez, no desempenho; projetos de segurana alimentar preocupam-se mais com o impacto; projetos-piloto de grande interesse social (reforma agrria e combate pobreza rural) so direcionados para as trs reas, mas com grande interesse no impacto.
45
1.7. Outros Componentes da Avaliao Alm dos componentes acima citados, a avaliao de impacto de programas e de projetos de desenvolvimento rural inclui trs outros componentes: avaliao de custo-benefcio e custo-eficcia, estudo de focalizao e estudo de impacto sobre o capital social. A avaliao de custo-benefcio e custo-eficcia possui um conjunto de metodologias e tcnicas de anlise de projetos capazes de evidenciar o impacto (em termos de benefcios) vis--vis os seus custos. No custobenefcio, a anlise faz uso de medidas monetrias capazes de produzir indicadores como valores presentes lquidos (VPL) e taxas internas de retorno ( TIR). Esses indicadores so teis na anlise de projetos produtivos. O custo-eficcia utilizado em uma grande gama de projetos cujos benefcios no tm preos estabelecidos no mercado ou so de difcil mensurao em termos monetrios, por isso, so utilizados como projetos sociais e de infra-estrutura em que os clculos do VLP e da TIR podem ser dispensados. O Captulo 3 dedicado ao custo-benefcio e ao custoeficcia. O estudo de focalizao importante para avaliar se o programa/projeto atinge o pblico-alvo. Nesse sentido, permite identificar tanto o grau de vazamento quanto o nvel de cobertura do programa. O vazamento ocorre quando o programa atinge um pblico que no pertence ao pblico-meta (um programa de combate pobreza ter vazamentos caso beneficie domiclios de maior renda em detrimento de domiclios pobres). O nvel de cobertura indica o percentual do pblicometa que beneficiado (o programa poder ter destinado benefcios a 50% da populao pobre). No raro encontrar programas de combate pobreza que tenham baixo vazamento e, mesmo assim, beneficiam uma parcela muito pequena dos pobres. Esse tipo de informao permite no apenas avaliar a focalizao do programa, mas tambm qualificar as concluses relacionadas com o impacto. Devido importncia desse tema, o Captulo 4 traz uma discusso mais ampla dos conceitos, critrios e metodologias de avaliao da focalizao de programas. A nova gerao de programas sociais de combate pobreza tem incorporado instrumentos e regras que visam aumentar o grau de organizao social, como promoo de aes que orientem as expectativas e os comportamentos dos membros das comunidades, fortalecendo relaes de cooperao e confiana mtua. Espera-se que essas aes cooperativas aumentem a eficincia dos esforos individuais e promovam melhor aproveitamento do capital fsico e humano.
46
A hiptese central que norteia a incluso desses objetivos nos programas a de que as mudanas scio-culturais e polticoadministrativas esto relacionadas ao processo de desenvolvimento de capital social que se expressa na organizao comunitria e no empoderamento das populaes pobres. Assume-se tambm que as formas descentralizadas de acesso infra-estrutura e a outros tipos de ativos de uso comunitrio so fundamentais nesse processo. Discusso mais ampla do conceito de capital social e de metodologias para sua avaliao encontra-se no Captulo 5. A Figura 1 representa uma sntese do conjunto de estudos propostos para avaliao do Programa de Combate Pobreza Rural (PCPRII) no Nordeste brasileiro. No exemplo destacado, esto contemplados todos os aspetos relacionados com a avaliao de impacto sobre o bem-estar, focalizao, custo-benefcio e custo-eficcia alm do capital social. Para esse conjunto de avaliaes, so propostas vrias metodologias e ferramentas de anlise (modelos economtricos, tcnicas de pareamento e mtodos de amostragem). Os captulos que se seguem abordam metodologias e ferramentas que podem ser associadas aos diversos objetivos da avaliao de programas de desenvolvimento e combate pobreza rural.
47
Figura 1 Sntese da avaliao de impacto do Programa de Combate Pobreza Rural (Brasil)
48
2. A AVALIAO DO IMPACTO
A metodologia estatstica disponvel para avaliar os impactos de um programa/projeto pode basear-se em um conjunto grande de modelos que inclui desde simples estatsticas descritivas a modelos estatsticos mais complexos. Esses modelos so utilizados em estudos de maior profundidade que procuram isolar e medir o impacto do programa, separando-o de outros efeitos e de modelos economtricos baseados em dados de painel. Em especial, esses dados correspondem a uma coleta realizada no incio do programa e a outra algum tempo depois, quando os resultados j esto se manifestando. Este captulo tem como objetivo descrever procedimentos e modelos estatsticos utilizados na determinao do impacto3, seja por meio de tcnicas de estatstica descritiva, seja por meio de modelos economtricos mais sofisticados. Tcnicas como anlise de cluster, anlise de componentes principais e anlise fatorial de correspondncias tm sido utilizadas com propsito descritivo, visando captar os aspectos que se salientam nos dados.
2.1. Experimentos, Quasi-Experimentos e Vis de Seleo A avaliao de impacto tem como objetivo, em primeiro lugar, identificar e quantificar os efeitos do programa. Em segundo, avaliar (e em que medida) a correspondncia desses efeitos queles esperados e desejveis. Os programas atuam e impactam pessoas, domiclios, comunidades; , pois, preciso definir os efeitos esperados e onde sero medidos. evidente que um programa de assentamento ter efeitos primrios sobre as famlias beneficirias, mas tambm podero ter
3 Em geral, antes de se proceder a uma avaliao de impacto, recomenda-se uma anlise inicial e exploratria das informaes e dos dados, cujos objetivos so: conhecer a realidade, a partir de estudos anteriores; examinar algumas hipteses que podem ser teis para a avaliao dos impactos do programa que se vai analisar; identificar situaes particulares que possam afetar os resultados esperados; explorar alternativas para explicar a evoluo recente da realidade local; e contribuir tanto para qualificar os modelos analticos passveis de uso no processo de avaliao como para compreender melhor os resultados da prpria avaliao. A anlise exploratria tratada com mais detalhes no Captulo 6.
49
impactos sobre a comunidade local e at mesmo sobre o municpio. Portanto, necessrio avaliar se o programa/projeto est produzindo os efeitos esperados e desejveis nos domiclios, comunidades, municpios e/ou nas sub-regies. Isto feito a partir da identificao adequada de quais seriam esses efeitos e dos indicadores a eles correspondentes. fundamental determinar os efeitos lquidos das aes, ou seja, aqueles que se devem (e que decorrem das aes) a aes implantadas pelo programa, separando-os de possveis efeitos de outros programas ou mesmo de mudanas que ocorreriam de qualquer forma, independente de qualquer ao particular da poltica pblica. Como exemplo, sabe-se que em condies normais uma criana deve crescer alguns centmetros no primeiro ano de vida, logo, no seria legtimo atribuir todo o crescimento do recm-nascido poltica de sade. Algumas questes-chave devem ser respondidas: como o programa afeta os beneficirios? as melhorias so resultantes diretas do programa ou elas poderiam ter acontecido de qualquer forma com a sua ausncia? o desenho do programa poderia ser modificado no sentido de ampliar o seu impacto? Para assegurar o rigor metodolgico, a avaliao do impacto sobre o bem-estar deve estimar o que teria acontecido caso o programa no tivesse existido (counterfactual). Os exemplos do crescimento da criana ou dos testes de um novo medicamento ajudam a esclarecer a necessidade de examinar no apenas o que acontece aps a ao do setor pblico, mas tambm o que teria acontecido sem essa ao. Da mesma maneira que no possvel atribuir todo o crescimento de uma criana poltica de sade, no seria verdadeiro atribuir a cura de todos os doentes ao novo medicamento em teste. Em ambos os casos, estar-se-ia ignorando os benefcios da ao do prprio organismo humano sobre o crescimento, bem como dos mecanismos prprios de reao aos ataques de vrus e bactrias que, na prtica, impedem doenas e so os responsveis pela maior parte das curas de muitas enfermidades. Assim, qual seria a evoluo dos indicadores se o programa no tivesse existido? O quadro em comento implica separar efeitos do programa dos efeitos de outros programas que podem estar em execuo nas mesmas comunidades/regies. A anlise deve considerar que o efeito puro do programa em um determinado produtor, que no seja beneficiado por outros programas, pode ser menor do que o efeito em produtores que j possuam outros programas em execuo, ou seja, a combinao pode criar efeitos sinrgicos.
50
Para determinar o counterfactual, necessrio eliminar os efeitos produzidos por outros fatores. Essa tarefa no simples, mas pode ser realizada por meio de grupos de controle (comunidades e domiclios que no participam ou no recebem os benefcios do programa), os quais so comparados com o grupo de beneficirios (indivduos diretamente beneficiados pelo programa). Um grupo de controle deve ser selecionado aleatoriamente da mesma populao em que se encontra o grupo de beneficirios e deve ser o mais semelhante possvel ao grupo de beneficirios em todos os aspectos, exceto o fato de participarem ou no do programa. Um dos mtodos utilizados para garantir a semelhana do grupo de controle com o grupo de beneficirios o chamado pareamento amostral, que ser tratado adiante. A determinao do counterfactual a questo central no desenho de uma avaliao de impacto. No tarefa fcil eliminar os efeitos de condies histricas diferentes, e possvel vis de seleo, dos impactos observados. A literatura apresenta vrias metodologias para contornar esses problemas, dentre as quais se destacam os desenhos experimentais (aleatrios) e quasi-experimentais (no aleatrios). Alm dessas categorias, encontram-se ainda mtodos qualitativos e participativos que podem prover inferncias e interpretaes mais profundas a partir da perspectiva dos beneficirios e dos processos que determinam os resultados.
2.2. Desenho Experimental O desenho experimental costuma ser considerado como a mais robusta das metodologias de avaliao de impacto. Implica comparar um grupo de indivduos previamente escolhido para receber benefcios com outro grupo (tambm previamente escolhido) que no receber os benefcios. Uma amostra de beneficirios deve ser escolhida em processo aleatrio, permitindo que se criem, por meio do prprio mecanismo de focalizao, grupos comparveis de beneficirios e no beneficirios (grupos de controle). Os dados estatsticos dos dois grupos seriam equivalentes e apresentariam caractersticas socioeconmicas semelhantes. Seria possvel a ambos receber os benefcios, mas apenas um grupo seria beneficiado. Nesse caso, o grupo de controle opera como um perfeito counterfactual, livre de problemas relacionados ao vis de seleo que existem em todas as avaliaes. A principal vantagem dessa tcnica a simplicidade com que os resultados podem ser interpretados. O impacto do programa nos indicadores (sade, educao, consumo e capital) pode ser avaliado por
51
diferenas entre as mdias das variveis calculadas para a amostra de beneficirios (tambm designada por "tratamento") e de no beneficirios (controle). Embora os desenhos experimentais sejam teoricamente considerados os melhores mtodos para estimar impactos, na prtica existem muitos problemas. Em primeiro lugar, o mecanismo de escolha dos beneficirios pode ser tica e politicamente insustentvel, pois se estaria negando benefcios a indivduos que seriam elegveis para os propsitos do programa. Como se poderiam negar recursos a um produtor e beneficiar outro em idnticas, ou piores, condies de pobreza, organizao social, etc.? Em segundo lugar, indivduos no grupo de controle podem alterar algumas de suas caractersticas durante o experimento, invalidando ou contaminando os resultados (pode acontecer de indivduo que est na rea prioritria do programa mudar para reas no prioritrias e vice-versa). Assim, estariam se movendo para fora ou para dentro dos grupos de controle e de beneficirios. Por fim, de fato, muito difcil assegurar que a concesso dos benefcios seja aleatria (tal fato praticamente impossvel em programas descentralizados que envolvem auto-seleo).
2.3. Os Mtodos Quasi-Experimentais Os mtodos quasi-experimentais podem ser utilizados quando no possvel construir os grupos de beneficirios e de controle por meio do desenho experimental. Tais tcnicas baseiam-se na gerao de grupos de beneficirios e no beneficirios, que podem ser comparados a partir de certas caractersticas observadas. Tcnicas de pareamento podero ser utilizadas para construir os grupos de comparao. O grupo de controle deve ser o mais similar possvel ao grupo de beneficirios, com o propsito de, assim, obter as melhores estimativas dos efeitos do programa utilizandose de mtodos economtricos. Entre os mtodos economtricos esto os mtodos das diferenas duplas (double diferences) e de modelos de painel (fixed e random effects). Variveis instrumentais so utilizadas para tornar as variveis mais adequadas para os modelos economtricos. Esse procedimento elimina problemas de estimativa devido a variveis endgenas nas equaes de impacto, assunto tratado adiante. Uma avaliao de impacto que utiliza o mtodo quasi-experimental pode utilizar dados j existentes, como os obtidos em pesquisas nacionais por amostragem (Pesquisa Nacional por Amostras Domiciliares PNAD), possibilitando uma avaliao mais rpida e barata. Os dados dessas pesquisas podem ser utilizados como amostra de controle (ou amostra de
52
comparao), empregando tcnicas adequadas para a seleo de domiclios com caractersticas semelhantes ao grupo de beneficirios. As principais desvantagens das tcnicas quasi-experimentais so: a metodologia estatisticamente menos robusta, o que pode comprometer os resultados; os mtodos estatsticos podem ser bem complexos, o que pode afetar a confiabilidade na sua interpretao; existe um problema de vis de seleo; e nem sempre garantem a eliminao do vis atribudo s variveis observveis, podendo inclusive tornar mais grave esse problema.
2.4. Vis de Seleo O problema do vis de seleo est relacionado ao mecanismo de focalizao do programa, que contribui para diferenciar os subgrupos do pblico-meta, afetando assim a amostra e os resultados. No mecanismo de auto-seleo, em que produtores e/ou comunidades participam por iniciativa prpria, aqueles que se encontram mais bem preparados (com caractersticas diferenciais como nvel de escolaridade, experincia, maior organizao social, experincia de participao em outros programas e outros) tm maior probabilidade de tornarem-se beneficirios em detrimento daqueles que no possuem essas caractersticas. O problema do vis de auto-seleo na avaliao de impacto causado pelo fato de que os beneficirios diferem dos no beneficirios em caractersticas que no podem ser observadas e que afetam tanto a probabilidade de participar do projeto como os prprios resultados. Em geral, uma avaliao se procede comparando-se os resultados do grupo de beneficirios com o grupo de controle (no beneficirios). No entanto, essa simples comparao resulta em vis. Considere o impacto medido por um indicador, por exemplo, a renda do domiclio (R). O verdadeiro impacto de um programa deve ser medido comparando-se o crescimento da renda (R1) de domiclios beneficirios com o crescimento da renda (R0) desses mesmos domiclios, caso eles no tivessem recebido o benefcio. Chamaremos E[R1/D=1], o valor esperado do crescimento da renda dos domiclios beneficirios (D=1), quando submetidos ao programa; e E[R0/D=1], o valor esperado do crescimento da renda desses mesmos domiclios (D=1), caso no recebessem o benefcio (R0). O verdadeiro impacto (I) do projeto sobre a varivel renda seria: I = E[R1/D=1] - E[R0/D=1]
53
Infelizmente, no se conhecem os valores do crescimento da renda dos domiclios beneficirios na condio de no terem sido beneficiados. Nessa ptica, R0 uma varivel latente e E[R0/D=1] valor no observado. A soluo natural seria substituir E[R0/D=1] por E[R0/D=0], o valor esperado do crescimento da renda de domiclios no beneficirios (D=0), um grupo de controle Entretanto, essa substituio levaria ao vis de seleo j . mencionado. A forma ideal de eliminar o vis selecionar de modo fortuito os participantes do projeto. Dessa forma, os participantes e os noparticipantes do projeto tero o mesmo valor esperado da varivel resultado (no caso, o crescimento da renda), na hiptese de no receberem o benefcio, ou seja, E[R0/D=0] = E[R0/D=1]. O impacto (I) poder ser calculado, sem vis, pela diferena I = E[R1/D=1] - E[R0/D=0], que so dois valores observveis. O vis de seleo pode decorrer de dois conjuntos de variveis: aquelas que estabelecem diferenas observveis (observables) no conjunto de dados disponveis; e aquelas devidas a diferenas no-observveis ou latentes. Um vis observvel pode decorrer de um critrio de seleo por meio do qual um domiclio torna-se eleito. Assim, um programa pode estabelecer como elegveis apenas os municpios que tenham IDH < 0,4. Em modelos de auto-seleo, as condies sociais e econmicas iniciais (grau de organizao, capital fsico e social inicial) tambm estabelecem um vis de seleo observvel por intermdio de variveis (indicadores ou proxies) de fcil coleta. Dentre as variveis no-observveis, e que podem criar um vis, esto aquelas no reveladas pelos dados, como capacidade individual, conexes familiares e processos subjetivos de seleo (dirigidos pelas elites na seara poltica). Ambos os tipos de vis podem levar a concluses imprecisas (incluindo a sub ou superestimao dos impactos); a impactos negativos quando de fato so positivos (e vice-versa); e a impactos que seriam insignificantes, embora estatisticamente significantes (e vice-versa). possvel controlar esses vieses por meio de tcnicas estatsticas (pareamento, fixed effects e variveis instrumentais), mas muito difcil remov-los, sendo esse o maior desafio dos pesquisadores que trabalham com anlise de impacto. A atribuio aleatria no remove o vis de seleo, mas equilibra o vis entre as amostras de beneficirios e no beneficirios. Em desenhos quasiexperimentais, os modelos estatsticos procuram tratar o problema moldando o processo de seleo com o objetivo de obter estimativas no enviesadas que utilizam dados no-experimentais. A idia comparar os
54
participantes do programa com os no-participantes, mantendo o processo de seleo constante. Entre as tcnicas de desenho quasi-experimental, as tcnicas de comparao pareada so consideradas boas alternativas aos desenhos experimentais. A literatura sobre metodologias de avaliao tem dado muita ateno a essas tcnicas, refletindo no apenas a freqncia com que tm sido utilizadas, mas tambm os desafios enfrentados para se obter bons grupos de comparao. Algumas tcnicas tm sido apontadas com grande interesse (propensity score matching), contudo, podem ser exigentes quanto qualidade, quantidade e disponibilidade de dados. Em especial, essas tcnicas dependem de um processo de dupla amostragem em que, a partir de uma primeira grande amostragem, ser obtida uma segunda amostra de grupos pareados. Assim, a partir de dados provenientes de uma amostra nacional/regional de domiclios, em geral coletados por rgos estatsticos governamentais, seriam construdas duas subamostras: uma de beneficirios e outra de controle, pareadas segundo variveis observadas. Dados no coletados pelos rgos estatsticos governamentais seriam aproveitados para as chamadas subamostras, em pesquisa de campo apropriada. O processo citado envolveria custos bem elevados, dependendo da dimenso do programa. Alternativa vivel seria coletar novos dados apenas para uma subamostra de domiclios beneficirios, devendo cumprir as condies de pareamento, segundo a metodologia proposta por Ravallion (1999).
2.5. Baseline e Follow-Up A medio do impacto pressupe pelo menos dois momentos no tempo para que se possa avaliar a evoluo: baseline e follow-up. O primeiro corresponde entrada dos beneficirios no programa. Nesse instante, informaes devem ser coletadas sobre as condies em que os beneficirios ingressam no programa. Esse conjunto de dados permitir traar o perfil de entrada, fundamental para caracterizar os beneficirios, compar-los com os no beneficirios e proceder avaliao do grau de focalizao do programa. O conjunto de dados do perfil de entrada deve contemplar informaes que permitam examinar tambm a evoluo. Nesse caso, para que se possam realizar comparaes, uma ou mais coletas de dados devem ser executadas em instantes posteriores (follow-up), de preferncia
55
da mesma amostra e sobre as mesmas variveis. Veja-se: a varivel crescimento da renda do domiclio (R) resulta da diferena entre a renda observada no perfil de entrada e a renda observada algum tempo depois. Dados referentes a um conjunto de variveis (renda, nmero de indivduos, participao no programa, etc.), em diferentes perodos (baseline e follow-up) e referentes a um conjunto de unidades secionais (domiclios), so conhecidos como dados de painel. Em desenhos quasiexperimentais, que usam dados coletados antes e depois da implementao de programas, necessrio dimensionar o intervalo de tempo entre a primeira pesquisa de campo (baseline) e a seguinte (followup). Deve-se considerar que em muitos programas os beneficirios no so todos atendidos simultaneamente, digamos no tempo zero. Em programas que adotam o modelo demand-driven, existe uma defasagem de tempo entre os primeiros atendimentos e os ltimos. Isso tem conseqncias relacionadas ao vis de seleo, dado que se pode esperar que os primeiros que procuraram (e que foram atendidos) pelo programa possuem caractersticas diferenciais, observveis e noobservveis, em relao aos ltimos a serem beneficiados e em relao ao grupo de controle. Alm disso, no beneficirios, que compem a amostra de controle no ano zero, podem tornar-se beneficirios no ano 2, embora no venham a fazer parte da amostra de beneficirios no ano 2 (atrito seletivo). Esse procedimento deixaria de fora comunidades e domiclios que se atrasam na apresentao de projetos, estabelecendo mais uma complicao para a anlise.
Box 1
Dados em painel
Dados em painel so observaes dos mesmos n indivduos (pessoas ou domiclios) para dois ou mais perodos de tempo (T). Suposio: a base de dados contm observaes sobre as variveis (X) e (Y). Dessa forma, os dados podem ser representados como: (Xit,Yit), i = 1,...,n e t=1,...,T Um painel pode ser equilibrado ou desequilibrado. No primeiro caso, as variveis so observadas para todos os indivduos e em todos os perodos de tempo. No segundo, faltam valores para algumas observaes. Existem muitas dificuldades empricas para o trabalho com
56
dados em painis, particularmente na prtica de avaliao de programas sociais. Um dos principais problemas a elevada dificuldade em se construir um painel minimamente equilibrado, dado que em muitos projetos o fluxo de entrada e sada de beneficirios considervel durante o perodo de avaliao. A vantagem de se ter dados em painel para avaliao de impactos de programas sociais que esses permitem considerar aspectos dinmicos da populao de beneficirios.
Outro problema o intervalo de tempo necessrio para que se produzam os efeitos que, no caso de infra-estrutura, podem ser longos. Um intervalo curto de tempo entre o baseline e o follow-up pode no ser suficiente para que determinados indicadores, sobretudo os de educao, revelem as mudanas que esto em processo na populao.
2.6. Modelo Economtrico Geral para a Medio de Impactos Para um modelo que considere dois perodos (baseline e follow-up), a sistematizao e a quantificao dos impactos de um programa podem apresentar a seguinte estrutura geral: Equao 1
Onde: y it uma varivel endgena (indicador de bem-estar) em que os subndices (i) e (t) referem-se ao domiclio (i) de onde provm os dados do perodo (t). A maioria dos estudos restringe-se a apenas um ou, no mximo, dois perodos. O indicador pode ser a renda per capita domiciliar ou um indicador composto de bem-estar definido previamente; x it o vetor das caractersticas observveis dos indivduos. um vetor de (k) variveis explicativas pr-determinadas, embora no necessariamente exgenas, isto , . Esse vetor pode conter uma componente da varivel defasada , no caso de o modelo ser dinmico e de ser considerado (t) grande o suficiente para que ocorram os efeitos dinmicos. comum que as variveis desse vetor de caractersticas sejam a idade e a escolaridade do chefe do domiclio, alm
57
de outras caractersticas dos moradores. Tambm pode incluir caractersticas (variveis) referentes aos domiclios, como nmero de eletrodomsticos, condies sanitrias, condies de abastecimento de gua e de energia eltrica; c jt o vetor das caractersticas observveis das comunidades. um vetor de (l) variveis explicativas pr-determinadas que apresenta as mesmas suposies estatsticas das variveis do vetor , ou do seu tamanho, carter urbano ou rural. Uma dessas variveis pode ser um indicador de capital social das comunidades; D jt um vetor de (p) variveis binrias para representar os efeitos de programas (Programa I, Programa II, outros programas). Poder conter tambm outras caractersticas de um mesmo programa que se deseja avaliar, como diferentes tipos de projeto do programa ou diferentes estratgias ou governanas adotadas. As variveis binrias so aquelas que assumem apenas 2 valores (0 ou 1), cada um representando a ocorrncia ou no de determinada situao. Uma varivel binria p assume o valor 1 (um) se a famlia ou comunidade participou do programa e 0 (zero) se no participou; z i um vetor que est constitudo por (q) variveis exgenas observveis, especficas de cada domiclio, mas no variantes no tempo, como o gnero do chefe do domiclio, o que as distingue das variveis que compem o vetor ; uma varivel aleatria que capta efeitos no-observveis e especficos de cada agente no painel. Caso seja no variante no tempo, como no caso do vetor , no especificado nenhum parmetro correspondente a essa varivel, dada a impossibilidade de sua observao e sua identificao em separado; um vetor que representa uma lista de (r) variveis que evoluem no tempo, mas que afetam de igual maneira todos os domiclios do painel. A incluso desse vetor de variveis tem como objetivo considerar efeitos puramente macroeconmicos, como o crescimento do produto interno bruto da regio; so vetores de parmetros populacionais desconhecidos; o termo aleatrio do modelo. Na forma matricial, esse modelo pode ser expresso como: Equao 2
Onde: y uma matriz de dimenso 2N x 1; X uma matriz de dimenso 2N x k;
58
um vetor de ordem k;
C uma matriz de dimenso 2N x l;
um vetor de ordem l; uma matriz de dimenso 2N x r; D um vetor de ordem r; Z uma matriz de dimenso 2N x q; um vetor de ordem q; uma matriz de dimenso 2N x r; um vetor de ordem r; e u so vetores de ordem 2T.
2.7. Introduzindo Variveis para Controlar a Imperfeio do Pareamento O impacto do programa ir depender de diversas caractersticas dos indivduos, domiclios e comunidades, e pode ser maior para domiclios cujo chefe tem um nvel de escolaridade maior, dependendo, inclusive, da idade do mesmo. necessrio controlar o efeito dessas variveis sobre o indicador de impacto (varivel de bem-estar) que est sendo adotado, para isolar o efeito do programa. Isso implica excluir as influncias diferenciais daquelas caractersticas. Assim, h aproximao mais rigorosa de uma medida do impacto exclusivo do programa sobre os beneficirios.
Box 2
Pareamento de amostras
Pareamento de amostras um conjunto de tcnicas que permite fazer comparaes mais adequadas entre os resultados da amostra de beneficirios de um dado programa e a amostra de controle (no-beneficirios). A comparao simples de indicadores mdios (como a renda familiar e o nvel de instruo familiar), para as amostras de beneficirios (tratamento), e a amostra de nobeneficirios (controle) no adequada, pois isso pode introduzir vis de seleo na avaliao de impactos. A ocorrncia se d porque as comparaes so feitas com unidades de amostragem com caractersticas observadas distintas. Pode ser que as caractersticas mdias dos domiclios da amostra de beneficirios sejam substancialmente distintas das mesmas caractersticas referentes amostra de controle.
59
Para eliminar este vis, utilizam-se tcnicas de pareamento de amostras, por meio das quais so selecionados pares de amostragem em que um primeiro elemento do par pertence amostra de beneficirios; e o segundo elemento, pertence amostra de controle. Os critrios de pareamento devem satisfazer uma condio de mxima proximidade entre os componentes de cada par considerando-se um conjunto amplo de caractersticas (variveis observadas).
Modelos economtricos so utilizados para controlar o efeito de variveis exgenas que impedem um perfeito pareamento das amostras de beneficirios e no beneficirios. Essas variveis so introduzidas para isolar o efeito do programa, controlando o conjunto de caractersticas que diferenciam as comunidades e os domiclios. Certas variveis so tambm introduzidas para controlar o problema do vis de seleo.
Box 3
Regresso linear: uma tcnica simples que pode ser empregada em avaliao de impactos
Regresso um mtodo analtico que permite analisar o efeito de algumas variveis (denominadas variveis independentes) sobre uma varivel de resposta (denominada varivel dependente). O mtodo de regresso mais utilizado a regresso linear (de forma geral, a regresso linear mltipla). Tem-se a regresso linear simples quando trabalhamos com apenas uma varivel independente. Quando mais de uma varivel independente est presente, surge a regresso linear mltipla.
Em uma hiptese de se querer conhecer o efeito da varivel consumo sobre a varivel renda de uma determinada economia (por exemplo, uma economia fechada), coleta-se diversos dados temporais com a informao de consumo e de renda para cada perodo e elabora-se um grfico tentando verificar visualmente a relao entre as duas variveis. O Grfico 1 apresenta essa relao. Uma reta de regresso pode ser traada entre os pontos, procurando representar, da melhor maneira, essa
60
relao (ver Box 3). Nesse exemplo, a reta de regresso pode ser representada pela seguinte equao: Renda = -6,7073 + 2,0440 x Consumo Para a interpretao dos coeficientes de uma reta de regresso, podese dizer que, no caso da equao citada, um aumento unitrio no consumo da populao causar, em mdia, uma elevao de 2,044 unidades na renda da mesma. Assim, os coeficientes de uma reta de regresso medem o impacto de uma variao unitria da varivel independente sobre a varivel dependente. Entretanto, para cada um dos valores de consumo, tm-se valores de renda que no equivalem aos valores calculados pela equao destacada, como pode ser verificado pelo grfico. A diferena entre a renda observada e a renda predita pela equao igual ao erro aleatrio do modelo de regresso simples. Grfico 1 Relao entre renda e consumo
O modelo de regresso mltipla uma generalizao. quando o trabalho ocorre com mais de uma varivel independente (ou explicativa). Nesse caso, no se pode fazer uso de um grfico da relao com uma simples reta em um plano, mas possvel imaginar uma hiper-reta (ou seja, uma reta
61
em um espao multidimensional). A idia a mesma da regresso simples, porm, estendida para um hiper-espao de mais de duas dimenses. No caso da regresso mltipla, os coeficientes que multiplicam as variveis na equao representam o impacto de uma variao unitria na varivel independente (lado direito da equao) sobre a varivel dependente (lado esquerdo da equao), mantidas todas as demais variveis independentes com valor fixo. A introduo de uma varivel que identifica a participao ou no no programa possibilita controlar o efeito dessa varivel sobre a varivel dependente. Sugere-se uma regresso do indicador de impacto no conjunto de variveis que diretamente possam afet-lo, alm de uma varivel que indique a presena do programa. Considerando dados disponveis apenas para um perodo (follow-up), insufla-se a seguinte representao: Equao 3
Yiv = a + bX i + cCv + dPv + iv
Onde: Yiv pode ser qualquer dos indicadores de bem-estar para o domiclio (i) localizado na comunidade (v); Xi contempla o conjunto de caractersticas dos domiclios importante na determinao dos indicadores; Cv o conjunto de caractersticas das comunidades consideradas importantes na determinao dos indicadores; Pv um indicador binrio igual a 1 (um) quando o programa est presente na comunidade (v) e zero quando no; iv o erro aleatrio; a, b, c e d so os parmetros. O impacto do programa dado por:
E[ iv / X i , C v , Pv = 1] E[ iv / X i , C v , Pv = 0 ]= a + bX i + cC v + d (a + bX i + cC v ) = d Y Y
A expresso acima representa uma diferena entre esperanas matemticas (mdias) condicionadas a determinados eventos. A primeira esperana igual ao valor mdio da varivel indicador de impacto condicionado ocorrncia do programa (Pv=1). A segunda igual ao valor mdio da varivel indicador de impacto condicionado no ocorrncia do programa (Pv=0). Para calcular o valor da esperana (ou valor esperado) de uma expresso, basta somar a esperana de cada um dos seus termos. A esperana de iv supostamente nula por ser um termo estocstico da equao de regresso.
62
A expresso , portanto, bastante simples: mede o que ocorre em um cenrio no qual o programa implantado, e desconta aquilo que teria ocorrido sem a implantao do programa. Deve-se lembrar o exemplo da vitamina: um grupo de crianas participa de um programa de distribuio de vitaminas na escola; outro no. Tomam-se as medidas de altura de ambos os grupos antes do incio do programa. Aps 1 ano, durante o qual as crianas tomaram diariamente as doses indicadas de vitaminas, constata-se que ambos os grupos cresceram: o primeiro, que tomou vitamina, registrou, em mdia, um crescimento de 5 cm; o segundo, um crescimento de 3 cm. Logo, se as amostras so adequadas, no se poderia atribuir vitamina um crescimento de 5 cm, mas apenas de 2 cm, pois o resultado do grupo de controle, que no ingeriu nenhuma vitamina, permite supor que as crianas teriam crescido, em mdia, 3 cm, mesmo sem tomar vitaminas.
E[ iv / X i , C v , Pv = 1] E [ iv / X i , Cv , Pv = 0] = a + bX i + cC v + d (a + bX i + cC v ) = d Y Y
Um primeiro problema nesse modelo que, na regresso de Y em X, C e P, no se permite que o impacto do programa varie com X e C. O impacto o mesmo para todos e igual ao parmetro (d) da Equao 3, o que no provvel. O impacto do programa nos indicadores de educao pode ser maior nos domiclios que possuem maior nmero relativo de crianas do que nos domiclios que possuem maior nmero relativo de idosos; ou o impacto nos indicadores de sade pode ser maior nas comunidades distantes de centros urbanos. Uma soluo para tal problema seria transformar a Equao 3 em: Equao 4
Yiv = ( a1 + b1 X i + c1 C v + 1 iv )Pv + ( a0 + b0 X i + c0 C v + 0 iv )(1 Pv )
Assim, a equao de regresso aumentada ser:

Yiv = a0 + (a1 a0 ) Pv + b0 X i + c 0 Cv + (b1 b0 ) X i Pv + (c1 c 0 )Cv Pv + iv
Onde: . iv = 0 iv + Pv ( 1iv 0 iv ) O impacto do programa ser dado por:

E[ iv / X i , C v , Pv = 1] E [ iv / X i , Cv , Pv = 0 ]= (a1 a0 ) + (b1 b0 ) X i + (c1 c 0 )Cv Y Y
Nesta ltima equao, o primeiro membro refere-se diferena entre duas mdias condicionais. A primeira o valor esperado da varivel
63
resultado Yiv, dados os valores das variveis de controle Xi e Cv, e calculada apenas para os beneficirios do programa (Pv=1). A segunda o valor esperado da varivel resultado Yiv, dados os valores das variveis de controle Xi e Cv, e calculada apenas para os no-beneficirios do programa (Pv=0). O segundo termo da equao representa o valor do impacto do programa e, de acordo com a mesma, ir depender das caractersticas dos indivduos Xi e das comunidades Cv. O impacto ir, portanto, depender de um dado valor de Xi e um dado valor de Cv. Dessa forma, o impacto do programa depender das caractersticas dos indivduos e das caractersticas das comunidades. Temse, portanto, impactos distintos para distintos domiclios e comunidades. importante perceber que nesta alternativa sugerida controla-se o impacto pelas caractersticas dos domiclios e comunidades. Ao mesmo tempo, permite que a mensurao do impacto dependa das mesmas caractersticas. Na alternativa da Equao 3, controla-se apenas o efeito das variveis (caractersticas), sem levar em conta que a mensurao do impacto depende dos valores individuais para essas variveis. Outra soluo aumentar a Equao 3 por meio da adio de termos de interao entre as variveis: Equao 5
Yiv = a + bX i + cC v + dPv + eX i C v + fX i Pv + gCv Pv + hX i Cv Pp + iv
Nesse caso, o impacto do programa seria:
E[ iv / X i , C v , Pv = 1] E [ iv / X i , Cv , Pv = 0 ]= d + fX i + gC v + hX i Cv Y Y
Esses termos de interao refletem o fato de que as variveis independentes de um modelo de regresso nem sempre atuam sobre a varivel dependente de uma forma meramente aditiva (ou independentes umas das outras). Aqui, o efeito de uma determinada caracterstica domiciliar ou individual atua de forma combinada (interada) com uma caracterstica de comunidade (domiclios com elevada proporo de crianas resultam maior impacto se estiverem localizados em comunidades que tenham elevado capital social do que aqueles localizados em comunidades com baixo capital social). O efeito de interao (atuao combinada) entre as variveis representado pela multiplicao das variveis nas equaes de regresso. Como estabelecido pela expresso (5), o impacto final nessa alternativa ir depender no apenas das caractersticas individuais e das comunidades como tambm dos valores combinados desses dois conjuntos de variveis, como mostra o termo hXiCv.
64
Um segundo problema diz respeito ao vis de seleo. As variveis do lado direito da equao devem ser determinadas independentemente do indicador, no podendo estar correlacionadas com o termo de erro da regresso. Se existe o problema da auto-seleo, a participao no programa (Pv) no exgena, e isso pode afetar o clculo do impacto. Significa que a participao no programa no uma varivel determinada fora do modelo , o que quer dizer que participar ou no participar do programa depende bastante do que se quer medir. Essa hiptese bem realista em modelos quasi-experimentais, j que o processo de seleo depende das variveis de impacto para as quais se investiga a resposta do programa. Admite-se que o nvel de educao seja uma varivel explicativa do resultado do programa. tambm muito provvel que o nvel de educao afete a prpria participao das famlias em programas cujo acesso depende de informao. Logo, provvel a maior participao no programa de famlias com maior nvel de educao, o que acabaria condicionando os resultados. Esse vis de seleo precisaria ser levado em conta para evitar, at mesmo, erros na concepo dos programas pblicos. No difcil imaginar que os responsveis pelo programa, confrontados com o xitoevidenciado por uma avaliao que no corrigiu o problema da auto-seleo, decidam ampliar a ao para toda a populao pobre. O resultado pode ser bem diferente, j que, ao ampliar o programa, provvel que um maior nmero de famlias pobres, com menor nvel de educao, seja tambm beneficiado, o que afetaria o desempenho final da interveno. No se trata, evidente, de controlar para evitar a entrada das famlias com menor nvel de educao. Ao contrrio, trata-se de conhecer as relaes entre nvel de educao, participao no programa e resultados para tomar as medidas corretas para compensar os possveis efeitos negativos de um nvel educacional muito baixo sobre os resultados. Muitos programas fracassam exatamente por no contemplarem medidas corretivas e assumirem que a realidade reproduz as mesmas condies dos modelos tericos. A hiptese de que a participao no programa no uma varivel determinada fora do modelo, uma hiptese bastante realista dos modelos quasi-experimentais, j que o processo de seleo depende das variveis de impacto para as quais se investiga a resposta do programa. Na equao de regresso sugerida, deve-se estar seguro de que as variveis do lado direito da equao so somente determinantes, no podendo, portanto, serem determinadas nem pelas outras variveis explicativas nem pela varivel dependente do lado esquerdo; o que exige que a varivel participao no programa (Pv) independa das caractersticas
65
Xi, Cv e no seja determinada pelo indicador de impacto (Yiv). Para isso, a condio economtrica a exogeneidade das variveis Xi, Cv e Pv e, para tanto, no deve haver correlao entre as mesmas variveis e os erros iv do modelo de regresso. Se existe um mecanismo de auto-seleo, essa condio no cumprida, j que participar ou no do programa ir depender de caractersticas (observveis e no-observveis) dos domiclios e das comunidades. A omisso de variveis de controle pode levar emisso de anlises de vis em um quasi-experimento. Se a experincia anterior dos beneficirios na atividade agrcola fosse uma varivel omitida, apesar de ter um impacto positivo, e sendo o experimento aleatrio, no existiria o risco de se desconsider-la. Caso essa varivel no fosse considerada no modelo de regresso (Equao 3), como varivel de controle, no se enviesaria a estimativa do impacto, pois se supe que as distribuies de tal varivel no grupo de tratamento e no grupo de controle sejam as mesmas. Em um quasi-experimento tal situao no ocorre, pois a participao e a experincia anterior esto correlacionadas. Se a ltima varivel no for includa no modelo, a varivel que representa a participao no programa ficar endogeneizada, j que, em tese, a varivel que representa a experincia anterior uma varivel omitida no modelo. Essa ltima varivel estar, de fato, representada no componente de erro aleatrio e, com isso, ocorrer correlao entre a varivel que representa a participao no programa e os erros. Da o termo "vis de omisso de variveis", tambm usado na literatura sobre o tema. A introduo de variveis de controle que afetam a magnitude do impacto do programa reduz o vis de seleo. De se ressaltar que sempre restaro variveis omitidas (muitas delas no-observveis) que impediro uma estimativa de vis, baseada em uma nica equao, como no caso da expresso (3). Essa situao pode ser considerada pela equao explcita para (P), que, como se mencionou, um indicador binrio para sinalizar a presena ou no do programa na comunidade. Equao 6
Pv = d + eZ v + v
Onde (Z) o vetor de variveis que incluem todas as proxies observadas que determinam o foco ou a participao no programa. Existiro ainda algumas influncias aleatrias e erros que sero capturadas no termo de
66
erro ( v). Essa equao chamada de participao e representa o processo de seleo do programa. Ou seja, ela contm todas as determinantes observveis para a seleo das comunidades e/ou domiclios, mostrando qual a importncia relativa de cada um deles. A equao deve satisfazer tanto as condies tericas previamente estabelecidas (condies representadas em variveis selecionadas que signifiquem as dimenses mais importantes que, de determinado ponto de vista, a priori, podem influenciar a seleo, como, idade do chefe do domicilio, grau de instruo, renda familiar, perfil migratrio, razo de dependncia na famlia, etc. ?), quanto os critrios economtricos de ajuste do mesmo aos dados e ao comportamento dos resduos4. Alm disto, observa-se que as equaes (3) e (6) conformam um sistema cujos algoritmos devem ser adequados a uma soluo simultnea. Assim, os determinantes do processo de seleo, bem como os determinantes do impacto sobre os domiclios, so obtidos simultaneamente ao se estimar os parmetros da equao (6). Como (P) binrio, o modelo probit (ou logit) o mais indicado para estimar os parmetros da Equao 6. Esses modelos so utilizados quando a varivel dependente uma varivel binria. Existe um caso especial em que uma regresso MQO (mnimos quadrados ordinrios) de (Y) em (X), (C) e (P) resultar em estimadores no viesados de (c). Isso ocorre quando (X) e (C) incluem todas as variveis em (Z), afetando o indicador, e o termo de erro ( v) no apresenta correlao com o termo de erro ( ). A literatura de avaliao de impacto chama isso de selection on observables, condio que elimina qualquer possibilidade de (P) estar correlacionado com ( ), tornando (P) exgeno na regresso para o indicador.
Box 4
Modelo logit
Predizer se um evento vai ou no acontecer, como tambm identificar as variveis teis para fazer uma predio, importante na maioria das disciplinas acadmicas e no mundo "real". Por que alguns cidados votam e outros no votam? Por que algumas
4 Uma regresso deve respeitar um conjunto de critrios que se referem ao comportamento dos resduos do modelo. Em primeiro lugar, esses resduos devem ter distribuio normal. Em segundo, os resduos devem ter mdia equivalente a zero e varincia constante (homocedasticidade). Em terceiro, os resduos no devem apresentar correlao significativa com as variveis independentes do modelo. Por fim, as variveis independentes no podem formar combinaes lineares umas com as outras (no multicolinearidade). Para maiores detalhes, ver Stock e Watson (2004).
67
pessoas contraem doena da coronria e outras no contraem? Por que alguns negcios tm sucesso e outros falham? No contexto do presente trabalho, questiona-se: porque alguns domiclios fazem parte do grupo de beneficirios e outros no? Na regresso logstica, estima-se a probabilidade de ocorrncia de um evento. O modelo de regresso logstica pode ser escrito como: (Equao a) Aqui, (Z) uma combinao linear. (Equao b)
O p o nmero de variveis independentes. Em regresso linear, calculam-se os parmetros do modelo, usando o mtodo de mnimos quadrados ordinrios. Ou seja, so selecionados os coeficientes de regresso que resultam nas menores somas de distncias quadradas entre os valores observados e preditos da varivel dependente. Em regresso logstica, so calculados os parmetros do modelo usando o mtodo de mxima verossimilhana. So selecionados os coeficientes que fazem com que os resultados observados (amostra de dados reais) vislumbram-se mais provveis (verossmeis). Considerando que o modelo de regresso logstica no-linear, um algoritmo iterativo necessrio para a estimao de parmetros. Qual a interpretao da estimativa de um parmetro de um modelo de regresso logstica? A interpretao no to simples como no caso do modelo de regresso linear mltipla. No modelo de regresso logstica, o valor de uma estimativa, de um parmetro B1, B2, ...,Bp, refere-se ao impacto de uma variao unitria em cada varivel independente (mantidas fixas as demais) sobre o logaritmo natural da razo entre a probabilidade de ocorrncia do evento e a probabilidade de no-ocorrncia do evento. A expresso logartmica conhecida como logit, e a razo citada o odd ratio, ou razo entre probabilidades. Portanto, matematicamente,
68
e B1 , e B2 ,..., e
correspondem a variaes no odd ratio atribudas a variaes unitrias em cada varivel independente (mantidas fixas as demais). Por exemplo, se B1 igual a 1,212, e B = 3,36 , significa que as chances de ocorrncia contra as chances de no-ocorrncia do evento elevam-se 3,36 para uma variao unitria de B1. Ao contrrio, se B2 = -0,1863, e B = 0,83, significa que uma variao unitria em B2 impacta a varivel dependente de forma que a probabilidade de ocorrncia do evento sobre a probabilidade de no-ocorrncia reduza 17 %.
1 2
B1 p
No caso de anlise de impactos de programas sociais, pode-se avaliar a probabilidade de seleo de indivduos ou domiclios no grupo de beneficirios. Para tanto, diversas variveis so consideradas provveis para essa seleo. Assim, utiliza-se o modelo de regresso logstica (ou modelo logit) para estimar o efeito de algumas variveis sobre a probabilidade de os indivduos fazerem parte do grupo de beneficirios do programa. O modelo logit pode ser aplicado tambm no pareamento de amostras para avaliao de impactos, caso em que empregado para obter pares de domiclios (um domiclio na amostra de beneficirios e outro na amostra de controle) com probabilidades prximas de seleo no grupo de beneficirios.
Em resumo, na construo dos modelos economtricos para avaliar o impacto de programas, deve-se considerar tanto o efeito das caractersticas dos beneficirios como evitar vis de seleo, erro comum em mensuraes de impactos de programas que pode ser evitado com a explicitao de uma segunda equao, endogeneizando a varivel binria que representa a participao no programa. Dessa forma, o sistema de duas equaes dever ser estimado a partir de um conjunto de dados que contemple informaes sobre as caractersticas tanto dos beneficirios como de no beneficirios (controle). Vis de seleo e ocorrncia de variveis exgenas nas equaes de impacto so duas faces da mesma moeda e as estratgias economtricas anteriormente expostas fazem parte de um conjunto mais amplo de solues para esse problema.
2.8. Variveis Instrumentais Na seo anterior, mostrou-se que as estimativas MQO (mnimos quadrados ordinrios) sero viesadas, mesmo em grandes amostras, se as
69
variveis do lado direito da equao no forem exgenas. Isso significa que essas variveis so determinadas independentemente dos indicadores e, portanto, no esto correlacionadas com o termo aleatrio da Equao 3. Outra forma de compreender o problema de vis das estimativas de impacto, devido ocorrncia de endogeneidade das variveis, est no teor da Equao 3. Nessa equao, o valor estimado do impacto para o i-simo domiclio que participa do programa igual a a+bXi+cCv+d e seria igual a a+bXi+cCv, se ele no participasse do programa. O ganho devido ao programa seria, portanto, a diferena, ou seja, (d). Esse clculo considera que o termo aleatrio ( ) da Equao 3 o mesmo para os dois casos, ou seja, independente da participao no programa. Um mtodo economtrico clssico, denominado variveis instrumentais , pode ser utilizado para solucionar o problema de endogeneidade. No caso particular de (P) ser endgeno, devido ao vis de seleo, as variveis instrumentais devem ser tais que estejam correlacionadas com (P), como na Equao 3, mas no estejam correlacionadas com o termo de erro aleatrio do indicador em questo ( ). Considerando o sistema anteriormente proposto, formado pelas duas equaes (3) e (6), as estimativas de impacto somente no sero viesadas se os erros aleatrios ( iv) da primeira equao no forem correlacionados com os erros aleatrios da segunda equao ( v). isso que cria correlao entre a participao no programa e o termo aleatrio da primeira equao, tornando a varivel participao endgena. O mtodo das variveis instrumentais consiste em obter variveis exgenas (Z) e estimar a participao pela Equao 6 em um primeiro estgio Essa estimao realizada por meio de um modelo no linear, tipo probit ou logit. A partir da, utiliza-se as estimativas de (P), substituindo-se os valores efetivos de (P), para, em um segundo estgio, estimar a Equao 3. Como os valores preditos de (P) dependem somente de (Z), que supostamente so variveis exgenas e no correlacionadas com iv. Elimina-se, pois, o vis por meio da substituio dos valores observados de (P) pelos valores estimados.
2.9. Algumas Palavras sobre Mtodos Utilizados para Eliminar Vis de Seleo e Parear Variveis Existem inmeros mtodos economtricos desenvolvidos com a finalidade de eliminar o vis de seleo em avaliao de impactos de programas. Os principais so o modelo de Heckman e os mtodos de pareamento de amostras (ambos so tratados com mais detalhes nos anexos 1 e 2). No primeiro deles, duas equaes de regresso so utilizadas.
70
A primeira equao (equao de resultados) traz uma varivel (freqentemente a varivel que representa um indicador de bem-estar para o qual se deseja aferir o impacto do programa) regredida contra um conjunto de variveis de controle. A segunda equao economtrica (denominada equao de participao) um modelo logit ou probit (ver Box 4) que representa a equao explicativa da participao dos beneficirios no programa. Por meio de uma soluo (estimao economtrica) mtodo simultneo ou em duas etapas desse sistema de duas equaes so obtidas estimativas no enviesadas dos impactos do programa. A aplicao deste mtodo requer considervel experincia economtrica, na medida em que para a conveniente interpretao necessrio um conhecimento adequado dos pressupostos tericos. Um segundo conjunto de mtodos que objetivam a eliminao do vis de seleo so os mtodos de pareamento de amostras com a finalidade de se obter estimativas da dupla diferena. Esta ltima definida como:
Onde (I) o valor da estimativa do impacto; o valor mdio do indicador de bem-estar para os beneficirios, aps a interveno pelo programa; o valor mdio do indicador de bem-estar para os beneficirios, antes da interveno pelo programa; o valor mdio do indicador de bem-estar para a amostra de controle, e aps a interveno do programa; e o valor mdio do indicador de bemestar para a amostra de controle e antes da interveno do programa. Dentre os mtodos de pareamento mais conhecidos, existe o chamado propensity score matching (ver Box 2 para a definio de pareamento). O objetivo deste mtodo encontrar um grupo de comparao mais prximo da amostra de no-beneficirios em relao amostra de beneficirios. A proximidade deve ser considerada em termos de um conjunto de caractersticas (variveis) observveis. Para tanto, utiliza-se o modelo logit (ver Box 4) para calcular probabilidades de participao no programa em funo de um conjunto de variveis explicativas. Em seguida, calculam-se os valores estimados (preditos) de acordo com o modelo logit para as probabilidades de participao. Para cada elemento da amostra de beneficirio, obtm-se um par mais prximo que aquele que apresenta valor de probabilidade predita mais prximo. Eis a operao de pareamento e, obtida a amostra pareada, aplica-se o j explicitado mtodo da dupla diferena.
71
Box 5
Endogeneidade versus vis de seleo amostral: qual modelo adotar?
Vis de seleo de amostragem e endogeneidade so dois conceitos distintos. O vis de seleo de amostragem est relacionado a uma situao em que a varivel dependente observada apenas para uma amostra restrita e no aleatria. A endogeneidade ocorre quando uma das variveis independentes est correlacionada a variveis no observadas (e que, supostamente, afetam a varivel dependente), representadas no termo de erro do modelo. No ltimo caso, a varivel dependente considerada para todas as observaes (amostra de beneficirios e amostra de comparao). Desconfiar de que participantes do programa tendem a ter valores mais elevados para a varivel resultado, ceteris paribus, do que para as outras variveis de controle, significa que a falha em controlar esta correlao resultar em uma estimativa superestimada dos efeitos do programa sobre a varivel resultado. Por isso, deve haver escolha de modelo apropriado para cada situao distinta.
A vantagem deste mtodo no necessitar de grande experincia economtrica, mas, basicamente, de conhecimento das principais caractersticas dos domiclios (ou indivduos) que influenciam a participao no programa. A desvantagem que no corrige o vis de seleo devido o efeito das variveis no-observveis (variveis latentes) que afetam a participao no programa. Esse ltimo problema sanado de maneira conveniente por intermdio de procedimentos economtricos mais aperfeioados e que utilizam equaes de regresso, tal como o modelo de Heckman. Finalmente, existe um terceiro conjunto de mtodos que, devido elevada complexidade economtrica, encontra-se discutido nos anexos 3 e 4. Trata-se da chamada anlise de dados em painel. H o conjunto de dados na forma de painel quando se observa, para diversos momentos no tempo (no caso das aplicaes constantes deste trabalho, apenas dois perodos, o baseline e o follow-up), um conjunto de informaes para uma amostra de indivduos fixos. Quando se dispe desses dados, possvel calcular a diferena entre os indicadores nos dois perodos. As diferenas so calculadas tanto para o grupo de beneficirios quanto para o grupo de controle, o que ajuda a resolver o problema das variveis no-observveis.
72
2.10. Variveis do Estudo de Impacto O impacto do programa no bem-estar pode ser captado a partir de muitas variveis parciais, como renda, em geral usadas como proxy5 para indicar o bem-estar. Busca-se, assim, avaliar o bem-estar, focando em quatro aspectos principais: sade, educao, consumo e capital (fsico, econmico poupana e social). Os modelos economtricos podem ser construdos com objetivo de identificar o impacto do programa em um conjunto de indicadores que possam representar essas quatro dimenses. Os indicadores podem ser formados por uma varivel ou um subconjunto delas. A varivel representativa de um indicador especfico entra no modelo economtrico como uma varivel dependente, condicionada por um conjunto de variveis independentes. Essas ltimas formam subconjuntos de variveis de controle e variveis que medem o impacto. As variveis de controle so aquelas que permitem solucionar os problemas derivados de desenhos quasi-experimentais, inclusive o vis determinado pela autoseleo. Assim, determinam-se grupos de variveis: indicadores de impacto no bem-estar, controle das diferenas observveis, controle do vis de seleo e determinao do impacto do programa. Alm desses, podem ser necessrias variveis que identifiquem os tipos de projetos (que, em geral, envolvem gua, energia, produo e o social) e a presena de outros programas (alm do que est sendo avaliado). Para identificar o impacto do programa na evoluo dos indicadores, utilizam-se dados relativos a dois perodos, no mnimo (ano zero e ano 2). Para esses dois perodos, devem estar disponveis os dados referentes s cross sections. 2.10.1. Indicadores de impacto no bem-estar Os indicadores de impacto so compostos por variveis observveis ou proxies. Podem ser construdos modelos que avaliem o impacto sobre cada indicador separadamente (o de educao pode considerar anos de escolaridade, scores do teste de qualidade do ensino, percentual de analfabetos, etc.). Alternativamente, pode-se agrup-los em subconjuntos de forma a criar novos indicadores ou ndices (indicadores agregados). Assim, seriam construdos um ou mais indicadores agregados para cada um dos
5 Para dar dois exemplos: o consumo de energia eltrica em um determinado ano serve de proxy para a varivel que mede o nvel de atividade econmica; o nmero de pintos de um dia adquirido pode dar uma aproximao do nvel de atividade do setor de frangos de corte.
73
quatro subconjuntos de indicadores (sade, educao, consumo e capital). Pode-se tambm obter um indicador nico,agregando esses quatro aspectos. Em caso de agregao de variveis para a construo de indicadores, importante determinar o peso que ser imputado a cada uma delas. Isso pode ser feito por meio de julgamento subjetivo sobre a importncia de cada aspecto para a determinao do bem-estar. Para tanto, as opinies de experts, representantes da comunidade e/ou membros das unidades tcnicas podem ser utilizadas. Uma consulta a esses atores resulta em uma srie de pesos que so utilizados na ponderao. O resultado final ser fortemente determinado por esses pesos, o que exige uma escolha criteriosa dos indivduos que os determinaro. Uma alternativa determinao subjetiva de pesos o uso da tcnica Data Envelopment Analysis (DEA), na qual os pesos so determinados endogenamente6.
2.10.2. Indicadores de sade A evoluo nas condies de sade pode ser investigada por meio de variveis que indiquem a manifestao de doenas e deficincias nutricionais. Um mtodo utilizado para mensurar diretamente a desnutrio, ou a insuficincia alimentar da populao, se realiza por meio dados antropomtricos. O mtodo consiste em avaliar a adequao do peso em relao altura da populao, captando-se assim o efeito continuado da falta de alimentao adequada no organismo. Indicadores biolgicos, como altura e peso em relao idade e sexo, so bastante utilizados no campo da sade e nutrio, embora no to comum em pesquisas na rea social e econmica. A medio de adultos, sobretudo nas mulheres em idade reprodutiva, e a medio de crianas tm sido utilizadas em pesquisas tanto na rea de sade quanto por organizaes no governamentais que se dedicam ao combate fome (Pastoral da Igreja Catlica). A medio de adultos com 24 anos ou mais de idade pode ser realizada por meio do ndice de Massa Corporal (IMC), que o peso divido pelo quadrado da altura. Esse ndice est mais relacionado nutrio, pois permite captar a falta de ingesto calrica. A OMS (Organizao Mundial da Sade) estabelece parmetros para classificar a populao segundo as necessidades energticas. Monteiro (1995), com base na Pesquisa Nacional de Sade e Nutrio (1989), calculou que 7,5% da populao rural brasileira com 25 anos e mais
6 Para maiores detalhes da tcnica e outros aspectos importantes, ver Coelli, T.:A guide to DEAP version 2.1: A Data Analysis (Computer) Program.
74
possua IMC menor que 18,5 kmg/m2, o que caracteriza deficincia energtica. Esse percentual estava acima do que a OMC considerava como normal, entre 3 e 5% da populao7. O crescimento infantil um indicador que capta a evoluo do quadro nutricional das crianas (menores de 5 anos). A anlise da relao entre altura, idade e sexo permite identificar retardo no crescimento. A evoluo pode ser avaliada quando se dispe de dados captados periodicamente. Monteiro et al. (1997) utilizou esse mtodo para calcular a proporo de crianas com desnutrio crnica no Brasil. Para o Nordeste rural brasileiro, o autor identificou uma evoluo positiva, pois houve reduo daquela proporo de 30,9% para 25,2%, entre 1989 e 1996, segundo os padres da OMC; isso para crianas com idade abaixo de 5 anos. A maioria dos estudos de avaliao de impactos socioeconmicos no oferece as condies ideais para a coleta de dados sobre condies de sade e de alimentao das famlias. Tambm as amostras, vlidas para representar a populao de beneficirios dos programas, so, em geral, inadequadas para gerar indicadores consistentes utilizados na rea de sade pblica, como por exemplo, a evoluo da mortalidade infantil, ou da relao peso/idade como indicador de problemas nutricionais. Como conseqncia, cresce a utilizao de metodologias alternativas, que no substituem os indicadores padres de sade pblica, mas geram uma idia aproximada do status sanitrio da populao. Em alguns casos, pode ser vlido utilizar a percepo da populao sobre sua prpria sade, mesmo sabendo que a percepo pode esconder ou potencializar problemas. Anlise criteriosa da percepo, com auxlio de informaes colhidas em outras fontes, , sem dvida, vlida e permite orientar as aes das polticas pblicas. Alm desses indicadores, um conjunto de outros podem ser construdos a partir das seguintes informaes, considerando o nmero de membros da famlia: os que tm dificuldade para a realizar as atividades devido a problemas de sade; os que apresentaram determinadas doenas durante os ltimos 12 meses;
7 Monteiro, Carlos Augusto; Bencio, Maria Helena D.; Freitas, Isabel Cristina M. de. Melhoria em indicadores de sade associados pobreza no Brasil dos anos 90: descrio, causas e impacto sobre desigualdades regionais. So Paulo: Nupens/USP, out. 1997. (Srie: A Trajetria do Desenvolvimento Social no Brasil, n. 1/97). Monteiro, Carlos Augusto. A dimenso da pobreza, da fome e da desnutrio no Brasil. Estudos Avanados, So Paulo, v. 9, n. 24, 1995. In: Takagi, Maya; Graziano da Silva, Jos e Del Grossi, Mauro. Pobreza e fome: em busca de uma metodologia para quantificao do problema no Brasil. Texto para Discusso. IE/Unicamp, n. 101, jul. 2001.
75
os que receberam atendimento mdico nos ltimos 12 meses para vrias finalidades; os que deixaram de realizar atividades de trabalho por problemas de sade nas ltimas duas semanas; os que procuraram atendimento de sade nas 2 ltimas semanas e no foram atendidos devido a determinados motivos.
2.10.3. Indicadores de educao Indicadores de educao so mais fceis de obter a partir de questionrios em que se pode identificar: analfabetismo, tempo de escolaridade e evaso escolar. Entretanto, podem ser tambm coletadas informaes de carter qualitativo, relativas ao acesso educao (distncia, tempo de percurso e meios de transporte entre escola e domiclio), disponibilidade de escolas de ensino mdio e qualidade da educao. Alguns exemplos de indicadores referentes educao levam em conta o percentual de crianas entre 10 e 14 anos, analfabetas, com mais de um ano de atraso escolar ou com menos de 4 anos de estudo, ou mesmo na escola. So considerados tambm o percentual de crianas entre 5 e 6 anos na escola, e o percentual de crianas entre 7 e 14 anos, analfabetas, com acesso ao curso fundamental, com mais de um ano de atraso escolar, e que estejam na escola ou freqentando o curso fundamental, assim como o percentual de crianas entre 4 e 5 anos freqentando a escola. As variveis devem ser padronizadas, e, a partir do resultado da padronizao8, sero calculadas mdias simples para compor um indicador sinttico para o nvel mdio de educao de uma comunidade. Como aponta Ueda (2001), o uso economtrico de indicadores de educao como determinante do rendimento de indivduos e de famlias exige cuidado e ateno. Uma das razes a crena de que quanto mais educada a pessoa, maior seu rendimento. Todavia, o nvel educacional esteve correlacionado, em algum momento do passado, ao rendimento da famlia. Filhos de pais educados tendem a ser educados e, com isso, recebem um rendimento mais elevado do que as pessoas de menor nvel
8 Esta padronizao pode seguir a proposta no clculo do ndice de Desenvolvimento Humano (IDH), realizado em trabalho da Fundao Joo Pinheiro em convnio com o Ipea e Pnud. O valor da varivel padronizada segue a expresso: , onde Xpad o valor da varivel padronizada, X o valor da varivel, antes da padronizao, Xmin o valor mnimo observado pela varivel e Xmax o valor mximo observado para a varivel.
76
educacional. Por isso, quando se procura avaliar o efeito da educao no rendimento individual ou familiar, ganha importncia o uso de tcnicas especiais, como o estimador de varivel instrumental e o de variveis de controle, como o nvel educacional dos progenitores. Quando se trata de avaliao de impactos de polticas de reforma agrria, importante localizar os indicadores de educao na estrutura de governana dos programas, ou seja, na forma com que os mecanismos que visam incentivar a participao dos beneficirios so determinados, antecipadamente, pelos desenhos de poltica. Assim, um mecanismo que incentive a seleo dos mais aptos pode utilizar a educao como sinalizao de desempenho futuro. Pode ser que um agricultor analfabeto tenha um timo desempenho em sua pequena roa, mas sua contribuio em um espao de ao coletiva pode ser afetada por suas limitaes no que tange capacidade de interpretar decises ou mesmo de seguir e incorporar regras de comportamento compatveis com o conjunto do assentamento. Logo, o efeito da educao tambm o efeito da seleo de beneficirios: um assentamento pode ter um timo desempenho porque os assentados tm um nvel educacional mais alto, no porque o programa tenha permitido o acesso a condies favorveis para seu desenvolvimento. O espao temporal de anlise tambm importante: uma avaliao de assentamentos maduros pode ser afetada pelo fato de que em alguns deles o acesso educao foi de bom nvel e em outros no. Geraes educadas nos assentamentos podem afetar o resultado. A varivel educao , portanto, uma das mais relevantes para compreender os resultados dos programas, sobretudo em um pas, como aponta Ueda (2001), em que as condies scio-econmicas da famlia so determinantes e a eficincia da poltica educacional restringida pela origem scio-econmica das pessoas. No caso das polticas de assentamento, selecionar beneficirios de melhor nvel educacional tambm significa excluir famlias com menor capacidade de melhoria de condies de vida sem o auxlio de polticas redistributivas. Percebe-se a presena de certo trade off entre a simplicidade do indicador e a facilidade para ger-los. A utilizao de indicadores simplificados deve ser feita com cuidado para no gerar interpretaes distorcidas da realidade. Por outro lado, a utilizao de um conjunto de indicadores no assegura, por si s, anlise mais precisa, em particular porque tendem a gerar resultados distintos, e certa impreciso na avaliao, associados s situaes diferentes expressas nos indicadores.
77
Assim, em assentamentos mais maduros, os resultados so diferentes do observado em assentamentos mais novos. Assentamentos com maior proporo de membros educados tendem a responder aos estmulos de forma diferenciada quando comparados aos assentamentos com menor nvel educacional. Isolar tecnicamente esses efeitos nem sempre simples ou possvel, e fica aos cuidados do analista apresentar interpretaes, hipteses, chamar a ateno para eventuais limitaes e assim por diante.
2.10.4. Indicadores de consumo e segurana alimentar Captar padres de consumo da populao, inclusive o padro de consumo alimentar, tarefa que exige coleta minuciosa de dados, raramente factvel em pesquisas que envolvem apenas um ou dois perodos de coleta. Em geral, as coletas para determinar o consumo so realizadas com maior periodicidade junto s famlias. No caso do meio rural, existe ainda a necessidade de se estimar quantidades produzidas nas propriedades e consumidas como alimentao. O Instituto de Terras do Estado de So Paulo (Itesp) levantou informaes a partir de uma amostra de 70 famlias de assentados da reforma agrria durante uma semana por ms, repetindo a ao por 12 meses consecutivos. Indicadores de consumo podem ser construdos com dados relativos ao consumo de alimentos (in natura, semi-elaborados e elaborados/ industrializados), bens durveis (bens domsticos tais como eletrodomsticos e mobilirio) e no-durveis (como produtos de higiene e limpeza). Essas informaes permitem construir grupos de domiclios que podem ser classificados segundo categorias de itens de consumo, em vez de quantidades absolutas. Parte-se do pressuposto de que domiclios com padro de consumo mais amplo, diversificado e sofisticado esto em melhor posio do que domiclios que consomem apenas alimentos bsicos (in natura ou semi-elaborados). Trata-se de tentar construir uma varivel categrica (proxy para o padro de consumo alimentar), considerando as dificuldades de se obter bons dados sobre esse ltimo. Supe-se que uma famlia que passe a consumir determinados produtos alimentares e no alimentares industrializados j superou algumas de suas necessidades mais elementares. Aquelas que adquirirem bens do patrimnio domstico (eletrodomstico e mobilirio) estariam alguns passos frente. Esse um caso tpico de varivel que pode ser utilizada em modelagem com variveis dependentes qualitativas.
78
A segurana alimentar uma dimenso essencial do bem-estar dos domiclios e indivduos. A privao de alimentos e a fome so indesejveis sob vrios aspectos, mas, mormente gera problemas nutricionais, de sade e do prprio desenvolvimento fsico e mental dos indivduos. A insegurana alimentar pode estar diretamente relacionada com o grau de pobreza e pode servir de instrumento para indicar tanto a focalizao quanto o impacto em programas de combate pobreza. Alm disso, permite questionar a adequao dos projetos vis--vis sua capacidade de solucionar o problema. O nvel de insegurana alimentar ou fome de um domiclio pode ser determinado por meio de informaes a respeito de um conjunto de condies, experincias e comportamentos, os quais so indicadores do grau de severidade da condio vivida. Nesse caso, preciso obter informaes junto aos domiclios com objetivo de capturar suas condies, eventos, comportamentos e reaes subjetivas como: ansiedade quanto ao oramento do domiclio no ser suficiente para suprir as necessidades bsicas; experincia de o estoque de alimentos acabar e no ter recursos para obter mais; percepo de que os alimentos consumidos pelos membros da famlia foram inadequados em termos de qualidade e quantidade; ajustamentos no padro normal de alimentao, consumindo alimentos mais baratos e em menor quantidade do que o usual; reduo (em certos perodos) no consumo de alimentos por adultos do domiclio ou conseqncias dessa reduo, tais como sensao fsica de fome ou perda de peso; e reduo (em certos perodos) no consumo de alimentos por crianas do domiclio ou conseqncias dessa reduo nas crianas.
Box 6
Definio de segurana alimentar
Segurana alimentar Acesso por todos os indivduos, a qualquer tempo, alimentao suficiente para uma vida ativa e saudvel. A segurana alimentar inclui, no mnimo: pronta disponibilidade de alimentos adequadamente nutritivos e seguros; alm de capacidade assegurada de obter alimentos aceitveis por meios socialmente aceitveis (sem recorrer a mecanismos de atendimento emergencial, coleta em lixos, roubo ou outras estratgias semelhantes).
79
Insegurana alimentar sem fome Disponibilidade limitada ou incerta de alimentos adequados (nutritivos e seguros), ou capacidade limitada ou incerta de obter alimentos aceitveis por meio de meios aceitveis. Insegurana alimentar com fome Insegurana alimentar, conforme descrito acima, mas com a agravante situao de fome. Essa ltima definida como sensao desconfortvel ou de dor causada pela falta recorrente e involuntria de acesso a alimentos.
Fonte: Bickel, G.; Nord, M.; Price, C.; Hamilton, W.; Cook, J. Measuring food security in the United States: guide to measuring household food security. United States Department of Agriculture, Food and Nutrition Service, Office of Analysis, Nutrition and Evaluation. Revised, 2000.
O Office of Analysis, Nutrition and Evaluation Service (USDA) tem aplicado questionrios em domiclios norte-americanos com objetivo de capturar a extenso e a severidade da segurana alimentar e da fome. A verso completa do questionrio possui 16 questes, mas sugere-se uma verso reduzida (com 6 questes), em que os resultados possuem alto grau de aderncia com o questionrio completo. Cada questo procura certificar-se de que o comportamento ou condio do entrevistado ocorreu devido s limitaes financeiras ou de recursos do domiclio, incluindo questes do tipo porque no tinha como conseguir comida e porque no tinha dinheiro para comprar mais comida. Cada questo indaga sobre circunstncias que ocorreram em determinado perodo (ano) de referncia. No Brasil, a PNAD tambm incorporou questes dessa natureza ao seu questionrio. As seis questes capturam trs tipos de situaes ou eventos: (1) a percepo de que o oramento alimentar do domicilio ou sua disponibilidade de alimentos inadequada; (2) percepes de que a alimentao inadequada em termos de qualidade; e (3) momentos em que houve reduo na ingesto de alimentos. A resposta de cada questo, sozinha, no fornece qualquer medida de maior significado em termos de insuficincia alimentar, insegurana alimentar, ou fome, e tambm no deve ser utilizada para esse fim. Deve-se ressaltar que se est medindo a suficincia de alimentos do domiclio tal como vivenciado pelos membros do domiclio e no a adequao nutricional das dietas, como um nutricionista poderia medir. A partir das respostas, foi criado um indicador de segurana alimentar que permite classificar os domiclios. A resposta de cada questo foi
80
codificada. O somatrio das respostas afirmativas constituiu-se em uma varivel que permitiu classificar o domiclio segundo o nvel de segurana alimentar em que se encontrava (ver definies no Quadro 1): segurana alimentar (zero ou 1, resposta afirmativa), insegurana alimentar sem fome (2 a 4, resposta afirmativa), insegurana alimentar com fome (5 ou 6, resposta afirmativa). Souza Filho et al. (2005) adaptaram a metodologia acima para avaliar a focalizao e o impacto do Programa de Combate Pobreza Rural em trs estados do Nordeste brasileiro. O indicador de segurana alimentar apresentado revelou-se til para identificar grupos, domiclios e regies em condies severas de insegurana. Nesse sentido, prestou-se como um identificador de focalizao em programas sociais. Permitiu tambm avaliar a evoluo dos domiclios antes a aps a implantao de um programa. Nesse sentido, prestou-se ainda como indicador de impacto. Nas estimativas apresentadas, a medio de impacto foi prejudicada pelo fato de que no havia decorrido tempo suficiente para a maturidade dos projetos, bem como no foi utilizada uma amostra de controle (testemunha). Entretanto, uma vez atendidas essas condies, o indicador de segurana alimentar poderia ser utilizado como indicador de impacto. Finalmente, foi possvel identificar alguns claros determinantes da condio de insegurana alimentar. Dentre eles encontra-se a prpria renda. Rendas permanentes (no sujeitas a oscilaes considerveis e oriundas de trabalho fixo), aposentadorias e mesmo auxlios obtidos por meio da rede de proteo social (no vinculada ao programa sob anlise) revelaram-se importantes quanto a este quesito. Destacaram-se ainda os efeitos da seca, para o caso nordestino, bem como da criao de capital social e o tamanho do domiclio.
2.10.5. Indicadores de capital fsico O capital fsico pode ser medido pelo patrimnio e pela disponibilidade de bens durveis (domsticos e produtivos) dos domiclios: disponibilidade de eletrodomstico e mobilirio; caractersticas da moradia (nmero de cmodos, materiais utilizados, disponibilidade de banheiro, fossa, gua canalizada, iluminao eltrica, etc.); disponibilidade de bens produtivos (veculos, mquinas, implementos e instalaes); imveis (terrenos urbanos, casas, propriedade agrcola).
81
2.10.6. Indicadores de capital financeiro (poupana) Os indicadores de capital financeiro visam medir a disponibilidade de economia financeira dos domiclios (poupana). Para tanto, so coletadas informaes sobre saldos em contas bancrias (corrente e poupana), aplicaes financeiras formais (bancria) e informais (emprstimos concedidos a parentes, vizinhos, etc.). importante conhecer a poupana financeira lquida, devendo-se para isso descontar as dvidas existentes. Quando se considera o perfil de entrada (baseline), a experincia tem demonstrado que esse indicador igual ou menor que zero para a maioria da populao pobre do meio rural. Um pequeno aumento no seu valor indicar um forte impacto. possvel que, para a maioria dos programas, o impacto nesse indicador seja zero, uma vez que a soluo de problemas mais urgentes, como a segurana alimentar, seja um objetivo prioritrio.
2.10.7. Variveis de controle das diferenas observveis As variveis de controle so aquelas que definem as caractersticas dos domiclios, das comunidades e dos projetos e que servem para controlar a mensurao do impacto do programa sobre o bem-estar. Deve-se ressaltar que essas variveis so independentes e no correlacionadas entre elas nem com a varivel resultado dos modelos. Deve-se atentar que algumas dessas variveis podem tambm fazer parte dos indicadores de impacto, devendo-se, portanto, configurar o modelo economtrico (para cada indicador de impacto existem variveis explicativas especficas e no esprias). O conjunto total dessas variveis basicamente composto por caractersticas dos domiclios e das comunidades (Box 7). Box 7 Caractersticas dos domiclios e das comunidades
Domiclios tamanho da famlia; composio demogrfica da famlia (nmero de crianas, adultos, idosos, sexo, idade, cor/raa, etc.); cor/raa de pessoa de referncia (chefe do domiclio);
82
ocupaes (tipos de ocupao, rural/no rural, formal/informal, com/sem carteira assinada, no ocupados, empregadores, empregados, ramos de atividade); membros economicamente ativos; histria de vida (origem, migrao prvia, ocupao prvia); articulao social (associativismo e grau de participao); indicadores de capital fsico (produtivo e domstico); poupana prvia; nvel de instruo; tipo de famlia (casal sem filhos, casal com todos os filhos com menos de 14 anos, me com todos os filhos com menos de 14 anos, casal ou me com todos os filhos com 14 anos ou mais, casal ou me com filhos com menos de 14 anos e de 4 anos ou mais, outros tipos de famlias, enfim, criar uma tipologia de famlia). Comunidades indicadores de capital social; distncia de centros urbanos maiores; condies de transporte (estradas, transporte coletivo, tempo de locomoo ao centro urbano mais prximo); localizao segundo caractersticas scio-econmicas das regies.
2.10.8. Variveis de controle do vis de seleo So variveis incorporadas nos modelos economtricos com objetivo de resolver o problema do vis de seleo que ocorre, em geral, em desenhos quasi-experimentais. O conjunto dessas variveis deve descrever certas caractersticas dos domiclios e das comunidades que determinam o processo de autoseleo (comunidades ou produtores que possuem maior capacidade de organizao, experincia com projetos e programas, melhor acesso a informaes, maior nvel educacional, etc. teriam chances de ser beneficiadas com maior brevidade). As variveis aqui referidas so as mesmas que so includas em anlises de focalizao. Isso aponta para o teste de vrias hipteses sobre o processo de seleo. Dentre essas variveis, podem se incluir: presena de
83
organizaes no-governamentais, presena de movimentos populares e outros. Informaes coletadas dos domiclios tambm podem indicar o grau de organizao e participao social.
2.10.9. Variveis de determinao do impacto O impacto do programa pode ser determinado de vrias formas. O programa poder ter vrios tipos de projetos que beneficiam diferentes comunidades, de acordo com suas prioridades em infra-estrutura (gua, energia, vias de transporte), atividades produtivas e sociais. O impacto total pode ser considerado sem diferenciar os tipos de projetos ou por tipo de projeto. Efeito total pode ser obtido por meio de uma varivel dummy (0,1), indicando a presena ou no de um projeto do programa na comunidade ou para o domiclio. O impacto segundo o tipo de projeto pode ser capturado por meio da diferenciao: abastecimento de gua, conexo de eletricidade, projetos produtivos e sociais, etc. Quanto s variveis dummies, essas podem ser atribudas indicando a presena ou no desses tipos de projetos. Deve-se estabelecer e testar possveis interaes. Assim, pode-se testar a hiptese de que ocorrem sinergias entre vrios tipos de projeto (gua, energia e social), resultando maior impacto do que em projetos isolados.
2.10.10. Variveis indicadoras da presena de outros programas Existem duas razes bsicas para se incluir variveis identificadoras da presena de projetos de outros programas na comunidade ou no domiclio. Em uma, necessrio identificar o efeito das condies iniciais. Comunidades ou domiclios que j foram beneficiados por outros projetos podem ter indicadores de bem-estar melhores do que os que no foram, e essa base inicial, j estabelecida, determinar um impacto diferenciado em relao aos demais (assim, projeto produtivo em reas com energia e gua tem maior probabilidade de sucesso do que em reas sem essa infraestrutura). possvel que comunidades que j tenham sido beneficiadas por outros projetos tenham consolidado maior capacidade de organizao e disso resulte melhor gesto dos projetos e maior impacto. Mas deve-se atentar que essas comunidades, ao partir de uma base scio-econmica
84
melhor, podem apresentar menores impactos. Se o nvel de educao j se encontrava mais elevado, no dever crescer tanto quanto em comunidades que partem de uma base inferior. A segunda razo para se incluir variveis identificadoras da presena de projetos de outros programas a necessidade de comparar a estrutura de governana do programa que est sendo avaliado com outras estruturas de carter diferente. Nesse caso, devem ser criadas variveis que identifiquem a diferena. Na maioria dos programas que promovem projetos de abastecimento de gua e/ou eletricidade, so as agncias pblicas ou empresas privadas que tomam as decises relevantes, caracterizando-se uma governana de carter centralizado. Um programa alternativo, de carter descentralizado, poderia delegar s associaes comunitrias vrias decises a respeito da implantao desses tipos de projetos. Uma varivel que identifique essa diferena permitiria testar a importncia da governana do programa na determinao do impacto no bem-estar.
85
86
3. AVALIAO DE CUSTO-BENEFCIO E CUSTO-EFICCIA
Alguns aspectos metodolgicos relativos anlise de custo-benefcio e custo-eficcia de projetos apoiados por programas de combate pobreza sero ora detalhados. A anlise de um projeto no pode estar dissociada dos seus objetivos principais e do contexto no qual ele foi pensado e ser implantado. A relao entre o projeto e a estratgia de desenvolvimento da comunidade no qual ele ser implementado deve ser clara. O sucesso do projeto, em termos de sustentabilidade e aumento do bem-estar dos seus beneficirios, , em grande medida, o resultado da insero adequada do projeto na estratgia geral de desenvolvimento da comunidade. Significa que a anlise, de carter mais tcnico, tanto de custo-benefcio, quanto de custo-eficcia, deve ser precedida de uma avaliao qualitativa sobre a consistncia das aes/projetos vis--vis os objetivos globais que se pretende atingir. Boa orientao responder perguntas bsicas: quais os objetivos especficos da ao/projeto? Como esto relacionados os objetivos globais de reduo da pobreza e de promoo de desenvolvimento rural? A execuo do projeto consistente com a estratgia adotada pelo programa? Qual a dimenso dos recursos envolvidos na ao/projeto em relao ao total de recursos mobilizados pelo programa? Qual a importncia da ao/projeto para o xito do programa? As respostas ajudam a qualificar os resultados produzidos pela aplicao das metodologias de custobenefcio e custo-eficcia a aes/projetos de combate pobreza rural. A anlise do quadro poltico-institucional da comunidade escolhida fornece informaes que complementam as anlises em termos de custobenefcio e custo-eficcia. Alm disso, existem condies e caractersticas preexistentes nas comunidades em que os projetos so desenvolvidos que aumentam em muito as chances de sucesso do empreendimento:
87
condies infra-estruturais, aparato institucional adequado, organizao social voltada para os reais objetivos do projeto, etc. Parece bvio que algumas dessas condies so de difcil quantificao. A dificuldade no retira sua importncia e, onde for possvel, tais condies e caractersticas devem ser apreendidas pelos estudos em termos de custos-eficcia e benefcio. Qualquer avaliao de projetos envolve um estudo dos custos e dos benefcios derivados direta e indiretamente do investimento9. Intuitivamente fcil compreender o que so e a importncia desse tipo de avaliao: para executar aes/projetos de combate pobreza rural incorre-se em custos de naturezas diversificadas (equipamentos, treinamento de mo-de-obra, benfeitorias etc.) que devem redundar em benefcios, diretos e indiretos, para as comunidades/famlias/indivduos beneficirios. Esses benefcios tambm podem ser de muitos tipos, desde um aumento de renda at a melhoria das condies de sade. Assim, eles podem ser diretos, como o aumento da renda associada ao aumento da rea cultivada, proporcionada pela aquisio de um trator para atender comunidade; ou indiretos, como os benefcios mltiplos decorrentes da oferta de gua em regies semi-ridas. As anlises de custo-benefcio e de custo-eficcia procuram ponderar, de maneira objetiva e quantitativa, os custos dos projetos com seus benefcios ou eficcia. Ela pode fornecer ao formulador de polticas um instrumento bastante til para tomar decises de alocao de recursos entre dois tipos de projetos, at mesmo para avaliar o desempenho de um projeto particular, cujo custo-benefcio efetivo pode ficar abaixo do custobenefcio esperado em razo dos problemas de m implementao. Avaliaes quantitativas monetrias so desejveis sempre que possvel. Para casos com essa possibilidade, recorre-se a metodologias de custobenefcio fundamentadas na anlise dos valores presentes lquidos (VPL)10 e nas taxas internas de retorno (TIR). o caso de projetos produtivos financiados por programas de combate pobreza rural. Quando os benefcios no se traduzem em fluxos monetrios, utiliza-se a ansile de custo-eficcia. Deve-se notar que alguns projetos produtivos podem ter resultados no quantificveis em termos monetrios, como os projetos de infraestrutura (eletrificao, saneamento, etc.). Nesse caso, o uso de indicadores fsicos em relao aos custos incorridos pode proporcionar uma anlise satisfatria. Essas questes remetem importncia da identificao,
9 Baker, J. Evaluation del impacto de los proyectos de desarrollo en la pobreza: manual para profesionales. Banco Mundial, Washington D.C., EUA, 2000. 10 Adiante ser fornecida uma definio e o mtodo de clculo do VPL e da TIR, entre outras medidas de avaliao financeira.
88
qualificao e quantificao dos custos e benefcios que devem ser considerados na oportunidade da avaliao dos projetos. Outra questo interessante da avaliao de um projeto a comparao entre os resultados obtidos e aqueles que seriam alcanados se nenhuma ao modificadora ocorresse. Dessa forma, um projeto sempre pode ser comparado com a alternativa de no se fazer nada (do nothing). Examinar as diferenas entre custos e benefcios, antes e depois da implementao dos projetos, est na base de qualquer mtodo de avaliao de projetos. Trata-se de avaliar os benefcios incrementais derivados do projeto. A comparao antes/depois pode evitar que se atribua ao projeto benefcios que seriam alcanados pela evoluo normal da situao na qual o projeto pretende influir.
Figura 2
Uma comparao de benefcios com/sem projetos
A Figura 2 ilustra as mudanas que podem ocorrer nos benefcios lquidos de um projeto em uma situao onde os mesmos benefcios j estariam aumentando. O que interessa avaliar o aumento incremental proporcionado pelo projeto. Um projeto pode, pelo aumento da quantidade ofertada, diminuir substantivamente o preo de produtos e/ou servios para a comunidade. Mudanas de preo ocorrem em projetos que envolvem melhorias na distribuio e produo de gua, energia e comunicaes. A princpio, a diferena de preos pagos pelos consumidores deve ser considerada como um benefcio do projeto.
89
Ressalta-se que o benefcio auferido pelo consumidor pode no ter correspondncia equivalente para o fornecedor11. Nesse caso, um projeto pode ter um alto VPL se esse benefcio includo, porm no ser sustentvel, pois a gerenciadora do projeto (companhia distribuidora de energia eltrica) no recebe benefcios equivalentes. Para solucionar situaes como essas, podem ser feitos clculos de VPL que contemplem todas as situaes possveis. vital para a sustentabilidade do projeto que a instituio/empresa responsvel pelo fornecimento do servio (gua tratada, por exemplo) tambm tenha um VPL positivo no seu empreendimento. Deve-se procurar uma soluo de compromisso onde o beneficirio e aquele que prov o servio encontrem condies financeiras vantajosas na utilizao e no fornecimento do servio prestado. Vale mencionar a questo da depreciao na avaliao desses empreendimentos. Muitas vezes, a depreciao no considerada como um item de custo a ser analisado quando da avaliao do projeto. A excluso da depreciao como item de custo pode levar a nosustentabilidade do projeto no mdio e no longo prazo. A depreciao pode ser vista como a perda de valor do bem ao longo do tempo. A idia subjacente a esta definio que, para que o projeto seja vivel no mdio e longo prazo, deve ser construdo ao longo do tempo um fundo financeiro capaz de compensar esta perda de valor. Um projeto de mecanizao agrcola ou de transformao agroindustrial deve prever a constituio de uma reserva que permita a manuteno do empreendimento, mas que, sobretudo, permita a substituio e a modernizao dos equipamentos quando esses precisarem ser modernizados ou sucateados. As parcelas que formaro esse fundo podem e devem ser lanadas como custo dos projetos. A no-contabilizao da depreciao eleva artificialmente os ndices de avaliao financeira dos projetos. A criao do fundo de depreciao importante, at mesmo, para projetos em que o retorno no pode ser diretamente mensurado em termos financeiros. Um projeto de eletrificao rural, baseado na captao de energia solar, est fadado paralisao se no prever recursos para a reposio das baterias que o permitem o adequado funcionamento dos equipamentos. A anlise de projetos, quando efetuada nos seus primeiros anos de existncia, tambm pode chegar a resultados que precisam ser examinados com cuidado. Normalmente, o fluxo de caixa negativo nos seus primeiros anos de existncia (Figura 3). Esta situao particularmente verdadeira no caso de investimentos na agropecuria.
11 Belli, P. et alli. Handbook on economic analysis of investment operations. World Bank, janeiro de 1998.
90
Investimentos em cultivos agrcolas de ciclo perene ou empreendimentos florestais (laranja, madeira, dend etc.) ou em produo pecuria de ciclo mais longo (produo de bovinos) tendem a produzir fluxo de caixa negativo nos primeiros anos. Nos primeiros anos das culturas permanentes ou perenes, quando a lavoura no est produzindo plenamente, mas os seus gastos com a manuteno so fixos e no apresentam receitas relacionadas produo, o balano do fluxo de caixa ser forosamente negativo. Obviamente, seria um equvoco no levar em conta este ciclo de produo ao fazer a avaliao dos resultados do projeto. Convm lembrar que a no-considerao dessa caracterstica da produo de alguns produtos agropecurios tem sido um erro comum nas polticas pblicas para o setor. Ao desenhar os projetos, muitos governos imputam todos os resultados financeiros para horizontes de planejamento e efetivam anlises que lhes convm do ponto de vista poltico-estratgico. Este fato resulta no estabelecimento de prazos irrealistas para a implementao e avaliao dos projetos. Sem a considerao desses fatores, o horizonte de planejamento e a anlise dos projetos podem ser artificialmente reduzidos, o que resultar em anlises negativas de custo-eficcia e de custo-benefcio. Sem a devida ponderao, aes relevantes para o combate pobreza rural podem ser condenadas e abandonadas como se no produzissem os resultados esperados. necessrio que as anlises sejam efetuadas para um horizonte de planejamento adequado. A durao do planejamento varia segundo as caractersticas do projeto.
Figura 3
Fluxo de caixa de um projeto convencional
91
Alguns projetos podem gerar externalidades que afetaro, de maneira negativa ou positiva, o meio-ambiente. So as chamadas externalidades ambientais (environmental externalities). Avaliar os benefcios e custos do projeto para a comunidade implica tentar mensurar e avaliar as externalidades. Um projeto de irrigao pode diminuir o estoque de gua disponvel para uma dada populao, diminuindo, como conseqncia, o nmero de peixes ou a gua para o consumo. Projetos de agricultura em regies de seca podem levar agricultores a desmatar vrzeas que comportam matas ciliares importantes preservao dos cursos dgua. Embora o conceito seja facilmente assimilado e compreendido, resta a dificuldade de mensurar esses efeitos. A mensurao dos custos e benefcios s pode ser feita considerando as caractersticas do projeto.
3.1. Anlise de Custo-Benefcio Critrios aceitos para avaliar a viabilidade financeira de um projeto derivam do clculo do seu Valor Presente Lquido (VPL) e da sua Taxa Interna de Retorno (TIR)12. Valores presentes lquidos positivos e taxas internas de retorno superiores a determinada taxa mnima de atratividade (TMA) atestam a viabilidade financeira de um projeto. Esses valores podem ser facilmente calculados para alguns tipos de projetos produtivos e servem para avaliar a atratividade econmica e a sustentabilidade dos projetos. Para que os clculos possam ser feitos, todos os custos e benefcios dos projetos devem ser quantificveis monetariamente. Quando isso no possvel, pode-se recorrer a variveis substitutas ou proxies, que variam conforme o projeto analisado. interessante comparar o custo-benefcio do projeto sob anlise com o custo-benefcio de projetos semelhantes, mas que estejam sob diferente institucionalidade ou desfrutem de apoio de programas diferentes. Um projeto de extenso de rede de eletrificao rural pode ser implantado sob duas diferentes institucionalidades: (a) por meio de um programa de combate pobreza de carter descentralizado, que vise formar capital social com recursos financeiros administrados por uma associao
12 O VPL pode ser definido como sendo o somatrio, no instante atual, de todas as variaes de caixa esperadas do projeto, descontadas a uma determinada taxa de juros. A TIR pode ser definida como sendo a taxa de juros que torna uma srie de recebimentos e desembolsos equivalentes na data presente. Matematicamente, pode-se dizer que a TIR a taxa de juros que torna o valor presente lquido igual a zero.
92
comunitria que seja encarregada de adquirir equipamentos, prover mode-obra e contratar empresas; ou (b) por alguma organizao governamental que assuma o custo de uma companhia distribuidora de energia para administrar e realizar a obra, sem o envolvimento direto dos beneficirios. O objetivo principal da anlise identificar o desempenho econmico e social de projetos que podem possuir forte participao da comunidade no planejamento e gerenciamento do empreendimento; e de projetos em que essa varivel menos presente. Mesmo em projetos que a varivel em questo seja importante, mas que tenha sido apoiado por outros programas, interessante comparar sistemas de gesto diferentes como forma de identificar possveis fatores de sucesso ou fracasso dos empreendimentosalvo da pesquisa13. A avaliao de custo-benefcio pode assumir duas linhas diferentes, porm complementares, de investigao. A primeira delas est relacionada sustentabilidade econmica e financeira dos projetos. A segunda, diz respeito aos ganhos sociais, diretos e indiretos, auferidos pelos beneficirios. Em relao primeira, pode-se analisar: clculo do Valor Presente Lquido (VPL); clculo da Taxa Interna de Retorno (TIR); custo global do projeto; custo-benefcio (C/B) do projeto ( benefcios/ custos); pay-back, deflacionado, do investimento; grau de formalidade no controle e na gesto de projetos produtivos; margem lquida de retorno (lucro x 100/faturamento); produtividade do capital (faturamento/valor do investimento); produtividade do trabalho (faturamento/nmero de trabalhadores); ociosidade (produo/capacidade instalada); produtividade fsica da mo-de-obra (produo/nmero de trabalhadores); ndice de rendimento tcnico (produo em relao matria-prima).
Em face da simplicidade tecnolgica dos empreendimentos apoiados pela maioria dos programas de combate pobreza, esses ndices, de fcil aplicao, so capazes de avaliar a sustentabilidade das aes. Cumpre destacar que os indicadores so mais ou menos adequados segundo as caractersticas do projeto que ser analisado. Alm disso, vale dizer que os
13 Como ser visto mais frente, sistemas de apoio deciso baseados em mltiplos critrios (sistemas multicritrios) prestam-se particularmente bem a este fim. Entre os mtodos disponveis destaca-se o AHP (Analitic Hierarchy Process).
93
mesmos indicadores podem servir como critrios de deciso e controle na eventual utilizao de mtodos com vrios critrios de avaliao de projetos. Outra questo interessante a ser analisada a diferena de desempenho (performance) entre os vrios tipos de projetos. Tomando os indicadores acima, o resultado das comparaes pode, respeitando as condies locais, apontar empreendimentos mais efetivos em termos de custo-benefcio que orientariam futuras aes de desenvolvimento local. Os resultados podem se tornar uma ferramenta importante de auxlio tomada de deciso para os gestores do programa. Tambm servem para calibrar as expectativas em relao aos resultados dos projetos, evitando o sobredimensionamento ou mesmo o pessimismo.
3.1.1. Definio e clculo do mtodo do Valor Presente Lquido (VPL) O mtodo do Valor Presente Lquido (VPL) um dos indicadores mais utilizados de avaliao econmica de projetos de investimento. O VPL pode ser definido como a soma do fluxo de caixa descontado a certa taxa de juros (taxa de mnima atratividade para o investimento), tendo como referncia o incio do primeiro perodo do horizonte de planejamento do projeto.
VPL =
t =0
(Re ceitasBrutast
( + i) 1
CustosOper acionaist )
t
(Investimento t ) ( + i )t 1 t =0
N
Dentro do horizonte de planejamento analisado, o projeto ser economicamente aceitvel se o VPL apresentar valor positivo (VPL > 0). Teoricamente, esse um dos melhores indicadores de valor atual de um projeto. Um ponto crtico do mtodo a escolha da taxa de juros que ser adotada para a anlise. Mais do que uma escolha tcnica, a seleo da taxa de juros pode representar uma opo estratgica para a anlise. Um projeto ser mais ou menos atrativo segundo a taxa escolhida para a anlise.
3.1.2. Exemplo de aplicao do mtodo do VPL Considere um determinado empreendimento agroindustrial que tenha como receita prevista (entrada de dinheiro pela venda de produtos ou servios) um valor anual de R$11.000,00. Para obter essa receita, foram realizados investimentos da ordem de R$40.000,00. Os investimentos
94
foram necessrios no s para a compra de mquinas, como tambm para a efetivao de treinamento de mo-de-obra, construo de instalaes fsicas, etc. Alm disso, para que o empreendimento funcione adequadamente, so necessrios custos operacionais anuais da ordem de R$5.000,00 (mo-de-obra, energia, matria-prima, etc.). Ao final do horizonte de planejamento do projeto, que ser de 15 anos, estima-se que todos os equipamentos e benfeitorias podero ser vendidos por R$5.000,00. Para uma taxa de juros (taxa de mnima atratividade para o investimento) de 10% a.a., ser que o projeto em comento economicamente vivel? A representao do fluxo de caixa do projeto assumiria a forma da Figura 4.
Figura 4
Fluxo de caixa de um projeto

5.000
11.000
10
11
12
13
14 5.000
40.000
Fonte: OCDE. Manual financial and economic analysis of development projects. Office for Official Publications of the European Communities. Luxemburgo, 1997, 375 p.
Para este fluxo de caixa, o VPL seria de:

VPL = $40. 000 + ( 11. 000 $5. 000) ( + 0,1) + $6. 000 ( + 0,1) + ... + $6. 000 ( + 0, ) $ 1 1 1 1
1 2 14
+ $ 11.000 ( + 0, ) 1 1
15
VPL = $ 6.833,44
95
Como o VPL positivo, o projeto, nas condies temporais e com a taxa de juros assumida, interessante do ponto de vista econmico. muito importante que parte das receitas do projeto seja acumulada para constituir um fundo que permitir repor os equipamentos ao final do seu horizonte de planejamento.
3.1.3. Definio e clculo da Taxa Interna de Retorno (TIR) A Taxa Interna de Retorno (r) aquela taxa de juros que iguala o Valor Presente Lquido a zero.
VPL =
(Re ceitasBrut ast
t =0
1 ( + r)
CustosOper acionaist
t
(Investimen to t ) =0 (1 + r )t t =0
O critrio de aceitabilidade do projeto simples. Se r for maior do que i (taxa considerada de mnima atratividade para o investimento ser considerado interessante), o projeto interessante do ponto de vista econmico. Para o exemplo apresentado anteriormente, quando da aplicao do mtodo do VPL, a TIR do projeto de 13% a.a. Considerando uma taxa de mnima atratividade de 10% a.a., o projeto interessante do ponto de vista econmico. Esse resultado corrobora o resultado encontrado na anlise realizada pelo mtodo do VPL.
3.1.4. Clculo do perodo de pay-back do projeto O perodo de pay-back de um projeto aquele para o qual a soma dos lucros lquidos acumulados do projeto torna-se maior do que os seus custos. Considerando o exemplo de projeto apresentado anteriormente:
96
Tabela 1
Ano
Despesas, receitas e resultados lquidos de um projeto

Receitas Brutas Custos Operacionais Investimento e Acumulado Resultado Lquido
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 11.000 11.000 11.000 11.000 11.000 11.000 11.000 11.000 11.000 11.000 11.000 11.000 11.000 11.000 16.000
40.000 5.000 5.000 5.000 5.000 5.000 5.000 5.000 5.000 5.000 5.000 5.000 5.000 5.000 5.000 5.000
-40.000 -34.000 -28.000 -22.000 -16.000 -10.000 -4.000 2.000 8.000 14.000 20.000 26.000 32.000 38.000 44.000 55.000
A Tabela 1 acima demonstra que o capital investido recuperado entre o sexto e o stimo ano. Quanto menor for o perodo de pay-back do projeto, menos risco ele possuir. O mtodo possui as vantagens de ser simples para calcular e facilmente compreensvel. Deve-se ter cincia de que na verso apresentada, o modelo no leva em considerao as taxas de juros. A considerao da taxa de juros implica aplicao do mtodo do pay-back descontado.
97
3.1.5. Clculo do custo-benefcio descontado (C/Bd) O ndice definido pelo valor presente do lucro lquido e o valor presente dos investimentos iniciais so largamente usados para avaliar projetos de investimento. A frmula que pode ser utilizada para calcular este ndice est apresentada abaixo.
(C
Bd ) =
t =0
(Re ceitasBrutas t
t =0
(Investimento t ) (1 + i )t
(1 + i )t
CustosOper acionais t )
O projeto ser considerado aceitvel se o C/Bd for maior que 1. No caso do projeto j utilizado nos exemplos anteriores, o valor de C/Bd de 1,17. Esse ndice significa que o projeto, tambm por esse indicador, aceitvel economicamente. Ainda tendo em vista a sustentabilidade do projeto, interessante averiguar a integrao com fornecedores locais de matria-prima, sobretudo para pequenas unidades agroindustriais, pois essa informao permitiria avaliar, inclusive, o grau de influncia do projeto em outras atividades econmicas da regio, notadamente na agricultura. Pode-se ainda investigar se a instalao do projeto resultou em aumento de rea cultivada na regio (caso dos projetos de irrigao). A segunda linha de investigao busca avaliar o impacto dos projetos na gerao de emprego e de renda, seja para os beneficirios diretos seja para a comunidade em geral. Podem ser utilizados como indicadores: potencial de gerao de emprego (nmero de empregos gerados/valor do investimento); nmero de pessoas contratadas; nmero de famlias e pessoas beneficiadas diretamente pelo projeto; participao da renda advinda do projeto em relao ao total da renda familiar; participao da mo-de-obra feminina e masculina no projeto; qualidade do emprego gerado (participao de mo-de-obra infantil, nvel de renda auferida em relao renda auferida em outras atividades na regio, condies de trabalho, grau de formalidade no trabalho, etc.).
98
A anlise conjunta de todas essas informaes permite construir um ndice de sustentabilidade e um ndice de qualidade da ocupao gerada nos projetos implantados. A metodologia da construo desses ndices deve levar em considerao certa ponderao entre todos os fatores considerados. Alm disso, a construo e a interpretao desses ndices so tributrias das especificidades dos projetos. Cumpre salientar que esses indicadores podem ser utilizados como parmetros de avaliao em mtodos multicriteriosos.
3.2. Custo-Eficcia Ao contrrio das anlises de custo-benefcio, apropriadas para projetos com benefcios que podem ser mensurveis em termos monetrios, as anlises de custo-eficcia prestam-se a uma grande gama de projetos cujos benefcios no tm preos estabelecidos no mercado ou ento so quantificveis monetariamente de modo bastante difcil. Se os benefcios de um projeto no podem ser medidos em termos monetrios, os critrios de VPL e da TIR no podem ser usados, logo, anlises econmicas de custoeficcia podem ser teis. Na literatura sobre anlise de projetos, existem dois mtodos de avaliao que no apresentam benefcios quantificveis em termos monetrios: o mtodo do custo-eficcia e o do custo-eficcia ponderado. A principal diferena entre os dois mtodos reside na maneira em que os benefcios so medidos. Se os benefcios so medidos em uma nica unidade no monetria, trata-se da aplicao do mtodo do custo-eficcia. Caso a medio dos benefcios seja feita por intermdio de um conjunto de variveis no monetrias, devem ser utilizadas as anlises de custo-eficcia ponderado, tipo de mtodo que permite reduzir o resultado da anlise a um nico indicador, aumentando a capacidade de comparao do resultado. A anlise de ndices baseados no custo-eficcia de projetos deve ser feita com cuidado. Na maioria dos casos, somente a anlise do custo-eficcia no suficiente para identificar todos os resultados de um projeto. Na verdade, a escolha entre os projetos deve considerar os custos e benefcios marginais. Conforme j mencionado, alguns projetos devem ser avaliados pela observao de resultados mltiplos. Um passo relevante avaliar a importncia de cada um dos tipos de benefcios obtidos em relao ao objetivo final esperado. Esse julgamento de ordem subjetiva, podendo
99
ser obtido por intermdio da opinio de experts, representantes da comunidade, agncias governamentais, etc. Consulta formulada a esses projetos permite criar um conjunto de pesos que serviro para ponderar as participaes dos resultados parciais no resultado global. O resultado obtido o chamado custo-eficcia ponderado. O resultado da avaliao final , em grande medida, conseqncia dos pesos atribudos aos indicadores que comporo o resultado final do projeto. A escolha desses pesos e das pessoas que iro atribu-los deve ser realizada com muito critrio, pois a influncia nos resultados direta. O Box 8 apresenta um exemplo de aes possibilitadas por projeto de construo de infra-estrutura rodoviria, bem como os resultados esperados desses projetos e os indicadores que podem ser usados para medir os resultados decorrentes. Os indicadores ora apresentados poderiam servir para a construo do ndice de custo-eficcia mencionado acima.
Box 8
Projeto de construo de estrada no espao rural

Resultados esperados Aumento do trfico; Aumento da relao entre comunidades prximas; Diminuio dos custos de transporte; Ganhos em termos de tempo e conforto; Maior segurana nas estradas; Criao de empregos locais; Desenvolvimento local; Efeitos ambientais positivos.
Aes relacionadas ao projeto Reforma de estradas em reas rurais; Asfaltamento de estradas em rea rural.
Indicadores N de km reformados ou construdos; N de novos usurios; Volume de carga transportado; Economias de transporte; N de acidentes evitados; Diminuio do valor de seguros; N de empregos gerados com a construo da estrada; N de empregos gerados com a manuteno da estrada.
Fonte: OCDE. Manual financial and economic analysis of development projects. Office for Official Publications of the European Communities. Luxemburgo, 1997,375 p.
100
Quando recursos de um mesmo programa so utilizados em projetos muito distintos, medidas sintticas, tais como foram propostas nos pargrafos anteriores, talvez no sejam solues possveis. Uma alternativa , caso possvel identificar indicadores de eficcia para cada projeto e os recursos empregados, o uso da tcnica Data Envelopment Analysis (DEA). A idia central construir, de forma analtica, uma fronteira na qual estariam includas as unidades executoras de projetos mais eficazes, com as quais poderiam se comparar todas as demais, inclusive construindo-se um ranking. A metodologia envolve uma anlise preliminar dos dados por meio do uso de regresses. Isso ajuda a determinar quais variveis disponveis podem ser consideradas na construo da fronteira de eficcia, inclusive aquelas definidas pelos indicadores. Na verdade, a fronteira de eficcia define um benchmark dos empreendimentos considerados de sucesso, a partir dos quais os outros projetos seriam relativizados quanto as suas prprias eficcias. Os ganhos para os formuladores de polticas so bvios. A comparao entre investimentos permite identificar casos de sucesso e disseminar best practices (melhores prticas) que levaram ao sucesso empreendimentos que esto na fronteira de eficcia delimitada pelo modelo. A metodologia DEA utiliza conceitos de programao linear para mensurar o desempenho relativo de unidades organizacionais em que a presena de vrios insumos e produtos dificulta a comparao direta. A citada tcnica vem sendo utilizada de forma crescente na comparao da eficincia relativa de unidades como departamentos governamentais, escolas, hospitais, lojas, agncias bancrias (de forma geral, onde exista algum grau de homogeneidade). A medida tradicional de eficincia pode ser considerada como alguma variao da expresso seguinte:
eficincia = produtos insumos
comum a inadequao dessa expresso devido presena de insumos e produtos mltiplos relacionados a diferentes atividades, recursos e fatores ambientais (consideram-se insumos e fatores ambientais de forma anloga). Os produtos seriam os resultados obtidos em termos de um indicador de eficcia escolhido com propriedade. Os insumos seriam as condies scio-econmicas que servem de proxy para a condio ambiental e os recursos do programa utilizados em cada projeto.
101
A expresso bsica utilizada para a mensurao da eficincia em um contexto de mltiplos produtos e insumos pode ser nos seguintes moldes:
eficincia = soma _ ponderada _ dos _ produtos soma _ ponderada _ dos _ insumos
O indicador de eficincia um nmero restringido ao intervalo [0,1]. A metodologia DEA parte do reconhecimento explcito do fato de as comunidades adotarem um conjunto de pesos distintos para seus projetos e insumos. A proposta que cada comunidade possa adotar um conjunto de pesos que a coloque em situao mais favorvel possvel quando comparada a outras comunidades. Sob essas circunstncias, a eficincia de uma comunidade (j) pode ser obtida como uma soluo para o seguinte problema: maximizar a eficincia da comunidade (j); sujeitar a eficincia de todas as comunidades em padres <=1. As variveis do problema acima so os pesos, e a soluo produz os pesos mais favorveis unidade (j), ao mesmo tempo em que produz uma medida de eficincia. A flexibilidade na escolha dos pesos representa uma vantagem do mtodo, uma vez que a soluo do problema aponta para a ineficincia de uma comunidade, mesmo que os pesos tenham sido escolhidos da forma mais favorvel a ela. A metodologia ento se torna adequada tanto para os casos em que as comunidades podem valorar insumos e (ou) produtos de forma diferente quanto para aqueles em que exista um elevado grau de incerteza ou discordncia sobre os valores que devem ser atribudos a esses insumos/produtos. A guisa de concluso, pode-se dizer que o DEA bem til para mensurar, utilizando fatores quantitativos e qualitativos, a eficincia de uma comunidade em implantar determinado projeto em relao a outra comunidade que implantou projeto semelhante. As informaes obtidas em vrios projetos similares permitem traar uma fronteira de eficincia dos investimentos efetuados. O DEA permite avaliar quais projetos esto dentro dessa fronteira aceitvel de eficincia. O uso de mtodos multicritrios apresenta um grande potencial na avaliao de projetos de combate pobreza. Mesmo menos tradicionais do que os mtodos j discutidos, eles permitem avanos considerveis na avaliao de projetos que envolvem critrios de avaliao qualitativos. Entre os mtodos multicritrios disponveis, destaca-se o AHP (analytic hierarchy process). O mtodo AHP, desenvolvido por Saaty14 em meados da
14 Saaty, T. L. Mtodo de anlise hierrquica. So Paulo: Makron Books, 1991, 367 p.
102
dcada de 70, utilizado em reas como planejamento estratgico, marketing, avaliao de nvel de consenso de grupos, programas de qualidade e produtividade bem como em anlise de projetos15. Possui duas fases distintas de aplicao: (a) seleo de critrios (Box 9) e construo das hierarquias a eles associadas; e (b) avaliao de alternativas. Na etapa de construo das hierarquias, define-se a importncia relativa de um critrio sobre o outro. A comparao feita par a par, segundo uma escala de julgamento de importncia pr-definida (Saaty, 1991). Alm disso, o AHP16 capaz de medir, com simplicidade e robustez, quais tipos de projetos atingiram com maior sucesso as metas estabelecidas pela comunidade e aceitas pelo analista. O mtodo permite discernir com exatido quais critrios a comunidade escolheu e priorizou para solicitar a implementao de um determinado projeto. um tipo de conhecimento importante para a compreenso dos resultados alcanados. Em funo dos resultados obtidos, o analista ser capaz de definir quais projetos atingiram os resultados previstos, informao essencial para direcionar futuros investimentos. Box 9 Exemplos de critrios de avaliao que podem ser utilizados em projetos de infra-estrutura
Obteno, armazenamento e distribuio de gua nmero de pessoas atendidas; nmero de domiclios atendidos; nmero de audes construdos; nmero de cisternas construdas; capacidade de armazenamento de gua (audes, cisternas, etc.); diminuio do preo da gua; qualidade da gua; confiabilidade no sistema de abastecimento; aumento/diminuio de empregos gerados; nmero de carros-pipa; risco sanitrio; nmero de poos artesianos; indicadores de sade relacionados ao consumo de gua de m qualidade.
15 Abreu, L. M. et al. Selection of water quality control program for human consumption: application of method AHP. UCB, Braslia (mimeo). 16 O mtodo conta com softwares comerciais que facilitam em muito a aplicao.
103
Gerao e distribuio de eletricidade nmero de pessoas atendidas; nmero de domiclios atendidos; nmero e tipo de eletrodomsticos presentes nas residncias atendidas; nmero de novos empreendimentos utilizadores de energia eltrica; reduo/aumento de custos; extenso da rede de distribuio. Transporte nmero de pessoas atendidas; aumento do trfego (em valor e fsico); reduo do nmero de acidentes; reduo no tempo de percurso entre a comunidade e as cidades de maior porte na regio (acesso a alternativas de emprego, assistncia mdica, etc.); confiabilidade dos meios de transporte; custo de manuteno dos veculos; variao no preo do frete.
Nas anlises de custo-eficcia, so includos, alm dos custos diretos necessrios implementao dos projetos (considerando os gastos governamentais), aqueles suportados pelo conjunto da comunidade. Alm disso, podem ser comparados os custos-eficcia dos projetos apoiados pelo programa e por outras iniciativas governamentais e privadas. Espera-se, com isso, avaliar, no somente a eficcia intrnseca ao projeto avaliado, mas sua eficcia frente aos outros mecanismos de financiamento e gesto. Para tanto, devem ser levantados dados de custos dessas iniciativas. Finalmente, assume-se que a combinao de mtodos multicritrios, como o AHP, combinados com metodologias baseadas em pesquisa operacional, caso do DEA, municia o analista com um conjunto de ferramentas poderosas para a avaliao de projetos que envolvem componentes sociais. O avaliador e o formulador de projetos e programas de combate pobreza rural devem ter conscincia dos limites dos modelos de anlise que foram apresentados neste captulo. Os resultados obtidos com os modelos
104
devem ser avaliados a luz de anlises rigorosas e criteriosas de aspectos no financeiros e econmicos que circundam projetos desta natureza. Alm disso, a natureza determinstica dos modelos apresentados no conforma adequadamente os riscos inerentes a estes projetos. Os modelos apresentados demandam previses de receitas, despesas, investimentos, taxas de juros, resultados no-financeiros etc., os quais constam imprecises importantes dos resultados obtidos. Uma maneira de contornar o carter determinstico construir cenrios que permitam exerccios de simulao e de anlise de sensibilidade dos modelos e dos resultados que eles apontam. Mesmo com essas limitaes, os mtodos apresentados representam ferramentas valiosssimas para a avaliao de projetos e de programas sustentveis de combate pobreza rural.
105
106
4. AVALIAO DA FOCALIZAO
Parcela significativa da populao mais pobre no beneficiada por programas sociais. Em injustificada contrapartida, indivduos com renda mais elevada acabam sendo recipientes de benefcios. Nesse sentido, vrios analistas argumentam que a incapacidade de muitos governos de eliminar ou reduzir a pobreza deve-se ao fato de a poltica social encontrarse mal focalizada. Lustig e Deutsch (1998) apresentam estimativas indicando que os valores de transferncias necessrios para eliminar a pobreza extrema, nos pases da Amrica Latina e Caribe, situam-se em torno de 0,5 a 1% do PIB, em caso de perfeita focalizao. Em se confirmando a estimativa, o problema de eliminao da pobreza no estaria na falta de recursos, mas no desenho das polticas de transferncias. Um programa social dito eficiente no critrio de focalizao se define com clareza seu pblico-alvo, incluindo o maior nmero possvel de indivduos como beneficirios e excluindo o maior nmero possvel de indivduos que esto fora desse grupo. Ainda que bastante defendida, a focalizao das polticas sociais pode apresentar problemas tanto do ponto de vista econmico como do poltico. No primeiro caso, a questo refere-se s distores geradas pelos mecanismos de focalizao (falta de incentivo ao trabalho, migrao de famlias para reas assistidas por programa social e o uso improdutivo dos recursos ou do tempo problemas moral hazard). O segundo problema para focalizao refere-se falta de suporte poltico que tal medida pode apresentar. possvel, em uma democracia, o equilbrio poltico ocorrer quando uma parcela significativa da populao, bem mais ampla do que os realmente necessitados, for includa no programa. Por outro lado, quando apenas os mais pobres so includos, possvel que os recursos destinados a especfico programa sejam insuficientes, o que possibilita inferir que programas para pobres seriam programas pobres. Assim, focalizar os programas apenas para os mais necessitados acabaria sendo pior para os prprios pobres.
107
Mesmo admitindo que haja um consenso social em relao necessidade de focalizao das polticas, razovel admitir que os governos no saibam como faz-la de forma muito precisa ou que o custo seja bem elevado. Portanto, um aspecto adicional de dificuldades para a focalizao das polticas sociais diz respeito s questes de ordem tecnolgica. No caso das polticas voltadas para aliviar a pobreza, esse problema pode surgir quando a renda dos beneficirios em potencial no observada pelos executores do programa. A anlise da focalizao de programas sociais voltadas para a reduo/combate da pobreza deve revelar em que medida as aes atingem, de fato, ao pblico-meta (os pobres). Embora pobreza e pobres sejam realidades de fcil identificao em sociedades muito desiguais, tanto a caracterizao precisa da pobreza quanto a delimitao da populao pobre objeto de intenso debate acadmico e poltico, o que significa que os resultados da anlise de focalizao sero muito sensveis ao conceito/delimitao de pobreza e dos pobres.
4.1. Conceituando Focalizao A focalizao pode ser entendida como um instrumento de seleo ou processo que possibilita a seleo e a focalizao de polticas pblicas em determinados grupos, regies, problemas. Dentro do contexto de intervenes de combate pobreza, essas polticas focalizaro grupos e regies excludas pelos mecanismos de mercado. Van de Walle (1995) define focalizao como uma tentativa deliberada de redirecionar recursos pblicos para os mais pobres por meio de instrumentos que buscam selecion-los como beneficirios diretos O . conceito um tanto restrito, pois trata somente da distino entre pobres e no-pobres, enquanto muitas vezes o pblico-alvo pode ser definido no somente em termos de pobreza, mas tambm por caractersticas de gnero, ou ainda por famlias pobres com filhos em idade escolar. Alguns autores estabelecem que uma poltica focalizada quando determinado pblico-alvo tem acesso aos bens e servios oferecidos, em oposio s polticas chamadas universais, nas quais, teoricamente, o acesso permitido a toda a populao. Mesmo uma poltica ou programa universal pode ser desenhado de forma a atender apenas certos grupos e, dessa forma, ser classificado como focalizado. Como exemplo, um subsdio fornecido a um tipo de produto de maior relevncia para as camadas mais
108
pobres da populao. Ainda que o acesso seja universal, a poltica foi desenhada de forma a atingir a populao menos favorecida. Identificar os grupos/regies/indivduos necessitados no tarefa simples e sem custo. Pesquisa extensa, com coleta de dados para identificar o pblico-alvo adequado, pode ser realizada antes da implementao de um programa. Entretanto, o custo excessivo e requer longo tempo para anlise, o que abriria possibilidade de uso ineficiente dos recursos pblicos. Desenhar uma poltica bem focalizada no um problema to simples quanto parece. Pode apresentar problemas do ponto de vista polticoeconmico. Ademais, no existe consenso quanto melhor forma de focalizao a ser adotada. Cada tipo de programa possui objetivos muito distintos e formas diferentes de atingi-los. Os custos de cada opo so diferentes e variam conforme a disponibilidade de informaes. Cada caso deve ser analisado de forma a adequar a focalizao aos objetivos de cada poltica de interveno.
4.2. Modalidades Cada modalidade de focalizao possui custos e benefcios diferentes que devem ser considerados e examinados em detalhe. A escolha e a avaliao do processo de seleo tm que observar essas diferenas, assim como as implicaes para a sustentabilidade poltica da abordagem escolhida e a ao de intervenes pblicas (Buainain et al., 2000). Van de Walle (1998) divide as modalidades de focalizao em duas categorias principais: focalizao universal e focalizao restrita (broad and narrow targeting). Bons exemplos de focalizao universal so despesas em servios sociais bsicos como educao primria, sade pblica, servio bsico de sade pblica e assim por diante. Nessa modalidade, nenhum esforo feito com intuito de atingir os pobres na qualidade de indivduos. O princpio bsico que alguns itens de despesa so mais importantes para determinadas populaes. Dessa forma, espera-se que regies, comunidades e indivduos menos favorecidos sejam os principais a se beneficiar do benefcio/interveno, ainda que o acesso seja universal. Um dos principais argumentos em favor da focalizao universal o fato da abordagem ser considerada mais popular (termos polticos), uma vez que no h distino scio-econmica de quem pode ou no participar. A simplicidade operacional e o custo baixo so outras possveis vantagens
109
adicionais. O critrio de universalidade torna desnecessria a utilizao de critrios de seleo especiais e mecanismos de implementao para supervisionar a seleo de participantes e distribuio de benefcios. Apesar de essa modalidade permitir economia de recursos no processo de seleo e monitoramento de beneficirios, por sua maior abrangncia, os custos com benefcios tendem a ser maiores do que em polticas mais focalizadas. Os custos de programas universais inclinam a subir quando os benefcios so estendidos a toda populao sem considerar a real necessidade dos participantes. Quando se tem restrio de recursos caso da maioria dos pases subdesenvolvidos , os governos decidem se diminuem a extenso de programa ou permitem a deteriorao da qualidade de servios oferecidos pelos programas. Por razes polticas bvias, mais fcil deixar que ocorra a deteriorao dos servios do que restringir a abrangncia. A validade das abordagens baseadas na focalizao universal tambm questionada em termos de eqidade. Embora a interveno possa alcanar todas as regies e, assim, a populao inteira, o vazamento que ocorre para pessoas menos necessitadas questionvel quando essas poderiam pagar pelo servio, uma vez que sua incluso ocorre com recursos que poderiam ser usados para os mais necessitados. Por fim, ainda que abordagens baseadas na focalizao universal sejam recomendadas para alguns tipos de interveno pblica (como educao bsica e saneamento bsico), podem no ser instrumento adequado para atingir grupos com especficas necessidades ou objetivos bem delineados. Intervenes mais especficas, que levam em conta populaes mais vulnerveis e suas necessidades, podem ser melhor forma de reduzir a pobreza a custo menor. A focalizao restrita definida como uma tentativa deliberada de concentrar benefcios para os pobres (ou regies pobres), independente da categoria de gasto. Consiste em identificar um conjunto de caractersticas de pessoas pobres que seja correlacionada com baixa renda, uma vez que a renda uma varivel de difcil observao. Essas variveis assumem o papel de indicadores e so utilizadas como aproximao de renda. Alguns tipos de indicadores usados so: propriedade, estado nutricional e situao de emprego. Critrio bastante utilizado na focalizao restrita o geogrfico (regies especficas de maior incidncia de pobreza). A utilizao do critrio geogrfico bastante problemtica, pois uma mesma regio pode apresentar diferenas internas bastante significativas, levando incluso de indivduos no necessitados e excluso de pessoas mais necessitadas
110
que, porventura, habitam regies mais ricas. Hoddinot (1999) conclui que a focalizao geogrfica funciona melhor quando usadas pequenas unidades geogrficas, como vilas e bairros, reduzindo possveis erros de incluso de famlias/indivduos que no foram estabelecidos como foco do programa e excluso daqueles que poderiam ter sido beneficiados.
4.3. Critrios Trs critrios so apontados como os mais relevantes para se determinar e avaliar a focalizao de um programa (Legovini, 1999):
4.3.1. Eficincia A eficincia de uma poltica ou programa focalizado diz respeito ao alcance ao pblico-alvo. Um programa considerado menos eficiente quanto mais domiclios/indivduos do pblico-alvo no forem contemplados com os benefcios do programa. Esse tipo de excluso chamado de Erro Tipo I ou Erro de Excluso, que a probabilidade de excluir domiclios/indivduos que deveriam ser includos. Muitas vezes, o erro inevitvel devido a diversos fatores como a imperfeio dos indicadores utilizados para se fazer a seleo e o acesso precrio informao. A questo deve estar presente na mente dos policymakers durante o desenho de um programa, a fim de evitar a criao de barreiras entrada de domiclios/indivduos que pertencem ao pblico-alvo. Algumas informaes dificilmente so obtidas e/ou tratadas estatisticamente. Em projetos produtivos destinados a comunidades, o esforo pessoal dos beneficirios e o comportamento das lideranas so importantes para determinar o sucesso e o pblico-alvo. Mesmo pesquisas diretas bastante detalhadas podem incorrer em erro, sobretudo quando dependem de informaes fornecidas pela prpria populao. Hoddinott (1999) aponta que, quando questionados diretamente, muitos indivduos tendem a exagerar seu grau de necessidade/pobreza com o intuito de aumentar as chances de serem selecionados para uma interveno especfica. Problemas adicionais so enfrentados quando as informaes usadas esto em constante mudana, em resposta a fenmenos transitrios ou seculares. A informao coletada em um nico perodo pode resultar na incluso de indivduos que no mais se qualificam para a interveno, alm das dificuldades fsicas de se atingir comunidades mais pobres.
111
4.3.2. Vazamentos O segundo critrio a ser considerado no desenho de um programa refere-se aos possveis vazamentos (incluso de indivduos no pertencentes ao pblico-alvo Erro Tipo II ou Erro de Incluso). Existe um trade-off entre os erros tipos I e II: a expanso de um programa tende a reduzir o erro tipo I e aumentar o tipo II e vice-versa, no caso de uma reduo na cobertura. Para uma dada quantidade de recursos possvel reduzir os dois tipos de erros se a capacidade de discriminar e de selecionar o pblico-alvo for melhorada. Contudo, uma melhor capacidade de seleo pode aumentar os custos do programa, colocando outro tradeoff para os tomadores de deciso (Anuatti-Neto et al., s/d).
4.3.3. Custos O terceiro critrio a ser observado a questo dos custos que decorrem da focalizao. Podem ser analisados de forma separada dos custos do programa como um todo. Somente uma anlise de custos e benefcios de cada mtodo de focalizao pode apontar o melhor desenho. De forma geral, trs tipos de custos so apontados na literatura como decorrentes da focalizao: administrativos, polticos e decorrentes dos incentivos do programa (Grosh, 1994; Van de Walle, 1998).
4.3.4. Custos administrativos A implementao de uma poltica focalizada requer o uso de mtodos de seleo que distingam o pblico-alvo do resto da populao. Em geral, quanto maior a preciso do mtodo adotado, maior o custo a ele associado. Em uma situao ideal, o bem-estar de cada indivduo da populao deveria ser mensurado levando-se em conta as diferenas locais de preos, rendas recebidas em espcie, mudanas sazonais, composio familiar etc. Ainda assim, seria quase impossvel realizar esse tipo de mensurao, alm do alto custo. Qualquer outro tipo de mtodo utilizado discriminaria o pblico-alvo de forma imperfeita, o que, por um lado, aumentaria os custos decorrentes dos vazamentos; por outro, reduziria os custos administrativos. A deciso sobre o melhor mtodo de seleo depende no apenas da eficcia de um mtodo em discriminar o pblico-alvo, mas tambm de uma
112
avaliao dos custos administrativos diante dos benefcios alcanveis. Um dado mtodo para discriminar o pblico-alvo pode ou no ser vantajoso, depender da proporo que seu custo representa em relao ao benefcio. Os custos administrativos iro variar conforme o mecanismo de seleo escolhido, o nvel de informao existente, a capacidade institucional do administrador do benefcio, alm dos custos com pessoal e equipamento utilizados no processo de seleo (Grosh, op. cit.). A quantificao desses custos deve ser cuidadosa e avaliada para a melhor escolha do mtodo a ser utilizado em um programa focalizado.
4.3.5. Custos de incentivos A introduo de um programa focalizado pode alterar o comportamento dos beneficirios e dos no-beneficirios.Essas mudanas de comportamento podem produzir alteraes entre o objetivo explcito do programa e o resultado efetivo, produzindo custos e benefcios adicionais no previstos. A magnitude desses custos varia de acordo com cada interveno e pode ser influenciada pelo desenho e implantao do programa. Trs efeitos negativos sobre os resultados finais de uma interveno focalizada so freqentes na literatura: a escolha trabalho/lazer, a migrao e o uso improdutivo de recursos (Grosh, 1994). O primeiro surge em programas que selecionam os beneficirios a partir da renda. Dependendo do valor do benefcio, muitos indivduos com renda pouco acima do limite de elegibilidade seriam estimulados a reduzir seus ganhos para se tornarem elegveis. Em um programa hipottico que distribusse R$50,00 para indivduos com renda abaixo de R$200,00, todas as pessoas que, sem o benefcio, tivessem renda entre R$200,00 e R$249,00 ficariam em situao melhor se diminussem suas horas de trabalho para poder receber o benefcio. A renda aumentaria e ainda teriam mais tempo de lazer. Sahn e Alderman (citado por Van de Walle, 1995) concluram que a distribuio de cupons de alimentao no Sri Lanka resultou em uma reduo de 2 a 3 dias de trabalho por parte dos beneficirios, o correspondente a 33% do valor do benefcio. Ressalta-se que a mensurao desses custos no trivial e depender da abordagem utilizada. No exemplo apresentado, a reduo nas horas trabalhadas representa um custo. Em uma abordagem mais ampla de bem-estar (que atribusse valor ao tempo de lazer), poderia apresentar um resultado positivo.
113
A migrao pode ser outro incentivo no desejado. Caso exista um programa que utilize indicadores geogrficos para selecionar os beneficirios, pode-se incentivar a migrao de pessoas para regies contempladas pelo programa. No caso de migrao por parte de pessoas pobres para regies beneficirias, o custo seria justificvel por conta do aumento da cobertura do programa, ainda que os custos privados incorridos devam ser contabilizados. Porm, pode ocorrer migrao de pessoas no-pobres, o que resultaria em custos injustificveis e poderia levar reduo dos benefcios recebidos. Os efeitos negativos com a migrao dependero do ganho individual relativo aos custos privados incorridos com a mudana. Exemplos de uso inadequado de recursos podem ser observados em diversas intervenes focalizadas. Um programa que discrimine proprietrios de terras de no-proprietrios pode incentivar a venda de propriedades para garantir o acesso. Cupons de alimentao podem ser trocados por dinheiro, que seria gasto para atender outras finalidades. No Chile, em programa de distribuio de alimentos, com base no estado nutricional das crianas, foram relatados casos de mes que subalimentavam as crianas para receber os alimentos (Grosh, 1994).
4.3.6. Custos polticos Muitos dos recursos governamentais destinados a programas sociais com focalizao universal acabam beneficiando no pobres que,no raro,possuem maior influncia poltica. A implementao de polticas mais focalizadas tende a ser associada a uma reduo nos gastos que acabam beneficiando esse pblico. Isso pode resultar em menor apoio poltico ao programa e, conseqentemente, reduo na destinao de recursos. Muitos autores argumentam que certo grau de vazamento necessrio, de forma a garantir o apoio das classes mdias. Alguns estudos confirmam essa suposio, mas h evidncias contrrias. A populao poderia estar mais disposta a aceitar polticas focalizadas caso estivesse convencida de que os recursos poupados pela reduo do vazamento seriam destinados ampliao do programa ou outros gastos sociais.
4.4. Mtodos de Focalizao A escolha do mtodo a ser utilizado na seleo do pblico-alvo um dos temas mais debatidos na literatura. O mtodo de focalizao diz respeito ao
114
conjunto de critrios, regras e outros elementos que definem a elegibilidade dos beneficirios (Conning e Kevane, 2000). Sua importncia decorre do fato de que o mtodo escolhido, em grande medida, determinar os custos do programa, a eficcia e o grau de vazamento do mesmo. No existe um mtodo de seleo superior a outro, e difcil o uso isolado deles, a escolha dever ser baseada no nvel de informao existente, na capacidade administrativa das instituies responsveis, na distribuio geogrfica da pobreza, entre outros fatores. Para se decidir quando um programa deve ou no ser focalizado, consideraes a respeito dos custos administrativos, bem como dos custos de vazamento e excluso, devem ser ponderados. Grosh (1994), Coady et al.(2002) e Legovini (s/d) estabelecem trs classes de mtodos de focalizao: (a) por avaliao individual/domiciliar (means-tested ou proxy means-tested, em Legovini (op. cit.)); (b) por categorias ou grupo; e (c) por auto-seleo (self-targeting).
4.4.1. Avaliao individual/domiciliar o mtodo utilizado quando a elegibilidade para um programa determinada de forma individualizada para cada pretendente ao benefcio. Os gerenciadores do programa decidem quem sero os beneficirios por meio de comprovao de renda ou da observao de outros indicadores que possuam alta correlao com a renda. O uso de indicadores para determinar a situao individual ou domiciliar de cada pretendente pressupe a escolha ex ante de uma linha de pobreza bem definida que ser utilizada como limite (ver 4.4.1.1).O procedimento usual consiste em considerar como pobres todos aqueles que vivem em famlias cuja renda familiar per capita igual ou inferior ao valor da citada linha. O mtodo conhecido como means test consiste em uma verificao completa do nvel de renda e riqueza dos possveis beneficirios por meio da comparao da renda declarada com outras fontes de comprovao como holerites, imposto de renda e registros de propriedade. Ainda que essa abordagem represente a situao ideal, por garantir maior eficcia e menor vazamento, ela possui elevados custos administrativos.Por um lado, pressupe a existncia de comprovantes confiveis; por outro, requer constantes reavaliaes e capacidade administrativa para processar as informaes. Em muitos pases em desenvolvimento, a verificao do nvel de renda bastante dificultada pelo fato de que grande parte dos pobres trabalha no setor informal ou na zona rural, onde a renda sazonal e, muitas vezes, recebida em espcie.
115
Na falta de condies para uma verificao apropriada da renda, so utilizados indicadores de fcil verificao (proxy means test) que apresentam alta correlao com a renda (localizao do domiclio, tipo de residncia, nvel educacional, quantidade de bens durveis, etc.). O uso desses indicadores oferece uma alternativa mais barata e menos suscetvel a fraudes do que o means test. Para a escolha dos indicadores a serem utilizados, pode-se realizar uma coleta de dados sobre renda e sobre possveis indicadores junto a uma amostra da populao. Uma vez selecionados, a importncia relativa de cada indicador estabelecida por meio de anlise estatstica ou calibrao. Os pesos relativos, assim encontrados, so ento aplicados em toda populao para prever se um indivduo ou domiclio qualifica-se para o benefcio. Apesar de serem mais fceis de administrar, reduzindo assim os custos administrativos associados, as proxies so substitutos imperfeitos para a verificao da renda, o que aumenta a probabilidade tanto de Erro Tipo I quanto de Erro Tipo II. A eficincia em termos de alcance do mtodo ora avaliado em relao utilizao do means tested depende do ajustamento do modelo escolhido para prever a renda das famlias: quanto melhor o ajustamento do modelo, menor ser a probabilidade de ocorrncia dos erros Tipo I e Tipo II. Na verdade, os custos em termos de excluso de pobres e incluso de no-pobres devem ser comparados ao custo da coleta de um nmero maior de informaes sobre as famlias que poderiam melhorar a capacidade de previso do modelo. O aumento no nmero de variveis proxies tende a melhorar a eficincia do mecanismo, mas os custos de coleta tambm podem aumentar com o nmero de proxies.
4.4.2. Estabelecendo uma linha de pobreza A avaliao de um programa social de combate pobreza exige a estimao de uma linha de pobreza com o propsito de poder identificar os beneficirios e focalizar o programa. Mas no h consenso sobre nmeros que quantificam essa linha de pobreza. A pobreza um fenmeno complexo. A definio no uma tarefa simples e pontual, visto que envolve muitas determinaes. Uma das mais importantes a que diz respeito abrangncia do conceito, isto , deve ser feita apenas sob o ponto de vista econmico (material) ou considerar as variveis no-econmicas.
116
Diversos autores reconhecem a importncia dos componentes no materiais em qualquer avaliao geral da pobreza. A grande maioria reconhece a dificuldade em mensurar variveis qualitativas, optando por estudar apenas a pobreza derivada das carncias materiais por considerarem ser, talvez, impossvel mensurar necessidades como norealizao pessoal, falta de prestgio, excluso social. Embora se reconhea que a pobreza fenmeno multidimensional, caracterizado por carncias de diversos tipos, de uma maneira geral, utilizase a renda como determinante do bem-estar das famlias. Assim, a avaliao de sua dimenso tem como ponto de partida a associao da pobreza insuficincia de renda. A definio de um conceito de pobreza deve ser condio necessria para a mensurao do fenmeno. Em qualquer estudo de pobreza deve constar a definio adotada para evitar distores em anlises temporais que calculem sua incidncia em uma mesma base geogrfica ou problemas de comparabilidade para o clculo dos indicadores em diversas regies. , pois, conveniente ressaltar que o elemento da arbitrariedade sempre estar presente na descrio da pobreza, o que torna imperioso deix-lo o mais explcito possvel (Romo, 1993). De uma maneira geral, pode-se considerar que a mensurao da pobreza consiste em duas operaes distintas (Sen apud Romo, 1993). A primeira delas refere-se identificao (quem so os pobres?) e a segunda agregao (como combinar as diferentes caractersticas de pobreza numa mesma medida?). A identificao, que consiste na separao da populao total em dois subconjuntos (pobres e no-pobres), pode ser feita de diversas maneiras. Cada uma delas relacionada a uma diferente interpretao da pobreza. Os critrios utilizados para identificar a subpopulao pobre podem ser subjetivos (pobreza como juzo de valor) ou objetivos. A pobreza refere-se, enquanto juzo de valor, a opinies ou sentimentos das pessoas sobre o seu prprio estado de pobreza ou de seu semelhante. critrio questionvel, pois a pobreza no abstrata, no depende da opinio que venha a se ter dela. A pobreza uma situao concreta e sua anlise passa por consideraes de mbito material, no sendo reflexo de emoes pessoais. Os conceitos objetivos baseiam-se em critrios determinados exogenamente (renda, habitao, consumo entre outras). Critrios objetivos envolvem duas variantes operacionais importantes: a que focaliza a pobreza sob um valor relativo e a que a considera do ponto de vista absoluto. Trata-se de medida relativa quando compara a posio que um
117
indivduo ocupa em relao aos demais membros da sociedade. A pobreza enfocada por meio de uma medida absoluta quando requisitos mnimos de necessidade so estabelecidos. Indivduos que no possuam esses requisitos so considerados pobres. O simples fato de a conceituao de pobreza, em termos absolutos, fazer meno explcita a nveis mnimos aceitveis de satisfao de necessidades bsicas envolve o reconhecimento de que entre os membros da sociedade existem alguns que no preenchem os requisitos mnimos estabelecidos, o que requer um desenho de polticas de superao da pobreza para essas pessoas. Assim, o prprio conceito encerra um contedo de vontade poltica que se pode expressar na determinao de prover os grupos-objetivos de condies de acesso aos patamares bsicos de bens e servios, em consonncia com os padres de vida contemporneos (Romo, 1993:17). Pode-se, pois, concluir que um estudo que pretenda identificar a pobreza em pases pobres deveria adotar a noo de pobreza absoluta. Existem vrias formas de mensurar a pobreza. A forma mais freqente de determinar quem pobre consiste em comparar a renda familiar per capita com o valor mnimo necessrio para viver em determinada sociedade a chamada linha de pobreza. A linha de indigncia a que estabelece o valor necessrio para satisfazer apenas as necessidades alimentares. No Brasil, segundo Rocha (1996), os estudos que utilizam a abordagem da renda dividem-se em duas categorias: a que utiliza o salrio mnimo para determinar a linha de pobreza (freqentemente considera-se 1/4 do salrio mnimo como valor da linha de pobreza); e a que busca refletir o custo real de vida das populaes de baixa renda. Em ambas as abordagens, a varivel mais utilizada para confronto com a linha de pobreza/indigncia a renda familiar per capita, pois essa varivel leva em conta todos os rendimentos dos membros da famlia, seu tamanho e seu papel como unidade redistributiva (Rocha, 1999). A utilizao dessa varivel apresenta como problemas no conseguir captar os efeitos da queda do tamanho das famlias e nem o do ingresso crescente dos membros familiares no mercado de trabalho (Lessa et al., 1997). Sendo assim, entre outras coisas, a utilizao da renda familiar per capita no permite apreender a queda do bem-estar familiar, provocada pela necessidade de mais membros da famlia ter que entrar no mercado de trabalho.
118
A abordagem que utiliza o salrio mnimo apresenta alguns problemas: a variao do salrio real ao longo do tempo; a arbitrariedade do valor do salrio mnimo como linha de pobreza (1/4 do valor do salrio mnimo que pode no refletir a capacidade de cobrir as verdadeiras necessidades bsicas dos indivduos); a existncia de diferenas regionais do custo de vida no levadas em considerao quando se estipula um valor nico para a linha de pobreza/indigncia com base em um salrio determinado nacionalmente; entre outros. Segundo Rocha (1996), os estudos que buscam refletir o custo de vida da populao de baixa renda devem ser privilegiados quando existir disponibilidade de dados. Utilizando-se estudos sobre o padro de consumo das famlias, possvel determinar padres regionais de consumo, o que solucionaria o problema do custo de vida regional que a abordagem do salrio mnimo no enfrenta. Rocha (1988 e 1996) apresenta um roteiro, aqui simplificado, para determinar a linha de pobreza baseada no "enfoque biolgico" que considera os padres observados de consumo alimentar (o clculo da linha de indigncia deve suprimir a quarta etapa): definio dos requerimentos nutricionais mdios a serem atendidos considera-se como requerimento nutricional a ingesto diria de 2.400 calorias por pessoa, independente da pessoa ou do local onde ela vive; estabelecimento de uma cesta alimentar que esteja de acordo com as preferncias das populaes com renda baixa e que seja capaz de atender aos requisitos nutricionais no uma cesta normativa, pois se toma por base a preferncia dos consumidores, especialmente os de baixa renda, considerando-se as especificidades regionais; clculo do valor da cesta alimentar a preos correntes a valorao da cesta difere regionalmente e busca refletir as significativas discrepncias de padres de preos entre regies e local de residncia; derivao da linha de pobreza, considerando o valor gasto com alimentos e com as demais despesas bsicas (a determinao dos custos dos itens no alimentares feita por meio da utilizao do coeficiente de Engel para o decil de renda mais baixo entre aqueles em que no so observadas deficincias calricas) esse custo somado ao da cesta bsica para o estabelecimento das linhas de pobreza.
119
Calculada a linha de pobreza, o passo seguinte adotar indicadores agregados para expressar as caractersticas de pobreza. O indicador mais conhecido o de proporo de pobres, que consiste no nmero de indivduos cuja renda familiar per capita inferior linha de pobreza, em relao ao total da populao. Contudo, tal indicador utilizado como ponto de partida para estudos sobre pobreza, sendo insuficiente para caracterizar a pobreza, dado que viola dois importantes axiomas (Sen apud Prates, 1996). Primeiro, o indicador no se altera ao se reduzir a renda de uma pessoa situada abaixo da linha de pobreza ou quando a renda eleva-se sem alcanar a linha de pobreza. Em segundo lugar, a proporo tambm insensvel distribuio de renda entre os pobres, no se alterando quando se transfere renda de um indivduo pobre para outro mais rico. Sendo assim, a proporo de pobres deve ser utilizada em combinao com outros indicadores de pobreza. Um deles o "hiato de renda" ou "ndice de insuficincia de renda". O hiato de renda permite a obteno de informaes sobre a intensidade da pobreza por meio do desvio mdio entre a renda dos pobres e o valor da linha de pobreza. O indicador mede a distribuio mdia da renda dos pobres em relao linha de pobreza. A utilizao da proporo de pobres e do hiato deixa de considerar outra caracterstica importante da pobreza: a desigualdade de renda entre os pobres. Observando tal fato, Sen (1976) props um indicador de pobreza que incorporasse o nmero de pobres, o montante de renda aqum do mnimo de subsistncia (a intensidade mdia de pobreza) e a desigualdade de renda entre os pobres, construindo assim um nico indicador. Nota-se que o ndice de Sen expressa uma preocupao em demonstrar a diferena de graus de pobreza dentro da prpria subpopulao pobre. Em face disso, o ndice de Sen apontado como o melhor para mensurar a pobreza (Romo, 1993). Na esteira do indicador proposto por Sen, surgiram variaes alternativas modificando alguns dos seus axiomas, entre eles o ndice de Foster, Greer e Thorbecke (apud Rocha, 1998). Como o ndice de Sen, essa variante tambm leva em considerao a proporo, a intensidade e a distribuio de renda entre os pobres. A utilizao desse ndice defendida devido consistncia em agregaes (a pobreza em cada grupo pode estar caindo, enquanto o agregado pode estar subindo). Assim, seu uso permite o clculo da pobreza em diversos nveis agregativos (Prates, 1996). Takagi, Graziano da Silva e Del Grossi (2001) discutem os conceitos empregados e as metodologias utilizadas para estimar a linha de pobreza
120
com o propsito de apresentar uma proposta metodolgica para mensurao do pblico-alvo do projeto Fome Zero no Brasil. Os principais mtodos que tratam de estimar o nmero de pobres, segundo os autores, podem ser divididos em diretos e indiretos. O mtodo direto estima a populao carente com base em indicadores de consumo calrico e ou dados antropomtricos (de altura e peso). Os mtodos indiretos estimam a populao carente a partir da renda. A renda o principal fator que leva as pessoas a no se alimentarem em quantidade adequada. Assim, define-se, pois, uma dada linha de pobreza, que se considera adequada para suprir as necessidades bsicas entre as quais a alimentao e os outros itens custo de vida , e calcula-se a proporo de pessoas que tm renda abaixo dessa linha. A linha de pobreza pode ser definida nica para todo o pas (como nos estudos de Hoffmann, 1995 e 2001), ou pode ser definida por regio. Nesse ltimo caso, parte-se de estruturas de consumo diferentes para cada regio. Pesquisa-se o gasto de uma cesta bsica com preos regionalizados. Considera-se, ento, indigente a populao cuja renda familiar per capita no alcana o valor referente cesta bsica alimentar; e pobres as pessoas que no atingem a renda necessria para adquirir a cesta de alimentos mais os bens no-alimentares bsicos. Nesses grupos, encontram-se os estudos da Cepal (1989), do Ipea, incluindo o Mapa da Fome, realizado em 1993 (Peliano, 1993), rias (1999), Rocha (2000) e Ferreira, Lanjouw e Neri (2000). A Metodologia da FAO parte do clculo da disponibilidade de alimentos no pas, com base nos dados de produo local, saldo comercial agrcola e estoques de alimentos. A partir desses dados, estimam-se o coeficiente de distribuio de renda, o consumo alimentar (base para estimar a desigualdade de acesso aos alimentos) e a porcentagem da populao cujo consumo alimentar est abaixo da necessidade mnima. importante salientar que essas metodologias que tratam de estimar as linhas de pobreza e indigncia considerando a estrutura de consumo apresentam uma srie de critrios ad hoc na elaborao que fazem com que seus resultados sejam incomparveis. A Tabela 1 apresenta uma sntese dos principais mtodos utilizados em estudos recentes que pretendem quantificar a linha de pobreza e indigncia. Os problemas devem ser levados em conta no momento de definir a linha de pobreza e a indigncia, portanto, no momento de definir um ndice de focalizao do programa.
121
Quadro 1 Comparao de alguns mtodos diretos e indiretos para mensurao da fome, pobreza e desnutrio no Brasil
Parte I Mtodos diretos
Mtodo Taxa de Adequao Energtica (TAE<100%) Mulheres com baixo IMC Vantagens Medio mais apropriada para o problema da fome Medio direta do efeito da fome Desvantagens Exige pesquisa extensa e cara (ENDEF). Dados desatualizados Dados mais recentes 42% da populao em 1974/75 6,2% das mulheres em idade frtil em 1996 10,4% das crianas em 1996 Parmetros ideais/ recomendados 0% com TAE <100% Fonte Lustosa e Figueiredo (1990) Monteiro (1997)
Pesquisa desatualizada.Mede o efeito da fome aps sua manifestao.No considera o acesso da populao alimentao (pode ser por doao,lixo,etc) Causas da desnutrio infantil so mltiplas e so mais relacionadas com pobreza do que exclusivamente com a fome
3% a 5% da populao total considerado normal 2% a 3% das crianas de um pas
Crianas com retardo no crescimento
Medio direta da desnutrio
Monteiro (1997)
Parte II Mtodos indiretos

Mtodo % da populao com renda familiar per capita <1/4 s.m. (R$ 46,15 em agosto de 1999) % da populao com renda < US$ 1,00 Linha de indigncia (LI) da Cepal Vantagens Medio mais prtica e transparente Permite comparaes internacionais Estudo bastante detalhado buscando sanar as crticas anteriores Desvantagens Valor do s.m.no uma medida adequada das necessidades bsicas da populao.Mesma linha para o pas No considera as diferenas de custo de vida dentro do pas.Taxa de cmbio pode ter grande variao ao longo do tempo Valor no atualizado.Diferena da LI entre reas rurais e metropolitanas arbitrrias (25% menores) Estimativa de LI para reas urbanas e rurais tambm arbitrria (mdia entre ENDEF e POF) Srie histrica longa, bastante detalhada. Estudo de grande referncia nacional Dados mais atuais para estrutura regional de consumo Utiliza mesma estrutura de consumo regional entre reas urbanas e rurais do ENDEF de 1974/75 Utilizam a PPV,que teve baixa abrangncia amostral (s regies Nordeste e Sudeste e s 5.000 domiclios) Dados mais recentes 18,1% da populao em 1999 5,1 da populao em 1997 1990:31.679.095 pessoas ou 21,94% da populao 1997:13% da populao Fonte Hoffmann (2001) Banco Mundial (2000) IPEA/Mapa da Fome
Linha de indigncia da Comisso Mista IBGE,Cepal e IPEA (coord.rtas,Cepal) Linha de indigncia de Snia Rocha (linha em 1999 varia de R$ 20,37 Centro-Oeste rural a R$ 41,86 RMRJ) Linha de Indigncia de Ferreira, Lanjouvi e Nri (200) e Camargo e Ferreira (linha em 1999 de R$ 75,00)
Artas (1999b)
1999:13,6 milhes ou 8,7% da populao 1999:29% das pessoas
IPEA/Snia Rocha
Ferreira,Lanjouvi e Nri e Camargo e Ferreira (PUCRJ,Banco Mundial e FGV)
Fonte.Projeto Fome Zero.Instituto Cidadania.Acessado da Internet:http//www.icidadania.org.br.27.7.2001.P.77.
122
4.4.3. Focalizao por categorias ou focalizao por grupos Os mtodos de focalizao, tambm chamados de focalizao estatstica, envolvem o uso de categorias usualmente correlacionadas com pobreza (difceis de manipular e facilmente observveis como critrio de elegibilidade). Faixa etria, gnero, estado nutricional, etnia e localizao geogrfica so alguns exemplos de categorias utilizadas. De forma geral, a maioria dos programas adota algum tipo de focalizao geogrfica, seja de forma isolada ou combinada com o uso de outros indicadores. A focalizao geogrfica requer que o gestor de poltica saiba exatamente qual a rea ou local que mais necessita de ajuda. O gestor deve ter conhecimento da distribuio geogrfica da incidncia, profundidade e severidade da pobreza no pas ou regio. Esse mecanismo trabalhar bem somente se a pobreza for bastante concentrada. Se existirem muitos indivduos no-pobres na rea beneficiada pelo programa, a eficincia diminui e a probabilidade de vazamento aumenta. Outro fator que influencia a eficincia do mtodo em questo a unidade geogrfica de escolha (comunidade, municpio, regio etc.). Quanto menor a unidade, maior o alcance e menor o vazamento do programa. O critrio geogrfico , na verdade, um tipo de proxy means-tested. Como foi dito, ele identifica como beneficirios do programa todos os indivduos dentro de uma rea geogrfica. o mesmo que considerar o local de moradia (favelas, loteamentos populares, etc.) como proxy de renda. A vantagem do uso focalizao categrica est na fcil administrao e na imposio de baixos custos no processo de seleo. O sucesso depende do conhecimento prvio da distribuio demogrfica, profundidade e severidade da pobreza dentro dessas categorias. O programa funcionar bem quando apresentar alta concentrao de populao pobre em uma das categorias. Porm, seu uso no isento de problemas. Alm de serem indicadores imprecisos de pobreza, costumam, ainda, gerar incentivos adversos, como a quebra de ncleos familiares ou de migrao para reas beneficirias.
4.4.4. Auto-seleo O princpio bsico dessa abordagem deixar a escolha de participao a cargo dos prprios beneficirios, em vez da interveno de um administrador. A estratgia definir um conjunto de incentivos e custos de
123
participao (critrios de adeso) que induza um grupo especfico prselecionado a participar. O ponto principal que, apesar de ser universal, apenas o pblico-alvo especfico deve se auto-selecionar para determinada interveno. So exemplos de intervenes que utilizam a auto-seleo programas de empregos pblicos com baixos salrios e subsdios a alimentos de maior relevncia para os pobres. O estigma decorrente de participar em determinado programa, tambm pode servir como um fator impeditivo de acesso para os mais ricos. Um caso bastante interessante apresentado por Alderman e Lindert (1998, citado por Van de Walle, 1998). A Tunsia converteu seu programa universal de subsdios, insustentvel na seara fiscal, para um programa menor, focalizado por meio da auto-seleo. Limitado pela ausncia de diferenas nas cestas de consumo dos pobres e no-pobres, a soluo adotada pelo governo foi diferenciar os alimentos no pela sua qualidade intrnseca, mas pelas embalagens. Bens inferiores foram criados de forma a impedir seu consumo pelos no-pobres. De forma complementar, o programa foi reforado pela introduo de bens superiores, com embalagens atraentes e de boa qualidade, e pela liberalizao da importao de bens substitutos. Programas de reforma agrria pela via de mercado tm adotado mecanismos de auto-seleo. Em tais programas so definidas apenas as caractersticas gerais da populao de possveis beneficirios e as condies de acesso, sem que haja prvia seleo dos participantes. A participao associativa e no individual; apenas associaes podem participar, e a escolha dos beneficirios feita pelas prprias associaes que se apresentam para participar do programa. Os interessados que porventura atenderem aos requisitos formais de participao devem se associar a outros candidatos e pleitear a entrada no programa. Um desafio enfrentado por programas baseados em auto-seleo consiste em construir uma institucionalidade que desestimule a dependncia dos beneficirios. Elevada dependncia de benefcios pode arruinar a sustentabilidade e o sucesso do programa. Exigir uma possvel e desejvel contribuio por parte dos beneficirios pode ser uma soluo. A contribuio funcionaria como um custo de adeso. Espera-se com isso que candidatos que no estejam dispostos a comprometer-se de fato com o programa sejam excludos com essas exigncias. Um bom exemplo a exigncia de manuteno dos filhos na escola como condio para continuar recebendo benefcios do programa. O desenho do programa dever conter mecanismos que induzam a maximizao dos ganhos de renda, mas minimizem ganhos em outros
124
aspectos. Ilustra bem esse argumento o uso de workhouses destinadas aos pobres na Inglaterra do Sculo XIX. As condies impostas eram to desconfortveis que somente os mais necessitados aceitavam participar. O aspecto-chave para que isso ocorra o custo de participao O montante . desse custo deve ser maior para populaes no-necessitadas. A idia por trs desse tipo de mecanismo de que os custos privados de participao num determinado programa so diferentes para os pobres e para os no-pobres, de forma que o programa, mesmo sendo muitas vezes de acesso universal, impe um custo de participao mais elevado para os no-pobres, desencorajando-os de participar. um mtodo que oferece custos administrativos bastante baixos e uma abordagem interessante em perodos de crise, pois se ajusta automaticamente (ao contrrio dos outros mtodos que usam indicadores rgidos). Se bem desenhado, apresenta grau de vazamento baixo,mas sua eficincia no clara e deve ser examinada caso a caso. Por fim, os programas que utilizam a auto-seleo tm tambm a vantagem de retirar o poder de deciso de burocratas, o que reduz os incentivos corrupo e ao favoritismo.
4.5. Medindo o Grau de Focalizao A avaliao do grau de focalizao de um programa de combate pobreza envolve duas etapas: a) definir o pblico-alvo; e, b) selecionar um indicador de focalizao. Para se definir o pblico alvo faz-se necessrio estabelecer uma linha demarcatria entre pobres e no-pobres. preciso estabelecer um indicador y (renda familiar per capita, consumo familiar per capita ou algum outro indicador de bem-estar da famlia) e um valor especfico desse indicador (y*). Todos os indivduos vivendo em famlias com y < y* so considerados pobres. A renda familiar per capita constitui-se em um dos indicadores mais utilizados em estudos sobre pobreza, sendo y* a linha de pobreza (ver 4.4.2). Dado que os problemas de renda no monetria e de flutuao da renda corrente tendem a ser maior no meio rural, um bom indicador poderia ser o consumo. Trs so os critrios para se avaliar a focalizao dos programas: eficincia, vazamentos e custos. De outra forma, necessria a avaliao de custos versus benefcios (considerando os vazamentos como um benefcio negativo).
125
A forma mais comum de se avaliar a focalizao verificar se o pblico beneficiado corresponde ao pblico-alvo proposto, ou seja, as taxas de nocobertura e de vazamento (erros tipo I e II). Para tal, necessrio que o pblico-alvo esteja definido de forma precisa, assim como os indicadores utilizados e a linha de corte a definir os beneficirios e os no-beneficirios. Uma forma de fazer isso classificar toda a populao em quatro categorias como na Figura 4 (adaptado de Grosh, 1994). Podemos observar que o programa hipottico tinha como seu pblico-alvo 40% da populao, mas beneficia 50%. Encontram-se excludos do programa 1/4 do pblico-alvo que deveria ser beneficiado (Erro Tipo I); e encontram-se includos 1/3 de beneficirios que no pertencem ao pblico-alvo (Erro Tipo II).
Quadro 2 Erros de excluso e incluso

Pblico-alvo No pblico-alvo
Beneficirios
Sucesso 30%
Erro Tipo II (incluso) 20%
50%
No beneficirios
Erro Tipo I (excluso) 10%
Sucesso 40%
50%
40% Fonte: Adaptado de Grosh, 1994.
60%
Este tipo de anlise bastante simples e pode ser usada para corrigir distores dentro do prprio programa, embora apresente algumas deficincias.Trs crticas so apresentadas por Coady et.al. (2002). A primeira que a abordagem no diferencia entre nveis de intensidade de pobreza. No exemplo citado a pouco, faz diferena se 1/4 do pblico-alvo excludo composto pelos mais miserveis ou se composto por aqueles que esto prximos linha da pobreza. O mesmo se aplica para os includos erroneamente. A segunda crtica diz respeito ao fato de que a abordagem apenas apresenta o nmero de pessoas que recebem o benefcio e no explicita a diferenciao, em termos de quantidade, de recursos recebidos por cada beneficirio17. Por fim, a comparao entre programas
17 Como vimos quando tratamos da questo do seguro-desemprego, isso pode fazer bastante diferena no resultado da anlise.
126
dificultada pelo fato de que existe um trade-off entre os erros Tipo I e Tipo II: programas que tem baixos vazamentos tendem a apresentar baixa cobertura e vice-versa. Anuatti-Neto et al. (op. cit., p. 6) propem o uso de um indicador de focalizao no qual so atribudos pesos aos dois critrios de avaliao: eficincia e vazamentos. O indicador proposto o seguinte:
T = (PI PE )+ (1 )(NPE NPI )
Onde: T = indicador de focalizao; PI = proporo de famlias/indivduos pobres corretamente includos; PE = Proporo de famlias/indivduos pobres erroneamente excludos; NPE = Proporo de famlias/indivduos no-pobres corretamente excludos; e NPI = Proporo de famlias/indivduos no-pobres erroneamente includos; = fator de ajuste, onde 0 1. Como possvel observar, (T) encontra-se no intervalo -1<T<1, sendo que melhor o grau de focalizao quanto mais prximo de 1. No caso de T=1, a focalizao seria perfeita, o significa que todos os indivduos do pblico-alvo foram includos e foram excludos todos os indivduos de fora desse pblico. O termo [PI PE] representa a eficincia no alcance da poltica. Quando ele assume valor (1), significa que todas as famlias pobres foram includas. Quando assume valor ( 1), significa que todas foram excludas. Por sua vez, o termo [NPE NPI] representa uma medida do vazamento do programa. Em caso de assumir valor (1), significa que todas as famlias no-pobres foram devidamente excludas; em caso de valor ( 1), significa que todas foram indevidamente includas. O fator de ajuste ( ) normativo e pondera os dois critrios de avaliao. utilizado para representar um julgamento de valor, que depender de cada interveno. Mais ou menos peso poder ser dado ou para a incluso do pblico-alvo ou para a excluso correta dos indivduos fora do alvo. Em programas cuja prioridade maior elevar o bem estar do pblico-alvo, maior peso deve ser dado incluso correta dos pobres bem como a sua no excluso (ou seja, >0,5). De forma anloga, se maior prioridade for dada alocao correta de recursos escassos, ento maior peso deve ser atribudo ao termo que reflete os vazamentos do programa ( <0,5).
127
Para melhor entender o significado desse indicador, interessante supor a = 0,5. Seja IF = (PI NPI) um indicador de focalizao que avalia a diferena nas probabilidades de incluso no programa, entre famlias pobres e no-pobres. Note que se a escolha das famlias beneficirias fosse realizada de forma aleatria, E[IF] = 0. Assim, se IF>0, ento, o mtodo de seleo adotado possui uma capacidade de discriminar pobres e nopobres melhor que um simples sorteio. Cabe ressaltar que na situao acima, a capacidade de discriminao o nico critrio relevante. O grau de focalizao seria o mesmo se PI=1 e NPI=0,6, ou se PI=0,5 e NPI=0,1. Entretanto, pode-se defender que a primeira situao prefervel, uma vez que ela atende a todos os pobres. Trata-se de um critrio valorativo que d mais peso para a incluso de pobres do que para a excluso de no-pobres, fato captado na frmula que determina (T) pelo termo . Note que se = 1, ou seja, apenas o critrio de incluso de pobres considerado, ento (T) = PI PE. Nesse caso, uma soluo trivial e que maximiza o indicador de focalizao consiste na universalizao dos benefcios. Portanto, para 0 < < 1, ocorreria uma combinao desses dois critrios: discriminao e incluso dos pobres. Anuatti-Neto, Fernandes e Pazello (2000) sugerem trabalhar com 0,5 a 0,7. O indicador em comento permite a comparao entre programas, mas no considera a intensidade da pobreza, nem a diferenciao em termos de quantidade de recursos recebida por beneficirio. A primeira deficincia pode ser resolvida por meio da introduo de um novo peso, que seja capaz de refletir a distncia de cada indivduo em relao linha de pobreza18. Uma forma simples de se avaliar a focalizao consiste em observar o alcance dos programas por grupos de renda. Esse mtodo pode ser utilizado, inclusive, quando uma linha de pobreza no est definida ou quando informao sobre os no-beneficirios no est disponvel. Tem-se como exemplo hipottico o apresentado na Tabela 2 (adaptado de Grosh, 1994).
18 Para mais detalhes, ver Anuatti-Neto e Fernandes (op. cit. p. 8) ou Grosh (1994, p. 25).
128
Tabela 2
Alcance de dois programas por quintil de renda Exemplo 1 percentual dos beneficirios do quintil no total de beneficirios
2 QUINTIL 25,0% 20,0% 3 QUINTIL 20,0% 25,0% 4 QUINTIL 10,0% 10,0% 5 QUINTIL 10,0% 5,0% TOTAL 100,0% 100,0%
1 QUINTIL Programa A Programa B 35,0% 40,0%
Fonte: Adaptado de Grosh, 1994.
A Tabela 2 mostra o alcance de dois programas hipotticos por quintis de renda. Os erros de incluso de cada programa podem ser aferidos se uma linha de pobreza estiver definida. Suponha que a linha de pobreza esteja definida para incluir apenas o 1 quintil. Percebe-se que o Programa B possui menor vazamento que o Programa A, ainda que nada se possa dizer sobre os erros de excluso. Se a linha de pobreza inclusse os dois primeiros quintis de renda, os dois programas apresentariam a mesma taxa de vazamento, ainda que algum julgamento de valor pudesse ser feito sobre o fato do Programa B ter maior alcance no 1 quintil. Esse tipo de distribuio permite fazer comparaes entre pases ou regies com linhas de pobreza diferentes. No caso de o Programa A ter como referncia uma linha de pobreza que inclua os dois primeiros quintis e o Programa B apenas o primeiro, o Programa A apresenta menor taxa de vazamento, ainda que somente pelo fato de ser julgado por um critrio que no considera apenas o alcance da populao mais pobre (1 quintil).
Tabela 3
Alcance em dois programas por quintil de renda Exemplo 2 percentual dos beneficirios do quintil no total da populao do quintil
2 QUINTIL 74,0% 33,0% 3 QUINTIL 62,0% 25,0% 4 QUINTIL 60,0% 22,0% 5 QUINTIL 48,0% 12,0% TOTAL 66,8% 28,0%
1 QUINTIL Programa A Programa B 90,0% 48,0%
129
A Tabela 3 apresenta um segundo exemplo hipottico. De toda a populao pobre pertencente ao 1 quintil de renda, 90% recebe benefcios do Programa A e 48% recebe benefcios do Programa B. A porcentagem do total de beneficirios sobre o total da populao pobre foi calculada como a mdia da participao em cada quintil. primeira vista, poderamos concluir que o Programa A mais eficaz que o Programa B, j que apresenta uma cobertura maior em todos os quintis, em particular nos de mais baixa renda. A concluso vlida apenas se o pblico-alvo dos dois programas for o mesmo. Muitos programas focalizados no so direcionados populao pobre como um todo, e sim a um subgrupo especfico da populao pobre. Assim, o Programa B pode ser um programa de reforma agrria que tenha como foco apenas famlias com filhos em idade escolar. Dada essa condio de acesso, o alcance desse programa ser menor quando calculado sobre o total da populao pobre, e maior quando calculado sobre o total de famlias obedientes condio de acesso. Ainda que o denominador utilizado seja o mais adequado (como o uso total de famlias pobres com filhos em idade escolar em vez do total de famlias pobres) preciso ter cuidado ao avaliar os erros de excluso. Muitas vezes, um baixo grau de cobertura pode ser apenas reflexo dos poucos recursos disponveis ou falta de informao, no uma falha no processo de seleo.
4.6. Comentrios Finais Os conceitos e definies que envolvem o desenho de polticas focalizadas mostram que existe um amplo espectro de aplicaes dessas polticas e diversas questes que devem ser consideradas antes de sua implementao. A combinao de diversos mecanismos e mtodos permite que cada problema possa ser abordado de forma individualizada, de acordo com os objetivos especficos de cada interveno. A escolha do desenho ideal depende dos custos e dos benefcios decorrentes, que, por sua vez, so especficos a cada situao. Porm, as condies institucionais e polticas tm implicaes para a escolha final e devem ser consideradas com cuidado. A teoria apresentada serve apenas como referncia para a implementao de polticas focalizadas. Em muitos casos, so as condies especficas, estruturais ou transitrias de um pas ou regio que condicionam o resultado da interveno.
130
5. ESTUDOS DE AVALIAO DO CAPITAL SOCIAL
O capital social um conceito de ampla latitude que se refere s normas e s redes sociais que facilitam a ao coletiva com vistas ao benefcio mtuo19. A agenda internacional dos programas de combate pobreza incorporou o capital social das comunidades a partir da aceitao das recomendaes de Robert Putnam: (...) propostas para o fortalecimento das economias de mercado e das instituies democrticas [dos pases em desenvolvimento e em transio para o capitalismo] centramse quase que exclusivamente em deficincias no capital financeiro e humano (demandando, portanto, emprstimos e assistncia tcnica). Entretanto, as deficincias no capital social so no mnimo igualmente alarmantes. Onde esto os esforos para encorajar a formao de capital social? (Putnam, 1993: 38). Os efeitos esperados da promoo do capital social nas comunidades pobres deram sustentao terica implementao de estratgias e programas de combate pobreza rural com as seguintes caractersticas: recursos (a fundo perdido) aplicados em pequenos projetos locais, incorporando associaes comunitrias e/ou conselhos municipais na alocao e formulao; pequenas firmas locais na construo; e participao da comunidade beneficiria no financiamento e manuteno do projeto. Segundo essa concepo, tais mecanismos de interveno das polticas (policies) produziriam os incentivos necessrios gerao de capital social e, por conseqncia, desenvolvimento econmico local e rotas de sada da pobreza (Tendler, 2000). Essa modalidade de poltica pblica supe que, dada uma situao de equilbrio, caracterizada por relaes de dependncia/subordinao e reprodutora da pobreza, o programa operaria como um choque externo, por meio do qual o interesse das
19 Para uma reviso desta literatura, ver Woolcock (1998).
131
comunidades na obteno de um determinado bem geraria incentivos para o comportamento cooperativo, rompendo com a situao de equilbrio anterior. Nessa acepo, o capital social seria um recurso coletivo que emergiria como um resultado da interao entre atores racionais que reconheceriam a necessidade de cooperar entre si para obter benefcios mtuos. O capital social seria sinnimo de cooperao. Elemento essencial para a cooperao seria a existncia de relaes de confiana entre os membros do grupo20. Ainda que todos os atores saibam que tm a ganhar com a cooperao, a ausncia de confiana com relao ao comportamento futuro dos demais atores implica resultados no-cooperativos. Uma vez experimentados os benefcios derivados do comportamento cooperativo, os indivduos tenderiam a aumentar sua disposio para cooperar. O capital social seria uma espcie de recurso moral dos grupos sociais, recurso cuja oferta aumenta com o uso, em vez de diminuir, e que se esgota se no for utilizado (Hirschman, 1984). A estratgia de interveno considera que a reduo da pobreza depende da criao ou fortalecimento de capital social que seja capaz de mobilizar tanto recursos locais como recursos externos para enfrentar a pobreza, criando oportunidades de gerao de renda e mobilizando potencialidades locais. Assim, as polticas pblicas de combate pobreza, alm de trazer um efeito direto sobre o bem-estar da populao pobre, deveriam contribuir para criar capital social e detonar um processo de mobilizao das comunidades em favor do prprio desenvolvimento. So questes essenciais dessa estratgia: um conselho que conte com representantes comunitrios a operar como a instncia encarregada de tomar decises sobre a alocao dos recursos; e transferncia para organizaes comunitrias da responsabilidade sobre a implantao dos projetos. A criao e o adequado funcionamento de ambas as instituies teriam o objetivo de estimular a criao do capital, a participao local, a transparncia e a eficcia das aes. A hiptese subjacente que projetos com essas caractersticas estimulariam a organizao das comunidades, elevariam a participao da populao interessada nas decises sobre as
20 A literatura sobre capital social aborda a confiana simultaneamente como uma condio para a cooperao e como um contedo das relaes sociais, de tal sorte que resta no resolvida a questo da origem da disposio para a cooperao. Em qualquer de suas verses, contudo, a confiana um atributo social frgil, isto , pode desaparecer facilmente e exige lenta construo.
132
prioridades e na gesto dos recursos, melhorariam o foco do projeto21 e reduziriam problemas de m utilizao de recursos pblicos. Capital social um ativo intangvel cuja construo necessariamente um processo de longo prazo, condicionado tanto pela herana histrica e cultural das comunidades como pelos desafios e circunstncias que cada comunidade enfrenta cotidianamente. Avaliar os efeitos das polticas pblicas sobre o capital social, ou as relaes entre capital social e desempenho scio-econmico das comunidades, no nada simples. A simples obteno de medidas de capital social das comunidades a partir da construo de indicadores de capital social pode ser insuficiente para indicar o que realmente ocorreu. A suposio de que um projeto seja a nica fonte de capital social pode derivar de uma hiptese muito forte de isolamento da comunidade. Assumir que o capital social seja produto, em vez de causa das transformaes observadas em uma pesquisa, tem suas vantagens, mas tambm acarreta dificuldades para a anlise e para as formulaes claras de polticas. Vale apontar algumas dimenses importantes que interferem no processo de avaliao do capital social: o tempo e a amplitude do efeito. Na maioria dos casos, as avaliaes de capital social no contexto de programas de combate pobreza operam com prazos inadequados para captar o desenvolvimento e a maturao do capital social. Ou seja, o tempo se torna um fator limitante para a anlise. Os resultados dessas avaliaes devem sempre ser entendidos como um esforo para compreender o rumo e para identificar se as polticas/programas esto contribuindo para a construo de capital social, no para se atingir um resultado definitivo, preciso e afirmativo. Mesmo que o alcance da anlise no permita generalizaes sobre como montar programas/projetos que se fundam na busca estratgica de promover o capital social, trata-se de um esforo vlido, em especial, quando logra comparar duas situaes ou programas distintos. Menos ambiciosos em seus propsitos, estudos de avaliao, quando bem conduzidos, permitem distinguir as intervenes que esto tendo impacto sobre o capital social daquelas que no contribuem para promover a organizao e capacidade de mobilizar as energias sociais para aes que no poderiam ser levadas a cabo por indivduos e/ou famlias isoladamente.
21 Programa e projeto sero tratados indistintamente, ainda que em muitos casos haja diferenas conceituais e operacionais entre eles.
133
Os estudos de avaliao do capital social devem distinguir trs dimenses: a) a mensurao de variaes no capital social das comunidades; b) o capital social como varivel dependente; e c) o capital social como varivel independente. Cada dimenso da anlise deve considerar diferentes relaes de causalidade, bem como de variao intertemporal dos indicadores de mensurao. A mensurao de variaes no capital social das comunidades envolve a construo de indicadores capazes de medir variaes na natureza das relaes associativas entre os membros das associaes antes e depois da ao orientada a estimular sua ampliao ou construo. Esse tipo de estudo deve medir trs trajetrias possveis das formas de cooperao existentes nas comunidades: a) aquelas em que a situao se manteve inalterada, o que significaria que o programa avaliado no teve efeito sobre o capital social pr-existente; b) aquelas que alternativamente podem ter intensificado as prticas cooperativas, o que permitiria testar um efeito positivo do programa avaliado; c) aquelas em que as comunidades observadas podem ter reduzido seus laos associativos, o que indicaria a possibilidade de frustraes derivadas da experincia vivificada entre o perodo anterior e o posterior implementao do programa avaliado. Para fazer inferncias e extrair concluses com relao a qualquer dessas trajetrias possveis, os indicadores construdos para tal mensurao devem ser mantidos constantes para os dois perodos no tempo. Suponha-se a avaliao de um programa implementado no ano de 2004. A medio das variaes no capital social das comunidades deve observar os mesmos fenmenos no perodo anterior implementao do programa t0 e em um perodo posterior t1. Sem respeito estrutura lgica, no possvel fazer qualquer inferncia confivel sobre a trajetria do capital social das comunidades observadas. A ampliao do capital social s ter ocorrido se os indicadores examinados apresentarem uma variao positiva entre t0 e t1. O segundo item refere-se possibilidade de inferir se as variaes no capital social podem ser atribudas aos programas/projetos avaliados ou se, alternativamente, so explicados por outros fatores do ambiente. Neste tipo de estudo, o capital social avaliado como varivel dependente, isto , como tendo sua variao a ser explicada. Pelo teste das relaes entre o funcionamento das regras, pelas instituies do programa/projeto avaliado e pela medio das variaes no capital social das comunidades ser possvel inferir se os primeiros so capazes de explicar os segundos. Significa que o estudo de avaliao pretende examinar se as polticas e os
134
programas avaliados produziram efeitos e quais efeitos sobre o grau de organizao prvio das comunidades, ou seja, sobre o capital social. Neste estudo, no apenas essencial que os indicadores de mensurao sejam os mesmos para os dois perodos de tempo, correspondendo, t0 e t1, respectivamente, ao momento anterior e ao posterior implementao da poltica pblica avaliada. preciso ainda testar hipteses relativas a outros fatores do ambiente, evitando interpretaes falsificadas por fatores externos ao programa avaliado. Aqui, por externalidade, se entende que as variaes no capital social possam ser explicadas por fenmenos contemporneos ao programa avaliado. Nos estudos sobre capital social, constata-se que um conjunto de outros programas de combate pobreza so implementados simultaneamente. Efeitos positivos sobre o capital social das comunidades podem ser explicados pelos efeitos sinrgicos de todos os programas e no apenas pelo programa avaliado. Alternativamente, efeitos negativos sobre o capital social das comunidades podem ser derivados pela competio de outras polticas pblicas que distribuem os mesmos recursos com base em relaes clientelistas. Em qualquer dos casos, a avaliao do capital social como varivel dependente deve controlar os efeitos de fenmenos externos ao programa avaliado sobre as relaes cooperativas das comunidades. Alm disto, o exame rigoroso do capital social como varivel dependente deve controlar o fato de que na maioria dos casos o resultado das polticas/programas tambm depende do capital social prvio e da prpria acumulao de capital social ao longo da vigncia das polticas/programas. O duplo papel do capital social, como insumo necessrio para o xito das polticas/programas de combate pobreza e, ao mesmo tempo, como resultado dessas mesmas polticas/programas, torna complexa a anlise e requer cuidados com a interpretao dos resultados e das relaes causais que envolvem o capital social. Entretanto, a mera variao positiva dos indicadores s pode ser atribuda ao programa avaliado se o estudo de avaliao mantiver controladas outras variveis do ambiente no estabelecidas pelo programa em questo que possam eventualmente ter produzido esse efeito22.
22 Ver Captulo 2.
135
Em geral, os estudos de avaliao do capital social, como varivel independente, pretendem examinar se, de fato, o nvel de capital social tem efeitos sobre a situao prvia de pobreza das comunidades, ou seja, avaliar seu impacto. Em outras palavras, se a premissa dos programas de combate pobreza de que o capital social um recurso para a gerao de capacidade endgena de sada da situao de pobreza, o estudo do capital social como varivel independente deve testar se variaes no capital social das comunidades produziram rotas sustentadas de sada da pobreza. Mais especificamente, devem testar se o nvel de capital social afeta positivamente a capacidade de gesto coletiva dos recursos recebidos e em que medida esses efeitos tm sustentabilidade. Uma situao hipottica possvel de um programa que tenha sido bem focalizado e adequadamente implementado. Adicionalmente, tal programa foi capaz de produzir variaes positivas sobre o capital social prvio das comunidades observadas. Entretanto, o postulado de que o capital social produz efeitos positivos sobre a pobreza s seria confirmado se fosse possvel comprovar que as comunidades observadas saram da situao de pobreza por efeito de suas novas prticas cooperativas. Somente o teste e a comprovao emprica deste conjunto de relaes causais confirmariam a proposio de que o capital social uma varivel independente, capaz de integrar uma poltica realista de combate pobreza. Neste caso, mantm-se ainda mais necessrias as cautelas quanto s relaes de causa. plausvel supor que uma comunidade observada tenha reduzido seus nveis de pobreza, e esta reduo no possa ser explicada por variaes positivas nos nveis de capital social, mas por fatores externos. Um rigoroso estudo de avaliao no pode deixar de testar as hipteses relativas a tais fatores. Em resumo, a discusso sobre capital social impe um considervel desafio analtico. A idia geral de que existe uma forte correlao entre as caractersticas das comunidades sua histria, a capacidade de encontrar solues adequadas para seus problemas (que no estejam apenas baseadas em tradio ou em mera reciprocidade entre membros da comunidade) e a forma de conduzir programas sociais exige certos cuidados metodolgicos na construo de indicadores minimamente compatveis com o grau de dificuldade e a importncia do problema23. Para avaliar impactos do capital, comunidades de beneficirios de projetos e indicadores de capital social preciso considerar a dimenso
23 Estes problemas so semelhantes aos envolvidos na criao de variveis para a anlise de focalizao e de impacto de bemestar.
136
temporal adequada e isolar os efeitos do capital social pr-existente, bem como mudanas outras, que no aquelas pertinentes ao projeto em anlise, para tomar o capital social como uma varivel independente, causadora de impacto. A anlise do capital social implica a construo de indicadores que permitam uma clara indicao da direo dos efeitos e uma avaliao da forma de estruturao dos indicadores construdos a partir do instrumento de coleta de dados. Os estudos de avaliao do capital social devem se orientar para a construo de indicadores que possam ser objeto de anlise comparativa dos resultados auferidos em dois perodos e que possam ser medidos ao longo do tempo, permitindo, assim, tanto a anlise comparativa de indicadores como das relaes de causalidade mencionadas. A experincia emprica acumulada e a literatura sugerem a apresentao de alguns indicadores de maior importncia24.
5.1. Indicadores do Capital Social das Comunidades So recomendveis os indicadores a seguir. 5.1.1. O nvel e a natureza da organizao comunitria As diferentes comunidades observadas tendem a apresentar distintos nveis e formas prvias de organizao no momento t(0) seja por razo de suas tradies espontneas seja pelo impacto prvio de outros programas de interveno. Para examinar as variaes no t(1), necessrio distinguir o nvel prvio da organizao das comunidades bem como testar sua evoluo com base no mesmo indicador. Recomenda-se, para o aumento de confiana no modelo analtico, trabalhar com diferentes ndices de medidas. So sugeridos dois tipos de ndices relativos a diferentes modalidades de organizao comunitria, conforme a seguir.
5.1.2. ndice de participao comunitria Deve medir as formas de cooperao existentes no interior de uma comunidade, compreendendo tipos de atividades coletivas com
24 Ver Pope (2003), para uma reviso sobre indicadores de capital social.
137
diferentes exigncias de esforo para a obteno de bens coletivos. Pode envolver as seguintes informaes quantitativas: a) nmero de associaes comunitrias (de qualquer espcie) existentes na comunidade; b) nmero de equipamentos sociais mantidos pela comunidade (escolas, creches, clubes recreativos, etc.); c) nmero de atividades de mutiro (para qualquer finalidade) desenvolvidas nos ltimos dois anos; d) nmero de movimentos reivindicatrios organizados nos ltimos dois anos. 5.1.3. ndice de institucionalizao da associao comunitria Deve medir a densidade da associao do ponto de vista do envolvimento dos membros da comunidade no processo de tomada de decises e nas atividades coletivas. Pode envolver as seguintes informaes: a) reconhecimento da associao comunitria pelos moradores; b) nmero de scios da associao; c) participao dos scios na tomada de decises; d) fontes de recursos da associao (contribuies dos scios, externos, recursos pblicos, atividades comunitrias, etc.); e) periodicidade das reunies da associao; f ) taxa de renovao do corpo de diretores; g) anos de existncia da associao; h) atividades de prestao de contas dos scios. A experincia em avaliao de projetos mostra que no trivial captar, com preciso, a verdadeira participao das comunidades nos processos sociais. Qualquer um dos indicadores tomados isoladamente, ou de forma automtica, pode induzir a erros grosseiros. Qual o significado do nmero de pessoas que participam das reunies? Pode-se objetar que muitos esto apenas presentes, mas no participam de fato. So meros acompanhantes (ou esto no local por razes que nada ou pouco tem a ver com a prpria reunio). Como separar resultados amplamente majoritrios e legtimos de votaes daqueles nos quais a maioria folgada pode traduzir apenas a presena de mecanismos de controle que pouco tem a ver com os processos de participao? Para ganhar confiana na construo dos indicadores recomendvel que sejam empregadas diversas informaes na construo de um mesmo indicador. Diferentes questes no instrumento de coleta de dados devem permitir medidas de maior preciso. Por isso, ganham importncia a lista de informaes citadas e as estratgias de construo de indicadores sintticos. tambm recomendvel que a aplicao de questionrios fechados seja complementada com entrevistas de carter qualitativo e investigativo junto s lideranas e prpria comunidade.
138
5.2. Indicadores da Existncia Prvia de Capital Social nas Comunidades Os estudos de avaliao que pretendem examinar a variao do capital social das comunidades devem testar as hipteses referentes existncia prvia de capital social anterior interveno da poltica pblica sob avaliao. O exame no pode se limitar apenas s variaes no capital social das comunidades, mas tambm testar as variaes. Caso as variveis sejam positivas, podem ser atribudas poltica em questo. Sugesto plausvel a utilizao de indicadores orientados a testar a natureza prvia da experincia comunitria. Veja-se:
5.2.1. ndice de tradio comunitria Deve medir se a existncia de vida associativa constitui uma espcie de patrimnio da comunidade. A avaliao busca conhecer se a confiana e a cooperao pautam as relaes entre os membros da comunidade na medida em que, tendo se manifestado por um longo perodo de tempo, cristalizaram-se como normas sociais. Pode ser construdo com base nos seguintes aspectos: a) tradio de trabalhos coletivos na comunidade (referncia de medio = anos); b) tradio de manuteno coletiva de bens pblicos (escolas, capelas, etc.) na comunidade (referncia de medio = anos); c) tradio de organizao de eventos comunitrios (referncia de medio = anos); d) tradio de associao com finalidades reivindicativas (referncia de medio = anos). 5.2.2. Nvel de organizao da sociedade civil Refere-se densidade e natureza da vida associativa no nvel municipal. Busca medir a extenso do associativismo no mbito do municpio no que se refere expresso numrica, tipo e tempo de existncia. As informaes para construo desse indicador podem ser as seguintes: a) nmero de clubes esportivos,multiplicado por seu tempo mdio de existncia; b) nmero de associaes sindicais, multiplicado por seu tempo mdio de existncia; c) nmero de associaes religiosas, multiplicado por seu tempo mdio de existncia; d) nmero de associaes reivindicatrias, multiplicado por seu tempo mdio de existncia; e) nmero de associaes de moradores, multiplicado por seu tempo de existncia; f ) nmero de partidos polticos com representao na cmara municipal.
139
Tambm neste caso, a anlise deve ser cautelosa, e as interpretaes apoiadas em conhecimento mais aprofundado das comunidades. Tem sido muito comum, em estudos de avaliao, associar, de forma automtica, a presena de associaes de carter poltico a um nvel mais desenvolvido de capital social, ou desqualificar o papel de organizaes como clubes esportivos e associaes religiosas. Esse tipo de procedimento deve ser evitado, pois, em algumas comunidades, o capital social se desenvolve a partir do clube de futebol e da igreja, e no do sindicato ou de uma luta poltica em torno de um objetivo conjuntural.
5.3. Indicadores do Capital Social nos Conselhos A maioria dos programas sociais incorporou a idia de utilizar algum tipo de conselho comunitrio, municipal, especfico do programa, especfico para uma rea (sade, educao, desenvolvimento rural) na gesto das polticas pblicas. A intensidade e a abrangncia da participao dos conselhos variam de programa para programa. Em alguns casos, os conselhos so apenas consultivos; em outros, tm a responsabilidade de definir diretrizes, prioridades e tomar decises sobre a alocao dos recursos disponveis. Dimenso importante da avaliao dos efeitos das polticas pblicas sobre a construo do capital social, e do capital social sobre a eficcia das polticas, refere-se precisamente ao impacto da existncia de conselhos de gesto e alocao de recursos sobre a construo do capital social. Devese medir o papel do conselho tomado como varivel independente, admitindo que sua existncia e desempenho afetam a disposio participativa e associativa das comunidades observadas. Para tanto, necessrio construir um indicador especfico de anlise.
5.3.1. Desempenho dos conselhos municipais Os dados desse indicador possibilitam medir a composio, representatividade e mecanismos de funcionamento do conselho. As seguintes informaes podem ser utilizadas: a) tempo de existncia do conselho; b) funes e atividades desempenhadas pelo conselho no projeto; c) percentual de representao das entidades comunitrias locais (0% a 100%); d) percentual de freqncia do prefeito s reunies do conselho (0% a 100%); e) percentual de freqncia das associaes s reunies do conselho (0% a 100%); f ) regularidade das reunies do conselho (nmero de reunies
140
anuais); g) realizao de atividades de superviso durante a implementao dos projetos (nmero de visitas por projeto financiado); h) atividades de orientao das comunidades (nmero de eventos anuais); i) nmero de demandas aprovadas pelo conselho e de projetos implementados; j) nmero de demandas rejeitadas e razes de sua rejeio; l) critrios empregados para seleo de projetos; m) realizao de atividades de mobilizao e organizao comunitria; n) existncia ou no de liderana forte, competente e comprometida no conselho; o) tipo de relao entre o conselho e o poder pblico municipal; p) tipo de relao entre o conselho e o poder pblico estadual. O indicador desempenho dos conselhos municipais um indicador sinttico, porque as informaes aqui destacadas, se tomadas isoladamente, pouco significam. Reunies regulares podem, por exemplo, ser o resultado de uma exigncia legal, cumprida burocraticamente sem maior contedo ou interesse para as comunidades, ou podem refletir um nvel mais elevado de participao. Um grande nmero de pessoas participantes com pouca representatividade pode significar menos que uma reunio com poucos participantes com liderana e insero na comunidade. Em alguns casos, reunies freqentes podem revelar situao de conflitos. Situao contrria pode resultar mecanismos sociais de deciso eficientes, que no exigem tantas reunies. A combinao e a anlise qualitativa das informaes permitem fazer inferncias mais precisas sobre o desempenho dos conselhos. 5.4. Indicadores de Desempenho da Poltica Pblica Para examinar a variao do capital social como varivel dependente de uma poltica pblica, deve-se supor que a reao e o comportamento das comunidades e dos grupos sociais beneficirios de programas pblicos so em grande parte derivados das regras formais de gesto, isolando essa varivel do contexto social e poltico no qual so implementados. Trata-se, portanto, de examinar as diversas dimenses da gesto do programa (composio, funcionamento e relao com as associaes comunitrias). Os indicadores abaixo so sugeridos. 5.4.1. Desempenho da equipe gestora A depender do desenho do programa em questo, a equipe pode ser ligada ao governo estadual, nacional ou municipal, ou mesmo formada em combinao com ONGs. Informaes sobre os seguintes aspectos devem ser levantadas:
141
composio das equipes (em termos de nmero, qualificao e relao com o poder pblico estadual e com os municpios); extenso em que os compromissos assumidos pela equipe gestora parecem crveis aos conselhos e associaes; extenso e qualidade de eventos de treinamento e qualificao dos conselheiros municipais e lideranas comunitrias; fluxo de liberao dos recursos e a identificao de seus pontos de veto; publicidade e coerncia dos critrios para liberao de recursos. Os estudos de avaliao do capital social revelam que os mecanismos e as regras de gesto dos programas podem operar como sinalizadores para as comunidades sobre comportamentos que seriam aceitveis e desejveis no mbito do programa. Nesse sentido, as regras de gesto afetam a formao do capital social na medida em que indicam quais os tipos de associaes e de atitudes tendem a ser premiadas com os recursos e quais no. Por exemplo: as regras sinalizam que as decises das associaes e dos conselhos sero, de fato, levadas em conta pela burocracia do programa, ou podem ser mudadas pela ao de um poltico amigo, que d uma palavrinha com os responsveis e atende a demanda da comunidade, canalizada, neste caso, por uma liderana local que opera, provavelmente, como cabo eleitoral do poltico amigo. O exame cuidadoso dessas regras e mecanismos, bem como a construo de algum indicador sinttico, pode permitir uma avaliao mais precisa se (e em que medida) o programa avaliado produziu estmulo ou frustrao em relao promoo de prticas associativas. O conjunto de indicadores apresentados procura cobrir as dimenses temporal e de mbito na avaliao do efeito de programas no capital social em comunidades de beneficirios. Intenta ainda permitir, pelo caminho da mensurao, a identificao de causas exgenas, como a organizao prvia dos assentamentos. Tem como objetivo mais ambicioso formar uma base slida para que se avalie o impacto do capital social criado pelo programa nos indicadores de bem-estar dos beneficirios do programa e de suas comunidades. Esse objetivo demanda o uso de indicadores sintticos e de tcnicas que os relacionem com os indicadores de bem-estar, tudo o mais controlado. Algumas metodologias para avaliar este tipo de impacto so apresentadas a seguir. Sua aplicao adequada exige no s cuidadosa construo dos indicadores baseados em instrumentos fidedignos de coleta e com corretos procedimentos amostrais , mas tambm conhecimento do objeto de anlise.
142
No presente trabalho, a discusso centra-se no impacto de polticas de combate pobreza; polticas essas relacionadas distribuio de ativos (basicamente infra-estrutura) no contexto de municpios. Temporalidades distintas e novos mbitos demandam novos indicadores e a aplicao adequada dos instrumentos metodolgicos disponveis. Portanto, vale o alerta de que nenhuma receita substitui o conhecimento aprofundado do assunto que se deseja analisar. O Anexo 6 apresenta um conjunto de metodologias de construo de indicadores de capital social e sua anlise estatstica. O objetivo da anlise estatstica do capital social complementar os outros nveis de anlise e testar as hipteses relativas s relaes de causalidade entre os programas de interveno pblica, variaes no nvel de capital social das comunidades e combate pobreza. Os anexos seguintes, 7 e 8, apresentam algumas tcnicas para construo de indicadores agregados de capital social e para a validao de variveis latentes, que so aproximaes a variveis indicadoras de capital social obtidas por meio de entrevistas de percepo dos agentes.
143
144
6. ANLISE EXPLORATRIA DOS DADOS: ANLISE DE CORRESPONDNCIAS MLTIPLAS
O perfil dos domiclios de uma comunidade e de suas relaes com diferentes instncias de poder local e central, assim como com um conjunto vastssimo de fatores de natureza poltica, econmica, ambiental, tecnolgica e institucional, envolve um conjunto amplo de aspectos representados por variveis de distinta natureza, nominais, categricas, binrias, cujas caractersticas so determinadas, inclusive, pela escolha do instrumento de coleta adotado. A relao entre essas variveis, ainda que faam parte de um modelo formal de anlise, no pr-estabelecida. Mesmo para um grupo de pesquisa com larga experincia de campo, difcil antecipar qual ser o conjunto de correlaes, o feixe de correlaes mais intenso entre variveis partindo do modelo formal e da experincia prvia. O uso de tcnicas exploratrias de dados torna-se mais necessrio quando dimenses amplas esto envolvidas. Para muitos projetos, o impacto em termos de ganho de bem-estar de domiclios beneficirios no se revela em um perodo curto de tempo, por melhor que sejam o delineamento da amostra e o rigor utilizado nas tcnicas economtricas. O recurso literatura (trabalho seminal de Deaton, 1992) nem sempre d conta das caractersticas especficas de um espao geogrfico nico em sua combinao das dimenses: de capital humano (uso efetivo das habilidades pelo pblico-alvo do estudo); das caractersticas edafoclimticas da regio (mais marcantes em regies rurais pobres); de sade econmica e da acumulao de capital prvia do pblico investigado (e das restries impostas ao acesso a crdito pela desigualdade na posse de ativos e pelas falhas de mercado,
145
caractersticas de regies em que a desigualdade social muito acentuada); de capacidade das comunidades e do poder local em criar redes que geram efetiva troca de informaes na soluo de problemas locais e na criao de um ambiente de confiana que permite a adaptao a mudanas originadas de choques exgenos. Essa multidimensionalidade da natureza de estudos de avaliao de programas de combate pobreza. Os efeitos dos financiamentos de infraestrutura so condicionados pelas quatro dimenses citadas e, por seu turno, so de vital importncia na articulao entre elas (Bardhan & Mokherjee, 1999). A articulao entre um programa de combate a pobreza e as quatro dimenses pode ser apreendida em um momento especfico do tempo pela anlise multivariada, sugerida aqui como instrumento de investigao exploratrio. Ela permite identificar, no (hiper) espao dos indivduos (os domiclios, as comunidades e mesmo os municpios, dependendo do grau de agregao desejado), o feixe de variveis mais correlacionadas aos planos de projeo identificados como mais importantes e dotados de significado25. No (hiper) espao das variveis ser possvel no s buscar o significado do agrupamento dos indivduos, mas as principais variveis responsveis pela qualificao desses agrupamentos. Finalmente, as variveis mal representadas nos planos mais importantes podem sugerir posterior refinamento dos modelos, seja de avaliao dos impactos sobre o bem-estar seja na construo de indicadores para o capital social. O mtodo multivariado permite incorporar variveis (suplementrias) que no participam dos clculos para obteno dos fatores e dos planos fatoriais. Elas podem aparecer ilustrando aspectos relevantes da anlise. Nesse contexto, variveis latentes, construdas em uma anlise de capital social, referindo-se a municpios e comunidades, podem ser incorporadas como variveis suplementrias, permitindo a tipificao de municpios dotados de certo capital social em relao a outras dimenses (de capital humano, fsicas e econmicas). Assim, seria possvel observar se municpios com maior valor em capital social estariam localizados (em determinado plano) em regies de maior dotao de capital fsico e econmico.
25 Vale lembrar que na seo sobre capital social, aplicou-se um tipo de anlise multivariada, a anlise dos componentes principais, para sintetizar indicadores de capital social. O uso exploratrio visa reduzir um pouco o espao de complexidade apresentado por problemas multidimensionais.
146
O uso de mtodos exploratrios nada tem a ver com a busca ad hoc de variveis para o modelo. Para cada bloco de anlise correspondendo, por exemplo, a cada uma das 4 dimenses apresentadas acima devem ser definidas variveis segundo o modelo terico-analtico adotado e em conformidade com o planejamento realizado para os instrumentos de coleta de dados. O modelo terico-analtico permitir formular hipteses sobre as relaes entre as variveis. Alguns dos resultados esperados de programas sociais complexos (como reforma agrria) poderiam ser previamente formulados: as aes do programa tendem a se concentrar em algumas regies, devido at mesmo ao efeito demonstrao (o aparecimento de fenmenos de dependncia de caminho, a despeito de uma focalizao pr-definida). No limite, podem ocorrer fenmenos de dependncia de caminho em que o sucesso de um assentamento , motiva assentamentos prximos, criando uma autocorrelao espacial; as variveis de carter meso-ambientais tm correlao com os indicadores scio-econmicos, ou seja, h uma interao positiva entre locais com melhores condies edafo-climticas e comunidades mais propensas a uma melhor gesto do agronegcio; as variveis relacionadas aos indicadores de nvel de capital humano esto relacionadas aos de eficincia ou uso eficiente dos recursos disponveis; os programas descentralizados esto associados a formas mais geis de organizao do capital social. No mbito da anlise exploratria, fenmenos como vieses de seleo no so controlados, mas podem ser causa de alguns resultados obtidos: uma comunidade com maior capital social previamente acumulado pode ter mais facilidade em se organizar para obter um financiamento de programas do tipo reforma agrria assistida pelo mercado, captar adequadamente os incentivos dados pelo programa e obter melhores resultados, em termos de indicadores de desempenho. O papel de atribuir ao programa o resultado obtido fica facilitado pela percepo dada anlise exploratria de que o problema existe. Medir distncias entre os grupos de amostras no o objetivo da anlise, como o seria em uma anlise discriminante ou de resposta quntica. O que se espera encontrar transies que apontem, nesse nvel, para a existncia de relaes no-lineares entre variveis e que esse caminho transitrio seja, em parte, relacionado presena do programa (projetos produtivos e de infra-estrutura em que os resultados devem permitir a identificao do papel do programa e de seu efeito persistente sobre a vida das comunidades em situaes como instalaes e
147
benfeitorias). tambm importante permitir a identificao do papel de investimentos realizados antes do programa e de vantagens locais que potencializam os efeitos do prprio programa. Muitas vezes, um nvel excessivo de infra-estrutura poderia ser relacionado a uma escolha equivocada de prioridades das comunidades das tarefas a serem conduzidas pelos assentamentos em sua trajetria rumo emancipao. como se o esforo estivesse canalizado para casas e barraces, no para a instalao de cultivos permanentes ou formao de pastos. Isso d idia das relaes no-lineares entre variveis, o que pode ser percebido na anlise exploratria do tipo aqui proposto. Em resumo, o objetivo da incluso da anlise exploratria permitir melhor definio de tipos de indivduos (em anlises separadas para os distintos nveis de agregao), segundo as variveis que pertencem s quatro dimenses mencionadas, de forma a ilustrar e indicar os nexos mais relevantes. Permite ainda confirmar/refutar argumentos sobre a insero do programa que a relaciona a impactos ocorridos sobre o bem-estar e/ou sobre a atuao das comunidades na busca da soluo de seus problemas efetivos. A Anlise de Correspondncias Mltiplas (ACM) enquadra-se s especificidades de um estudo exploratrio. J a que se segue, faz uma sntese da literatura recente: os trabalhos de Escofier (1988) e Lbart (1977). A pesquisa agropecuria tem feito uso, de forma crescente, de mtodos fatoriais de anlise de dados associados a mtodos classificatrios para estudar tipologias de produtores e regies na avaliao de programas sociais (Everitt, 1981; Silveira et alii, 1999). A seguir, apresenta-se um exemplo da organizao de variveis em blocos, em estudos de avaliao de programas sociais aplicados a um ambiente predominantemente rural ou marcado pela importncia das atividades agrcolas. Tal exemplo ilustra a preparao para a aplicao da anlise exploratria. O Quadro 3 resume o conjunto de procedimentos envolvidos neste tipo de estudo.
6.1. Blocos de Variveis Definidas as quatro dimenses importantes para o estudo que orientam a formao de quatro blocos de variveis e de indicadores utilizados na anlise de correspondncias mltiplas. Em cada bloco, as fontes dependem do nvel de agregao da anlise.
148
Variveis e indicadores podem ser utilizados em uma anlise exploratria de um programa de combate pobreza rural. Na anlise exploratria, as variveis so transformadas em variveis categricas e inseridas no modelo em duas modalidades bsicas: ativas e suplementares. A apresentao em blocos visa, apenas, organizar a apresentao, pois os blocos no estaro representados nas entradas e nem serviro para organizar as sadas do procedimento ACM.
6.1.1. Bloco de capital fsico indicadores externos de distncia dos mercados de produto (ndice composto de distncia em km do mercado regional e da qualidade do acesso; ver Buainain et alii, 2000); qualidade das terras (ndice composto de topografia e fertilidade); risco de seca (Buainain et alii, 2000) e regime hdrico (Banco do Nordeste); ndice de desertificao; disponibilidade de recursos hdricos (ndice composto de tipos de fontes de recursos hdricos e da finalidade: consumo humano, consumo animal,salada pequena irrigao, irrigao comercial). ,
149
Quadro 3 Resumo esquemtico para o estudo das populaes e seleo das variveis relevantes para a anlise do Programa de Combate Pobreza Rural II, sob a aplicao da Anlise de Correspondncias Mltiplas
Beneficirios do Programa PCPR II Domiclios/Comunidades
No beneficirios do do Programa PCPR II
Outros/Controle
Questionrio por levantamento
Variveis Quantitativas Nominais Variveis Qualitativas Ordinais
Questes = variveis
Tabulao de dados
Seleo de variveis por meio de estatsticas descritivas univariadas (distribuies de frequncia, normal plot e box plot
Gerao de novas matrizes de dados
Matriz de variveis quantitativas e qualitativas
Matriz disjuntiva completa
Aplicao da ACM
Tipologia de linha = unidades produtivas
Tipologia de colunas = classes de variveis
Sobreposio das duas tipologias
Classificao das unidades em grupos semelhantes
150
6.1.2. Bloco sobre indicadores de condies scioeconmicas (acumulao de capital prvia) indicadores de posse e propriedade da terra e suas formas de utilizao (distribuio da posse da terra, ndice de Gini); uso do solo, composio da produo; indicadores da importncia da atividade agrcola e de seu dinamismo (ver Banco do Nordeste, 1995; Buainain et al., 2000); indicadores de produo em nvel de beneficirios; uso da fora de trabalho e nvel de emprego; indicadores do nvel tecnolgico das distintas modalidades de explorao (ndice de desfrute na pecuria; produtividades parciais rendimentos fsicos; utilizao de insumos modernos e de prticas agrcolas); disponibilidade e oferta de bens pblicos (ndice composto ou um conjunto de indicadores per capita de equipamentos pblicos disponveis: sade e educao); condio scio-econmica das comunidades e dos beneficirios (escolaridade, renda per capita); condio de sade dos beneficirios (morbidade, mortalidade infantil, esperana de vida, presena de doenas graves em beneficirios); indicadores de movimentao financeira e de disponibilidade e acesso ao crdito; modalidades de comercializao de produtos; indicadores de modalidades de acesso a financiamento pelas comunidades e pelos beneficirios em programas centralizados, descentralizados ou por intermdio de formas privadas e/ou comunitrias. 6.1.3. Bloco de capital humano indicadores de antecedentes histricos dos beneficirios do programa: ndice de migrao e origem da famlia (ver Buainain et alii, 1999); ndice de caracterizao das famlias de beneficirios: razo de dependncia (crianas/adultos), patrimnio das famlias, indicadores do nvel de escolaridade; indicadores de formao tcnica do municpio e/ou indicadores de formao dos beneficirios; indicadores de disponibilidade de assistncia tcnica: disponibilidade de profissionais e ocorrncia de cursos de formao profissional.
151
6.1.4. Indicadores de capital social e coletivo indicadores de capital coletivo (comunidades): ndice de infraestrutura prvia (Buainain et alii, 1999); ndices de capital social: participao comunitria e desempenho municipal (ver Item 5.2.1).
6.2. Preparando os Dados A ACM estuda a ligao entre variveis qualitativas definidas sobre um conjunto de indivduos e, por isso, a matriz de entrada de dados deve ser construda s de variveis qualitativas. Surge a necessidade de transformar as variveis quantitativas em qualitativas e, fase seguinte, uma codificao condensada deve ser criada. As variveis quantitativas so convertidas em qualitativas codificandose em classes os seus valores pela subdiviso em intervalos de variao. Dois objetivos principais levam a esse procedimento. Em primeiro lugar, a necessidade de homogeneizar a massa de dados composta de variveis numricas e de variveis qualitativas, a fim de permitir sua anlise conjunta (transformao de idade, varivel numrica, quantitativa discreta, em uma varivel qualitativa, permitindo tratar o conjunto dessa varivel junto com outras de natureza qualitativa). Em segundo lugar, h interesse na codificao de variveis qualitativas mesmo quando se dispem de um conjunto de variveis numricas, sobre o qual uma anlise de componentes principais (ACP) pode ser aplicada. Com efeito, uma ACM dessas mesmas variveis codificadas em classes faz outra aproximao dos dados. A ACM de variveis numricas codificadas em variveis qualitativas uma aproximao de uma anlise no linear no seguinte sentido: procuram-se variveis sintticas que sejam combinaes lineares de quaisquer funes das variveis estudadas. Essa codificao permite estudar variveis cujas distribuies so muito irregulares e para as quais o coeficiente de correlao uma medida inadequada (se o valor observado de uma varivel para um determinado domiclio muito diferente dos demais, ele influenciar de maneira preponderante sobre um coeficiente de correlao; entretanto, uma codificao qualitativa poder neutraliz-lo).
152
6.3. Escolha do Nmero de Classes Para codificar por classes uma varivel quantitativa, preciso dividir os valores de uma varivel numrica, segundo seu intervalo de variao, em subintervalos, definindo-os como modalidades. Obtm-se, assim, o nmero de classes e os limites de cada classe. Cada reduo do nmero de classes reagrupa indivduos cada vez mais diferentes e, dessa forma, perde-se muita informao. As modalidades passam a cobrir situaes com muita variabilidade e seu estudo no evidenciar fenmenos muito gerais. Aumentando-se o nmero de classes, surge o risco de se obter classes de efetivos fracos e sujeitos a inconvenientes. Se o efetivo da populao muito grande, o risco menor e possvel escolher um grande nmero de classes. Contudo, um nmero de classes excessivamente grande gera problemas. Quanto maior o nmero de classes, maior o risco de surgir ligaes pontuais entre quaisquer modalidades. De outro lado, cada varivel intervm na anlise pelo subespao de (n-1) dimenses geradas pelas suas (n) modalidades. Quando se aumenta (n), aumenta o nmero de fatores sobre os quais uma varivel pode influenciar; ademais, o aspecto sinttico da anlise no aperfeioado, ocorrendo exatamente o contrrio. A experincia mostra que no conveniente ultrapassar o nmero de oito modalidades para cdigos de variveis quantitativas e que quatro ou cinco so suficientes.
6.4. Escolha das Classes Para escolher as classes, deve-se examinar a existncia de classes nicas ou clssicas para a varivel medida. Quando essa determinao no suficiente, estudam-se as irregularidades da subdiviso dos valores. Para tal, deve-se construir um histograma com classes numerosas. Os vazios nessas subdivises sugerem o corte do intervalo de variao. Quando os dois princpios anteriores no se impem, deve-se realizar uma diviso sistemtica do intervalo de variao. O princpio norteador da operao a obteno de classes de efetivos iguais, de preferncia com a mesma amplitude.
153
Para que as comparaes de classes representando certo nmero de indivduos tenham sentido, elas devem ser anlogas quanto aos seus efetivos (freqncias). Tal fato importante na ACM, pois a distncia das modalidades em relao ao baricentro cresce quando o efetivo decresce. Esse procedimento evita as classes de fraco efetivo, tambm chamado de efetivo perturbador. O perfil dessas classes muito sensvel s variaes da populao, o que se torna um incmodo quando os indivduos dessa populao vm de uma amostragem. Ele permite expressar os valores numricos da varivel quantitativa em classes de valores, que passam a ser atributos da unidade produtiva. Cada classe passa a ser representada por um cdigo. O procedimento de preparo dos dados para o clculo das distncias X2, e o sistema de ponderao correspondente est detalhado em Escfier (1988) e em Lbart (1977)26. Em resumo, o objetivo da incluso da anlise exploratria permitir uma melhor definio de tipos de indivduos (em anlises separadas para os distintos nveis de agregao), segundo as variveis que pertencem s quatro dimenses mencionadas, de forma a ilustrar e indicar os nexos mais relevantes. Permite ainda confirmar/refutar argumentos sobre a insero do programa, principalmente aqueles que se relacionam a impactos sobre o bem-estar e/ou sobre a atuao das comunidades na busca da soluo de seus problemas efetivos.
26 Esse conjunto de procedimentos executado pelo software WINSPAD3 (http://www.cisia.com).
154
7. PLANO AMOSTRAL
O desenho de um plano amostral para a avaliao de impactos scioeconmicos de um programa pode representar um enorme desafio. Um conjunto de fatores deve ser considerado: a complexidade das questes que devem ser respondidas; a sofisticao dos instrumentos analticos propostos; a precariedade das informaes disponveis; e as dificuldades de obteno de informaes para fins de amostras por meio de procedimentos tpicos (como a elaborao de cadastros/listagens e o elevado custo de obteno dessas informaes). A experincia tem demonstrado que a melhor estratgia a ser adotada em relao ao desenho de uma amostra a simplicidade e a aceitao das restries colocadas pelo binmio disponibilidade de informaes e custo. Sem comprometer o rigor tcnico necessrio, busca-se maximizar a utilizao de informaes disponveis e minimizar o recurso produo primria de dados para o desenho amostral. A outra opo seria desenhar um modelo amostral mais sofisticado, em teoria, superior ao resultante de uma estratgia mais simples. No entanto, a implementao de modelos amostrais mais complexos depende de considervel massa de informaes no disponveis que devero ser geradas durante o processo de avaliao em meio a imprevisveis dificuldades logsticas, com custos elevados e resultados duvidosos. As experincias com trabalhos de campo no meio rural revelam que no vale a pena enveredar por essa via,e que o eventual benefcio gerado pelo produto final no justifica nem a elevao de custos nem os riscos envolvidos27. O objetivo principal das amostras obter informaes que permitam estimar e comparar caractersticas de bem-estar traduzidas em variveis que representem as dimenses consumo, sade, educao e capital (social, fsico, econmico) para diferentes grupos de populao:
27 A equipe responsvel pelo desenho da metodologia de avaliao de impactos scioeconmicos do Programa Cdula da Terra (ver Buainain et allii., 1998) e do Programa de Combate a Pobreza Rural II, ambos na Regio Nordeste do Brasil, enfrentou enormes problemas na execuo do estudo de avaliao associados s dificuldades para a obteno das informaes necessrias para a preparao do Plano Amostral. Essas dificuldades mostraram-se insuperveis, e a equipe teve que aceitar as restries de informao/custo/tempo e reformular o plano amostral. Os resultados preliminares obtidos em pesquisas de campo confirmaram a robustez do modelo amostral implementado e que as eventuais perdas no comprometeram a qualidade dos resultados produzidos pela pesquisa.
155
populao de beneficirios do programa (populao beneficiada), que inclui comunidades com projetos do programa; populao de beneficirios de outros programas (populao outros), que inclui comunidades contempladas com outros projetos semelhantes ao do programa, mas com alocao de recursos e governana distinta (programas centralizados versus programas descentralizados); populao de controle (populao controle), que inclui comunidades no contempladas seja com projetos do programa (populao beneficiada) seja com projetos de programas de alocao/governana distinta (populao outros), no perodo do estudo. A segmentao das populaes deve estar fundamentada nos objetivos tanto do programa como do estudo de avaliao de seus impactos. A comparao com outros programas desejvel quando se trata de programa-piloto, em que se desejam testar sua eficincia diante de programas com governana distinta (programas centralizados versus programas descentralizados). Deve-se ressaltar a complexidade da tarefa e indicar que este documento contm apenas linhas gerais de uma concepo do desenho amostral que pode ser adotada em estudos de avaliao de programas de combate pobreza rural. Um desenho amostral completo tarefa que s cabe no bojo da prpria execuo do estudo. A seguir, apontam-se alguns dos desafios a ser enfrentados para a formulao de um desenho amostral.
7.1. Sorteio em Mltiplos Estgios Uma amostra pode ser extrada em mltiplos estgios. Os estgios so definidos em seqncia: Primeiro estgio: Sorteio de municpios (unidades amostrais primrias). A restrio da amostra a um conjunto de municpios sorteados favorece um maior controle do trabalho de campo e, alm disso, pode ser til para a construo do cadastro de comunidades no beneficiadas. Segundo estgio: Sorteio de comunidades (unidades amostrais secundrias) nos municpios sorteados. Terceiro estgio: Sorteio de domiclios (unidades amostrais tercirias) nas comunidades sorteadas. O procedimento em mltiplos estgios tende a inflacionar o erro amostral, espera-se, no entanto, que um bom procedimento de estratificao
156
compense o aumento no erro. Da a importncia dada criao de estratos com alta homogeneidade interna.
7.2. O Que Uma Comunidade? Um desafio a ser vencido encontra-se na prpria noo de comunidade. provvel que as pessoas no tenham dificuldades para se identificar como membros de uma comunidade definida e nomeada e nem para delinear os limites da comunidade a que pertencem. Em muitos pases, as comunidades rurais tm demarcao geogrfica e populacional precisas, a tal ponto que as famlias carregam no nome referncia comunidade a que pertencem. No Brasil, particularmente na Regio Nordeste, marcada por fortes movimentos migratrios, a delimitao das comunidades rurais algo muito mais impreciso. As famlias tendem a se identificar como residentes ou provenientes de espaos geogrficos ampliados, nos quais convivem vrias comunidades. Essas comunidades podem ser habitaes beira de uma estrada; uma vila de moradores de uma propriedade rural; as famlias de um assentamento do Incra; os membros das associaes criadas para participar de um programa governamental; o conjunto de beneficirios de polticas pblicas particulares; os membros de uma igreja e ou de uma associao comunitria (formal ou informal). Para alguns dos exemplos citados, a idia de comunidade est associada a um espao geogrfico mais ou menos identificado e identificvel (moradores do Riacho do Navio, assentados do Projeto de Assentamento Mata Fria, que vivem em torno ao Centro Comunitrio do Projeto). Em outros casos, o fato gerador da comunidade no remete a uma localizao to precisa (comunidades cimentadas pela ao das igrejas). Outro desafio refere-se pertinncia de um domiclio a uma comunidade particular ou estabilidade dos membros das comunidades rurais. Estudos sobre a pobreza rural demonstram que uma parte relevante das famlias pobres rurais tem uma insero precria no mercado de trabalho, e que a migrao (temporria e definitiva) um meio de ajuste das famlias s dificuldades estruturais (falta de terras e de emprego, deficincia de servios pblicos) e conjunturais (seca, sazonalidade da demanda por trabalho temporrio)28.
28 Ver Maletta, Buainain e Villalobos (1999) e os resultados da avaliao preliminar do Programa Cdula da Terra, mais particularmente Buainain et allii (1999) e Sousa et allii (2001).
157
Essa realidade significa uma elevada mobilidade espacial dos membros das comunidades pobres, tornando ainda mais difcil a delimitao precisa das comunidades e dos seus membros. No trivial, portanto, a questo da definio e delimitao das comunidades para fins da avaliao dos impactos de um programa, particularmente para fins do desenho das amostras. Uma alternativa aceitar como ponto de partida as listagens de comunidades rurais preparadas pelas administraes governamentais municipais, por rgos das administraes pblicas estaduais, organizaes no-governamentais e outras. Em segundo lugar, deve-se destacar que as listas de comunidades j disponveis podem induzir a vieses de seleo e outros erros difceis de previso ex ante. Em geral, no se conhecem os procedimentos adotados para a elaborao dessas listas, a cargo de uma multiplicidade de organismos pblicos estaduais e municipais. plausvel supor que maior a probabilidade de incluso de comunidades que j contam com melhor nvel de organizao nas listas do que as comunidades menos organizadas. Sendo tal suposio verdadeira, poder-se-ia enviesar as amostras em favor das comunidades que j contam com nvel de organizao mais elevada. Evitar esse tipo de vis essencial para assegurar uma avaliao precisa dos impactos do programa.
7.3. Segmentando Grupos Populacionais Outro ponto que merece ateno refere-se segmentao dos grupos populacionais. Como j se mencionou, a segmentao deve ser consistente com a concepo do programa e com os objetivos da avaliao. Sua implementao no trivial, mesmo supondo que as comunidades possam ser identificadas e que as listas no contenham vieses que comprometam a anlise. Dois aspectos relacionados a este assunto devem ser destacados. Um, o chamado spill over dos efeitos entre comunidades beneficirias e no-beneficirias do programa. Outro, a dificuldade de lidar com a caracterizao/definio dos chamados programas de governana distinta (programas centralizados versus programas descentralizados). Em relao ao spill over dos efeitos, pode-se dizer que o fato de uma comunidade particular no ter sofrido ao direta do programa no significa que ela no se beneficie do mesmo, mormente quando os
158
investimentos so em infra-estrutura produtiva e social (crianas de uma localidade freqentam escolas implantadas em outras localidades do mesmo municpio que, s vezes, recebem alunos residentes em uma rea com raio de dezenas de quilmetros). O ponto central que vrias das localidades no so beneficirias do programa e, portanto, seriam includas na lista de outros e ou de controle. A falta de controle desse fato pode produzir resultados inversos ao alcanado pelo programa, posto que o spill over positivo dos seus efeitos sobre outras comunidades contribuiria para diminuir seu efeito lquido nas comunidades beneficirias. O mesmo tipo de resultado pode ser produzido por estradas vicinais, infra-estrutura de sade, linhas de energia e infra-estrutura produtiva (casa de farinha, tratores, conjunto de irrigao, etc.) utilizada por vrias comunidades. Em relao caracterizao do grupo de controle, as dificuldades apresentam-se por duas razes bsicas. Por um lado, quando se toma o conjunto de intervenes sociais e produtivas com foco sobre populaes pobres, talvez seja raro encontrar localidades que no tenham se beneficiado de algum tipo de interveno, seja na rea de sade pblica, educao, agricultura e reforma fundiria, seja de outras aes sociais mais especficas. De outro lado, est o problema de estabelecer um corte entre programas de carter centralizado e descentralizado no incio do processo de avaliao dos impactos. Na prtica, apenas ao final do estudo haver informaes sobre a atuao dos vrios programas, a participao efetiva das comunidades, o nvel de organizao e outros. Somente com esses conhecimentos, a posteriori, ser possvel separar, com preciso, processos centralizados, processos apenas formalmente descentralizados e os descentralizados de fato. O risco tomar o fato pela declarao formal e incorrer em erros de avaliao. Assim, possvel que, do ponto de vista formal, programas de eletrificao implementados por companhias, privadas ou estatais, sejam centralizados; no entanto, na prtica, as decises de investimento tm passado, cada vez mais, por discusses com as comunidades, polticos e organizaes locais. Na prtica, tais decises tm certo grau de descentralizao. Para reduzir as possibilidades de erros, o desenho da amostra e a definio dos grupos de amostra devero levar em conta essas possibilidades, o que requerer o levantamento e a anlise de informaes preliminares para assegurar tanto a consistncia do desenho em relao aos propsitos da avaliao como a aleatoriedade das amostras.
159
7.4. Plano Amostral Para a avaliao de impacto, conveniente obter dados em pelo menos duas etapas para adequada manifestao: no incio do programa (baseline) e algum tempo depois (follow-up). A amostra de beneficirios pode ser extrada de um cadastro contendo uma listagem de projetos aprovados a ser fornecido pelos rgos financiadores. A amostra controle pode ser obtida de um cadastro de comunidades no beneficiadas pelos projetos, informao adquirida por ocasio do levantamento amostral. Em sua primeira etapa, essa amostra extrada na mesma ocasio da amostra de beneficirios. O cadastro de comunidades dessa populao pode ser construdo com informaes a serem levantadas em rgos pblicos. Seguindo o exemplo estabelecido no incio do captulo, uma amostra outras poder ser extrada de uma listagem de comunidades que tenham tido projetos recentemente aprovados ou em processo inicial de implementao, caso essa listagem possa ser fornecida (ou elaborada) para os municpios que faro parte da amostra. Caso no seja vivel a construo dessa listagem, a amostra controle pode ser aumentada para posterior separao das comunidades que receberam projetos durante o perodo do estudo. Na segunda etapa (follow-up), as comunidades sorteadas no instante inicial sero novamente amostradas.
7.4.1. Aspectos comuns A fim de minimizar o erro amostral, as amostras das trs populaes so estratificadas. Espera-se que o grau de homogeneidade das comunidades em cada estrato seja alto. Nesse sentido, os estratos podem ser criados considerando-se os seguintes critrios: estado se o programa tem uma dimenso nacional ou regional a envolver mais de um estado, so extradas amostras de cada estado. Isso possibilita observar eventuais diferenas causadas por particularidades na implementao do programa em cada estado; IDH em cada estado, os municpios podem ser classificados segundo seu IDH. Nesse caso, no procedimento amostral, poder-se- garantir maior probabilidade de seleo para municpios com menor IDH; grupos de municpios para garantir um maior grau de homogeneidade das comunidades de um mesmo estrato, essas sero sorteadas em
160
grupos de municpios com IDH semelhantes e que, alm disso, forneam condies similares de desenvolvimento. Para tanto, os municpios de um estado so agrupados segundo caractersticas fsicas, demogrficas e variveis extradas de fontes secundrias, como o Censo Agropecurio. No processo de criao desses grupos, podem ser utilizadas tcnicas de anlise de agrupamentos29. Uma vez definidos os estratos, uma amostra pode ser sorteada em mltiplos estgios, conforme definido no incio desse captulo.
7.4.2. Aspectos especficos Amostra de beneficirios: O segundo estgio do sorteio para a amostra de beneficirios corresponde ao sorteio de uma amostra de comunidades beneficiadas. Para a amostra dessas comunidades, podem ser consideradas as tipologias de projetos (de infra-estrutura, produtivos e sociais), caso existam, o que garante a presena de toda a diversidade de projetos de interesse. Diferentes mecanismos de alocao de recursos do programa podem ser considerados como critrio de estratificao. Amostra outras: Conforme mencionado, a amostra outras, na primeira etapa do estudo (baseline), depender da disponibilidade de um cadastro confivel e atualizado de comunidades que estejam recebendo projeto de outros programas, semelhante ao apoiado pelo programa sob anlise. Essa lista pode ser obtida por intermdio de um levantamento prvio junto a rgos estaduais e municipais que implementam projetos a partir de governana distinta (centralizada ou descentralizada). Caso no seja vivel o levantamento dessa lista, algum esforo poder ser empreendido no sentido de constru-la apenas para os municpios que comporo a amostra. Pode-se utilizar a pertinncia a programas diferentes como critrio para a estratificao das comunidades. Se a informao no estiver disponvel, procede-se apenas o sorteio da amostra de beneficirios e de controle. Essa ltima dever ser superdimensionada na primeira etapa (baseline), a fim de que na segunda etapa (follow-up) exista um nmero razovel de comunidades que tenham recebido outros projetos. Amostra controle: A maior dificuldade da amostra controle a existncia de um cadastro de comunidades. O cadastro pode ser criado por meio de
29 Johnson, R. A. & Wichern, D. W. (1998). Applied multivariate statistical analysis. 4th ed. Upper Saddle River: Prentice Hall. Hair, J. F., Anderson, R. E.,Tatham, R. L. & Black, W. C. (1998). Multivariate data analysis. 5th ed. Upper Saddle River: Prentice Hall.
161
informaes fornecidas por organizaes locais (conselhos municipais e servios de extenso rural). Cabe reforar que essa amostra dever ser maior que as anteriores, uma vez que entre o baseline e o follow-up de uma comunidade desse grupo pode migrar tanto para a populao de beneficirios como para a populao outras. Apesar desse cuidado, corre-se o risco de que, ao final do estudo, o nmero de comunidades restantes nesse grupo seja bastante reduzido. A alternativa para solucionar o problema aplicar um questionrio simplificado a todas as comunidades (ou pelo menos a uma grande amostra) no contempladas com projetos de qualquer tipo no instante inicial (baseline). Esse questionrio adicional coletaria informaes sobre algumas variveis essenciais a um dimensionamento da amostra de controle, visando evitar o seu esgotamento. verdade que isso pode incrementar os custos, mas garante a amostra necessria para a avaliao economtrica dos impactos.
7.5. Dimensionamento Amostral Para o dimensionamento amostral podero ser utilizados os parmetros descritos no item anterior. O nmero a ser sorteado de municpios ser definido aps aquisio de dados sobre correlao intraclasse obtidos de outras pesquisas j realizadas com comunidades rurais. O controle do erro amostral poder ser feito para cada estado ou conjunto de estados, de acordo com simulaes que devem ser realizadas no incio do desenvolvimento da pesquisa. Cabe ressaltar que possvel dimensionar a amostra trabalhando com diferentes nveis de erros mximos tolerveis para a totalidade da amostra (3%) e para cada estado (10%). As simulaes podero ser realizadas considerando-se vrios cenrios de erros, e a deciso final sobre a melhor alternativa depender de uma anlise dos custos. O dimensionamento amostral determinar os parmetros expanso dos resultados para o conjunto da populao. O Anexo 9 apresenta as expresses matemticas para a expanso dos resultados e as expresses e respectivas varincias do estimador do parmetro razo populacional, alm de um mtodo de agrupao dos municpios sorteados.
162
8. ELEMENTOS PARA COLETA DE INFORMAES E CONSTRUO DE QUESTIONRIOS
A maioria dos estudos de avaliao requer a ampla utilizao de informaes colhidas por meio de pesquisa amostral, informaes secundrias e estudos de caso. Todas as informaes devem estar relacionadas e hierarquizadas do ponto de vista geogrfico e analtico, tornando possvel a agregao e a utilizao cruzada das informaes entre diferentes nveis. O conjunto de informaes aqui apresentado reflete os objetos centrais no estudo: os beneficirios, os projetos e as comunidades. As informaes podem ser agrupadas de acordo com os seguintes exemplos: estados: caracterizao geral do estado e das unidades tcnicoadministrativas no mbito de cada estado. So utilizadas informaes secundrias agregadas (indicadores de pobreza rural, caractersticas dos principais programas de polticas pblicas, atividades econmicas, infra-estrutura, mercado de trabalho, servios sociais de sade e educao etc.) e informaes primrias, coletadas diretamente na unidade tcnica responsvel pelo programa. municpios: caracterizao geral do municpio, semelhana do estado. So utilizadas informaes secundrias e primrias. Os dados secundrios referem-se aos indicadores de pobreza rural (caractersticas dos principais programas de polticas pblicas voltadas para o municpio), atividades produtivas, infra-estrutura, mercado de trabalho rural e urbano, servios sociais de sade e educao, etc. Tambm so coletadas informaes sobre o quadro fsico e natural do municpio (clima, solo predominante), riscos de seca e organizaes sociais. So observadas informaes sobre os agentes sociais que participam do programa de maneira indireta, via prefeitura ou conselho municipal, como os tcnicos locais que elaboram laudos, projetos e oferecem assistncia tcnica.
163
comunidades: caracterizao geral da comunidade (histria e formao, perfil das organizaes sociais, perfil das principais lideranas, participao dos membros em organizaes sociais, infraestrutura, atividades econmicas, servios sociais existentes e sua utilizao, etc.). Pode ainda ser feita uma breve caracterizao das associaes existentes na comunidade. projetos: caracterizados por meio de aspectos tcnicos, principais componentes, recursos financeiros e humanos necessrios, cronograma, etc. domiclios: caracterizao das condies de vida da famlia, renda, atividades produtivas, assalariamento, consumo de bens e alimentos, acumulao de bens durveis, poupana, etc. Na coleta de informaes sobre os domiclios, so obtidas informaes sobre as famlias residentes e os membros dessas famlias, chegando s caractersticas individuais de cada pessoa em termos de aspectos demogrficos, de educao, sade, trabalho, renda. Alm do agrupamento de informaes nos nveis apresentados, podem ser coletadas informaes sobre as condies que afetam os estados de maneira genrica, sem seletividade como as polticas federais, condicionantes macroeconmicos e outros. O conjunto de variveis e tipos de informaes a seguir um exemplo do que se pode coletar em termos de dados, especialmente dados primrios, bem como suas fontes. Os temas e variveis esto agrupados nos seguintes roteiros: questionrio a ser aplicado nos domiclios; coleta de informaes sobre as unidades tcnicas; coleta de informaes sobre os estados e municpios.
8.1. Roteiro de Questionrio a Ser Aplicado nos Domiclios O questionrio a ser aplicado junto aos domiclios pode ser formado por blocos de questes. Caractersticas demogrficas: total de membros, gnero, idade, cor/raa, relaes de parentesco, presena de outros membros, etc. Relaes intrafamiliares: participao dos membros (chefe da famlia, cnjuge, filhos e outros) em relao s decises familiares. Condies de moradia: caractersticas da moradia (nmero de cmodos, materiais utilizados, disponibilidade de banheiro, fossa, gua
164
canalizada, iluminao eltrica, etc.); e o acesso aos principais servios pblicos (energia, gua, coleta de lixo). Educao: anos de escolaridade, analfabetismo, distncia e tempo de percurso at a escola, principal meio de transporte para a escola mais prxima (tanto do ensino mdio quanto do fundamental). Para anlises mais detalhadas, de valia obter informaes sobre evaso escolar e repetncia, teste de conhecimentos a ser aplicado nas crianas matriculadas no ensino fundamental (teste do tipo utilizado pelo sistema de avaliao de ensino realizado pelo Ministrio da Educao). Sade: nmero de membros da famlia com dificuldades para realizar atividades (alimentar-se, tomar banho ou ir ao banheiro, movimentar objetos) e que apresentaram doenas infecciosas (clera, malria, dengue, etc.); quantidade de visitas recebidas de agentes de sade nos ltimos 12 meses; nmero de membros da famlia que receberam atendimento mdico nos ltimos 12 meses, segundo especficas finalidades (consulta mdica, odontolgica ou com outros profissionais de sade); nmero de membros da famlia que deixaram de realizar atividades de trabalho por problemas de sade nas ltimas duas semanas; nmero de membros da famlia que procuraram atendimento de sade nas ltimas duas semanas e no foram atendidos (no conseguiram vaga, no havia mdico atendendo, etc.); distncia, tempo de percurso e principal meio de transporte do ponto de atendimento de sade mais prximo (farmcia, posto de sade, hospital); peso e altura para crianas abaixo de 5 anos; manifestao de doenas e deficincias nutricionais (diarria infantil). Ocupaes: tipos de ocupaes, locais onde se desenvolvem as atividades, emprego formal/informal, empregador/empregado, ramos de atividade da ocupao (as questes sobre ocupaes podero ser compatveis com uma pesquisa nacional por amostragem de domiclios (PNAD) para posterior comparao). Migrao: questes sobre migrao do chefe do domiclio, compatveis com uma PNAD. Consumo: produtos alimentares (in natura, semi-elaborados, elaborados/industrializados, de produo prpria ou adquiridos), produtos no-durveis (produtos de higiene e limpeza). Renda: rendimentos da produo agropecuria, salrios e rendimentos do trabalho temporrio (rural/urbano), rendimento de empreendimentos no-agropecurios da famlia (comrcio, artesanato), auxlios, penses, aposentadorias, rendimentos patrimoniais (aluguel) e financeiros e outros tipos de rendimentos.
165
Patrimnio: bens domsticos durveis (eletrodomstico e mobilirio), imveis (imvel rural, terreno urbano e casa), bens produtivos (veculos, mquinas, implementos e instalaes), bens econmicos (poupana e aplicaes financeiras formais em bancos e informais, como emprstimos para vizinhos, parentes e outros). Associativismo, organizaes sociais e relao com a comunidade: participao em organizaes sociais (associao comunitria, cooperativa, movimentos religiosos, movimentos de luta pela terra, partidos polticos, movimentos reivindicatrios, atividades de mutiro); grau de participao e envolvimento nas decises da comunidade/associao comunitria (comparecimento em reunies diversas e de prestao de contas, participao nas decises, participao na construo das demandas comunitrias, participao como membro dirigente, participao em atividades de integrao e outras); percepo do domiclio sobre as vantagens da comunidade/associao comunitria (informao e capacitao, acesso a bens pblicos e privados, acesso sade e educao, acesso a benefcios da previdncia social como instrumento de participao poltica, acesso a programas sociais, acesso a emprstimos financeiros e a emprego, outras vantagens); identificao de membros ativos dentro do domiclio (participantes mais freqentes nas aes comunitrias chefes de famlia, jovens, mulheres); aspirao para as demandas comunitrias. Acesso a programas: gua, energia, produtivo e social, estgio da implementao, outros programas implementados pelos governos estadual/federal (centralizados e descentralizados).
8.2. Roteiro para Coleta de Informaes sobre as Unidades Tcnicas As informaes a serem coletadas sobre as unidades tcnicas referem-se s caractersticas do processo de execuo do programa e suas relaes com os beneficirios/comunidades. Caracterizao do programa: caracterizao e histrico do programa avaliado, instituies de apoio, recursos humanos envolvidos, alocao dos recursos (critrios e prioridades), custos operacionais, tipos de projetos atendidos/recusados, localizao geogrfica dos projetos, cronograma de execuo e metas atingidas. Relaes com as comunidades: identificao das polticas de formao de associaes, de orientao tcnica/burocrtica para as comunidades e de
166
orientao/capacitao na elaborao e implantao de projetos; perfil dos agentes encarregados do relacionamento com as comunidades. Institucionalidade das unidades tcnicas: posio na estrutura polticoadministrativa, mecanismos de deciso (instncias, agentes do processo de deciso), relaes com governos e conselhos municipais, mecanismos de imputao de responsabilidades, diretrizes para contratao de servios.
8.3. Roteiro para Coleta de Informaes sobre os Estados e os Municpios Trata-se de um conjunto de informaes a serem obtidas considerando fontes secundrias e/ou informaes adquiridas em rgos da administrao pblica estadual/municipal e no sistema de monitoramento de informaes do programa. No mbito estadual tem-se a caracterizao dos principais programas de polticas pblicas (volume de recursos, fonte, critrios de alocao) alm do nmero e do tipo de projetos atendidos pelo programa. Quanto aos municpios: IDH, populao total, populao rural, microrregio e mesorregio, nmero de projetos do programa recebidos, outros projetos e programas, comunidades atendidas por outros projetos, indicadores de atividades econmicas (PIB municipal, empregados segundo os setores econmicos), indicadores rurais (relao entre populao rural e urbana, concentrao fundiria, efetivo dos rebanhos e reas destinadas para agricultura, pastagens, florestas, etc., porcentagem da rea municipal, valor da produo na agropecuria) e variveis tecnolgicas (nmero de tratores por hectares).
8.4. Planejamento de Campo A pesquisa de campo tem como objetivo recolher informaes que possibilitem a avaliao dos resultados do programa, assim como a eficcia em relao aos projetos. Quando se trata de pesquisa por amostragem de domiclios, a metodologia inclui um plano amostral detalhado com cadastros e questionrios bsicos, que devero ser testados antes do incio do estudo, definio das equipes de campo (caractersticas tcnicas, necessidade de treinamento especfico etc.) e instalaes adequadas (equipamentos e material de apoio).
167
Dada a importncia, complexidade e custo das pesquisas de campo, sua implementao requer um cuidadoso planejamento que assegure eficincia e compatibilidade com os custos previstos. Nesse sentido, a metodologia apresenta os elementos bsicos que devero ser levados em conta no planejamento das atividades de campo30. O objetivo do planejamento fornecer as orientaes bsicas para a montagem da equipe de campo que ser responsvel pela aplicao dos questionrios e coleta de informaes. A abordagem alcana: planejamento e dimensionamento das equipes de campo; critrios de recrutamento e seleo de pessoal; capacitao e treinamento para aplicao dos questionrios; estratgias possveis da pesquisa de campo.
A experincia adquirida com o teste do questionrio pode definir as necessidades de treinamento das equipes para a apresentao dos critrios e conceitos que devero ser observados na aplicao do questionrio. Outro elemento importante do planejamento definir ou indicar os procedimentos de campo. Alm da definio das diferentes funes que compem o trabalho de campo, necessrio elaborar as listas de municpios e comunidades bem como os croquis de cada rea de pesquisa, realizar o planejamento das visitas (iniciar pelos lugares mais distantes e voltar base em ziguezague) e providenciar os meios necessrios para a aplicao dos questionrios (meios de locomoo, gravadores, pastas de arquivos etc.).
8.4.1. Dimensionamento da equipe de campo preciso considerar na formao da equipe de campo requisitos pessoais (idade, disponibilidade, condies de viajar, capacidade de liderana) e profissionais (conhecimentos bsicos, experincia profissional), necessrios para a boa execuo do trabalho e, ainda, indicaes gerais sobre a composio da equipe de campo. O dimensionamento e a composio final dessa equipe devem ser definidos aps o pr-teste da metodologia.
30 O planejamento deve considerar possveis alternativas para a aplicao da pesquisa de campo, levando em conta o custo, a eficincia para o estudo e a gerao de "externalidades" positivas. Por exemplo, pode-se pensar em terceirizar a aplicao dos questionrios por meio de contratos com instituies de ensino e pesquisa locais; pode-se criar grupos de estudantes que poderiam, inclusive, participar do estudo durante vrios anos; pode-se considerar ainda a viabilidade de uma articulao com os grupos responsveis pela extenso rural e assistncia tcnica, pblica ou no, com ou sem envolvimento direto das organizaes dos produtores.
168
O tamanho da equipe deve considerar a extenso da amostra, o prazo necessrio para sua realizao e a estimativa de custos da coleta de informaes.
8.4.2. Equipe necessria para aplicao de questionrio Aps o pr-teste e a definio final do questionrio ser possvel identificar, com preciso, a equipe para aplicao do questionrio. Para esse dimensionamento, devero ser levados em conta parmetros como tamanho mdio das famlias que vivem nos domiclios; tempo de durao da aplicao do(s) questionrio(s); nmero de domiclios sorteados; nmero de entrevistas realizadas por pesquisador,por semana;nmero de pesquisadores que podem ser organizados e acompanhados por um supervisor. As equipes de aplicao do questionrio podem ser formadas por um supervisor de campo, um supervisor de checagem (essas supervises podero ser feitas pela mesma pessoa), dois pesquisadores e um checador. No dimensionamento do tempo a ser gasto no trabalho de campo, deve-se prever um perodo adicional para treinamento e preparo da equipe.
8.4.3. Recrutamento e seleo de pessoal O recrutamento e seleo de pessoal tm a finalidade de organizar e agilizar o processo para a composio das equipes de campo. fundamental a qualificao dos candidatos e os objetivos do projeto. Coordenador de campo: O coordenador de campo dever ter a capacidade de organizar, gerenciar e acompanhar todas as atividades do campo (os setores de superviso de campo e suas equipes de pesquisadores; os setores de checagem e listagem). Cabe tambm ao coordenador de campo a preservao da qualidade da pesquisa, tanto no tocante ao aproveitamento da amostra como na correta aplicao dos conceitos propostos. Pode-se exigir para um supervisor de campo idade superior a 21 anos; terceiro grau completo, de preferncia em curso de cincias sociais ou agrrias; experincia profissional prvia em pesquisa; e, a ttulo de conhecimentos bsicos, noo de organizao e mtodo de trabalho de campo, gerenciamento/liderana de equipe, noo de listagem e verificao de questionrio.
169
Supervisor de campo/checagem: O supervisor de campo/checagem dever ter a capacidade de organizar, gerenciar e acompanhar uma equipe de pesquisadores ou listadores/checadores. Como requisitos, prefervel que se tenha idade superior a 21 anos; terceiro grau completo ou em curso (de preferncia na rea de cincias sociais ou agrrias); experincia profissional prvia em pesquisa; e, a ttulo de conhecimentos bsicos, noo de organizao e mtodo de trabalho de campo; gerenciamento/liderana de equipe; noo de listagem e verificao de questionrio. Checador: O checador dever ser responsvel pela verificao em campo de questionrios aplicados pelos pesquisadores, buscando a identificao, in loco, de erros de preenchimento e de algumas inconsistncias nas respostas fornecidas pelo entrevistado. So sugestes de requisitos: idade mnima de 18 anos; ensino mdio completo; experincia prvia em pesquisa desejvel (no necessria experincia profissional); e, como conhecimentos bsicos, senso de localizao e direo; capacidade de expresso escrita. Listador e pesquisador: O listador dever ser o responsvel pela realizao do arrolamento dos estabelecimentos que compem os setores censitrios. J o pesquisador, pela correta aplicao do questionrio no estabelecimento devidamente sorteado. Para ambos, so requisitos sugeridos: idade mnima de 18 anos; ensino mdio completo; e, embora a experincia profissional no seja necessria, desejvel experincia prvia em pesquisa.
8.4.4. Aplicao de questionrio A aplicao do questionrio deve ser precedida de um treinamento da equipe, cuja finalidade apresentar os critrios e conceitos que devero ser seguidos na aplicao do questionrio. fundamental uma boa compreenso da metodologia da pesquisa para que haja uniformidade em sua aplicao, garantindo a qualidade dos dados para posterior anlise. No campo, devem ser seguidos procedimentos e critrios especficos para as diferentes funes que compem o trabalho.
170
Assim, ao coordenador de campo compete: acompanhar as atividades e integrar as equipes de campo; estabelecer metas de produo de acordo com o tamanho da amostra, prazo de concluso e tamanho da equipe; acompanhar os trabalhos dos supervisores quanto s dvidas, aplicao dos conceitos e avaliao/correo dos questionrios; verificar o aproveitamento da amostra total de domiclios realizados versus o total de no realizados; acompanhar os trabalhos do setor de checagem nos aspectos quantitativo e qualitativo. Ao supervisor de campo: regionalizar os municpios que compem a amostra escolhida; separar os municpios/comunidades que oferecem maior grau de dificuldade para o trabalho de campo, como estradas difceis e outros (sugere-se que esses municpios/comunidades no sejam distribudos nem no incio das atividades de campo nem no seu trmino); visitar previamente, caso necessrio, os domiclios/comunidades para agendar a entrevista e facilitar a pesquisa que posteriormente ser realizada; dividir a amostra pelo nmero de pesquisadores de sua equipe e distribu-la em etapas, de acordo com o recebimento das informaes; verificar todos os questionrios, observando dvidas conceituais e de listagem (localizao do domiclio); avaliar o desempenho de cada entrevistador quanto ao aproveitamento da amostra; qualidade da aplicao dos questionrios; ocorrncia ou no de problemas apontados pela checagem; e ao cumprimento dos prazos e cotas estabelecidas. Em relao ao supervisor de checagem, de se destacar que suas atividades visam contribuir para a manuteno da qualidade dos dados, isto , para a verificao correta da aplicao dos questionrios no endereo do domiclio sorteado. O supervisor de checagem, ao receber os questionrios j conferidos pela superviso de campo, dever retirar uma amostra para ser checada. No incio das atividades da pesquisa, a amostra retirada para a checagem dever estar em torno de 80% da produo de cada pesquisador. No decorrer do processo da pesquisa em campo, e como meta, essa amostra dever ser reduzida para o patamar de 20% dos questionrios, assim
171
permanecendo at o trmino da pesquisa em campo, desde que no haja indcios de problemas. Alm disso, o supervisor de checagem deve: acompanhar o desempenho de sua equipe; avaliar os problemas detectados em campo pelos pesquisadores da equipe; notificar aos supervisores de campo os problemas detectados pelos checadores, sob o aval da coordenao. O checador deve se responsabilizar por: verificar se a aplicao do questionrio foi realizada no estabelecimento sorteado; realizar a checagem do questionrio de acordo com o roteiro determinado, tendo o cuidado de anotar as respostas dadas e as eventuais divergncias (caso haja divergncia entre as informaes contidas no questionrio e as obtidas pelo informante, deve verificar se o pesquisador formulou a questo de forma incorreta ou se o entrevistador est revendo sua resposta); entregar o resultado colhido em campo somente ao supervisor de checagem. O pesquisador ser o responsvel pela aplicao do questionrio nos estabelecimentos sorteados. Para tanto, alm de conhecer os conceitos e a metodologia utilizada no questionrio, necessrio: fazer visitas em horrios adequados para a realizao da entrevista com os moradores; desenvolver mtodos de abordagem junto ao entrevistado, explicando a finalidade da pesquisa, uma vez que ningum obrigado a respond-la; priorizar a realizao de entrevista direta com o entrevistado; explicar que todas as questes so sigilosas e que no so utilizadas de maneira individual. Por fim, o listador o responsvel pelo arrolamento dos domiclios das comunidades. Deve seguir todos os critrios adotados na pesquisa. importante que faa uma boa descrio da localizao dos domiclios e das formas de acesso, facilitando, assim, o trabalho de localizao do pesquisador e do checador.
172
9. CONSIDERAES FINAIS
O objetivo principal deste trabalho foi o de fornecer aos pesquisadores e gestores que atuam em desenvolvimento rural um amplo panorama de metodologias e procedimentos que envolvem monitorar e avaliar os programas sociais. Em um mesmo livro, foram reunidas vrias discusses sobre diversos temas: sistemas de monitoramento, avaliao de impactos e anlise custo/benefcio. Todos articulados em torno ao tema de desenvolvimento rural. A idia central a de que o leitor reconhea quando e porque aplicar cada um deles, segundo distintos objetivos, bem como torn-lo capaz de combin-los em um s estudo, quando necessrio ou conveniente. Iniciou-se, propositadamente, pelas metodologias de monitoramento, indicando a necessidade dos formuladores e dos responsveis pelos projetos sociais de manterem sua ateno nos processos de implantao e no acompanhamento dos projetos. O programa Piloto Cdula da Terra (PCT ) fornece um exemplo til da importncia dos sistemas de monitoramento. Esse programa-piloto serve, em ltima anlise, para testar uma alternativa de governana para distribuio de terra a chamada reforma agrria amparada pelo mercado. Por esse mecanismo, associaes de produtores sem-terra, ou com pouca terra, obtm emprstimos em condies especiais para compra de terra no mercado. O monitoramento do PCT permitiria analisar a situao dos diferentes assentamentos e levantar estatsticas sobre sua sustentabilidade, por meio da anlise de indicadores das famlias de beneficirios nos projetos. Outro indicador interessante seria obtido pela combinao de algumas variveis relativas ao processo de aquisio de terras. Nesse caso, a ateno voltaria para o quesito evoluo: ser que a expanso do projeto ao longo do tempo engendrou maior capacidade de negociao na compra da terra por parte dos futuros beneficirios, ou, estariam os potenciais vendedores melhor informados sobre como conduzir a negociao? Apenas para exemplificar, um aumento no valor pago pelas terras indicaria a necessidade de redefinir os parmetros que guiam o processo de negociao.
173
Os sistemas de monitoramento no podem ser confundidos com pesquisas de avaliao de impacto, ainda que tenham grande utilidade para elas. As avaliaes de impacto exigem cuidados maiores em seu planejamento, visando obteno do melhor resultado possvel ao menor custo. O captulo sobre Avaliao de Impactos abriu uma janela para um nmero considervel de anlises que derivam dela, como as anlises sobre a focalizao dos programas e a anlise de custo/benefcio de projetos e de subprojetos. Assim, se for possvel conduzir um experimento, que seja feito. Os impedimentos so de duas naturezas: custo elevado e/ou problemas de ordem social. Um experimento que custe a uma determinada comunidade 5 anos de excluso de benefcios sociais, no pode ser feito. O resultado provaria a eficcia do programa, mas tambm a prpria avaliao seria responsvel pela situao socialmente desfavorvel do grupo de controle, o que seria mais grave quanto melhor fosse desenhado e executado o programa em questo. Portanto, cabe o uso de outras tcnicas descritas no captulo, como o mtodo das diferenas duplas. O conhecimento das principais tcnicas economtricas disponveis, cujo contedo encontra-se aprofundado nos anexos, fundamental mesmo para os pesquisadores e gestores no familiarizados com esses mtodos: trata-se de ter competncia para dialogar com especialistas de forma que, desde o desenho amostral, passando pela construo do instrumento de coleta de informaes, seja possvel aplicar os mtodos economtricos mais adequados. Vale ressaltar que tanto a definio do mtodo quanto a interpretao de seus resultados requerem a crescente participao de especialistas. A anlise custo/benefcio a que melhor se aplica a avaliao de projetos ou subprojetos bem definidos (medir o impacto de um financiamento de um equipamento agrcola para uma comunidade rural). Neste caso, tem-se claramente o preo do equipamento, sua finalidade e o projeto delineado de maneira prvia para seu uso. A anlise custo/benefcio simples de ser feita, mas exigente em informao: nem sempre as comunidades desenvolveram um sistema de contabilidade adequado para a aplicao da tcnica, e seria inadequado exigir que assim procedessem para que o projeto fosse aprovado. Alternativas ou estudos complementares podem basear-se na criao de indicadores que mostrem que o projeto foi eficaz. No exemplo do equipamento agrcola, indicadores de aumento de produtividade do trabalho, de produtividade da rea ou mesmo da produo poderiam indicar a capacidade de o projeto atingir seus objetivos com eficcia.
174
O resultado da anlise custo/benefcio, todavia, apenas parte de uma anlise mais ampla: um projeto pode ter resultado positivo, com um valor presente lquido positivo, mas ser causador de uma srie de problemas para a comunidade, derivados da dificuldade em definir uma alocao justa para o equipamento ou mesmo pelo efeito que exerce sobre a demanda de mo-de-obra da comunidade. Inserir esse tipo de anlise em uma avaliao mais ampla, que contemple impactos sociais e ambientais, sempre uma estratgia bem-vinda para melhor justificar seus impactos. O uso de mtodos chamados de multicritrio permite uma viso mais abrangente dos impactos, a partir do uso de escalas baseadas em percepo de agentes selecionados, como o caso de um painel de especialistas. A importncia de avaliar a focalizao fundamental em avaliaes de impacto. Grande impacto em um pblico restrito leva, geralmente, a descontinuidade do programa. Trata-se de uma questo crucial, pois alguns programas de desenvolvimento rural, ao selecionarem territrios muito bem delimitados, logram serem bem-sucedidos por quaisquer tipos de avaliaes. Todavia, so incapazes de desencadearem um conjunto de aes que sejam relevantes foram do mbito em que foram concebidos. Trata-se de um problema de foco. O inverso vlido: desconhecer se o programa atingiu o pblico-alvo pode significar que ele foi capturado por certos grupos de interesse, reduzindo sua eficincia e eficcia. Nesse caso, a descontinuidade ocorre pela falta de recursos ou pela diviso de recursos por um grupo cada vez maior de beneficirios. O texto permite ao investigador e ao gestor conhecer os critrios relacionados questo da focalizao e em seguida planejar sua anlise. A aplicao da metodologia para avaliao do processo de focalizao pode ser feita de forma independente e ex post (depois que o programa estiver estabelecido), mas tambm na etapa de seleo de beneficirios. Deve ficar claro para o investigador (ou para o gestor) que a definio ex ante do critrio de focalizao faz parte da estrutura de governana do programa/projeto e que estudos, nesta fase, podem evitar erros de concepo capazes de comprometer todo o resultado. H programas cuja concepo bsica complexa, para no dizer ambgua, dificultando a definio de linhas divisrias que correspondam aos objetivos do processo de focalizao. Avaliaes do Programa Cdula da Terra, conduzidas pela Fecamp desde 1997, mostraram que o programa visou atender demandas de um pblico rural pobre, pressupondo, ao mesmo tempo, que esse pblico era competente para desenvolver um projeto agrcola minimamente rentvel. O estudo de avaliao evidenciou
175
que algumas comunidades de pequenos agricultores cumpriram os objetivos do projeto, seja em termos de construir uma comunidade, seja em termos de expanso da produo agropecuria. Entretanto, isso no foi verificado em outros casos, uma vez que grupos de ex-diaristas pobres e de sem-terra, legitimamente identificados como pblico-alvo do programa, encontravam enormes dificuldades, seja para formar uma associao, seja para produzir e gerar renda monetria para pagamento do emprstimo. Logo, a interpretao dos estudos de avaliao deve ser cuidadosa, para que no se imponha critrios de focalizao que contrariem ainda que parcialmente a concepo geral do programa em anlise. O trabalho fornece ainda um conjunto de elementos para a investigao da formao do capital social nas comunidades de beneficirios de programas sociais, assim como a base para a construo de indicadores que permitam isolar os efeitos do programa daqueles que pr-existiam nos grupos sociais analisados. H clara percepo de que no se trata simplesmente de medir a capacidade de acumular capital social. Grupos cujo capital social est baseado na religio ou em preferncias ideolgicas podem ser fortemente refratrios ao estabelecimento de ligaes externas fundamentais para o sucesso de programas que dependem do empreendedorismo. Portanto, o trabalho chama a ateno para a importncia da construo de indicadores sintticos de capital social, mas tambm para a capacidade de pesquisadores e gestores em analisar tais resultados luz do contexto mais amplo do programa, o que chamado de estrutura de governana. Cabe chamar ateno para a questo da amostragem. Uma amostra representativa o que se pode chamar de pedra fundamental dos estudos de avaliao de impactos. Pesquisadores no devem apenas contentar-se com a frase, dita com mais freqncia que o aceitvel, de que nossa amostra semi-estruturada. Sempre que possvel fundamental definir amostras que possam gerar variveis e parmetros que permitam expandir as concluses obtidas para o universo que se est querendo representar. As avaliaes devem permitir que se faam inferncias sobre o desempenho do programa como um todo. Apenas dessa forma ser possvel afirmar que a renda mdia do beneficirio de tantos reais com , um intervalo de confiana variando em uma determinada faixa para certo nvel de confiabilidade.
176
No foi por acaso que o trabalho terminou com um roteiro detalhado sobre como proceder nas diferentes etapas relativas pesquisa de campo. A coleta de informaes deve ser criteriosa e metodologicamente fundamentada. A realizao de um bom trabalho de campo depende de equipes treinadas, motivadas e qualificadas para entender o significado da informao desejada. Ainda assim, isso pode no ser suficiente. Mesmo uma equipe bem treinada poder ter dificuldades na aplicao de questionrios complexos, embora teoricamente fundamentados pelo investigador. Quanto maior a complexidade das questes, maior a probabilidade de ocorrerem distores ou subverses por parte do entrevistador. Isso fica evidente quando ocorre a participao de vrias equipes locais, necessrias para viabilizar a coleta de dados em domiclios rurais dispersos em um vasto territrio. Afinal, cada entrevista nica, tem seu prprio ritmo e, no raro, suas prprias interpretaes. Portanto, treinamento de equipes e um bom desenho do questionrio devem reduzir os erros e aumentar a probabilidade de se obter um conjunto adequado de informaes para se proceder a avaliao. Enfim, por melhor que os passos sugeridos neste texto metodolgico sejam respeitados, nada substitui a capacidade crtica daqueles que pensaram como proceder para conduzir a avaliao. No existe receita de bolo, mas metodologias de suporte, que no prescindem do envolvimento intenso tanto da equipe central responsvel intelectual do trabalho quanto das comunidades envolvidas. Etapas finais de validao da avaliao so fundamentais. Voltar ao campo e apresentar os resultados em reunies com gestores, lderes locais e pesquisadores de campo envolvidos to importante quanto utilizar as tcnicas corretamente. Afinal, a validao a etapa final de um processo de avaliao. a partir dela que podero ser tomadas decises quanto aos rumos do programa. A percepo de que um processo de avaliao caro, e por isso injustificvel, pode se revelar totalmente infundada aps a validao. Muito dinheiro e esforos podem ser poupados por meio das correes de rumo fundamentadas na avaliao. Poupar dinheiro do contribuinte, corrigindo falhas de programas sociais, o objetivo ltimo das avaliaes, mensagem que nunca deve ser esquecida por qualquer pesquisador e, sobretudo, pelos gestores envolvidos.
177
178
10. ANEXOS
ANEXO 1 A correo de Heckman visando eliminar o vis proveniente das variveis no-observveis Neste livro, foram discutidas diversas tcnicas economtricas cujo objetivo o de reduzir ou eliminar o vis de seleo de amostragem. Foram identificadas as tcnicas que utilizam variveis instrumentais e as tcnicas pareamento de amostras. Mesmo que a aplicao dessas tcnicas seja bem sucedida, persiste a necessidade de diferenciar o problema do vis de seleo do problema da endogeneidade, que so bem distintos. Quando se tem razes para acreditar que o impacto tem meramente um efeito de intercepto sobre a varivel resultado (indicador pelo qual se deseja mensurar o impacto do programa), ou seja, uma mudana paralela para cima no indicador de resultado, ento uma abordagem de endogeneidade, utilizando variveis instrumentais, poder ser utilizada. Caso a varivel participao no programa seja endgena, pode-se utilizar uma abordagem de estimao em dois estgios, por intermdio de um modelo logstico: estimam-se as probabilidades dos domiclios participantes do programa e substitui-se a varivel participao no programa da equao de impactos pelo valor da probabilidade estimada. Se houver motivos para acreditar que a participao no programa afeta no somente o intercepto, mas possui tambm um efeito de inclinao (coeficientes beta da regresso diferem de acordo com a participao ou no no programa), ento um modelo de seleo de amostragem deve ser utilizado. O mais conhecido desses modelos a chamada correo de Heckman. O modelo Yiv = a + bX i + cCv + dPv + iv 31 pode ser avaliado em conjunto com outro modelo dentro do contexto do procedimento Heckit. Esse ltimo prope uma correo do vis atribudo ao problema da autoseleo por meio do seguinte modelo bsico de duas equaes:
31 O modelo corresponde Equao 3.
179
Equao 7
Ti* = zi +
Yi* = x i +
(equao de deciso) (equao de resultado)
T* uma propenso no observada seleo. O vetor (Z) de variveis explanatrias observveis, que podem ser tanto algumas caractersticas observveis dos domiclios como caractersticas das comunidades a existncia de condies prvias e localizao geogrfica, por exemplo. J o vetor ( ) no observvel. Equao 8
0 * * Y = Y .T (T > 0) = * Y se T 0,
*
se T * > 0.
O indicador potencial (Y*) e o indicador observado (Y) so iguais somente se a propenso do domiclio a ser selecionado na amostra for positiva (T* > 0). Para os domiclios no selecionados na amostra (Y* 0), (Y*) no observado e igual a zero. Problema na auto-seleo ocorrer se os termos estocsticos do Modelo 7 ( e ) forem correlacionados. Nesse caso, variveis no observadas, relevantes na deciso de selecionar na amostra, so correlacionadas com as variveis no observadas, relevantes na obteno dos resultados. Esses ltimos so obtidos por meio das equaes que determinam os indicadores: a Equao 3 e a segunda equao do Modelo 7, que tambm pode ser representada pela Equao 3. O procedimento proposto por Heckman (modelo paramtrico) assume que e so distribudas de forma conjunta: Equao 9
0 , = N , 0 , 1
A varincia de no identificvel e fixada em 1. Sob essa hiptese, a segunda equao do Modelo 7, equao de resultados, para a varivel dependente observvel (Y), pode ser escrita como:
180
Equao 10
E (Y / x ) = E (Y * / x, I * > 0) = E (x / x, I * > 0) + E ( , I * > 0) = x + E / x, x T > = x +
, ( z / ) ( zT / )
T
Onde: a funo densidade da distribuio normal padro; a correspondente funo de distribuio; d, a covarincia entre e .
Quando se utiliza MQO na equao de resultados do Modelo 7, a estimativa , em geral, viesada, no caso da presena de uma varivel omitida, em que a razo, conhecida por razo de Mills (Equao 11), a prpria varivel omitida. Equao 11
( z T / ) ( zT / )
Se a quantidade , ( z T ) / ( zT ) , na Equao 10, no for zero, os estimadores MQO so viesados. Se ao incluir essa varivel omitida na regresso MQO da equao de resultados a equao a seguir for alcanada, a estimao por MQO consistente.
Y =x +
* T
( z T / 0 ) , ' + ( z T / 0 )
Os parmetros do Modelo 7 podem ser estimados pelo seguinte procedimento em duas etapas: 1) Etapa Probit: estimar por meio do modelo probit utilizando todas as observaes, ou seja, aquelas com os participantes do programa (T (T * > 0 z) = 1) e com os no-participantes do programa (T (T * > 0 z ) = 0) . Equao 12
P(T (T * > 0 z ) = 1) = ( z )
181
O modelo probit pode ter a especificao mais simples: Equao 13

prob (y i = 1) = (X i ) =
Xi
z2 1 exp 2 2
dz
Na Etapa Probit, tem-se estimativas de utilizadas para obter a razo inversa de Mills.
2) Etapa Mnimos Quadrados Ordinrios: utiliza-se somente as observaes com ( I ( I * > 0 z) = 1) , participantes do programa, para estimar a funo de regresso, qual seja E (Y / x ) = x T + , ( zT ) / ( z T ) , por uma regresso de mnimos quadrados ordinrios da varivel observada (Y) sobre (x) e ( zT / ( zT )), onde a estimativa de na primeira etapa do 32. procedimento A discusso sobre a existncia de variveis endgenas nos modelos apresentados anteriormente (com introduo de vis na estimativa de seus parmetros, dado pela correlao no nula entre essas variveis e o termo aleatrio das equaes) pode ser tratada em duas partes. Em primeiro lugar, quando nos referirmos varivel que indica participao no programa (no caso do modelo geral (1), uma parte do vetor de variveis binrias D jt ), preciso considerar que as variveis explanatrias (Z), na equao de deciso do Modelo 7, devem ser as mesmas variveis explanatrias (X) da equao de resultados do mesmo modelo. Nessa situao, tem-se um caso conhecido como seleo por observveis, de forma que e , no Modelo 7, so no correlacionadas, e o problema de endogeneidade da varivel de participao desaparece. Essas consideraes no so suficientes para tratar o problema da endogeneidade quando consideradas as outras variveis, alm daquela especfica que define participao no programa. Nesse segundo caso, necessrio considerar o uso de variveis instrumentais para corrigir o vis causado pela endogeneidade dessas outras variveis explanatrias do Modelo 1, que no sejam a varivel que define a participao no programa. preciso trabalhar no modelo conjuntamente com o procedimento Heckit e com o uso de variveis instrumentais.
32 Esse procedimento poder ser executado por meio do software Stata. O comando denominado Heckman estima modelos de regresso de seletividade, seja utilizando o procedimento em duas etapas ou por mxima verossimilhana. Alm disso, esse comando possui as clusulas cluster e robust que consideram um desenho amostral em etapas.
182
Em termos computacionais, diversos pacotes economtricos incluem comandos para estimar o sistema de equaes do modelo 7 como o comando Heckman do software Stata 9.1.
ANEXO 2 Os mtodos de pareamento utilizados para corrigir o vis das observveis Alm das tcnicas economtricas apontadas, devem ser consideradas tambm tcnicas de avaliao de impactos que se baseiam na comparao de grupos de domiclios escolhidos na amostra de acordo com determinados critrios. A proposta obter grupos de domiclios que possuem caractersticas semelhantes nos dois grupos (beneficirios e controle) e, a partir da, calcular as diferenas mdias dos indicadores. Para evitar a dificuldade em identificar esses grupos com base em um nmero muito elevado de caractersticas (variveis) domiciliares e comunitrias, pode-se fazer uso dos escores de propenso obtidos do modelo de deciso (primeira equao do Modelo 7). Esses escores de propenso representam os do modelo probit (ou logit). Esse mtodo ir basear-se na hiptese de independncia condicional que considera que a esperana do indicador na ausncia do projeto independente da participao, dado o conjunto (X) de caractersticas. De acordo com a notao empregada no Item 2.1, isso significa que E[R0/D=1] = E[R0/D=0] e, como o vis de seleo dado por V = E[R0/D=1] E[R0/D=0], significa que, sob a vigncia dessa hiptese, tal vis de seleo nulo. Os procedimentos a serem adotados para o emparelhamento so: estimar um modelo probit (segunda equao do modelo 7), cuja varivel dependente a participao no programa como funo das variveis que supostamente (ou provavelmente) determinam a participao no programa esse modelo ser aplicado para toda amostra de participantes e no-participantes do programa (beneficirios e controle); calcular para cada domiclio da amostra o escore de propenso a participar do programa a utilizao desse escore como varivel de referncia para o emparelhamento baseia-se na idia de que, se a esperana do indicador, na ausncia do projeto, independente da participao, dado o conjunto (X) de caractersticas (independncia
183
condicional), ento tambm existe independncia do escore de propenso em relao participao no projeto. Ou seja:
1 z2 E[Pi / P = 0, X] = E[Pi / P = 1, X] = E [ ( X i ] = E exp 2 dz 2
formar o emparelhamento dentro da amostra, obtendo, para cada domiclio no grupo de beneficirios, os cinco vizinhos mais prximos em termos de escore de propenso no grupo de controle; calcular os valores mdios para os indicadores em relao a esses cinco vizinhos mais prximos e calcular a diferena entre essa mdia e o valor efetivo dos indicadores para o domiclio correspondente no grupo de beneficirios o valor dessa diferena ser o ganho atribudo ao programa para aquele domiclio; calcular a mdia para esses ganhos individuais e, assim, obter o ganho mdio total. Existem mtodos mais sofisticados de emparelhamento que podem ser aplicados, como o proposto por Heckman et al. (1998), que consiste em, em vez de utilizar o vizinho mais prximo, utilizar todos os noparticipantes do programa como potenciais pares, mas ponderando-os de acordo com a distncia em relao ao domiclio correspondente no grupo de participantes (beneficirios). Essa distncia calculada da mesma forma que a diferena absoluta entre os escores de propenso a participar no programa de acordo com o modelo probit. A literatura recomenda considerar o chamado lack of common support, que ocorre quando alguns dos domiclios da amostra de no-participantes possuem um escore de propenso menor do que qualquer um dos que fazem parte da amostra de participantes do programa. Quando isso ocorre, aquelas observaes do conjunto de no-participantes devero ser eliminadas para formar o grupo de comparao e garantir que sero comparados ganhos em uma mesma faixa de escores de propenso. importante considerar que os mtodos de emparelhamento no eliminam o vis que advm na chamada seleo com base em fatores noobservveis Esses mtodos apenas eliminam o vis devido a diferenas em . caractersticas observveis33 e, no caso dessas fontes de vieses serem
33 Os mtodos de pareamento partem da hiptese da independncia condicional, que significa que o valor da varivel dependente na equao de resultados independente da participao, dado o vetor de caractersticas (X). Sob essa condio, os mtodos de pareamento resultam em uma estimativa no viesada do impacto. A hiptese de independncia condicional significa tambm que no existe vis de seleo (vis atribudo s variveis no-observveis), caracterizando uma situao em que a varivel Pv em (3) exgena ou no so correlacionados em (7).
184
opostas, uma positiva e outra negativa, as estimativas por emparelhamento podem conduzir a um vis maior do que as estimativas ingnuas (obtidas pela simples comparao das mdias dos dois grupos beneficirios e controle , sem utilizar emparelhamento). Deve-se ater ao fato de que diferentes modelos de deciso resultaro em diferentes escores de propenso e conseqentemente em distintas estimativas de impacto. Dessa forma, o desafio dessa metodologia fica condicionado possibilidade de obter o melhor modelo probit para o modelo de deciso, o que requer uma escolha adequada das variveis (Z) e, inclusive, uma mais adequada especificao desse modelo34.
ANEXO 3 O mtodo da dupla diferena e o modelo de efeitos fixos At aqui os modelos foram tratados considerando apenas regresses cross sections e admitindo que os impactos fossem mensurados com essas regresses aplicadas aos dados de um follow-up (segunda pesquisa de campo). No entanto, com um conjunto de dados baseline (ou o perfil de entrada), pode-se avanar mais. Ser possvel calcular a diferena entre os indicadores relativos aos participantes do programa e ao grupo de comparao no perfil de entrada, alm de subtrair esses valores da diferena aps o programa (follow-up). Essa transao ajuda a resolver o problema das variveis no-observveis tendo como hiptese que elas no variam no tempo. Considera-se a verso mais simples do mtodo da dupla diferena, dado pela seguinte seqncia de procedimentos: ETAPA 1: obter duas amostras, uma no baseline e outra no follow-up, tanto do grupo de beneficirios como do grupo de comparao. Seria ideal ter uma amostra follow-up contendo as mesmas observaes da amostra baseline e seguindo o mesmo mtodo (questionrio, mtodo de entrevista). ETAPA 2: para cada grupo (beneficirios e controle), calcular a diferena mdia entre os valores posteriores e anteriores do indicador. ETAPA 3: calcular a diferena entre as duas diferenas mdias. Essa a estimativa do impacto do programa.
34 Em termos computacionais, o software Stata 9.1 possui o comando psmatch2 (que deve ser instalado previamente a partir dos comandos disponveis na Internet) que implementa o mtodo de pareamento amostral (com diversas alternativas tcnicas) denominado propensity score matching.
185
Formalmente: Equao 14
I = (Ybeneficirios ,t +1 Ybeneficirios ,t ) (Ycontrole ,t +1 Ycontrole ,t )

Dados em painel podem ser utilizados para avaliar os impactos e consideram, ao mesmo tempo, dados em corte temporal (cross section) e dados de sries temporais. Na avaliao de impacto de programas, a srie temporal tem poucos perodos (pelo menos dois). Nesse caso, tem-se uma nova formulao. Considerando os dados em painel equilibrados, ter-se- o mesmo nmero de observaes para cada unidade secional e, portanto, um total de nxT observaes. Pode-se escrever, em termos matriciais: Equao 15 y=X + Onde: y um vetor de observaes do tipo Tx1; X uma matriz de coeficientes conhecidos do tipo nxTxk; o vetor de resduos aleatrios do tipo Tx1; um vetor dos parmetros populacionais desconhecidos do tipo Tx1. O mtodo de estimao mais simples da Equao 15 consiste em ignorar a estrutura do painel e assumir it ~ iid (o, 2) para todo i e t. Ou seja, para cada indivduo, as observaes no esto serialmente correlacionadas; j para os indivduos e o tempo, os erros so homocedsticos. A estimao desse modelo trivial e se faz utilizando os MQO. Porm, assumir que as observaes so iid ignorar a estrutura de painel dos dados. Embora, o mtodo dos MQO seja o mais fcil, no necessariamente o mais adequado. Assim, sugere-se: Equao 16 yit = Xit + it A estrutura do termo de perturbao aleatria : Equao 17 it = it + it
186
Ao primeiro termo da decomposio, i, d-se o nome de efeito indivduo, e o segundo, it, no est correlacionado com Xit. O desconhecido ( it) est composto por duas partes: a primeira ( it) varia com os indivduos ou com a unidade secional, mas constante ao longo do tempo (pode estar ou no correlacionada com as variveis explicativas). A segunda ( it) varia (no de maneira sistemtica) ao longo do tempo e dos indivduos. a forma mais simples de captar o aspecto de que duas observaes para o mesmo indivduo sero mais iguais do que duas observaes para indivduos diferentes. As aplicaes empricas de dados de painel envolvem um dos seguintes pressupostos acerca do indivduo: a) Modelo de efeitos aleatrios (random effects) ( i no est correlacionado com Xit); b) Modelo de efeitos fixos (fixed effects) ( i est correlacionado com Xit). A diferena relevante entre os dois modelos no reside no fato do efeito ser fixo ou no, mas no fato de o efeito estar ou no correlacionado com as variveis explicativas.
Modelo de efeitos aleatrios (random effects) De se ressaltar que o principal pressuposto a distinguir o modelo random effects do modelo fixed effects que o efeito especfico do indivduo ai, invariante no tempo, no est correlacionado com Xit. Essa condio de ortogonalidade adicionada aos pressupostos sobre it bastante para que o mtodo dos MQO seja assimpttico, no enviesado. O modelo random effects uma forma de lidar com o fato de que ter (T) observaes sobre (n) indivduos no o mesmo que ter observaes sobre (nT) indivduos diferentes. A soluo a esse problema direta. Primeiro, obtm-se um estimador para a matriz de covarincias do termo de perturbao e, depois, utiliza-se a estrutura da matriz de covarincias para estimar . A natureza do erro a seguinte: Equao 18 E[ ] = 0 InT E[ i j] = 0, para i j -> E[ i j] = E[ i jt] = 0 -> E[ i] = 0 -> E[ ] =
2 2
187
Todos os valores esperados so condicionados por (X). Considerando todos os pressupostos, pode-se escrever a covarincia dos erros do termo de perturbao para cada uma das unidades secionais: Equao 19
2 2 2 + 2 2 2 + , 2 2 , E[ i i ] = I T + ii = : : 2 2 2 2 ... ::: : 2 2 ... +
...
Aqui, i um vetor Tx1 de uns. A covarincia do termo perturbao para o modelo pode ser escrita do seguinte modo: Equao 20
0 ... 0 0 ... 0 , = I n = E[ ] = : : : : 0 0 ...
A matriz TxT = E( j j). A estrutura diagonal por blocos de fcil para obter a inversa, em que : Equao 21
se torna
1 / 2 =
1 , I T T ii
=
A varivel
2 2 2 T +
uma quantidade desconhecida que tem de ser estimada.
O estimador MQG (mnimos quadrados generalizados) admissvel requer estimativas das quantidades desconhecidas. Em particular, necessita-se das estimativas das varincias de e na expresso de .
Modelo de efeitos fixos (fixed effects) no caso de dois perodos Os dados de painel so apresentados como uma verso mais complexa dos dados seccionais. No se pode esperar que a informao obtida quando (n) indivduos so tratados (T) vezes seja a mesma que se obtm quando se observam (nT) indivduos. H que se lidar com esse problema.
188
Essa limitao pode ser verificada observando-se o estimador do modelo randon effects, que se reduz ao estimador agregado como um nico conjunto de dados secionais quando a varincia do componente do indivduo zero. Por outro lado, os dados de painel permitem, de certa forma, reduzir um grave problema enfrentado pela maioria de pesquisadores: a ausncia de uma lista adequada de variveis independentes para explicar uma varivel dependente. Para entender isso, apresenta-se uma idia intuitiva do modelo fixed effects: modelo simples de dois perodos (t = 1,2), assim representado: Equao 22 yit = Xit Onde: + Zi + it
X = uma matriz de variveis explicativas, que varia com o tempo e com os indivduos; Y = uma matriz de variveis observveis, que varia com os indivduos, mas, para um mesmo indivduo, mantm-se constante ao longo dos dois perodos. Em analogia ao modelo randon effects, define-se: Equao 23 it = it + it
A assuno dos pressupostos seguintes (os mesmos do modelo randon effects) determina: Equao 24 E[ ] = 0 -> E[ ] = 2 InT E[ i j] = 0, para i j -> E[ i j] = 2 E[ i jt] = 0 -> E[ i] = 0 Na Equao 24, todos os valores esperados so condicionados por (X) e (Z). A diferena essencial entre o caso presente (fixed effects) e o modelo randon effects envolve um pressuposto adicional relativo ao efeito especfico do indivduo. Considerando Wit = [Xit Zit], tem-se: Equao 25 E[Wit it] 0
189
Destaca-se o fato de as variveis independentes estarem correlacionadas com . O no-cumprimento dessa condio de ortogonalidade tem conseqncias importantes. Considere-se o estimador MQO apenas para os dados do primeiro perodo: Equao 26 yi1 = Xi1 + Zi + i1 Ao contrrio do modelo random effects (conseqncia da Equao 28), o estimador MQO ser enviesado. A extenso e a direo do enviesamento dependero da natureza precisa da relao entre o efeito especfico do indivduo e as outras variveis explicativas. Uma forma de trat-lo imaginar a seguinte regresso para a populao: Equao 27 i = Wit + erro O coeficiente populacional desta projeo linear representa o for o coeficiente MQO da segunda varivel explicativa enviesamento. Se da Equao 28, e 2 for o parmetro populacional para a mesma varivel explicativa na projeo linear descrita na Equao 27, pode-se escrever plim = 2 + 2, onde 2 o verdadeiro valor do coeficiente da segunda varivel explicativa da populao. Pela lgica, os mesmos problemas sero enfrentados ao se utilizar o estimador MQO com os dados de segundo perodo: Equao 28 yi2 = Xi2 + Zi + i2 A vantagem dos dados de painel est em ressaltar que as equaes nos dois momentos no tempo, isto , equaes 26 e 28, so representaes vlidas do mundo real e, portanto, qualquer combinao dessas relaes tambm vlida. A primeira diferena delas uma combinao real e vlida, assim:
190
Equao 29 yi1 = Xi1 + Zi + i1 yi2 = Xi2 + Zi + i2 yi2 - yi1 = (Xi2 - Xi1) +( Zi - Zi) +( i2- i1) y = X + Z + e A varivel o operador diferena (X = Xi2 - Xi1). A Equao 29 equivale, pois, a: y = X + Nota-se que os termos invariantes no tempo, Zi e i, desaparecem aps aplicao do operador diferena. A principal diferena entre a equao em diferenas (Equao 29) e as equaes em nveis (ou equaes no transformadas, equaes 26 e 28), que a condio necessria de ortogonalidade verificada nos dados transformados: Equao 30 E[Xh] = 0 A principal conseqncia dessa observao que MQO para os dados transformados produz estimativas no enviesadas dos coeficientes da varivel (X). a essncia do modelo fixed effects. Com os dados de painel, possvel obter estimativas consistentes dos parmetros de interesse, mesmo em presena de efeitos correlacionados omissos. A aplicao do estimador MQO a dados secionais (indivduos) no poderia consegui-lo. o uso dos indivduos como controle deles mesmos. Trs lies podem ser tiradas do modelo simples de fixed effects: 1. Com estimadores fixed effects, em geral, no se pode recuperar estimativas para quaisquer variveis explicativas invariantes no tempo. Por vezes, possvel recuperar os coeficientes dos regressores invariantes no tempo se houver informao a priori adicional acerca dos elementos dos regressores variantes no tempo (Hausman, 1981). Quando se removem os efeitos correlacionados no-observveis i, tambm se removem os efeitos de qualquer varivel observvel que seja invariante no tempo. No modelo simples de fixed effects, a transformao de diferenciao tem como conseqncia o desaparecimento na equao final a estimar de Zi e i. Todos os efeitos invariantes no tempo recebem o mesmo tratamento.
191
2. O estimador do mtodo fixed effects robusto em relao omisso de quaisquer regressores invariantes no tempo. Esta a expectativa da estimao do modelo fixed effects. Em princpio, com o modelo fixed effects, reduz-se a necessidade de informao adicional, bsico para satisfazer a condio de ortogonalidade. 3. Quando o modelo random effects for vlido, o estimador de fixed effects ainda assim produzir estimativas consistentes para os parmetros de identificao. A condio de ortogonalidade da Equao 30 ainda vlida quando o modelo randon effects descreve a realidade, embora o estimador de fixed effects no seja, neste caso, eficiente em relao ao estimador random effects.
ANEXO 4 Consideraes sobre a utilizao de dados em painel em modelos economtricos com variveis dependentes qualitativas Uma das questes mais importantes nos modelos que utilizam dados em painel encontra-se no controle da correlao serial. Nos modelos de efeitos aleatrios, os mtodos de estimao de mnimos quadrados generalizados produzem eficientes estimadores consistentes e assimptticos. Para modelos que possuem variveis dependentes qualitativas, a correlao serial introduz problemas adicionais que, em alguns casos, tornam os mtodos usuais intratveis. Considere o caso de um modelo probit com dados de painel, em que no se observa a varivel y it , mas sim um indicador d it :
1 se yit 0 d it = 0 se contrrio
O modelo para y it pode ser dado pela seguinte especificao: y it = X it + it
it = i + it
A varivel i representa um efeito aleatrio invariante no tempo e it independente e identicamente distribuda (iid). Desse modo, a estrutura de covarincia de it dada por:
192
Equao 31
2 se j = 0 E ( it it j ) = 2 se j 0
Tem-se, ento: . i ~ N (0, ) Define-se J it = {di1 ,..., d it } como o conjunto das escolhas do i-simo indivduo no perodo [1,t], e que Pr ob( J it | X i ; ) seja a probabilidade desse conjunto, onde X i = ( X i1 ,..., X iT ) e so os parmetros de interesse. Ento, o logaritmo da funo de verossimilhana dado por:
l( ) = ln[Pr ob ( J iT | X i ; )]
i=1
A dificuldade de maximizar essa funo est relacionada estrutura de dependncia dos erros. No caso em que it iid, tem-se: Equao 32
Pr ob( J it | X i ; ) = Pr ob(d il | X il ; )
l =1
Somente integrao univariada necessria para obter a verossimilhana. No caso em que existem efeitos aleatrios, ocorre: Equao 33
Pr ob( J it ) =
l =1
Pr ob( d
il
| X il ; ) f ( )d
Aqui, f(.) a densidade de uma distribuio normal. Para se obter a verossimilhana necessria a integrao bivariada. Para estruturas nos erros mais gerais, a ordem de integrao da mesma ordem que (T), o que torna invivel a utilizao de mtodos de mxima verossimilhana. Uma alternativa a utilizao de mtodos de estimao que independam de normalidade e da especificao da estrutura nos erros. Uma possibilidade usar o mtodo de Equaes de Estimao Generalizada35. O mtodo das equaes de estimao generalizadas (Liang e Zeger, 1986) permite a estimao de modelos de regresso nos casos em que a
35 Ver Liang & Zeger (1986), Crowder (1986), Crowder (1987) ou Mtodos de Estimao via Simulao (Keane, 1993).
193
varivel endgena no segue uma distribuio normal, e tambm quando existe uma estrutura longitudinal associada a essa varivel. Ou seja, para um mesmo indivduo ela observada vrias vezes ao longo do tempo. Para a construo de tais equaes necessrio, para cada indivduo da amostra, definir funes de estimao (funes dos dados e dos parmetros de interesse) que tenham esperana matemtica igual a zero e fazer suposies sobre a estrutura de correlao entre essas funes ao longo do tempo36. O mtodo permite que o nmero de avaliaes da varivel endgena seja diferente de um indivduo para o outro. A idia do Mtodo de Estimao por Simulao generalizar o mtodo de momentos para estimao de parmetros, em que a varivel integral, na Equao 33 substituda por simuladores de Monte Carlo das probabilidades. O principal problema desses mtodos est na implementao, dado que os softwares disponveis (Limdep) no apresentam tais alternativas.
ANEXO 5 Anlise dos Componentes Principais (ACP): um resumo do procedimento A anlise de componentes principais aplica-se a variveis quantitativas (cuja escala tem sentido paramtrico, ou seja, possvel calcular seus momentos, como mdia, varincia, assimetria, kurtosis). Ela tem como objetivo primordial reagrupar um conjunto de variveis em torno de fatores componentes principais que permitam uma representao grfica em planos denominados planos fatoriais que facilite a interpretao da relao de um amplo conjunto de variveis. Por exemplo, se queremos analisar o que se passa com os municpios paulistas, podemos coletar dados quantitativos sobre variveis de diferentes tipos e organiz-las em grupos; a) variveis de estrutura fundiria; b) variveis sobre grau de urbanizao; c) variveis sobre intensidade de atividade econmica; d) variveis sobre uso da tecnologia agrcola; e) varivel sobre prticas contratuais. Espera-se, portanto, como em Fvaro (2005), que uma anlise de ACP aplicada a cada um desses itens resulte em um ou dois fatores que possam ser utilizados para representar cada um dos grupos apresentados.
36 Ver detalhes sobre essa construo em Crowder (1987).
194
Outra possibilidade, que a aplicao do mtodo ACP para todas as variveis (cerca de 20) resultasse em 4 ou 5 componentes fatoriais que permitissem observar no s os agrupamentos de municpios em torno de certas variveis, mas quais variveis foram as principais responsveis pelas diferenas entre municpios, no mbito do Estado de So Paulo. No caso da anlise de capital social, a ACP pode at ser utilizada para checar a estrutura proposta. Tecnicamente, pode-se sintetizar o procedimento de ACP (ver Escofier e Pags, 1992), conforme o que se segue. Em linhas gerais, pode-se considerar que a representao vetorial de cada indivduo (por exemplo, um assentado, uma famlia de beneficirios, um assentamento ou um municpio) feita em um espao Mk, ou seja, cada indivduo representado por (k) atributos37. Para um conjunto de (n) observaes, tem-se uma nuvem de pontos no chamado espao das variveis. Tambm possvel qualificar cada varivel no espao Mn dos indivduos. A idia central do ACP ser possvel encontrar uma matriz Azk, cujos elementos so coeficientes de correlao linear entre variveis e fatores comuns, que igual diferena entre a variabilidade total encontrada a partir da matriz dos dados (R) (padronizados e com a norma valendo 1), e uma matriz cujos elementos comuns so coeficientes de correlao linear entre as variveis e os fatores singulares. Obviamente, trata-se de uma formulao terica. Toda vez que se busca vetores que sintetizem relaes mais intensas, perde-se informao. Assim, algumas variveis vo estar mais prximas de outras e este feixe de variveis o que melhor distancia indivduos. Por exemplo, municpios rurais diferenciam-se dos urbanos no s pelas variveis relativas ao grau de urbanizao, mas tambm por alguns indicadores de desempenho de arrecadao. Isto no perfeito, pois alguns municpios agrcolas podem ter uma agricultura pujante que os aproximem dos urbanizados apesar de seu fraco desempenho nas variveis que indiquem o grau de urbanizao. Associaes com muita participao podem diferenciar-se daquelas com pouca participao,mas pode existir um grupo que se confunde com os dois, pois existe apenas uma festa anual em que as pessoas se renem com grande contribuio monetria de todos os membros da comunidade. O problema pode ser descrito como a busca do melhor plano (ou dos melhores planos) fatorial que permite projetar a nuvem de pontos, seja do espao de indivduos seja do espao de variveis. O problema encontrar
37 As variveis resultantes dos indicadores, utilizadas na anlise, so numricas.
195
uma boa representao para uma nuvem de pontos que, em sua complexidade, no pode ser interpretada. Mais do que isso, busca-se uma interpretao desses planos em termos da importncia das variveis originais (os planos obtidos podem ser interpretados segundo o tema de estudo). O mtodo ACP utiliza um algoritmo de otimizao da matriz caracterstica , que passa por encontrar um (auto) vetor ek1 a minimizar os erros de projeo da nuvem de pontos no (primeiro) fator, que aquele com maior inrcia, representada pelo maior 38. autovalor (W). Isso obtido quando O algoritmo seqencial. Obtm-se a melhor projeo, correspondente ao maior autovalor, ou seja, maior varincia projetada, passando a seguir para o segundo maior e assim sucessivamente. Os prximos autovetores e autovalores so alcanados sob a restrio dos resultados obtidos nos processos imediatamente anteriores (ver Escofier e Pges, 1992). Como passar do resultado desse ajuste para indicadores? Trata-se de utilizar, da melhor forma possvel, as informaes resultantes do processo de otimizao. Esse ir fornecer as varincias associadas a cada fator (eixo de projeo) e sua contribuio para a inrcia total. Tambm fornece as cargas fatoriais como a decomposio de cada fator em termos das (k) variveis utilizadas e a composio de cada varivel em termos dos fatores. Para a representao grfica, o resultado fornece as coordenadas das variveis em cada plano fatorial que se deseja representar (dos indivduos, em outro plano). A boa representao das variveis nesses planos permite a interpretao de seu significado e de cada um dos fatores, conforme o caso. Essa representao pode ser melhorada utilizando algum mtodo de rotao39. Esse seria o cenrio ideal, mas nem sempre ocorre.
38 A matriz AA uma expresso geral de um procedimento que busca a melhor projeo de uma nuvem de pontos no espao da k variveis originais no espao dos fatores, aqui representado pela matriz Ekk, composto pelos vetores ekk. Para isso, preciso estabelecer uma mtrica (uma unidade de medida aplicada lgebra matricial) que permita realizar a projeo ponto a ponto no vetor que melhor se serve a esta tarefa. O critrio utilizado considerar a projeo que, para o conjunto de pontos, maximize a varincia da projeo. Intuitivamente, aquela que distribui os pontos ao longo do vetor de forma a ampliar a medida conjunta de distncia ao quadrado. Os procedimentos para obteno da mtrica so detalhados em Escofier e Pags (1992:75). 39 No realizado pelo WINSPAD3, mas disponvel em outros softwares, como STATISTICA, SAS ou SPSS.
196
ANEXO 6 Metodologias de construo de indicadores de capital social A discusso abaixo visa apontar alguns cuidados na elaborao de indicadores de capital social e sugerir alguns procedimentos que podem auxiliar na agregao dos indicadores obtidos. Referidos procedimentos podem ser aplicados mesmo no caso de amostras no representativas do ponto de vista estatstico40. Adiante, destaca-se um roteiro para a agregao de indicadores de capital social. Esses indicadores podem ser utilizados tanto em anlises que tomam o capital social como varivel dependente (cuja acumulao seria impactada pelo programa em anlise), quanto em anlises que consideram o capital social como varivel independente, cujo nvel e variao provocam mudanas nas condies de vida e de bem-estar de comunidades de beneficirios. Outro tema discutido refere-se relao entre o capital social e as variveis que no diretamente so atribudas s causas dos fenmenos em estudo. Essas variveis podem ser obtidas por procedimentos derivados da investigao qualitativa, da percepo dos entrevistados: so as variveis latentes41. Confirmando as possibilidades abertas pela explorao estatstica de indicadores qualitativos, o trabalho de Flora & Flora (2000) apresenta indicadores compostos, obtidos por meio de tcnicas fatoriais. Surge tambm a noo de uma varivel latente ao coletiva como composio de outras trs variveis latentes: a) legitimidade de alternativas (composta a partir de 3 indicadores); b) mobilizao de recursos (3 indicadores); c) qualidade no estabelecimento de redes (4 indicadores; um deles composto por 9 variveis combinadas por meio de anlise fatorial). Tal exemplo permite captar a idia de que na impossibilidade de mensurar o fenmeno diretamente, possvel manejar escalas de percepo de beneficirios no sentido de criar variveis passveis de validao por mtodos estatsticos, aplicados posteriormente.
40 Para anlise de procedimentos bastante cuidadosos na criao de indicadores que expliquem a renda de diferentes estratos da populao no Brasil, ver Kageyama e Hoffmann (2000). 41 Uma aplicao corrente das variveis latentes a construo do European Consumer Satisfation Index (ECSI). Para se obter tal index, levanta-se por meio de instrumento de coleta as seguintes variveis latentes: expectativas dos clientes, qualidade percebida dos produtos e servios, valor percebido, satisfao do cliente, reclamaes e lealdade do cliente.
197
Outro exemplo de aplicao o trabalho de Csar, Soares e Mambrini (2000)42, em que se discute os fatores que influenciam em resultados de desempenho no teste de avaliao de alunos do Sistema Nacional de Avaliao da Educao Bsica (Saeb) do Ministrio da Educao, Brasil. Os autores trabalharam com variveis, segundo diferentes tipos de escala: a) variveis binrias para sexo o que parece totalmente adequado; b) uma escala ordinal para uma varivel que sintetiza a percepo dos alunos do grau de dificuldade do teste; c) uma escala construda a partir de uma varivel latente que sintetiza o status scio-econmico dos alunos, utilizando a Escala de Samejima (1969), citado por Wright & Masters (1982). Tais aplicaes, tanto do conceito de varivel latente quanto da anlise multivariada, sugerem que o estudo do capital social deve ser fundado em um instrumento de coleta adequado para a obteno de ndices que respeitem as caractersticas desejadas para sua agregao e que possam, de preferncia, ser utilizados com base em anlises amostrais. Por outro lado, surge a possibilidade de utilizar variveis de percepo para tratar a acumulao de capital social, variveis latentes que componham modelos estruturais e que permitam o uso de tcnicas de sua validao estatstica. Tcnicas estatsticas aplicadas anlise do capital social so apresentadas a seguir: anlise fatorial para construo de indicadores, mtodo de anlise estrutural, anlise confirmatria e aplicao de modelos hierrquicos.
A utilizao de anlise fatorial para construo de indicadores Em muitos casos, desejvel utilizar um ndice que represente um conjunto de variveis com significado comum. Uma das formas de proceder a uma reduo utilizar a Anlise de Componentes Principais (ACP). Ribeiro e Dias (2004) obtiveram um ndice agregado de atividade econmica municipal a partir de sries sem o componente sazonal de vrios indicadores parciais, como consumo de energia eltrica residencial, industrial, atividade de emplacamento de automveis, habite-se concedidos, alvars e arrecadao de vrias modalidades de impostos. Os autores obtiveram, ento, um indicador de como evolui um determinado municpio no tempo sem que o leitor tenha que consultar vrios indicadores. possvel at mesmo evitar ambigidades na interpretao dos resultados.
42 interessante consultar uma verso anterior do trabalho de Csar, Soares e Mambrini (1999), que detalha ainda mais as variveis e suas caractersticas. Disponvel para download em: www.est.ufmg.br/proav/influence.html.
198
A tcnica utilizada bastante acessvel, pois demanda apenas uma tabela com todos os indicadores nas colunas, de preferncia em escalas padronizadas (nmeros/ndices, escalas do tipo Likert ou Osgord). Todavia, sendo possvel normalizar os dados, pode-se, inclusive, alimentar a anlise com indicadores de distintas dimenses43. O primeiro passo obter os chamados componentes principais , utilizando-se a multivariada tcnica Anlise dos Componentes Principais (ACP), descrita no Anexo 544. Em linhas gerais, cada componente principal resultado de uma combinao linear das variveis (indicadores de capital social) ponderadas pela contribuio de cada uma na varincia total do componente. Para obter o ndice agregado, utilizam-se os n primeiros componentes que mais contriburam para a varincia total. A partir da, dois caminhos so possveis: utilizar diretamente os valores dos componentes obtidos para cada um dos indivduos analisados, caso esses possam ser interpretados com clareza (exemplo: o primeiro componente combinaria os indicadores parciais de capital social para fornecer uma clara indicao da capacidade de organizao da comunidade; outro seria indicador da tradio comunitria; outro indicaria capacidade das comunidades de gesto, at o nmero n de componentes com significado para a anlise)45; utilizar os componentes principais para obter a importncia (peso) de cada varivel (indicador parcial de capital social) em um (ou mais) indicador agregado de capital social. No caso da escolha recair sobre o procedimento mencionado no item a , uma adequada construo de ndices depende da possibilidade de interpretar os planos fatoriais obtidos ou, pelo menos, os eixos fatoriais. Assim, a relao entre Participao Associativa e Desempenho dos Gestores poderia formar um plano resultante do ajuste e no intencionalmente bem entendido em que os municpios estariam representados (com a ressalva das limitaes impostas pela amostra intencional).
43 claro que informaes do tipo binrio, sim ou no, no seriam adequadas a este tipo de anlise. Tambm limitante saber antecipadamente que, devido a regras do programa analisado, o indicador varia entre 1 e 6, por exemplo, se o programa exigisse no mnimo uma reunio anual e as condies efetivas dos beneficirios tornassem muito raro uma freqncia anual uma reunio cada dois meses. 44 Os aspectos formais da anlise de ACP esto em Escofier e Pges (1992). Privilegiou-se a interpretao do mtodo e os aspectos mais diretamente relacionados construo do ndice. Softwares, como o SPSS ou o SPADN, permitem realizar anlises de componentes principais de forma a atender metodologia sugerida para a obteno de ndices agregados. 45 Fvaro (2005) utilizou este tipo de procedimento para formar indicadores tecnolgicos, de urbanizao, de estrutura fundiria, visando caracterizar municpios do Estado de So Paulo.
199
claro que algumas variveis da matriz de dados originais contriburam com maior intensidade para a formao de um plano, participando fortemente na deformao da nuvem de pontos originais tendo elevada inrcia enquanto que outras contriburam mais fortemente para formao de outro plano, lembrando que na ACP cada plano formado por fatores ortogonais. Existindo variveis fortemente relacionadas com cada um dos eixos (fatores), possvel utilizar a matriz quadrada XX de ordem nxn para gerar dois fatores, cada qual com significado e cada um com contribuies maiores de um conjunto distinto (e quase disjunto) de variveis. No segundo caso, seguindo a sugesto de Ribeiro e Dias (2004), o procedimento passaria por duas etapas. Na primeira, para cada varivel (indicador parcial de capital social, como o nmero de reunies realizadas no ano pela associao), calcula-se sua importncia utilizando a frmula seguinte.
Icpi = Pj
Pj
f =1
* Cij
Onde: Cif o valor da i-simo indicador de capital social no j-simo componente principal; Pj a parcela da varincia atribuvel ao j-simo fator. Assim, o ndice agregado obtido pela soma dos valores das variveis (valor do ndice para cada assentamento analisado) ponderadas os Icpi (a importncia de cada indicador, obtida pelo uso da ACP), ou seja:
ICS = Icpi *Vi
i =1 k
Os dois procedimentos para obteno de ndices agregados demandam ateno com as variveis utilizadas, seja a partir de mensurao de atributos diretos da populao, seja por resultados da aplicao de escalas de percepo. Dada a facilidade de conduo do mtodo ACP, seu uso deve ser parcimonioso e restrito aos casos em que realmente o rescalonamento obtido com a tcnica fatorial represente a variabilidade original do conjunto de variveis que o alimentaram. Essa observao crtica no primeiro tipo proposto de agregao, uma vez que um componente principal precisa ser interpretvel para receber uma ponderao e gerar um indicador agregado de capital social.
200
O mtodo de anlise estrutural e suas aplicaes na anlise do capital social A proposta de criao de indicadores a partir de informaes levantadas para avaliao do capital social fornece a base para estudos de carter exploratrio. Novos indicadores e novos grupos de variveis em torno de variveis construdas a partir de variveis de percepo sobre o capital social (latentes) podero ser criados, o que permite um ganho no s na obteno de um melhor significado dos indicadores (sntese mais clara), mas tambm abre a possibilidade de analisar a mudana estrutural entre dois perodos. Os mtodos de modelos estruturais envolvem um conjunto de variantes, desde modelos de regresso, anlise do caminho mtodos de , medida, modelos confirmatrios, at a anlise de caminho com variveis latentes no sentido de trabalhar com as diferentes variveis estruturadas , em grupos em torno da criao de variveis latentes. O desenvolvimento pormenorizado do mtodo depender de um conjunto de anlises prvias, univariadas (para caracterizar o comportamento das variveis na amostra) e multivariadas.
Um esboo sobre anlise confirmatria Uma anlise confirmatria busca checarse uma determinada estrutura de relao de variveis d sustentao s variveis latentes que lhes correspondem. Visa tambm avaliar a correlao entre variveis latentes. Para ilustrar de forma mais ampla a anlise estrutural, um exemplo esquemtico explicita as possibilidades de trabalhar com a chamada anlise confirmatria para o estudo de indicadores de capital social46. A anlise estrutural de indicadores, apresentada na Quadro 4, considera os seguintes elementos: as caixas nas margens do Quadro 4 apresentam vetores que contm os valores dos indicadores de participao comunitria (CPI, esquerda) e de desempenho do conselho (MCPI, direita);
46 Para um exemplo relativo a variveis que apresentem correlao entre variveis ordinais (obtendo assim coeficientes de correlao chamados polychoric), ver Jreskog e Srbon (1993) e Byrne (1989).
201
a cada indivduo (associao/municpio) da amostra esto associados valores do conjunto de indicadores que iro compor os vetores de cada uma das caixas47; as setas originadas das margens, apontando para as caixas, referem-se mensurao do erro de medida associado a cada uma delas, que contribuem para o random effect; as figuras circulares centrais indicam as variveis latentes que, no caso, sintetizam duas medidas de capital social48; as setas em direo s caixas quadradas indicam a contribuio de cada uma para a varivel latente, como um sistema de pesos, ou melhor, de cargas fatoriais. Entre as duas variveis latentes, existe uma correlao. Sua interpretao depende dos termos do problema. Pode ser interessante que CPI e MCPI sejam positivamente relacionadas. A estrutura do problema garante a priori que comunidades ativas no necessariamente estejam em municpios com bom desempenho do Conselho Municipal e vice-versa (da a razo da seta no pr-determinar um efeito de causalidade, que, todavia, pode ser testado).
Quadro 4 Anlise confirmatria: um esquema simples para relacionar CPI e MCPI

Indicador de associao? Associaes participam?
Renova diretores?
CPI
MCPI
Relao com a prefeitura
Alavanca recursos?
Reunies regulares?
47 A escala dessas variveis pode ser construda de vrias formas, segundo o estudo univariado da distribuio de cada um dos indicadores. Esses modelos podem ser simples, como a escala construda por Costa (2000), ou pode envolver a utilizao de mtodos mais complexos de mensurao. Pode-se criar escalas nominais, ordinais, intervalares e mesmo criar variveis binrias. Em outras palavras, possvel ganhar flexibilidade em relao a uma padronizao de escalas para todas as variveis 48 No caso desse exemplo so variveis originadas do ajuste do modelo, que permitem que se imponham restries sobre o comportamento da varincia de uma delas e mesmo se padronize a escala das variveis
202
A anlise permite estabelecer a correlao entre os indicadores49. O Quadro 4 apresenta um modelo de anlise confirmatria adequado para relacionar duas variveis latentes, relacionadas a dois subgrupos estruturados j no questionrio, ou seja, a partir do instrumento de coleta de informaes. A adequao do processo se baseia na criao de dois subgrupos associados s duas variveis latentes para representar o CPI. No exemplo, testa-se o modelo com dois fatores, cada fator sendo determinado por apenas trs variveis observveis. A seguir, apresenta-se a mesma anlise um pouco mais formalizada. Sugere-se aos leitores que desejem aprofundar seus conhecimentos a consulta ao trabalho de Jreskog e Srbom, 1993. Considerando que duas variveis grau de participao nas reunies e periodicidade das reunies estejam relacionadas a uma varivel latente (participao efetiva); e que resoluo de problemas com recursos prprios e emprstimos financeiros componham uma varivel latente (potencial financeiro), essas quatro variveis tm erro de medida e so representadas por xi, que parte do vetor X. Elas esto estruturadas de forma a relacionar-se com z, que o vetor das variveis latentes. As duas primeiras linhas de X esto relacionadas primeira linha de V, ou seja, a varivel latente zi. Cada varivel assume valores segundo a escala construda a partir das observaes tomadas s P comunidades amostradas. As variveis latentes, nesse caso (como tambm no exemplo anterior), so no-observveis. Um teste economtrico pode ser feito: aplica-se a metodologia dos componentes principais para as variveis mencionadas. Espera-se que o resultado, na forma de fatores, reflita a estrutura que se est propondo:que um fator sintetize a participao efetiva e que outro, o potencial financeiro. O passo seguinte pode ser conduzir uma anlise de caminho considerando variveis latentes e estimando a relao entre elas. Essa anlise pode ser estendida para abranger duas situaes (a contribuio e a relao entre as variveis de cada grupo nos dois perodos), o que permitiria observar a relao dessas variveis latentes no tempo. Pode-se, inclusive, testar o quanto isso afetaria os resultados do CPI, caso a anlise anterior indique uma relao causal clara dos indicadores de MCPI para a varivel latente CPI.
49 Alm das medidas de correlao, possvel testar a qualidade do ajuste (Goodness-of-Fit, ver Jreskog e Srbom, 1993, Cap. 4), comparando a matriz de covarincia do modelo irrestrito todas variveis correlacionadas - com a do modelo estruturado. A anlise permite avaliar os ganhos resultantes da modificao de indicadores. O modelo permite ento que conheamos a interrelao entre eles.
203
Outro passo, agora relacionado a estimar parmetros, e no apenas checar o processo estrutural de variveis e indicadores, seria trabalhar as variveis a partir de um modelo estrutural hierarquizado, o que significaria considerar dois nveis bsicos: municpio e comunidades. Aplicao de modelos hierrquicos possvel ainda hierarquizar a anlise para que capte a influncia dos municpios e das comunidades (famlias) como forma de reforar a investigao sobre os indicadores de desempenho das associaes e dos municpios. Como j citado, o uso de regresso hierrquica se aplica aos casos em que a populao est estruturada, como bem ilustra o caso da educao (Goldstein, 1995; Cesar, Soares e Mambrini, 1999)50. Um modelo geral para um sistema hierrquico em dois nveis apresentado a seguir. Os indicadores MPCI e CPI ou proxies obtidas de variveis da amostra apresentada no Captulo 3 poderiam ser transformados em variveis dependentes e, por conseqncia, em um modelo desse tipo, para buscar uma anlise desagregada das explicaes por fatores fixos e aleatrios que expliquem seu comportamento. Com isso, pode-se perceber o efeito dos municpios em cada um dos ndices e o efeito dos fatores aleatrios relacionados s comunidades. Supe-se o seguinte esquema: Yijk, com: k = 1,2,...,; j = 1, 2,..., ni (unidades de nvel 1, comunidades); i = 1, 2,..., N (unidades sorteadas de nvel 2, municpios). Supe-se tambm que existem xil = {1, 2,...q} variveis representando o segundo nvel de observaes (variveis caractersticas dos municpios, mas no especificamente das comunidades). Na i-sima observao do 2 nvel, pode-se escrever os dados observados da seguinte forma:
Na equao acima, cada um dos j-simos e dos q-simos dizem respeito s variveis relativas aos dois nveis em que o modelo est estruturado
50 Reafirma-se que um municpio especfico x no est sendo estudado, no se constitui em uma varivel e sim em um estgio da amostra. O mesmo se passa com as comunidades. Pode-se todavia avaliar a influncia dos municpios sobre a variabilidade observada pelo estudo. O mesmo se aplica a comunidades.
204
(variveis das comunidades e dos municpios). O modelo hierrquico ento definido por um sistema de equaes (respectivamente identificados como 0.1 e 0.2):
Nessas equaes, X(y) e X(x) so matrizes visando captar os efeitos fixos (fixed effects) e Sij e Ri so matrizes para captar efeitos aleatrios (random effects). O modelo assume alguns pressupostos bastante restritivos, como supor que os termos de erro vij e uij so iid com N(0, B) e N(0, w). Alm disso, assume a seguinte composio:
Os detalhes da estimao do modelo esto em McDonald (1985). O intuito foi sintetizar as vantagens e estimar o modelo hierrquico como forma de melhor decompor as causas de variao que explicam o capital social, notadamente se a entidade municpio causa de maior participao comunitria ou se maior participao comunitria tem influncia no desempenho dos conselhos municipais. Em resumo, o objetivo da anlise estatstica do capital social complementar os outros nveis de anlise e permitir testar as hipteses relativas s relaes de causalidade entre os programas de interveno pblica, variaes no nvel de capital social das comunidades e combate pobreza.
ANEXO 7 A obteno de um indicador sinttico de capital social usando ACP Esse mtodo adequado se as variveis com maior peso forem as que, em conjunto, sejam capazes de dar o significado desejado ao ndice. o que ser apresentado a seguir, como proposta em situaes em que se perceba que indicadores em que se espera significado comum levem os
205
indivduos para bem longe na nuvem de pontos e, conseqentemente, nos planos fatoriais obtidos pela ACP. Pode-se apresentar a construo do ndice de maneira mais formal (trabalha-se a matriz original de dados, e aps o ajuste recm-descrito, sero obtidas as seguintes matrizes): Xnk matriz de (v) variveis transformadas; Fnk matriz dos valores para cada observao em cada fator comum; Azk matriz cujos elementos so coeficientes de correlao linear entre as variveis e os fatores comuns. O ndice representado pelos vetores Mi,1 (conjunto das somas dos produtos dos escores fatoriais correspondentes a uma observao pela participao relativa dos fatores comuns na explicao da varincia , em que: total51). Com z k52, tem-se FL fatores comuns selecionados (L =1,...,z), cujos elementos so escores fatoriais; VL percentagem de varincia total explicada pelo fator comum respectivo (L); fcil mostrar que ao substituir V1 pela soma de quadrados das cargas fatoriais do l-simo fator comum, dividido pela porcentagem da varincia comum explicada por esse mesmo fator comum para transformar a equao imediatamente anterior, obtm-se o ndice desejado:
Nessa equao, tem-se W1.z, o vetor de autovalores dos fatores comuns (como as cargas fatoriais so coeficientes de correlao linear, seus quadrados so coeficientes de determinao que indicam a proporo explicada da varincia das variveis). Esse ndice pode sofrer algum tipo de reescalonamento, visando evitar problemas decorrentes de interpretao do ndice absoluto gerado. Como se pode perceber, sua interpretao pode ser difcil, caso as variveis escolhidas sejam de natureza muito diversa. Variveis com natureza muito prxima, por seu turno, do pouca contribuio inrcia, podendo criar problemas para a distribuio da varivel ndice ou propiciar o predomnio de poucas variveis, o que tornaria o exerccio desnecessrio.
51 Alguns detalhes relativos s propriedades do sistema de ponderao foram omitidos para simplificar. Ver Escofier e Pges (1992). 52 O que representa o processo de reduo de um espao das variveis de maior ordem para um espao Z.
206
ANEXO 8 Anlise confirmatria de estruturas baseadas em variveis latentes Essas estruturas, segundo Byrne (1989), permitem estimar um conjunto de parmetros segundo a equao abaixo:
Essa equao pode ser expressa na forma de matriz de varinciacovarincia. Veja-se:
Apenas para ilustrar melhor a idia de estruturao em grupos de variveis relacionadas s variveis latentes, apresenta-se a expanso da acima transcrita. Percebe-se que x composta por cargas fatoriais53 relacionadas s variveis latentes 1 e 2, respectivamente. Cada elemento de fornece a varincia-covarincia dos fatores54. Seu termo 21 zero quando os fatores so ortogonais, o que s aconteceria se as variveis de um grupo fossem independentes daquelas pertencentes ao outro grupo. Finalmente, d a matriz dos erros de medida ou termos residuais associados a cada varivel observvel. Na equao anterior, impe-se uma restrio de que esses erros so no-correlacionados, o que pode ser relaxado55. A anlise d lugar avaliao da qualidade do ajuste e da possibilidade de recompor os grupos, utilizando ndices de medida e introduzindo novas variveis56.
53 As cargas fatoriaisindicam a importncia de uma varivel x em uma determinada varivel sntese. 54 Espera-se uma baixssima co-varincia entre eles, em funo da prpria frmula de calcular os fatores: escolhe-se o primeiro vetor que mais contribui para a varincia total, passa-se para o segundo vetor, ortogonal ao primeiro, com o segundo grau de contribuio, assim por diante (dependendo de quantas variveis entram no clculo). 55 Detalhes sobre os problemas de estimao de parmetros so apresentados em Goldstein (1995) e tambm em Birk & Raudensbush (1992). 56 Nessa apresentao esquemtica, foi desconsiderada a influncia do tipo de varivel nas matrizes de varincia e covarincia. Para o tipo de varivel definida por Costa, a matriz de varincia e covarincia baseada diretamente nas variveis categricas no seria adequada. No h necessidade de impor uma estrutura to rgida de escala quando se busca estimar variveis latentes (ver Jreskog & Srbom, 1993, para uma discusso aprofundada). As variveis latentes sendo no-observveis no tm uma escala intrnseca. Pode-se, como nas escalas de Samejima, definir uma unidade de medida padronizando a varivel e impondo limites para sua variao (no caso de 3 a +3). Quando existe mais de um grupo, o problema pode ser resolvido padronizando-se uma das variveis (em termos de mdia e varincia) e estimando os valores das variveis latentes do outro grupo, na relao entre os nveis relativos aos mencionados CPI e MCPI.
207
O mesmo procedimento pode ser feito em relao criao de variveis latentes relacionadas avaliao do desempenho dos conselhos. Como no caso anterior, pode-se proceder a uma anlise confirmatria para avaliar se a formao de grupos apresenta bom ajuste.
ANEXO 9 Expanso dos resultados amostrais, estimador razo e agrupao de municpios A expanso dos resultados referentes s amostras baseia-se na teoria da amostragem. As expresses para a estimao de mdias e erros-padro, com base no plano amostral, so assim exemplificadas57: Notao H: nmero de estratos presentes em um determinado estado; Lh: nmero de municpios presentes no estrato (h) (h = 1, 2, ..., H); lh: nmero de municpios sorteados no estrato (h); Nhi: nmero de unidades amostrais secundrias presentes no municpio (i) (i = 1, 2, ..., Lh) do estrato (h); nhi: nmero de unidades amostrais secundrias (UAS) selecionadas no municpio (i) (i = 1, 2, ..., lh) do estrato (h); Mhij: nmero de unidades amostrais tercirias presentes na UAS (j) (j = 1, 2, ..., nhi) do municpio (i) no estrato (h); mhij: nmero de unidades amostrais tercirias (UAT) selecionadas na UAS (j) do municpio (i) do estrato (h); f1h = frao amostral relativa s unidades amostrais primrias (UAP) selecionadas no estrato (h); f2hi = frao amostral relativa s UASs selecionadas na UAP (i) no estrato (h); f3hij = frao amostral relativa s UATs selecionadas na UAS (j) na UAP (i) no estrato (h); xhijk e yhijk: valores assumidos por duas variveis de interesse na unidade terciria (k) (k = 1, 2, ..., Mhij) da UAS (j) no municpio (i) e no estrato (h);
57 Aspectos tericos da metodologia descrita neste captulo so encontrados nos captulos 7 e 9 de Hansen, M. H., Hurwitz, W. N. e Madow, W. G. (1993a). Sample survey methods and theory: methods and applications. Vol. 1. New York: John Wiley & Sons (Wiley Classics Library Edition).
208

Mh ij Mh ij
Xhij = x hijk e Yhij = y hijk : total das variveis de interesse para todas
k =1 k =1
as UATs presentes na UAS (j) do municpio (i) no estrato (h); xhij = Mhij x hijk m hij e yhij = Mhij y hijk m hij : estimador do total das
k =1 k =1 mh ij mh ij
variveis de interesse na UAS (j) do municpio (i) no estrato (h); Xhi = X hij e Yhi = Yhij : total das variveis de interesse no
j =1 k =1 Nhi N hi
municpio (i) no estrato (h); xhi = N hi x hij nhi e yhi = N hi y hij nhi : estimador do total das
j= 1 j= 1 nh i nh i
variveis de interesse no municpio (i) no estrato (h); Xh = Xhi e Yh = Yhi : total das variveis de interesse no estrato (h);
i= 1 i=1 Lh Lh
xh = Lh x hi lh e yh = Lh y hi lh: estimador do total das variveis

i= 1 i= 1
lh
lh
de interesse no estrato (h); X = X h e Y = Yh : total das variveis de interesse da populao;

h =1 H
h=1
x = x h e y = y h: estimador do total das variveis de interesse na

h=1 h=1
populao. Estimador Razo
As estimativas e as respectivas varincias do estimador do parmetro razo populacional so definidas por R = X .

Y
A escolha desse parmetro deve-se ao fato de que vrios indicadores de interesse podem ser escritos na forma do estimador (R) e, alm disso, mdias e propores tambm podem ser encaradas como razes, onde a varivel (Y) indica o tamanho populacional e yhijk assume o valor 1. Como estimador de (R) tem-se a expresso
r= x y
209
A varincia de (r) dada por58

V r2 =
2 2 Lh Lh Nhi M H H 1 H L2 2 h (1 f1h )S 1h + 1 Nhi (1 f 2hi )S 2 + 1 1 hij (1 f3hi )S 2 , 2hi 3hij 2 lh f1h i=1 nhi f1h i= 1 f2hi j =1 m hij h =1 h =1 Y h =1
2 2 2 onde S1h = S1hX + R 2 S 2 2RS1hXY , S1hX = 1hY
Lh
(X hi Xh )2 ,
L h 1
i =1
Xh =
Xh Lh
2 , S1hY ;
anlogo; S1hXY =
Lh
(X
hi
i =1
X h Yhi Y h ; Lh 1
)(
Yh =
Yh Lh
;
Nhi
S 2 = S 2 + R 2 S 2 2RS 2hiXY ; S 2 = 2hi 2hiX 2hiY 2hiX
(X hij X hi )2
N hi 1
hij
j=1
Xhi = Yhi Nhi X hij Mhij
Xhi N hi
; S2 anlogo; 2hiY
S 2hiXY =
Nhi
(X
X hi Yhij Y hi N hi 1
)(
);
j =1
M hij k= 1
Y hi =
; S 2 = S 2 + R 2 S 2 2RS 3hijXY ; S 2 = 3hij 3hijX 3hijY 3hijX ; S2 3hijY
(X hijk X hij )2
Mhij 1
Xhij =
Mhijk ( Yhij ( X hijk X hij )Yhijk Y hij ) ; anlogo; S . Y hij = 3hijXY = k =1
Mhijk 1
M hij
Partindo do princpio de que a variabilidade das UAPs predomina na varincia do estimador, Hansen, Hurwitz e Madow (1993a) propem que Vr2 seja estimada por:
v r2 = 1 y2
2 H Lh 2 2 2 2 s1h , onde: s1h = s1hX + r 2 s 2 2rs 1hXY ; s1hX = 1hY h =1 l h
Lh
yh Lh
(x
.
hi
xh
i =1
lh 1
xh =
xh Lh
2 ; s1hY anlogo; s1hXY =
lh
(x
hi
x h y hi y h lh 1
)(
);
i =1
yh =
58 Hansen, M. H., Hurwitz, W. N. e Madow, W. G. (1993b). Sample survey methods and theory: theory. Vol. 1. New York: John Wiley & Sons (Wiley Classics Library Edition).
210
Agrupao de municpios sorteados Quando o desenho amostral para avaliao do programa realizado em multiestgio, prevendo o sorteio de municpios, pode ser conveniente agrupar os municpios sorteados em espaos homogneos. Esse procedimento aumenta a probabilidade de que as comunidades de uma mesma rea tenham condies similares de desenvolvimento. Uma forma para atingir esse propsito seria utilizar regies scio-econmicas definidas pelos rgos estatsticos governamentais (como as microrregies homogneas), embora se deva reconhecer que essas divises podem no garantir a homogeneidade desejada. Como alternativa para se proceder ao agrupamento de municpios sorteados, pode-se utilizar o modelo estatstico conhecido como anlise de cluster59. Os municpios dentro de uma microrregio homognea que mostrarem similares em termos de condies de desenvolvimento seriam agrupados. O input utilizado nessa tarefa seria um conjunto de informaes em nvel de municpio, que poderia ser obtido de fontes secundrias, como o censo demogrfico e o agropecurio. A anlise de cluster uma ferramenta de carter exploratrio, cujo objetivo agrupar elementos de um conjunto em subgrupos homogneos, considerando que a similaridade entre os elementos de um mesmo agrupamento deve ser maior do que a similaridade desses com os elementos de outros agrupamentos. A anlise de cluster permite classificar grupos de municpios homogneos a partir dos municpios sorteados. A classificao dos municpios sorteados em grupos elaborada de um vetor de (p) variveis que caracterizam cada um dos municpios selecionados. Formalmente; Mi (Xi1, Xi2, ... Xip), onde Mi identifica o municpio (i) (i = 1, 2, ..., k), e (k) o total de municpios sorteados nos quatro estados. De se destacar que Xj equivale varivel (j) (caracterstica do municpio); e Xij ao valor da varivel (j) no municpio (i). A seleo das variveis utilizadas para a medio da similaridade entre os municpios pode ser feita com base: a) em informaes disponveis na(s) unidade(s) de gerenciamento do programa como: pertence ou no rea prioritria; populao total do municpio; populao rural;
59 A anlise de cluster tambm conhecida como anlise de agrupamentos, taxonomia numrica, tipologia, entre outros.
211
localizao (regio scio-econmica ou outra a que pertence); nmero de projetos demandados e concedidos; nmero de comunidades atendidas por outros projetos. b) informaes disponveis em censo agropecurio: variveis relacionadas com a vocao produtiva da terra (terra para agricultura, pecuria, florestas e no utilizveis como porcentagens da rea total do municpio); variveis relacionadas com a gesto econmica e com os resultados da atividade agrcola (investimentos, financiamentos, despesas do valor de produo, valor adicionado em reais por hectare R$/ha); varivel que ressalta o nvel tecnolgico (nmero de tratores por mil hectares); varivel relacionada ao nvel de concentrao fundiria (ndice de Gini). Os valores dessas variveis, para cada municpio, so ordenados na forma de uma matriz denominada matriz de dados. Cada linha da matriz corresponde a um municpio e, cada coluna, a uma varivel.
Quadro 5 Matriz de dados

V1 M1 M2 ::: MI ::: MM X11 X21 ::: XI1 ::: XM1 V2 X12 X21 ::: XI2 ::: XM2 ... VJ ... ... X1J ... ... X2J ... ::: ... XIJ ... ::: ... XMJ ... VP X1P X2P ::: XIP ::: XMP
XIJ: valor da varivel VJ para o municpio MI
Formada a matriz de dados, essa deve ser padronizada60 para evitar que as unidades dimensionais de cada varivel possam afetar o clculo da
60 Uma varivel padronizada adimensional, ou seja, um nmero puro que permite a comparao entre variveis e apresenta mdia zero e desvio padro igual a 1. As variveis sero padronizadas com a relao seguinte: onde, Zj a varivel padronizada, Sj e Xj so, respectivamente, o desvio padro e a mdia da varivel Xij.
212
similaridade ou distncia61. Com as variveis padronizadas e, escolhida a forma de quantificar similaridade ou distncia entre pares de municpio, forma-se a matriz de similaridades ou de distncias (Quadro 5).
Quadro 6 Matriz de similaridades

M1 M1 M2 ::: MI ::: MM D11 D21 ::: DI1 ::: DM1 M2 D12 D21 ::: DI2 ::: DM2 ... MJ ... ... D1J ... ... D2J ... ::: ... DIJ ... ::: ... DMJ ... MM D1M D2M ::: DIM ::: DMM
Dij: Similaridade ou distncia entre o municpio Mi e o municpio Mj.
A matriz de similaridades serve de base para agrupar municpios. Os agrupamentos so obtidos por meio de dois algoritmos, utilizados em forma seqencial. Primeiro, utiliza-se um algoritmo hierrquico aglomerante (tree clustering) para determinar o possvel nmero de agrupamentos ou clusters. A seguir, com o propsito de confirmar o nmero de clusters obtidos com o algoritmo hierrquico, e as possveis variveis que o determinam, emprega-se um algoritmo de otimizao (k-means). O algoritmo hierrquico aglomerante (tree clustering) parte de uma configurao inicial formada por todos os (n) municpios. Cada municpio, na microrregio homognea, forma um agrupamento, tendo-se, portanto, (n) agrupamentos. Novos clusters so fundidos, unindo dois dos clusters existentes em um nico agrupamento. Os dois clusters escolhidos para a fuso so os mais prximos. O processo de fuso continua, passo a passo, at que todos os municpios formem um nico agrupamento62. Uma vez determinados os agrupamentos ou clusters, o processo representado graficamente por meio de um dendrograma. Os saltos significativos apresentados so a guia para a deciso do nmero de agrupamento.
61 Para a medida de similaridade ou distncia entre dois municpios dentro de uma MRG, em base X s variveis listadas, pode ser utilizada a distncia euclideana Dij = ( i Y i)2 .
i
62 A forma de agrupar os municpios pode ser feita pelo mtodo Wards (1963). Esse mtodo usa a anlise de varincia para avaliar as distncias entre os clusters e tenta minimizar a soma de quadrados (SS) de qualquer par (hipottico) de clusters que podem ser formados a cada passo.
213
Uma vez selecionado o nmero de clusters em cada microrregio homognea, por meio do algoritmo tree clustering, aplica-se o algoritmo kmeans63. Em geral, esse mtodo produzir (k) agrupamentos, os mais diferentes possveis. Escolhido o nmero de agrupamentos (k), os (n) municpios so classificados em (k) agrupamentos, de acordo com determinado critrio de similaridade ou distncia. Essa classificao a primeira etapa. A seguir, passo a passo, movem-se os municpios de um agrupamento para outro, de forma a melhorar a qualidade da partio, que medida por uma funo objetivo64. Dessa forma, melhorar a qualidade significa maximizar (ou minimizar) o valor dessa funo. A diferena entre os mtodos de otimizao reside na forma pela qual a partio inicial dos municpios obtida e na funo que pretendem otimizar com a nova alocao dos municpios. Uma vez determinados os agrupamentos de municpios, esses so caracterizados em funo dos parmetros estatsticos das variveis usadas para determin-los. As estatsticas utilizadas so: mdia, desvio padro, mnimo e mximo de cada varivel. importante assinalar que as tcnicas da anlise de cluster so de carter exploratrio, conduzindo a agrupamentos em funo das variveis utilizadas. Portanto, esses devem ser revistos em funo de outros critrios, a fim de aprimorar os agrupamentos. Nesse sentido, a anlise de cluster apenas uma ferramenta auxiliar para o pesquisador. A experincia de peritos fundamental nesse processo. Cabe a eles discutir os agrupamentos obtidos e, principalmente, elaborar hipteses para justificar a classificao obtida. Essa no uma tarefa fcil, so inmeros os casos em que no possvel explicar as diferenas entre os agrupamentos ou nem mesmo caracterizar alguns deles.
63 Operacionalmente, pode-se pensar no algoritmo k-means como uma anlise de varincia (Anova) ao contrrio. O teste de significao da Anova avalia a variabilidade entre os grupos contra a variabilidade dentro do grupo ao realizar o teste de significncia para a hiptese que as mdias so diferentes umas das outras. Na anlise de varincia padro, a maior possibilidade de aceitar a hiptese nula: as mdias de (n) grupos so estatisticamente iguais (Ho: 1 = 2 = . . . = n) e depende de duas coisas: i) maior disperso dos elementos dentro de cada grupo, porque a diferena observada entre as mdias amostrais pode ter ocorrido aleatoriamente, mesmo que as mdias sejam todas iguais; ii) as mdias dos grupos prximas umas das outras. O algoritmo kmeans procura a menor disperso entre os grupos e a maior diferena entre as mdias dos grupos. 64 O algoritmo k-means parte de (k) agrupamentos aleatrios e coloca os elementos em (k) agrupamentos pr-estabelecidos tratando de otimizar dois objetivos: i) minimizar a variabilidade dos elementos dentro dos agrupamentos e; ii) maximizar a variabilidade entre os agrupamentos. Os elementos so recolocados tratando de conseguir resultados significativos para a Anova. Isso feito examinando as mdias de cada agrupamento sobre cada varivel para avaliar as distncias dos (k) agrupamentos. A magnitude do teste F da Anova, realizada sobre cada varivel, uma indicao de como a varivel discrimina entre os agrupamentos.
214
Finalmente, a anlise do perfil dos agrupamentos no deve limitar-se apenas a medidas estatsticas relativas s variveis utilizadas na sua determinao. O comportamento de outras variveis deve ser estudado e talvez essas novas variveis permitam entender melhor as diferenas entre os agrupamentos. A seleo de municpios com similares nveis de desenvolvimento, para avaliar um programa, e com variveis institucionais como a governana, capital social, entre outras, podem ajudar a aprimorar a seleo realizada.
215
216
11. REFERNCIAS BIBLIOGRFICAS
ABREU, L. M. et al. Selection of water quality control program for human consumption: application of the method AHP. Braslia, UCB, 2000 (mimeo). ANAIS DO II FRUM CONTAG DE COOPERAO TCNICA, 1999, So Luiz. A formao de capital social para o desenvolvimento sustentvel. ANUATTI, F.; FERNANDES, R.; PAZELLO, E. T. Polticas voltadas para aliviar a pobreza. In: ANAIS DO XXVII ENCONTRO NACIONAL DA ANPEC, Campinas, SP. 2000. CD-Rom. Download: <www.anpec.org.br>. RIAS, A. Estimativas de indigncia e pobreza no Brasil no perodo 1990-1996. Resumo metodolgico e resultados, 1999 (mimeo). ARRETCHE, M.; MARQUES, E. Caracterizao dos municpios brasileiros: capacidade fiscal e administrativa, desempenho econmico e poltica de sade, 2000 (mimeo). ARRETCHE, M. T. S. Mitos da descentralizao: mais democracia e eficincia nas polticas pblicas? In: Revista Brasileira de Cincias Sociais, ano 11, v. 31, p. 4-66, 1996. BAKER, J. Evaluacion del impacto de los proyectos de dessarrollo en la pobreza. Manual para professionales. Washington, D.C., WorldBank, 2000. Download: <http://www.worldbank.org>. BARDHAN, P.; MOOKHERJEE, D. Corruption and decentralization of infrastructure delivery in developing countries. 2000. Download: <http://globetrotter.berkeley.edu/macarthur/inequality/papers/#Bardhan>. __________ Decentralizing anti-poverty program delivery in developing countries. 2000. Download: <http://globetrotter.berkeley.edu/macarthur/inequality/papers/#Bardhan>.
217
BELLI, P. et alii. Handbook on economic analysis of investment operations. Washington, D.C., Worldbank, 1998. BOURDIEU, P. O capital social. In: CATARIN, A.; NOGUEIRA, M. A. Escritos de educao. Rio de Janeiro: Vozes, 1998. BUAINAIN, A. et alii. Metodologia de avaliao de impactos do Programa Cdula da Terra. NEA-IE/Unicamp, NEAD/WB, 1998 (mimeo), p. 237. BYRK, A.; RAUDENBUSH, S. W. Hierarchical linear models. 1a. ed., Sage, Newbury Park, 1992. BYRNE, B. M. A primer of Lisrel: basic application and programming of Confirmatory Factor Analytic Models. New York, Springer-Verlag. 1a. ed., 1989. 183 p. CEPAL. Brasil: canastas bsicas de alimentos y determinacin de la lnea de indigencia e de pobreza, 1989. CESAR, C. C.; SOARES, J. F.; MAMBRINI, J. Fatores determinantes do desempenho dos alunos mineiros no SAEB de 1995. S. Carlos, 1a. Jornada LatinoAmericana de Estatstica Aplicada, 1999. p. 96-104. __________. Relative influence of family and school factor on student cognitive achievement: a brazilian experience. In: <www.est.ufmg.br>, 2000. p. 8. COLEMAN, J. Foundations of social theory. Cambridge (UK).The Belknap Press of Havard University Press. COSTA, A. Impacto do PCPR sobre a participao comunitria e o desenvolvimento de capital social. 2000 (mimeo). DAVIDSON, R.; MAKINNON, J. G. Estimation and inference in econometrics. New York, Oxford. Oxford University Press, 1993. DEBOECK, G. J. Case studies of monitoring and on-going evaluation systems of rural development projects. Rural Operation Review an Support Unit, Agriculture and Rural Development Department. The World Bank, 1976. DE DONDER, P.; HINDRIKS, J. The political economy of targeting. Public Choice.
218
DEATON, A. The analysis of household surveys: a microeconometric approach to development policy. World Bank, Baltimore and London. The Johns Hopkins University Press, 1998. __________. Panel data from a series of repeated cross-sections. Journal of Econometrics 30, 1985, p. 109-126. DEUTSCH, R. Good practices in poverty targeting in IBD projects. InterAmerican Development Bank, 1997. ESCOFIER, B.; PAGS, J. Anlises factoriales simples y multiples. Bilbao, Universidad Del Pais Vasco., trad., 1992, p. 285. FLORA, C. B.; FLORA, J. Measuring and interpreting social capital on the community level. 1998 (mimeo). In: <www.ncrcrd.iastate.edu>. GELBACH, J. B.; PRICHETT, L. H. More for the poor is less for the poor. GOLDSTEIN, H. Multilevel statistical methods. New York, London and Halted, Press. 2a. ed., 1995. GONALVES, R. Distribuio de riqueza e renda: alternativa para a crise brasileira. In: LESBAUPIN, I. (org.). O desmonte da nao: balano do Governo FHC. Petrpolis, RJ: Vozes, 1999. HAUSMAN, J.; TAYLOR, W. Panel data and unobservable individual effects. Economtrica 49, 1981, p. 1.377-1.398. HECKMAN, J. Instrumental variables. A study of implicit behavioral, 1997. <http://lily.src.uchicago.edu/papers/IADB/theory17.pdf>. __________. Sample selection bias as a specification error. Econometrica, v. 47, n. 1, 1979. HECKMAN, J.; LALONDE, R.; SMITH, J. The economics and econometrics of active labor market programs. In: ASHENFELTER, O.; CARD, D. (eds.). Handbook of labor economics, v. III. N.Y., Elsevier Science Publishing Co., 1999.
219
HECKMAN, J. J.; ICHIMURA, H.; SMITH, J. Characterizing selection bias using experimental data. Econometrica 66: 101799, 1998. <http://lily.src.uchicago.edu/papers/IADB/theory17.pdf>. HECKMAN, J. J.; ICHIMURA, H.; TODD, P. Matching as an econometric evaluation estimator: evidence from evaluating a job training program. In: Review of economic studies, 1997. Download: <http://lily.src.uchicago.edu/papers/IADB/theory17.pdf>. HECKMAN, J. J.; JEFFREY, A. S. Assessing the case for social experiments. Journal of Economic Perspectives, n. 9 (2): 85110, 1995. Download: <http://lily.src.uchicago.edu/papers/IADB/theory17.pdf>. HECKMAN, J.; RICHARD, R. Alternative methods of evaluating the impact of interventions: an overview. Journal of Econometrics 30: 23967, 1985. HIRSCHMAN, A. Against parsimony: three easy ways of complicating some categories of economic discourse. In: American Economic Review: 74: 93, 1984. HOFFMANN, R. A distribuio de renda no Brasil no perodo 1993-99. [s1.: s.n.], (mimeo) 2001. __________. Pobreza, insegurana alimentar e desnutrio no Brasil. Estudos Avanados, v. 9, n. 24, 1995. INSTITUTO CIDADANIA. Fome Zero, 2001. Download: <http://www.Icidadania.Org.br>. JOHNSTON, J.; DINARDO, J. Mtodos Economtricos, MacGraw-Hill, 2001. JRESKOG, K.; SRBOM, D. Structural equation modeling with simplis command language. In: HILSDALE, N. J. SS International, 1993, 226 p. KAGEYAMA, A.; HOFFMANN, R. Determinantes da renda e condies de vida das famlias agrcolas no Brasil. Revista Economia da Anpec, vol. (2:3-41), 2000. LAITIN, D. D. The civic culture at 30. In: American Political Science Review, v. 89, n. 1, p. 168-73, 1995.
220
LEBART, L. et alii. Techniques de la description statistique. Paris, Dunod, 1977. LEGOVINI, A. Targeting methods for social programs. Inter-American Development Bank. In: Poverty and Inequality Technical Notes, n. 1, 1999. LESSA, C. et.al. Pobreza e poltica social: excluso nos anos 90. Praga, n. 3, 1997. LIEBERSON, S. Einstein,Renoir and Greelwy: some thoughts about evidence in sociology. In: American Sociologic Review, p. 1-15, 1992. LOCKE, R. Remaking the italian economy. Cornell, Cornell University, 1995. LUSTIG, N.; DEUTSCH, R. The Inter-American Development Bank and Poverty Reduction: an overview. Inter-American Development Bank, n. POV-101r, Washington, 1998. LUSTOSA, F. Pobreza no Brasil: mtodos de anlise e resultados. Pesquisa e planejamento econmico. Rio de Janeiro, v. 20, n. 2, 1990. MATTOS, A. G. A dialtica de formao e apropriao do capital social nos assentamentos da reforma agrria. Relatrio final da pesquisa. Recife, 2000 (gentilmente cedido pelo autor). MCDONALD, R. P. Factor analysis and related methods. HILSDALE, N. J.; LAWRENCE, E. 1985. MONTEIRO, C.; BENCIO, M.; FREITAS, I. Melhoria em indicadores de sade associados pobreza no Brasil dos anos 90: descrio causas e impactos sobre as desigualdades regionais. So Paulo: Nupens/USP, 1997. NARAYAN, D. Bonds and bridges: social capital and poverty. World Bank, mimeo, p. 52, 1997. <http://www.worldbank.org>. NEDER, H. D.; GOMES, D. C. Evoluo da pobreza urbana e rural na dcada de 90. In: X World Congress of Rural Sociology XXXVIII Brazilian Congress of Rural Economics and Sociology, 2000, Rio de Janeiro. __________. Pobreza nos anos 90: os efeitos da estabilizao. In: V Encontro Nacional de Economia Poltica, 2000, Fortaleza, CE.
221
NEDER, H. D. Um estudo sobre a variabilidade das informaes obtidas a partir das PNADS. In: CAMPANHOLA, C.; GRAZIANO DA SILVA, J. (eds.). Campinas, Embrapa/Unicamp, v. 1, 1. ed., p. 101-136, 1999. NISBETT, R. E.; COHEN, D. Culture of honor: the psychology of violence in the South. Colorado, Westview Press/Harper Collins, 1996. PEREIRA, J. C. R. Anlise de dados qualitativos. So Paulo, Edusp-Fapesp, 1a. ed., p. 157, 1999. PESSOA, D. G. C.; SILVA, P. L. N. Anlise de dados amostrais complexos. In: 13 Sinape, Caxambu, MG. ABE., p. 187, 1998. PTRY, F. In: Monitoring systems for agricultural and rural development projects. FAO: Economic and social development paper, n. 12, Rev. 1. Food and agricultura organization of the United Nations. PITT, M. M.; ROSENZWEIG, M. R.; GIBBONS, D. M. The determinants and consequences of the placement of government programs in Indonesia. World Bank Economic Review, v. 7, n. 3, 1993. PRATES, F. M. Desigualdade de renda e pobreza em Minas Gerais. Dissertao de mestrado, Cedeplar/UFMG, Belo Horizonte, MG, 1996. PUTNAM, R. D. The prosperous community: social capital and public life. The American Prospect, Spring, 1993. PUTNAM, R. D. Comunidade e democracia. Rio de Janeiro: Editora Fundao Getlio Vargas, 1996. RAVALLION, M. The mystery of the vanishing benefits: Ms Speedy Analysts Introduction to Evaluation. <http://www.worldbank.org>. __________. Is more targeting consistent with less spending? World Bank, Policy Research Working Paper, n. 2079, 1999. ROCHA, S. Opes metodolgicas para a estimao de linhas de indigncia e de pobreza no Brasil. Rio de Janeiro, RJ: Ipea, abr., 2000. Texto para discusso: <http://www.ipea.gov.br/pub/td/td.html>. __________. Pobreza e desigualdade no Brasil: o esgotamento dos efeitos distributivos do Plano Real, 1999 (mimeo).
222
__________. Desigualdade e pobreza no Brasil: a evoluo 1981/95. Texto para discusso n. 567, Ipea, 1998. Download: <http://www.ipea.gov.br/pub/td/td.html>. __________. Estabelecimento e comparao das linhas de pobreza para o Brasil. Texto para discusso interna, Inpes/Ipea, 1998. __________. Do consumo observado linha de pobreza. Pesquisa e Planejamento Econmico, Ipea, v. 27, 1997. __________. Renda e pobreza: os impactos do plano real. Texto para discusso n. 439, Rio de Janeiro, RJ: Ipea. Download: <http://www.ipea.gov.br/pub/td/td.html>. ROCHA, S. Governabilidade e pobreza: o desafio dos nmeros. In: COELHO, M. P.; VALLADARES, L. (orgs.). Governabilidade e pobreza no Brasil. Rio de Janeiro: Civilizao Brasileira, 1995. ROMO, M. C. Pobreza: conceito e mensurao. Caderno de Economia, n. 13, Ipea, 1993. SAATY,T. L. Mtodo de anlise hierrquica. So Paulo, Makron Books, 1991, 367 p. SEN, A. (1976) Poverty: an ordinal approach to measurement. Economtrica, v. 44, n. 2. SILVEIRA, J. M.; Buainain, A. M.; Magalhes, M. Novas formas de reorganizao fundiria no Brasil: O Programa Cdula da Terra. In: ANAIS DO XXVI ENCONTRO BRASILEIRO DE ECONOMIA, Belm, v. III, p. 115-141: Anpec, 1999. SOUZA-FILHO, H. M.; BUAINAIN, A.; HOMEM DE MELLO, C.; SILVEIRA, J. M.; MAGALHES, M. Community-based land reform in Brazil: assessing the selection process. Revista Economia da Anpec. v. 3, 2001. TAKAGI, M.; GRAZIANO DA SILVA, J.; DEL GROSSI, M. Pobreza e fome: em busca de uma metodologia para quantificao do problema no Brasil. IE/Unicamp. Texto de discusso, n. 101, jul. 2001. Download: <http://www.ie.unicamp.br>. TENDLER, J. Bom governo nos trpicos. Rio de Janeiro/Braslia, Revan/Enap, 1998.
223
TENDLER, J. Safety nets and service delivery: what are social funds really telling us? Tulchin, J. S.; Garland, Allison M. Social development in Latin America. Washington: Woodrow Wilson Center. Cap. 5. 2000. VAN DE WALLE, D. Targeting revisited. The World Bank Research Observer. v. 13, n. 2, 1998. VAN ZYL, Sonn e Costa. Decentralized rural development, enhanced community participation and local government performance: evidence from Northeast Brazil. Draft. 2000. WOOLCOCK, M. Social capital and economic development: toward a theoretical synthesis and policy framework. In: Theory and Society, 27: 151-208, 1998. WRIGTH, B.; GEOFFREY, M. Rating scale analysis: rasch measurement. Chicago, Mesa Press, 1a. ed., 1982. 206 p.
224
Este material didtico foi preparado a partir de documentos elaborados pela equipe do Instituto de Economia da Unicamp para a avaliao dos impactos socioeconmicos do Programa de Combate Pobreza Rural.
Coordenao Tcnica Antnio Mrcio Buainain Economista Agrcola Instituto de Economia Unicamp Rinaldo Barcia Fonseca Economista Agrcola Instituto de Economia Unicamp
Marta Teresa da Silva Arretche Universidade Estadual de So Paulo Miliene Mitsuyuki Foshini Estatstica Universidade Federal de So Carlos Roberto Alves de Lima Universidade Federal de Pernambuco Tales Wanderley Vital Universidade Federal Rural de Pernambuco Valentina Buainain Economista e Sistemas de Informao IICA
Consultores Tcnicos Ahmad Saeed Khan Universidade Federal do Cear Antonio Marcos Correia Melnio Estatstico IICA Carlos Enrique Guanziroli Universidade Federal Fluminense Henrique Neder Estatstico e Econometrista Universidade Federal Uberlndia Hildo Meirelles de Souza Filho Economista Agrcola Universidade Federal So Carlos Jos Maria Silveira Economista Agrcola Instituto de Economia Unicamp Marcelo Francisco Melo Economista Instituto de Economia Unicamp Marcelo M. Magalhes Engenheiro Agrnomo e Sistemas de Informao IICA
Estagirios Aguirre Chung Mussi Instituto de Economia Unicamp Caroline Nascimento Pereira Instituto de Economia Unicamp Felipe Barbosa Instituto de Economia Unicamp Felipe Serigatti Instituto de Geocincias Unicamp Guilherme C. K. V. Machado Instituto de Economia Unicamp
Secretria Executiva Maria Sebastiana Nogueira Vieira
225
Instituto Interamericano de Cooperao para a Agricultura IICA Representao do IICA no Brasil SHIS QI 3, Lote A Bloco F Centro Empresarial Terracotta , CEP: 71.605-450 Braslia-DF Fone: 55 61 2106 5477 Fax: 55 61 2106 5459 E-mail: iica.br@iica.int Homepage: www.iica.org.br
A SRIE DESENVOLVIMENTO RURAL SUSTENTVEL expressa a efetiva colaborao tanto da Representao do IICA no Brasil quanto do Frum Permanente de Desenvolvimento Rural Sustentvel em busca do desenvolvimento agrcola e do bem-estar das comunidades rurais. Rene artigos assinados por renomados profissionais nacionais e internacionais com o objetivo de difundir e suscitar o intercmbio de conhecimentos e de iniciativas bem-sucedidas de desenvolvimento sustentvel no meio rural, promovidos por instituies acadmicas, instituies governamentais e nogovernamentais e organizaes da sociedade em geral.
Realizao Tcnica

Combate À Pobreza Rural

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Combate À Pobreza Rural

Încărcat de

Drepturi de autor:

Formate disponibile

IICA

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de Combate Pobreza Rural:

INSTITUTO INTERAMERICANO DE COOPERAO PARA A AGRICULTURA (IICA) REPRESENTAO DO IICA NO BRASIL

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

PREFCIO PELO IICA

Carlos Amrico Basco Representante do IICA no Brasil

PREFCIO PELA SECRETARIA DE ESTADO DA AGRICULTURA, PECURIA E DESENVOLVIMENTO RURAL DO MARANHO

Domingos Paz Secretrio de Estado da Agricultura, Pecuria e Desenvolvimento Rural do Maranho

NDICE DE GRFICO Grfico 1 Relao entre renda e consumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61

Quadro 4 Quadro 5 Quadro 6

Anexo 5 Anexo 6 Anexo 7 Anexo 8 Anexo 9

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

Antnio Mrcio Buainain (IE/Unicamp) Hildo Meirelles de Souza Filho (Gepai/DEP/UFSCar)

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

1. SISTEMAS DE MONITORAMENTO E AVALIAO DE PROGRAMAS E PROJETOS DE DESENVOLVIMENTO E COMBATE POBREZA RURAL1

1.1. Definio e Propsito do Monitoramento e da Avaliao

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

i. ii. iii. iv.

1.2. Avaliao Contnua e Avaliao Ex Post

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

Figura 1 Sntese da avaliao de impacto do Programa de Combate Pobreza Rural (Brasil)

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: metodologia para avaliao de impactos