Documente Academic
Documente Profesional
Documente Cultură
ENAP
Mdulo 1
Ciclo de Gesto do Investimento Pblico
Braslia - 2013
1
ENAP
Fundao Escola Nacional de Administrao Pblica Presidente Paulo Sergio de Carvalho Diretor de Desenvolvimento Gerencial Paulo Marques Diretora de Formao Profissional Maria Stela Reis Diretor de Comunicao e Pesquisa Pedro Luz Costa Cavalcante Diretora de Gesto Interna Ala Vanessa de Oliveira Canado Coordenadora-Geral de Educao a Distncia: Natlia Teles da Mota Editor: Pedro Luz Costa Cavalcante; Coordenador-Geral de Comunicao e Editorao: Luis Fernando de Lara Resende; Reviso: Renata Fernandes Mouro e Roberto Carlos R. Arajo; Capa: Ana Carla Gualberto Cardoso; Editorao eletrnica: Maria Marta da R. Vasconcelos.
Ficha catalogrfica: Equipe da Biblioteca Graciliano Ramos/ENAP P2288c PARES, Ariel Ceclio Ciclo de gesto do investimento pblico / Ariel Ceclio Garces Pares. _ Braslia: ENAP/DDG, 2013. 49 p. (Curso Conceitos Essenciais para Avaliao Socioeconmica de Projetos, mdulo 1) Curso Conceitos Essenciais para Avaliao Socioeconmica de Projetos
1. Administrao Pblica Brasil. 2. Investimento Pblico. 3. Avaliao de Projetos. 4. Aspectos Econmicos. 5. Aspectos Sociais. I. Ttulo.
ENAP, 2013
ENAP Escola Nacional de Administrao Pblica
Diretoria de Comunicao e Pesquisa SAIS rea 2-A 70610-900 Braslia, DF Telefone: (61) 2020 3096 Fax: (61) 2020 3178
Sumrio
ENAP
1. Apresentao ....................................................................................................... 5 2. Ciclo institucional do investimento Pblico Eficiente ........................................... 11 2.1. Seleo preliminar de projetos, considerando as diretrizes estratgicas ............... 11 2.2. Avaliao formal (ex ante) ..................................................................................... 18 2.3. Reviso independente ou de terceira parte ............................................................ 26 2.4. Seleo de Projetos e sua incluso no oramento ................................................. 30 2.5. Implementao ....................................................................................................... 34 2.6. Ajuste de Projeto .................................................................................................... 38 2.7. Operao ................................................................................................................ 42 2.8. Avaliao (ex post) ................................................................................................. 43 3. Concluso ............................................................................................................. 46 4. Bibliografia ........................................................................................................... 49
ENAP
ENAP
Objetivos do Mdulo
Ao final desse mdulo, espera-se que voc seja capaz de:
ENAP
relao s funes que dever desempenhar o produto do projeto, uma vez implantado. Apesar desses argumentos, nem todos os pases possuem um sistema abrangente e nico para tratar do investimento pblico. O Brasil, por exemplo, ainda no possui uma sistemticapadro, diferente de outros pases como Reino Unido, Chile e Coreia, onde h um sistema abrangente e nico que trata do investimento pblico. O ciclo de investimento no Governo Federal brasileiro, assim como nos estados e nos municpios, segue caminhos especficos que variam de acordo com a forma de financiamento: oramentria, concesso ou parceria pblicoprivada (PPP). Assim, para a melhor compreenso deste mdulo, importante diferenciar:
Departamento do Tesouro (TSO), Reino Unido 2003. O Livro Verde: Orientao aos rgos do Governo Britnico sobre como Propostas Devem Ser Apreciadas antes do Empenho de Recursos e sobre como Programas de Governo Devem Ser Avaliados, Guia do Departamento do Tesouro (TSO), Londres.
No lugar desse projeto, existiria uso melhor desses recursos? Isso permite saber se o custo de oportunidade alocativa dos recursos fiscais, em termos de benefcios populao, compensa a sua execuo. Existe outra forma mais apropriada para atingir esse objetivo? O simples fato de existir um guia-padro, indicado por uma unidade central e de coordenao da administrao pblica, que oriente a apresentao e a avaliao de projetos de todos os rgos do governo, configura um sistema pblico de investimentos. Sua existncia, geralmente voltada a subsidiar a deciso alocativa, tender a promover e aumentar a eficincia do gasto. Exemplo disso a experincia do Reino Unido com a edio do Livro Verde pelo Tesouro. o caso tambm do Chile, que possui normas para elaborao e avaliao de projetos, centralizadas no Ministrio da Fazenda, o qual acolhe a oferta de novos projetos e os submete, a depender da escala, a um processo de avaliao ex ante mais rigoroso. Alm disso, h uma unidade que apoia a agncia de oramento e que recomenda, a partir das avaliaes, o que entra ou no no prximo oramento. Como se ver mais adiante, no existe um modelo nico de sistema pblico de investimento. Contudo, h, nos pases que o adotam, um conjunto de procedimentos mais ou menos constantes. Entre eles esto:
ENAP
Anlise comparativa da proposta com outras possveis abordagens que permita chegar
aos mesmos fins;
Anlise dos custos e benefcios de dois ou trs projetos que tenham os mesmos
propsitos. 2 argumento: um sistema pblico de investimento que permite o exame conjunto de projetos de modo a potencializar complementaridades destes no territrio e melhorar a competio entre eles por recursos escassos. conhecida a regra pela qual o impacto socioeconmico e ambiental de um conjunto complementar de investimentos no territrio amplifica os benefcios esperados de cada um dos investimentos derivados da otimizao das sinergias, ou das complementaridades entre esses. Em outras palavras, os benefcios calculados, projeto a projeto, tendem a ser muito menores do que os planejados no tempo e no espao adequadamente. Essa compatibilizao dos projetos setoriais ofertados s possvel se esses passam por um filtro comum que os examina luz da demanda das regies ou localidades, forma adequada de integrar as polticas setoriais, considerando no mais a maximizao da funo setorial das polticas pblicas, mas, sim, o impacto agregado de investimentos multissetoriais para a prosperidade das comunidades-alvo. recorrente a valorizao que se faz da anlise regional do investimento, quando os governos centrais adotam o princpio de um sistema pblico de investimentos que empresta coerncia e eficincia ao gasto. 3 argumento: Um sistema padronizado eleva no s a mdia da qualidade dos projetos, como a do gasto pblico tambm. Estimula as prticas sistemticas de avaliao, edio de guias que orientem a elaborao e a apresentao de projetos, assim como propicia a constituio de equipes permanentes habilitadas nas tcnicas de projeto. Equipes 7
ENAP
constitudas por tcnicos especializados situados tanto nos rgos setoriais, propositores de projetos, como no rgo central que coordena essa tarefa no governo. A abordagem adotada neste curso parte da descrio das caractersticas bsicas de um sistema pblico de investimento que funcione bem. Tomaram-se como referncia, para isso, trs fontes de informao que tm em comum o fato de se dedicarem a compreender e descrever as fases e os principais atributos que compem o ciclo do investimento do ponto de vista institucional. So eles:
2 3 4
Ortegn, Edgar y Pacheco, Juan Francisco 2005. Los sistemas nacionales de inversin pblica en Argentina Brasil, Mxico, Venezuela y Espaa como caso de referencia (cuadros comparativos). Serie Manuales n 40. Santiago de Chile, Cepal.
5 Ortegn, Edgar y Pacheco, Juan Francisco 2004. Los sistemas nacionales de inversin pblica en Centroamrica: marco terico y anlisis comparativo multivariado. Serie Manuales n 34. Santiago de Chile, Cepal.
iniciativa ganhou importncia por conferir maior eficincia ao investimento pblico em um perodo no qual os pases da Amrica Latina tinham baixa capacidade de endividamento. Recomenda-se a leitura desses quatro documentos, se houver interesse em aprofundar o conhecimento. Principais problemas dos sistemas de Gesto do Investimento Pblico (GIP) De modo geral, avaliaes internacionais demonstram uma baixa eficincia dos investimentos pblicos devido a6:
ENAP
Seleo de projetos pouco consistentes em termos tcnicos, os quais geram desperdcio com a construo de elefantes brancos; Atrasos na concepo e realizao de projetos; Prticas de corrupo na contratao; Diferena entre o custo previsto e o executado, projetos incompletos em termos
tcnicos;
Extrado de Rajaran, Anand; Minh Le, Tuan; Biletska, Nataliya; Brumbi, Jim 2010. Framework for Reviewing Public Investment Efficiency. Policy Research Working Paper n 5.397.Washington, World Bank..
ENAP
Para Saber Mais Trechos de O Livro Verde, Reino Unido7 A apreciao8 no algo complexo demais, mas de fundamental importncia e deve ser realizada da forma adequada e com cuidado. As decises tomadas na fase de apreciao afetam todo o ciclo de vida de polticas, programas e projetos novos. De modo semelhante, a avaliao prvia adequada das iniciativas fundamental para evitar erros do passado e para nos permitir aprender com a experincia. (p. V) A primeira etapa (Justificativa da ao) consiste em ter uma ideia geral para garantir que dois pr-requisitos sejam obedecidos: em primeiro lugar, que existe uma necessidade identificada com clareza; em segundo lugar, que qualquer interveno proposta provavelmente compensar o custo. (p. 4) A segunda etapa (Definio dos objetivos) trata-se de estabelecer com clareza os resultados e objetivos desejados de uma interveno, a fim de identificar a escala completa de opes eventualmente disponveis para atingir esses objetivos e resultados. (p. 4) A terceira etapa (Apreciao das opes) consiste em efetuar a apreciao das opes. Muitas vezes, essa a parte mais significativa da apreciao. Inicialmente, deve-se criar e analisar uma ampla gama de opes. Isso ajuda a estabelecer parmetros para uma soluo adequada. Pode-se fazer ento uma lista reduzida, a fim de manter o controle do processo (...). A opo fazer o mnimo deve sempre ser transportada para diante da lista, para funcionar como verificao de uma ao mais intervencionista. Em seguida, cada opo apreciada para o estabelecimento do caso-base9. Essa a melhor estimativa do ponto de vista custo/ benefcio. (p. 5) Quarta etapa (Desenvolvimento e implementao de uma soluo): Aps a apreciao das opes, deve-se utilizar critrios de deciso e discernimento para selecionar a melhor opo, que dever ser seguida. Nessa etapa, as consultas so (especialistas e interessados) importantes. Mesmo que j tenham ocorrido. Os processos de compra (rotas de aquisio dos servios que o empreendimento dever oferecer) tambm devem ser considerados, incluindo o papel do setor privado. (p. 5) Quinta etapa (Avaliao): Em termos de tcnica, a avaliao semelhante apreciao, embora obviamente use dados histricos (reais e estimados) em vez de previses e ocorra depois do evento. Sua finalidade principal garantir que as lies sejam amplamente aprendidas, comunicadas e aplicadas na avaliao de novas propostas. (p. 5)
"O Livro Verde: Avaliao e Avaliao na Administrao Central, Guia do Departamento do Tesouro (TSO) UK, Londres, 2003.
Os ingleses usam apreciao para designar a etapa de avaliao ex ante , e preferem usar o nome avaliao para designar a etapa de avaliao ex post . Todavia, frequente, no Livro Verde, encontrar essas duas palavras sendo usadas como sinnimas.
"O termo caso-base s vezes utilizado para se referir opo fazer o mnimo, mas, no Livro Verde, no usado dessa maneira.
10
ENAP
ENAP
embora tenham abandonado a ideia de planos abrangentes, combinam planejamento setorial com planos regionais, estes, sim, abrangentes, multissetoriais e voltados para uma carteira de investimentos. o caso da Frana, de vrios pases da Unio Europeia e, em alguma medida, do Reino Unido. Esta primeira triagem realizada a partir de projetos ainda em estgio inicial, isto , no estgio de Estudo de Pr-Viabilidade Tcnico e Econmico (Pr-EVTE). Com base no Pr-EVTE e na sua aderncia s diretrizes estratgicas do governo, selecionam-se os projetos que devero ir para a segunda fase, na qual os estudos tcnicos so aprofundados, especialmente os relacionados pesquisa de campo e avaliao socioeconmica. Essas tarefas so, geralmente, protagonizadas pelo rgo setorial e no por um rgo central que coordena os investimentos de governo. Em qualquer circunstncia, deve haver um processo formal que deflagra o desenvolvimento de projetos. Estes devero trazer informaes que orientaro o futuro projeto em nvel de Estudo de Viabilidade Tcnica e Econmica (EVTE), Projeto Bsico (PB) e Projeto Executivo (PE). No estgio de Pr-EVTE, espera-se que o projeto detalhe:
a prioridade estratgica relevante referente ao programa; o problema especfico a ser combatido; o objetivo do projeto; as principais atividades; os resultados esperados; oramento estimado.
Alm disso, nessa fase importante que sejam consideradas, para resolver o problema, as opes com ou sem projeto, a anlise de oferta e demanda e a lacuna a ser coberta pelo empreendimento. A triagem de projetos, num primeiro nvel, visa a:
O arranjo institucional adequado e as prticas desejveis, nesse primeiro estgio, podem ser descritos nos termos da Tabela 1 a seguir10.
ENAP
Quadro 1
Caractersticas bsicas da Etapa 1: Seleo preliminar de projetos Direcionamento estratgico disponvel. Adoo de triagem de primeiro nvel de todas as propostas de projeto com relao a esse direcionamento. Arranjo institucional desejvel Estratgia de desenvolvimento, estratgia setorial ou, ainda, declarao de viso de longo prazo publicada. Aprovao centralizada por rgo de coordenao estratgica, fiscal ou por outro com delegao formal. Aprovao descentralizada pelos rgos setoriais se: tiverem projees fiscais setoriais estveis; explicitarem justificativa de alinhamento com a estratgia de governo. Clareza dos objetivos do projeto em termos de produtos e resultados. Considerao de abordagens alternativas para atingir os objetivos.
Principais problemas
Mesmo havendo uma seleo de projetos segundo uma orientao estratgica de governo, o desatrelamento do bloco estratgico em relao ao oramento pode ser um problema srio. A seleo de projetos deve levar em conta, tambm, o espao fiscal para novos investimentos. O grau de comprometimento do oramento com despesas obrigatrias pode limitar ou mesmo impedir que os projetos prosperem por falta de espao fiscal. Lamentavelmente, assim que se procede na maioria das vezes, com prejuzos na execuo dos projetos por falta de recursos, o que leva a um alongamento inevitvel dos prazos de concluso das obras. A consistncia entre o conjunto de projetos selecionados na primeira fase e a disponibilidade para novos engajamentos financeiros no oramento menos problemtica quando plano e oramento passam a ser peas integradas. Nesse contexto, o plano ganha uma ncora fiscal (s entra no plano o que tiver recursos assegurados) e o oramento ganha uma ncora estratgica (uma vez apartada a despesa obrigatria, o resto dos recursos disponveis deve ser preferencialmente alocado nas prioridades do governo). Todavia, especialistas em gesto pblica desconfiam da possibilidade de se construir uma relao coerente e estreita entre planejamento (orientao estratgica plurianual) e oramento (alocao de recursos anual) dada a permanente volatilidade da gesto fiscal e, por conseguinte, da gesto oramentria11. Alm disso, essa integrao incorpora ao
10 11
BANCO MUNDIAL, 2009. Avaliao da eficincia da gesto do investimento pblico. Braslia, mimeo.
Planos de cinco anos ou mais, provou-se no serem crveis em muitos pases, na medida em que as metas no foramfundamentadas em projeesde recursosrealistas, segundo estudo do Banco Mundial, RAJARAN, Anand. 2010.
13
ENAP
mtodo de planejamento parte da complexidade da programao do gasto, o que criticado por alguns planejadores. No entanto, essa articulao cada vez mais necessria, pois a execuo do investimento geralmente de mdio ou longo prazo, o que depende, portanto, de um plano com uma programao plurianual de gastos que oriente o oramento (cuja programao anual e deve ser renovada todos os anos). Exemplos disso encontram-se, com frequncia, no setor de energia, transportes e saneamento, cujos projetos exigem longos perodos para a sua concluso. Em muitos pases, o grau de articulao entre plano e oramento tem variado ao longo do tempo num processo pendular tradicional e perverso na administrao pblica:
12
14
como o Programa de Acelerao do Crescimento (PAC desde 2007) foram constitudos por meio de uma seleo, usando critrios mais qualitativos, conduzida pela Casa Civil da Presidncia da Repblica, com apoio dos ministrios de coordenao, MPOG, Ministrio da Fazenda (MF) e ministrios setoriais, caso a caso. Portanto, os projetos foram selecionados e indicados pela cpula do governo. Nessas circunstncias, a aderncia dos projetos s diretrizes estratgicas de governo foi automtica, apesar das grandes diferenas de qualidade e estgio de maturao destes. Premido pelo tempo de governo e na ausncia de um sistema adequado de GIP, no havia, provavelmente, outro caminho. Constatao inevitvel: falta ainda ao Governo Federal um sistema consolidado de preparao e posterior seleo de projetos, no qual todos se submetem a padres de avaliao avanados (como anlise custo/benefcio, apurao formal de custos ou considerao de abordagens alternativas aos objetivos) para uma triagem final. O que prevaleceu, e permanece assim at o presente, o uso de critrios mais qualitativos de apoio deciso. (p. 18). Foi assim no PAC 1 e no PAC 2, embora esse ltimo tivesse contado com alguns projetos mais bem preparados. O resultado efetivo dessa prtica a continuidade de um processo institucional fraco de escrutnio preliminar de novos projetos, substitudo por um processo poltico forte, de grande legitimidade, na seleo dos investimentos estratgicos. Essa carteira, repassada ao MPOG, tem incorporao automtica ao PPA e ao Oramento. Da o constrangimento tradicional da SPI e da SOF de acatar novos projetos, uma vez que a seleo j foi feita e a margem fiscal para investimentos no estratgicos fica reduzida a muito pouco. Dessa forma, sobra legitimidade e falta governana que permita ao governo aprender a se preparar cada vez mais para uma gesto efetiva do investimento pblico. O ideal, provavelmente, seria combinar os dois modelos. Isto , associar a vantagem poltica de uma escolha realizada pela cpula do governo, com a virtude de faz-la com base em regras previamente definidas e transparentes de como os ministrios devem se preparar para apresentar suas propostas. No primeiro estgio, de seleo de projetos, estariam os projetos em nvel de prviabilidade, com informao suficiente para dar confiabilidade s escolhas. A boa prtica sugerida e implcita na metodologia do Banco Mundial que, nesses casos, se use a triagem preliminar para permitir a constituio de um conjunto menor de projetos, mais consistentes do ponto de vista tcnico e condizentes com a tica da racionalidade poltica de quem governa e est convicto de suas escolhas. Nesse aspecto, supe-se que quem escolheu estar disposto a fazer sacrifcios para concluir os projetos em benefcio de todos, pois o que importa, para alm de bons projetos, que esses se concluam nos prazos e gerem os resultados esperados. Vale lembrar que alm do PPA, h no Governo Federal ministrios que possuem planos setoriais, geralmente de mais longo prazo, como o PNDE (2011-2020) da educao, o PNLT (2011-2030, em elaborao) dos transportes, o PDE (horizonte 2020, relaciona os projetos) e o PNE (horizonte 2030, traa cenrios), ambos da rea de energia. Esses planos costumam orientar fortemente e justificar, com maior robustez, as escolhas sobre investimentos. So planos que seguem outro ritmo, sem prazos constitucionais a cumprir. Assim, distribuem o tempo em funo da robustez tcnica perseguida e do compromisso com as expectativas dos interessados. So atributos quase incompatveis de serem observados na elaborao de um PPA. Por fora de dispositivo constitucional, o prazo para elaborar o PPA do Governo Federal, por exemplo, de seis meses, tempo demasiado exguo para elaborar um plano que englobe todas as aes do governo. Por isso, parte desse tem sido preparada com antecedncia. A experincia mostra que, no prazo de seis meses s possvel elaborar o contedo estratgico, aperfeioar a programao, adequando-a s diretrizes estratgicas do novo governo. Todavia, os especialistas em planejamento pblico tendem a concordar que impossvel, nesse perodo, avaliar e selecionar os investimentos que devero ser incorporados ao PPA e ao Oramento Anual. A carteira bsica para seleo dos investimentos estratgicos deve ser preparada com antecedncia. Entende-se que a qualidade e a pertinncia dos projetos devem ser um valor a se perseguir permanentemente.
ENAP
15
ENAP
A literatura mostra que, para isso, h, pelo menos, dois pilares essenciais a construir. O primeiro, e mais simples, diz respeito constituio de um banco de projetos, no mbito de um sistema pblico de investimentos, centro do sistema, no qual tenderiam a orbitar os oito estgios do ciclo institucional de investimentos. O segundo, mais complexo, trata da necessidade de criar um novo instrumento de planejamento, complementar ao PPA, na forma de um estudo de planejamento territorial do pas, atualizado periodicamente para instruir os PPA da Unio, Estados e Municpios, tradicionalmente setoriais e carentes, na maioria das vezes, de um referencial fsico que d conta da(s):
Os ministrios podem incluir projetos tanto no PPA quanto em seus oramentos, sem que os projetos tenham que passar por um processo de justificao formal ou anlise de custo-benefcio (p. 17). (...) o procedimento de apurao dos custos parece ser informal, sem requisito de apurao
formal dos custos ou considerao de abordagens alternativas para atingir os mesmos objetivos (p. 17).
O PPA no parece constituir um plano estratgico que apresenta as principais prioridades de poltica do governo. Ao invs disso, a busca por ligar plano ao oramento anual resultou no ato de o PPA ser apresentado no mesmo nvel de detalhes do oramento anual (p. 18). Prevalece na administrao pblica a preocupao com a execuo e, para isso, o hbito de
apartar um subconjunto do oramento federal como mecanismo de investimento estratgico
13
16
(PPI) e depois o PAC (...) ambos gerenciados pela Casa Civil da Presidncia da Repblica. (...) A estrutura de monitoramento intensivo foi respaldada por um compromisso de garantia de financiamento alinhado com o tempo e a quantidade necessrios para as agncias executoras (p. 18).
ENAP
H pouca dvida de que o PAC representa um esforo de melhorar a direo e a fiscalizao sobre os investimentos. Entretanto, a triagem para selecionar quais projetos entram no PAC no estava clara nem tecnicamente direcionada. Ao contrrio, todos os projetos disponveis foram includos. Assim, o PAC revestiu projetos e ps presso sobre os ministrios para gastar mais e mais rpido, sem depender de avaliaes econmicas nem anlises de sua capacidade de implementao (p. 19). O foco foi mudado da eficincia no gasto pblico para a velocidade no gasto pblico.
Enquanto os benefcios percebidos totais do PAC levem anos para serem vistos, o fato que houve nfase na execuo dos projetos, e no em sua avaliao, o que causa preocupao. (p. 19) H, portanto, lacunas a cobrir no que respeita a esse primeiro estgio, pelo qual todo o investimento deveria passar. Uma das explicaes para isso est na forma com que os sucessivos governos nos ltimos 18 anos (desde a edio do Brasil em Ao) vm processando a gesto do investimento pblico. Trata-se de um modelo que busca segregar, num programa prprio e apartado da rotina do restante do governo, a gesto dos projetos de investimento considerados estratgicos. A inteno melhorar a execuo dos projetos, a partir de um tratamento gerencial diferenciado e com o apoio direto da cpula do governo, com vistas soluo dos problemas durante a fase de implementao. Alm disso, os recursos so consignados no volume requerido e no so passveis de contingenciamento14. Esse modelo gerencial nasceu no Brasil em 1996, com o Plano Brasil em Ao, sucedido pelo Avana Brasil, no segundo mandato do Governo Fernando Henrique Cardoso. No primeiro Governo Lula, foi institudo o Projeto Piloto de Investimentos (PPI) em 2004. Este, criado a partir de um debate com o Fundo Monetrio Internacional (FMI) sobre a necessidade de o Brasil ter, ao lado dos instrumentos de disciplina fiscal, como a LRF, a presena de um espao fiscal para investimentos estratgicos, podendo excluir esses gastos, se necessrio, da meta de ajuste fiscal. Com esse acordo, criou-se um arranjo especial para selecionar e gerenciar um conjunto de investimentos definidos como estratgicos. Nasce, no segundo mandato do presidente Lula, um programa muito mais ambicioso e amplo o Programa de Acelerao do Crescimento (PAC), concebido no mesmo formato do PPI, o qual persiste at o presente na verso PAC II. Em todos esses casos, prevaleceu o impulso tradicional dos governantes por mais projetos, menos avaliao. H uma percepo arraigada, aps dcadas de baixo investimento pblico, de que os gargalos so bvios e amplamente conhecidos. Por isso, o uso de um protocolo ideal de avaliao de projetos, tal como se exerce em muitos pases, seria dispensvel por ser demasiado burocrtico e para, no final, gerar um resultado que todos supem conhecer de antemo. Esse um argumento aparentemente contraditrio com a manuteno, relativamente rgida, de uma disciplina fiscal e de um objetivo a perseguir de melhoria da qualidade do gasto, presente ao longo de todos esses governos. Porm, apenas aparente, pois generalizada no imaginrio dos decisores a percepo de que as duas prticas no s convivem como se complementam. A obviedade das escolhas estratgicas sobre os investimentos tem como corolrio a necessidade de acelerar a sua execuo, a fim de que seus benefcios revertam mais celeremente em crescimento e melhoria de arrecadao. Com esse argumento, seria dispensvel uma avaliao formal, ficando a aferio de benefcios, na maioria das vezes, implcita, em vez de serem apurados e documentados em uma avaliao ex ante, e comparados com uma avaliao ex post do investimento na fase de sua operao.
14
Esse modelo diferenciado de gerenciamento de aes similar ao que se verificou anos mais tarde com a criao da central de resultados introduzida na gesto Tony Blair, na Inglaterra, no ano 2000.
17
ENAP
O projeto deve ser executado e operado pelo setor pblico ou ser executado e
operado pelo setor privado ou, ainda, apenas operado pelo setor privado? nesse estgio que se define se o projeto ser um empreendimento pblico, uma concesso ou uma parceria pblico-privada (PPP).
ENAP
Quadro 2
Principais Componentes de Anlise de Viabilidade Estudo prvio de viabilidade Coleta de dados (geogrficos, climticos, socioeconmicos e outros tcnicos). Alternativas ao projeto. Principais riscos, incluindo o institucional e o oramentrio. Comparao de alternativas de engenharia, custos socioeconmicos e benefcios. Projeto alternativo recomendado. Estimativa preliminar dos custos e benefcios do projeto. Exigncias legais reguladoras. Identificao de informaes que faltam para o Estudo de Viabilidade. Estudo de viabilidade Compilao de dados relevantes. Tecnologias alternativas para o projeto. Estimativa detalhada dos custos e benefcios de uma alternativa selecionada. Projeto preliminar. Avaliao de risco detalhada. Avaliao de sustentabilidade detalhada. Avaliao de impacto ambiental. Avaliao de impacto social.
No poucas vezes, esse estudo auxilia a reduzir o escopo da interveno e a desenhar uma alternativa ideal ao projeto. Faz parte da anlise de viabilidade a submisso dos projetos a testes mais rigorosos do seu custo-benefcio ou custo-eficcia. A escolha de uma ou outra dessas tcnicas de avaliao depender da natureza do projeto, da recomendao do rgo central responsvel pela coordenao dos investimentos no governo, ou, ainda, de recomendao do rgo setorial que prope o projeto. O Livro Verde, do Reino Unido, recomenda, por exemplo, a anlise de custo-benefcio em vez da anlise custo-eficcia, usando tcnicas complementares para ponderar os custos e benefcios no diretamente valorados, situao comum na rea social. A definio por esse guia de ambas as tcnicas :
19
ENAP
desempenho para confrontar com a proposta original. Nesse momento, as exigncias de dados mais confiveis tornam-se um imperativo. Em geral, o processo de avaliao passa por uma srie de reiteraes (idas e vindas) antes das propostas serem finalizadas. Assim, as anlises, frequentemente, so repetidas medida que o projeto vai ganhando consistncia, em especial quando importante examinar o impacto de riscos identificados, incertezas tpicas de projeto. Por exemplo, inflao, custos de manuteno, mudana na produo e preos de insumos importantes para a vida do projeto. Isso ajuda a evitar a preciso espria15 ou o conhecido vis de otimismo16, tpico das organizaes que formulam as propostas, e a entender se, luz de mudanas das circunstncias, a proposta continuar apresentando boa relao custo-benefcio. O processo de avaliao formal (ex ante) do projeto precisa garantir que os projetos propostos para financiamento pblico sejam apreciados pelo seu valor social e econmico. Para faz-lo de forma eficaz, a experincia mostra que os governos devem ter uma orientao formal e bem divulgada sobre os critrios tcnicos de avaliao de projeto. Muitas vezes, os departamentos e agncias responsveis pela coordenao desse processo publicam modelos de boas prticas de avaliao de projetos17. Nesse sentido, preciso equilibrar o esforo que se solicita dos rgos setoriais proponentes com o resultado desejado, adequando-se as exigncias capacidade tcnica dos mesmos. A orientao deve descrever as tcnicas de avaliao econmica com a complexidade adequada escala e ao escopo do projeto (projetos maiores exigem testes mais rigorosos de viabilidade econmica e financeira e de sustentabilidade). A boa prtica recomenda que, nesse estgio, o processo de avaliao do projeto deve considerar propostas desse em diferentes escalas, dado o diferencial de custos e o impacto esperado. Em suma, a nfase durante a elaborao de projetos deve ser dada sobre os elementos bsicos da avaliao formal (ex ante) do projeto. So eles:
Justificativa da ao; Definio de Objetivos claramente especificados; Apreciao das alternativas de projeto para o alcance dos objetivos; Desenvolvimento e implementao de uma soluo para o problema; Custos do projeto, totalmente estimados e com preciso; Benefcios provveis do projeto, avaliados para justificar os custos.
A experincia internacional demonstra que til criar e manter uma carteira de projetos avaliados ( o denominado banco de projetos). Essa carteira, como se espera, no s confere maior qualidade ao gasto, mas, sobretudo, amplia fortemente a eficincia do governo na realizao do investimento pela pronta disponibilizao do projeto.
15 16 17
Por exemplo, no Reino Unido cases e modelos de boas prticas podem ser encontrados em sites como https://www.gov.uk/government/organisations/cabinet-office/ ou visitar o site do NAO, Escritrio Nacional de Auditoria - http://www.nao.org.uk/
20
Alm disso, permite avaliar os projetos considerando a complementaridade que este guarda com os demais em carteira, examinados em base territorial nacional, regional e local. Outra vantagem de manter projetos em estoque que os rejeitados no passado podem ser resgatados em face de mudanas no contexto subjacente ao projeto. Resta, no mais das vezes, fazer uma simples atualizao e verificao dos parmetros custo/benefcio que os tornam susceptveis de gerar benefcios lquidos positivos. Assim, a boa prtica sugere que todos os projetos avaliados devam ser registrados em um banco de dados, classificados por prioridade, aps apreciao do rgo central responsvel (planejamento e/ou oramento, isso depende de cada governo). A existncia do Banco de Projetos serve, em alguns pases, para que o legtimo processo de emendas ao oramento, realizado pelo parlamento, possa se exercer com clusulas de obrigao de que estas emendas s se integrem ao oramento se estiverem no Banco de Projetos. isso que ocorre, por exemplo, no Reino Unido. Quando l um parlamentar no encontra no Banco de Projetos a proposta desejada, este tem a prerrogativa de solicitar que o projeto seja elaborado para que entre no prximo oramento. H em qualquer circunstncia, uma convergncia no ritual de emendas, com a demanda previamente diagnosticada pelo rgo setorial e com os parmetros de qualidade do governo. Uma pergunta frequente na formao da Carteira de Projetos :
ENAP
Qual o estgio de maturao do projeto que se deve considerar para a entrada dele na
Carteira? A literatura no parece conclusiva, mas geralmente se aceita como adequado o estgio de Estudo de Viabilidade Tcnico e Econmico (EVTE), que precede os dois outros estgios superiores, Projeto Bsico (PB) e Projeto Executivo (PE). Uma das dificuldades para fixar esse critrio reside na inexistncia de um padro internacional que d conforto aos gestores sobre o que deve conter o projeto em cada um desses estgios. recorrente haver zonas de sombreamento entre estes. H EVTEs que, de to detalhados, se aproximam de um PB, assim como se verifica PBs que assumem o perfil de um quase PE, dispensando muitas vezes a elaborao desse ltimo estgio de projeto, o PE. No Brasil esta uma prtica comum, seja porque o setor pblico contrata a fase de PB, com detalhamento de PE e passa direto licitao da execuo da obra, seja porque delega empresa vencedora que executar o projeto, a misso de elaborar o PE. A Lei de Licitaes n 8.666 no exige do governo que apresente o PE para licitar a execuo de um investimento. Projetos envolvendo processos de financiamento e aquisio no-padro, (tais como parcerias pblico-privadas ou concesses), em tese deveriam estar sujeitos, tambm, a procedimentos de avaliao similares ao investimento pblico quando financiado pelo sistema padro, isto , financiado por meio do oramento pblico. Mais que isso, os custos e benefcios de tais projetos deveriam ser comparados com projeto semelhante, se realizados pelo setor pblico. Um observador atento poderia, contudo, arguir em favor da dispensa de um processo de avaliao de projetos que, por definio sero financiados com recursos privados e, portanto, caberia aos futuros detentores das concesses assumirem a tarefa de avaliao de projetos e dos riscos qualidade e eficincia, que, neste caso, tambm seriam do setor privado. 21
ENAP
Certos pases, como o Brasil, possuem leis de concesso18 e de PPPs19 que definem o formato de provimento dos investimentos na rea de servios pblicos. Em ambos os modelos de financiamento esto previstos, em lei, o processo de avaliao das propostas. A partir do procedimento de avaliao, sempre realizado por rgo pblico, os projetos tornam-se aptos para a fase de licitao na qual, mais uma vez, testa-se a consistncia da proposta. Em resumo, na modalidade de financiamento no-padro ocorre um processo de avaliao aparentemente muito mais rigoroso que na modalidade padro. Essa caracterstica , muito provavelmente, uma das variveis-chave que explica o inegvel melhor desempenho na execuo e na operao dos investimentos financiados nestas duas modalidades. essa constatao que, embora associada a outros fatores, tem levado os governos, na maioria das vezes, a fazer uma opo deliberada na promoo de investimentos via concesso ou PPPs. Este mesmo observador poderia fazer ainda uma segunda pergunta. Como assegurar a complementaridade e consistncia estratgica, entre projetos de investimentos que esto no oramento e os projetos de investimentos que seguem um trmite totalmente independente, como concesses ou PPPs? A ausncia de um sistema pblico de investimentos e a falta de um planejamento do desenvolvimento, em base ao territrio, que considere as assimetrias regionais e as demandas locais, cobra caro, com o aumento do desperdcio do gasto pblico. Esta lacuna gera uma reduo na produtividade macroeconmica e social do investimento agregado, assim como uma perda de efetividade do investimento ao nvel regional, ou local, medido pela menor taxa de aproveitamento do investimento para gerar empregos, renda e melhoria da qualidade de vida. Esse fenmeno revela a permanente tenso, no campo das polticas pblicas, entre uma abordagem projeto-a-projeto e um tratamento por meio de agrupamento ou cluster de investimentos, voltados para o desenvolvimento de uma regio. Tenso esta que se verifica, igualmente, entre uma abordagem exclusivamente setorial, como a praxe, e a abordagem territorial do investimento, que busca combinar da melhor forma o mix adequado de recursos de cada uma das polticas setoriais, de acordo com a demanda que o diagnstico regional prope. Os estudos revelam que no se deve privilegiar uma em detrimento da outra, em nenhum dos dois casos. Todavia, no isso o que ocorre, no mais das vezes, em especial no Brasil, que ainda no constituiu seu sistema pblico de gesto do investimento, nem tampouco institucionalizou o planejamento territorial do pas como complemento ao planejamento setorial.
18 19
22
Quadro 3
Caractersticas bsicas da etapa 2: Avaliao formal (ex ante) Projetos ou programas que passam na primeira triagem (seleo de projetos) devero passar por escrutnio mais rigoroso acerca de seus custos/benefcios e custo-efetividade. Arranjo institucional desejvel Direcionamento publicizado e transparente, com respaldo de treinamento efetivo e emprego da equipe para elaborao e avaliao de projeto (inclusive consulta s partes interessadas na elaborao do projeto Aplicao do direcionamento estratgico na avaliao do Projeto
ENAP
Principais problemas O valor de uma avaliao ex ante do projeto depende muito da qualidade da anlise que, por sua vez, depende da capacidade das equipes em manejar, com competncia, a tcnicas de avaliao de projetos.20 O esforo prvio e permanente em treinamento, voltado para a difuso de tcnicas em elaborao e avaliao de projetos uma varivel essencial de um sistema eficaz de investimento pblico21. Embora haja uma distino clara entre a elaborao e a avaliao de projetos, nas finalidades e nas tarefas, sabe-se que s elabora bons projetos que tem habilidades para avali-los. Da ser importante que a formao, quando possvel, cubra as duas finalidades com o mesmo pblico. At porque a elaborao de projeto usa recorrentemente as tcnicas de avaliao para dar robustez proposta, num processo de aproximao sucessiva em direo qualidade de projeto desejada. Alm disso, os requisitos bsicos que devem conformar um projeto, independente do setor que o prope, so definidos pela coordenao central do sistema pblico de investimento. Essa tarefa geralmente realizada por meio da edio de manuais, guias ou normas. A existncia de um processo permanente de formao de pessoal nas tcnicas de elaborao e avaliao de projetos um indicador de capacidade do governo em assegurar equipes de excelncia na gesto do investimento. Apurar o nmero de servidores na administrao pblica com capacidade para a elaborao e a avaliao de projetos outro indicador relevante, assim como a presena de esquema para manter atualizada a oferta e demanda de competncias setoriais. Identificar se esses tcnicos esto em tarefas de linha que demanda o uso efetivo de suas habilidades outro indicador que mede os reais benefcios do investimento em capacitao. importante dar ateno especial criao de incentivos, simultaneamente aos processos de capacitao, de forma a ampliar a adeso de servidores e a assegurar que as habilidades adquiridas para elaborao e avaliao de projetos sejam realmente aplicadas. Um nmero suficiente de pessoal qualificado uma condio necessria, mas no suficiente, para melhorar as prticas de elaborao e avaliao do projeto.
20 21
Veja Fontaine (1997) para uma descrio do esforo contnuo realizado pelo Chile para treinar um nmero de geraes de funcionrios pblicos em tcnicas de avaliao de projetos.
23
ENAP
BOX 2 Nota sobre o Brasil No usual, na administrao pblica brasileira, editar manuais que digam com clareza ao conjunto de rgos do governo como devem elaborar os seus projetos. H, por vezes, orientaes setoriais quanto a quesitos mnimos que devem ser observados na elaborao e na avaliao de projetos, mas tratam geralmente de aspectos especficos da rea. O Ministrio dos Transportes, por exemplo, possui manuais para apresentar e avaliar projetos de infraestrutura de transportes. O que se questiona a ausncia de orientaes quanto aos quesitos gerais de como apresentar os projetos e quais perguntas devem ser respondidas nas quatro fases mais conhecidas de maturao do projeto: Pr-Estudo de Viabilidade Tcnica e Econmica (Pr-EVTE), Estudo de Viabilidade Tcnica e Econmica (EVTE), Projeto Bsico (PB) e Projeto Executivo (PE), independentemente do setor. So estas exigncias gerais que permitem aos governos impor uma linha de base sobre a qualidade e o desempenho desejvel, de tal forma que as escolhas na fase do processo alocativo, sejam em base a projetos de mesmo padro. Atualmente, no incomum o ingresso de aes de investimento no oramento que no passam de uma simples ideia. Essa a praxe no trato com as emendas parlamentares. Situao que dificilmente ser alterada se no forem tomadas providencias para que as proposies parlamentares tenham prvia acolhida nos departamentos setoriais de projeto, antes de ingressarem no oramento. Em no havendo projeto, nem avaliao deste para ingresso no oramento, os projetos se reduzem a cumprimento de compromisso poltico, mesmo sabendo que o nus social, a futuro, tende a ser maior que os benefcios imaginrios esperados, a presente. No Executivo ocorrem situaes semelhantes. Quando se examinam os procedimentos exigidos para investimentos em equipamentos sociais, como habitao de interesse social, saneamento, escolas, entre outros, cuja atribuio dos governos estaduais e municipais, verifica-se que a deciso de realizar a obra anterior a apresentao de projeto. Veja, nessa direo, registro em Relatrio de Auditria do TCU sobre as operaes da FUNASA nas reas de saneamento22. No caso de recursos do PAC, o processo se inicia com a definio, realizada pelo Comit Gestor do PAC - CGPAC, dos municpios a serem atendidos pelos recursos alocados pelo Programa. Essa relao inserida no Sigob, que utilizado tambm para o preenchimento pelos convenentes selecionados das informaes bsicas relativas ao objeto a ser pactuado. Posteriormente, estas informaes tambm so migradas ao Siscon, no qual se d prosseguimento ao termo de compromisso firmado. A fase seguinte, comum a todas as transferncias da Funasa, a apresentao pelo convenente da proposta ou projeto (conhecido no mbito da entidade como pr-projeto), com a definio dos quantitativos estimados, em funo dos primeiros levantamentos das necessidades detectadas pelos municpios. No entanto, verifica-se que nesta fase a obra a ser realizada definida apenas em termos gerais e por vezes os recursos estimados so incompatveis com os recursos previstos na transferncia a ser pactuada. Desta forma, normalmente, aps algumas anlises e ajustes, o pr-projeto aprovado pela Fundao, sendo emitido o empenho dos recursos destinados transferncia; aps esta fase o convnio ou termo de compromisso gerado, assinado e publicado, sendo fixado prazo para apresentao do projeto bsico (este dever conter todos os requisitos necessrios para incio da obra). Depois de publicado o instrumento, procede-se definio do servidor que se responsabilizar pela anlise do projeto, que constitui etapa especfica do Siscon.
22
Tribunal de Contas da Unio 2013. Sumrio: relatrio de levantamentos. Auditoria de natureza operacional para conhecimento da estrutura da fundao nacional de sade e dos fatores limitantes sua atuao na consecuo de obras de saneamento. Determinaes e recomendaes. Braslia, mimeo.
24
Importa ressaltar que o convnio ou termo de compromisso, regra geral, celebrado sem apresentao do projeto bsico (apenas com a fixao de prazo para sua apresentao), ou seja, o instrumento pactuado no possui documentao suficiente para definir de forma adequada o objeto a que se refere. A maioria dos instrumentos celebrados demora grande lapso de tempo na fase de apresentao e anlise de projeto bsico (fase trs do Siscon), em geral por no apresentao tempestiva por parte dos municpios dos projetos bsicos, ou pela apresentao de projetos bsicos inadequados, requerendo normalmente inmeras alteraes em funo de anlises e requisies realizadas pela Funasa. Superada a fase de anlise do projeto, se d a ratificao da aprovao do projeto pelo gestor hierarquicamente superior ao analista (no mbito da prpria superintendncia estadual responsvel) sendo finalmente os dados migrados para o Sigesan, que o sistema responsvel pelo acompanhamento da execuo da obra e controle das respectivas parcelas de recursos das transferncias. (...) A seleo de municpios a serem atendidos pelos recursos da Funasa definidos como PAC realizada pelo Comit Gestor do Programa de Acelerao do Crescimento (CGPAC), institudo pelo Decreto 6.025, de 22/1/2007, para acompanhamento e avaliao dos projetos de investimento do Programa. (...) a seleo dos municpios a serem contemplados com aes de saneamento integrantes do componente de infraestrutura social e urbana do Programa de Acelerao do Crescimento considera critrios epidemiolgicos, socioeconmicos e ambientais, voltados para a promoo sade e para a preveno e controle de doenas e agravos, com destaque para a reduo da mortalidade infantil. No entanto, registra-se que no h adequada transparncia e publicidade desses critrios (...) Em funo da prpria Funasa e do CGPAC terem identificado alguns pontos deficientes, relativos atuao da instituio na execuo de transferncias inseridas no mbito do PAC, foram propostas substanciais alteraes de procedimentos quando da formulao da segunda fase do Programa de Acelerao do Crescimento (denominado PAC 2), iniciado no exerccio de 2011. (...) Segundo o Ministrio do Planejamento, poder-se-ia elencar como os principais objetivos do PAC 2: a) maior rigidez no monitoramento e acompanhamento do desempenho dos prazos e metas (com maiores possibilidades de cancelamento de empreendimentos contratados e no iniciados ou com percentual de execuo abaixo do esperado); b) o aperfeioamento dos requisitos a serem cumpridos pelas propostas de transferncias relativas gua e esgoto; e c) institucionalizao de prioridades para seleo de municpio a serem atendidos com recursos do programa. comum alocar projetos no oramento, considerando apenas o estgio em que se encontram, ou seja, passam primeiro aqueles que esto mais desenvolvidos, sem que uma anlise de custo/ benefcio ou estudo de alternativas melhores para atingir os mesmo resultados, tenha sido realizada. Em discusses com representantes do PAC, foi sugerido que h um baixo grau de crena na habilidade de realizar avaliaes ex ante, a fim de dar assistncia ao processo de identificao de projetos viveis. De fato, o argumento foi de que os projetos so necessrios e de que era meramente bom senso implementar determinados projetos. Essa viso tambm foi apresentada no Ministrio dos Transportes, em que a deciso-chave parecia estar alinhada com a estratgia do PNLT, e que h engajamento e suporte dos governos municipais e estaduais.23 Em outras palavras, os departamentos e ministrios de linha dispensam avaliaes formais na elaborao dos seus projetos. As expectativas geradas pela criao da CMA esto, por enquanto, suspensas, embora elas sejam corroboradas pelo documento do BIRD (...) a alocao de recursos pblicos enseja questes de escassez e trade-offs entre vrias demandas concorrentes, a viso geral de que os tomadores de deciso deveriam pelo menos estar cientes dos custos e dos benefcios
ENAP
23
25
ENAP
relativos dos cursos de ao tomados. Embora a experincia tenha sido reconhecida, no Relatrio do Banco Mundial, como um avano inegvel para promover a avaliao de projetos de investimentos, esse aponta deficincias:Apesar da existncia de um manual padronizando as anlises que os rgos devem realizar e a forma de apresentao dos projetos, a anlise da amostra de 16 estudos que o MPOG forneceu mostra que os vrios rgos usam metodologias diferenciadas. (...) Alm disso, a aplicao da tcnica se mostrou irregular, e em algumas das amostras no conseguiu contemplar questes de viabilidade financeira. A quantidade de documentao de apoio no era suficiente; tais documentos eram indicativos de algo que se aproxima de uma avaliao formal, mas os projetos no esto passando de fato por uma reviso de avaliao rigorosa. Alm disso, o lanamento do manual no foi seguido por uma poltica de fortalecimento de capacidades dos ministrios setoriais a fim de produzir tais estudos. 24
24
26
frequente, em muitos pases, a exigncia de seguro-performance para garantir ao governo que o executor da obra ir concluir o contrato dentro do custo e da qualidade prevista, mesmo se for falncia ou ficar incapacitado para conclu-la. Nesses casos, a seguradora tende a cumprir o papel de avaliador de terceira parte, tanto em relao ao projeto quanto competncia da empresa para execut-lo. E o faz para calcular o valor do prmio a fim de ter o projeto assegurado. Assim, para concorrer a uma licitao, as empresas se comprometem a contratar um seguro-performance, cujos valores entram no custo do empreendimento. Essas, por sua vez, exigem dos subcontratados tambm seguro-qualidade e seguro-performance, estabelecendo uma rede securitizada de todo o processo: projeto, obra e ps-obra. Com a introduo desse expediente h, invariavelmente, um aumento de custos dos empreendimentos. Em contrapartida, o modelo gera um filtro natural selecionando as melhores empresas. Isso porque o prmio tende a ser menor, numa segunda vez, para empresas que mostraram ter melhor desempenho, dando a essas uma chance maior de praticar preos competitivos e vencer os editais de licitao de obras do governo. A Frana um bom exemplo desse tipo de prtica. Tem longa experincia e abrange todas as encomendas de governo na rea da construo civil. No Brasil, h uma possibilidade de que o modelo venha a ser adotado com a deciso tomada, recentemente, pelo Departamento Nacional de Infraestrutura de Transportes (DNIT) de exigir seguro das empresas que vencerem as licitaes para execuo das obras sob sua responsabilidade25. De outra parte, fundamental no permitir a multiplicidade de avaliaes e de agentes, com responsabilidades, s vezes pouco claras, no cumprimento dessas quatro primeiras etapas, todas relacionadas anlise de projetos. Isso invariavelmente tende a sobrecarregar o sistema de avaliao. Um conjunto formal de regras, procedimentos e atribuies dos agentes envolvidos necessrio, para manter os projetos menores longe de entupimento com as avaliaes. Quadro 4
Caractersticas bsicas da Etapa 3: Reviso independente ou de terceira parte A reviso permite averiguar qualquer vis subjetivo e protecionista na avaliao feita pelo rgo proponente. Arranjo institucional desejvel Instncias criadas para esse fim no mbito do governo ou encomendadas a organizaes especializadas ou expert, de fora do governo. Relatrio disciplinado das avaliaes do projeto concludo antes do oramento. Manter um inventrio de projetos avaliados, colocados em ordem de prioridade e prontos para entrar no oramento, caso haja vontade poltica e aumento de limite fiscal para investimento. Clareza de papis entre projetos menores e que devem ser avaliados unicamente pelo rgo proponente, e os de grande vulto, cujos riscos tendem a ser maiores e convm que sejam submetidos a uma avaliao realizada por rgo independente.
ENAP
25
27
ENAP
BOX 3 Nota sobre o Brasil Como se sabe, no h, no mbito do Governo Federal, um sistema nico, linear e cronolgico, com as oito fases, pelo qual todo o investimento seja obrigado a passar para ser financiado seja pelo Oramento, seja pelo setor privado, por meio das concesses ou PPPs. Para atender o que se espera desse terceiro estgio, existem, grosso modo, trs processos distintos para reviso independente, os quais variam conforme a natureza da fonte de financiamento e um quarto processo que, a depender da natureza do empreendimento, obriga-se a ser avaliado por rgo competente de meio ambiente. 1. Se o projeto for financiado pelo Oramento, ele ser avaliado uma segunda vez, agora pelo MPOG, que conta com a Comisso de Monitoramento e Avaliao, se esse for considerado de grande vulto, ou ser avaliado pelas instncias do PAC, situadas na Casa Civil da Presidncia da Repblica, caso integre a carteira do PAC. 2. Se o projeto for financiado por meio de bancos oficiais, bancos multilaterais (BIRD, BID, CAF etc), mesmo que venha a integrar o Oramento, a avaliao de terceira parte estar assegurada pela anlise realizada por esses agentes financeiros. 3. Se o processo for financiado por meio de concesses e PPPs: em ambos os casos, a rotina do executivo tem sido a de apelar preventivamente ao TCU para uma manifestao quanto aos fundamentos do projeto e recomendaes, quando entender necessrios. Alm disso, esses projetos passam por um perodo de exame por parte dos interessados privados e so tambm submetidos a audincias pblicas. Em ambos os casos, so procedimentos realizados segundo normas previamente estabelecidas. 4. A quarta situao refere-se avaliao de projetos realizada no momento de solicitao do licenciamento ambiental. Essa avaliao realizada em trs etapas: a) Licena Prvia - autoriza prosseguir com o detalhamento do projeto; b) Licena de Instalao - permite executar o projeto; c) Licena de Operao - necessria para o funcionamento do empreendimento. Trata-se de avaliao, todavia, de carter limitado, pois prevalece o exame dos impactos relativos aos temas sociais, culturais e biofsicos. Nela, no se considera a viabilidade tcnica, nem tampouco econmica, do projeto. H, por ltimo, em muitos casos, um exame do Ministrio Pblico (MP) quando se trata de projetos de grande alcance e quando as externalidades do projeto so consideradas negativas pelo MP. Embora seja uma iniciativa no obrigatria, essas avaliaes tm sido cada vez mais frequentes. A concluso mais imediata que no faltam instncias revisoras de projetos, se tomarmos como referncia o Governo Federal. Apesar disso, o desempenho do investimento continua a apresentar problemas decorrentes da qualidade dos projetos. que os processos de avaliao/reviso so realizados por organizaes diferentes, que examinam aspectos especficos do projeto e, portanto, sob critrios diferentes, inibindo uma comparao entre projetos para uma seleo. A despeito do esforo do governo para ampliar fortemente o investimento, o mesmo no possui ainda um sistema que assegure um padro mnimo de qualidade, um exame de custo-benefcio com critrios comuns, aferio da capacidade do agente promotor de realizar o empreendimento e o seu impacto estratgico no agrupamento de investimentos no territrio. A partir de 2005, o Governo Federal passou a contar com um procedimento-padro. Criou-se, para isso, no Ministrio do Planejamento, Oramento e Gesto (MPOG) a Comisso de Monitoramento e Avaliao (CMA), instalada na Secretaria de Planejamento e Investimentos Estratgicos (SPI)26.
26
Portaria Interministerial n 10/MP/MF/CC, de 11 de janeiro de 2005, e posteriormente o Decreto n 6.601, de 10 de outubro de 2008.
28
O governo passou a contar, a partir da, com um arcabouo institucional. Criou regras claras de avaliao para entrada de projetos de investimento no PPA e no Oramento-Geral da Unio. Exigncia limitada apenas a projetos de grande vulto. Grande vulto a denominao dada a todo projeto de investimento com valor acima de R$ 100 milhes, quando apresentado por empresa estatal, e que deve integrar o Oramento das Estatais27; ou com valor acima de R$ 50 milhes, quando apresentado pelo restante da administrao pblica, e deve integrar, se aprovado, o Oramento Fiscal e da Seguridade Social. O que importa destacar nesse processo a amplitude da avaliao exigida ao rgo proponente. Os projetos, nesse caso, so avaliados segundo seis critrios de avaliao, sendo cinco deles claramente explicitados no manual de apresentao de estudos de viabilidade de projetos de grande vulto, que orienta a administrao a esse efeito. H um ltimo critrio, usado pelo MPOG, mas cuja anlise no exigida do rgo proponente, que a identificao da viabilidade fiscal de execuo do projeto: - Anlise de pertinncia ou anlise fundamental - Anlise financeira - Impacto ambiental - Viabilidade socioeconmica - Factibilidade institucional ou anlise gerencial - Viabilidade fiscal anlise feita a partir do limite fiscal histrico do rgo Com a criao da CMA foram institudas, tambm, as Unidades de Monitoramento e Avaliao (UMA) nos ministrios setoriais, encarregadas de capacitar as equipes locais, apoiar os departamentos a elaborar projetos e programas e a avali-los, segundo diretrizes da SPI/MPOG. A inteno era claramente a de criar um sistema transversal que demandaria avaliaes no cerne do Governo Federal. O modelo baseava-se, em grande medida, na experincia do Canad, cujo sistema de avaliao foi considerado, poca, exitoso e consolidado. Pode-se dizer que essa experincia funcionou bem de 2005 a 2007. Receberam, nesse perodo, 312 estudos de viabilidade e avaliaram 149. Em 2008, em plena vigncia do PAC, a CMA recebeu apenas 18 estudos de viabilidade28. As tentativas de manter o sistema ativo, evidenciadas pela edio de novas normas, reformatando a CMA e as UMA para o PPA 2008-2011, e nova edio do manual para avaliao de projetos de grande vulto, surtiram pouco ou nenhum efeito. Atualmente, ao que tudo indica, a comisso no tem sido mobilizada para esse efeito. Esto isentos dessa avaliao todos os investimentos prioritrios do governo includos no PAC ou no Programa Minha Casa, Minha Vida. Os que restam so de pequena escala. De uma forma ou de outra, fato que o governo no tem se valido de procedimentos sistemticos e com base em tcnicas de avaliao objetivas para assegurar qualidade aos projetos selecionados para entrar no PPA e nos oramentos anuais. Atualmente, tem prevalecido o uso de critrios mais qualitativos de apoio deciso para definio de projetos estratgicos. Trata-se de deciso tomada em reunies realizadas entre os ministrios setoriais e as instncias de gesto do PAC na Casa Civil da Presidncia da Repblica29.
ENAP
27
Nem toda empresa estatal integra o Oramento de Investimentos das Estatais, apenas aquelas que no dependem de recursos fiscais permanentes para sua operao. Assim, empresas como Embrapa ou Codevasf comparem apenas no Oramento Fiscal e da Seguridade Social. TRIBUNAL DE CONTAS DA UNIO 2010. Relatrio de Levantamento dos Sistemas de Monitoramento e Avaliao dos rgos da Administrao Direta do Poder Executivo. TC 032.287/2010-0 Fiscalizao 1136/
28
PAC conta, no nvel de gesto estratgica, com o Comit de Gesto (GPAC). No nvel ttico, conta com o Grupo Executivo (Gepac), constitudo por representantes da Secretaria de Oramento Federal (SOF), da Secretaria de Planejamento e Investimentos Estratgicos (SPI), Secretaria do Tesouro Nacional (STN), Secretaria de Poltica Econmica (SPE) e Secretaria de acompanhamento e Monitoramento (SAM).
29
29
ENAP
A seleo de projetos do PAC seguiu uma srie de critrios claros e transparentes30; entretanto, no houve exigncias aos rgos proponentes de apresentar anlise de custo-benefcio nem estudos formais de viabilidade para que um projeto se tornasse parte do PAC.31 (p. 18). H pouca dvida de que o PAC representa um esforo de melhorar a direo e a fiscalizao sobre os investimentos. Entretanto, a triagem para selecionar quais projetos entram no PAC no estava clara nem tecnicamente direcionada.32 (p.19) A avaliao feita pelo Banco Mundial revelou a necessidade de aperfeioamentos nesse arranjo. Baseado numa amostra de 16 projetos avaliados pela CMA, concluiu que, apesar da existncia do manual que impe um padro para apresentao dos projetos: - (...) vrios rgos usam metodologias diferenciadas. (p. 20) - A aplicao da tcnica se mostrou irregular (...) ao no contemplar plenamente questes de viabilidade financeira. (p. 20) - A quantidade de documentao de apoio no era suficiente. (p. 20) - (...) os projetos no esto passando por uma reviso de avaliao rigorosa. (p. 20) - (...) o lanamento do manual no foi seguido por uma poltica de fortalecimento de capacidades dos ministrios setoriais a fim de produzir tais estudos. (p. 20) Apesar da tentativa de criar um sistema que demandaria avaliaes no cerne do governo, a experincia morreu antes de nascer. A demanda inicial no foi seguida pela criao das condies nos ministrios setoriais, a fim de produzir estudos de viabilidade. Em trs anos (2005-2007) a CMA funcionou e avaliou 149 estudos de viabilidade. Entretanto, quando o PAC foi criado, a pressa para comear a execuo levou alguns projetos a ficarem de fora da anlise da CMA. Essa deciso interrompeu abruptamente a tentativa de criar um sistema robusto de avaliao no Brasil33 (p. 20)
boas decises na escolha dos novos investimentos, assim como na gesto dos
equipamentos em operao ou do patrimnio pblico (no que respeita s possibilidades de alienao ou destinao que apoiem novos investimentos);
30
Retornos socioeconmicos em potencial, recuperao da infraestrutura existente, projetos sob execuo (integral ou parcial at o fim do governo) e as sinergias entre os projetos.
31 32 33 1
Um quadro oramentrio de mdioprazopode forneceralguma visibilidade para frenteem relao disponibilidadede recursose previsibilidade parainvestimentos na gesto de longo prazo.
30
ENAP
Quadro 5
31
ENAP
Alguns pases utilizam modelo de avaliao multicritrio, tambm conhecido como Anlise Hierrquica de Projetos (AHP) mesmo nome dado aos softwares usados para esse fim , cujo intuito auxiliar a tomada de deciso pela cpula do governo em relao aos novos projetos que devero entrar no Oramento. A opo se prende ao fato de que, nesse nvel, outros objetivos devem ser atendidos pelos projetos. Portanto, alm da sua qualidade intrnseca, essencial que todos os projetos, previamente selecionados e que passaram pelas trs fases anteriores, possam ser examinados comparativamente luz do impacto que esses proporcionam aos vrios objetivos de governo. Esses objetivos recebem pesos distintos segundo avaliao dos decisores no mais alto nvel do governo. Cada um desses objetivos, por sua vez, desdobrado em objetivos de segunda ordem, que tambm recebem pesos. H, por certo, inmeras formas de compor esses modelos de avaliao multicriterial, o que importa o uso de ferramentas que ampliam significativamente a qualidade da deciso e do gasto pblico em definitivo. A Coreia do Sul um desses pases que se valem dos recursos de anlise multicriterial para definir os projetos que sero inseridos no Oramento. O argumento dado a possibilidade de comparar projetos e tornar transparentes os custos na escolha de certos projetos que podem ter objetivos no econmicos. Uma representao em forma de diagrama do processo realizado pela Coria pode ser vista no documento do BIRD que avaliou a gesto do investimento pblico no Brasil35.
Quadro 3: Hierarquia Analtica da Coria
O processo de hierarquia analtica (AHP) na Coria foi inserido a fim de dar assistncia na escolha de certos projetos no incio do ciclo de vida , e tornar transparentes os custos de buscar certos projetos que podem ter objetivos no econmicos. Uma representao diagramtica do processo segue abaixo. Desde 2005, o peso relativo dado a cada fator chave foi o seguinte: anlise econmica (40-60 por cento); anlise poltica (25-35 por cento); e, anlise de desenvolvimento regional equilibrada (15-25 por cento). Viabilidade Global
Nvel 1 Nvel 2
Anlise econmica
Coerncia com o Plano estratgico ou de alto nvel
Anlise poltica
Risco de Projeto
Item especfico do projeto (opcional) Impacto econmico no desenvolvimento regional Anlise em relao s desigualdades regionais
Viabilidade financeira
Estado de Preparao
Impactos ambientais
Nvel 3
Alternativas
Implementao do projeto
35
32
O que chama ateno no diagrama o peso atribudo ao impacto regional do investimento, visto como de nvel hierrquico igual dimenso poltica e econmica. A preocupao com o impacto do investimento no territrio quase constante nas avaliaes executadas em pases desenvolvidos que possuem mecanismo para padronizar a qualidade e harmonizar a demanda do investimento pblico. Entre eles, Canad, Reino Unido, Holanda, Frana e a prpria Unio Europeia. O mesmo ocorre em vrios pases da Amrica Latina, que implantaram a partir do final dos anos 1990 sistemas nacionais de investimento, em grande parte influenciados pela Cepal e pelo BID, os quais auxiliaram na tarefa.
ENAP
Quadro 6
Caractersticas bsicas da Etapa 4: Seleo do projeto e sua incluso no oramento Ligao adequada entre o processo de avaliao e o de seleo dos projetos de investimento pblico e o ciclo oramentrio. Arranjo institucional desejvel
Critrios transparentes de seleo de projetos, com referncia aos objetivos de poltica, no nvel ministerial. Processo bem-estruturado de elaborao do oramento, com o escopo de integrar investimentos e implicaes recorrentes de projetos. Controle eficaz de manuteno para garantir que apenas os projetos avaliados e aprovados sejam selecionados para o financiamento pelo oramento. Garantia de financiamento adequado para os projetos selecionados, inclusive necessidades ps-obra para a entrada em operao.
BOX 4 Nota sobre o Brasil O Oramento no Brasil anual, como na maioria dos pases. Ele autoriza legalmente o gasto no perodo fiscal, que vai de janeiro a dezembro, no aprova o custo total do investimento. O comportamento financeiro do projeto para sua execuo, nos anos seguintes, vai depender da disponibilidade fiscal e da prioridade conferida a esse nos prximos oramentos. No se tem, no Brasil, a figura do oramento plurianual,36 que a literatura denomina de Mediun Term Expenditure Framework (MTEF). Desde os anos 1980, pases tm adotado o MTEF como complemento do oramento anual. Trata-se de um documento de controle microfiscal que assegura o compromisso futuro dos investimentos aprovados no oramento, assim como das despesas correntes que adviro no momento da sua entrada em operao. O modelo de Sistema Nacional de Investimento Pblico, promovido pela Cepal e pelo BID, incorpora mecanismo similar ao que exerce o MTEF, porm nenhuma das duas opes praticada no Brasil. O Plano Plurianual poderia cobrir parte dessa lacuna se os gastos plurianuais de investimento previstos fossem levados em considerao como um compromisso de gasto. A integrao plano e oramento, prevista na Constituio e aplicada desde o PPA 2000-2003, permitiria reduzir a incerteza que paira sobre todo projeto de investimento, mesmo que incorporado ao oramento, mas no o que de fato ocorre. Pior, essa possibilidade foi ainda mais reduzida com o atual PPA 2012-2015, cuja estrutura se descolou completamente do oramento, diferentemente dos PPA anteriores.
36
33
ENAP
Mesmo com todo o esforo para integrar as funes de planejamento e oramento realizado na ltima dcada, os projetos novos, quando incorporados ao PPA, dificilmente conseguem alocar toda a necessidade financeira sua execuo dentro do cronograma de desembolso previsto. Na maioria dos casos, o andamento da execuo dos projetos ainda depende do comportamento fiscal e do corte de outras despesas que permitam abrir espao nos oramentos seguintes, se esses forem do PAC ou do Programa Minha Casa, Minha Vida. Os no includos entre os prioritrios iro depender de um desempenho fiscal excepcional, que gere sobras extraordinrias para tocar o resto dos investimentos. A pergunta : por que no limitar a entrada de novos projetos no PPA a aqueles que podem ser executados dentro da projeo fiscal fixada para o PPA? Porque o Pas possui ainda alta volatilidade fiscal e compromissos de supervit elevados. Embora o Brasil tenha uma disciplina fiscal de pas avanado, no que respeita ao investimento operamos, em alguns casos, como um pas atrasado. Para escapar da realidade fiscal, aceitamos incluir, no PPA e no Oramento, promessas que, para se realizarem, vo depender de um melhor desempenho fiscal nos anos seguintes. A consequncia imediata uma incerteza quanto viabilidade dos cronogramas dos projetos no inseridos nas prioridades do governo. De outra parte, no a nica forma de assegurar recursos para o cumprimento financeiro plurianual dos investimentos. Pases como a Frana, por exemplo, adotam mecanismo de aprovao do oramento no Parlamento que separa a aprovao das novas despesas de capitalresultado de novos investimentos - daquelas que foram aprovadas no passado e que passam a ser consideradas como despesa obrigatria nos oramentos seguintes. A base fiscal de gastos do oramento incorpora essas despesas antes de iniciar novos investimentos. A ausncia de mecanismos como esses traz consequncias graves ao financiamento pblico dos investimentos. Essa uma das principais razes para que os sucessivos governos da Unio, desde os anos 1990, tenham adotado um modelo de gerenciamento intensivo de carteira estratgica de investimentos, cujo diferencial de ter seus recursos assegurados plurianualmente por vontade poltica do alto governo. Foi assim com o Avana Brasil e Brasil em Ao, nos dois governos Fernando Henrique, e o mesmo tem ocorrido com a edio do PPI, do PAC e da Minha Casa, Minha Vida. de amplo conhecimento o atraso na entrega dos equipamentos projetados e executados com recursos pblicos. um problema antigo e de grande resilincia, que perpassa os governos sem que se faa algo para super-lo de forma definitiva. um fenmeno recorrente e generalizado, independentemente do setor responsvel pelo projeto.
2.5. Implementao
Alm das anlises anteriores, todo projeto deve ser avaliado pela estratgia de implementao adotada. A capacidade de execuo do agente implementador crucial para reduzir o risco de no concluso do empreendimento ou de ampliao, em muito, dos custos originalmente previstos. A fase de implementao o corao do ciclo de vida do projeto. Os equvocos cometidos nesse estgio acarretam prejuzos permanentes. O descumprimento de prazos traz aumento dos custos financeiro e social e desgaste poltico. De igual modo, falhas nessa fase podem reduzir a qualidade da obra, elevar os custos de manuteno ps-obra e, consequentemente, elevar os custos dos servios na operao. Em resumo, causam perdas considerveis no retorno socioeconmico do empreendimento (aumento do custo e diminuio do benefcio). Os projetos devem refletir, com realismo, as dificuldades e as complexidades da implementao. A concepo do projeto deve incluir arranjos organizacionais claros, a 34
tecnologia a ser empregada e um calendrio realista. E todas essas definies devem estar adequadas capacidade de implementao do projeto. A existncia de um plano de gerenciamento e capacidade instalada ou prevista para ser suprida por terceiros far toda a diferena e soma pontos importantes junto aos analistas que auxiliam na preparao do oramento. Para se ter uma ideia da importncia de se dedicar tempo e conhecimento na elaborao da estratgia de implementao, basta examinar o que recomenda o Guia PMBOK37 para o gerenciamento adequado de projetos. Essa uma tarefa do rgo que prope o projeto. Reflete, normalmente, o modelo de realizao dos investimentos, prprios a cada setor, e a forma com que cada uma das polticas setoriais prov os servios pblicos. Se tomarmos como exemplo o Brasil, encontramos, grosso modo, trs famlias de estratgia de execuo do investimento, cada uma dessas com variantes especficas, que se diferenciam de acordo com o rgo que recebe formalmente o empreendimento: 1) Realizao direta pelo rgo pblico geralmente contratando-se uma empresa de obras. Quem recebe a obra o rgo pblico; portanto, toda a responsabilidade pelos custos, qualidade e prazo de entrega do empreendimento integralmente da administrao pblica. Em se tratando de uma unidade prestadora de servios, como um hospital, escola ou centro poliesportivo, a aquisio dos equipamentos tende a ser de responsabilidade tambm do rgo pblico. Esse o modelo mais frequente nas reas de sade, educao, infraestrutura hdrica, presdios e transportes; 2) Realizao indireta pelo rgo pblico via de regra, utilizando o expediente da concesso ou da PPP. Nesse caso, a responsabilidade pela execuo do investimento e por receber formalmente o empreendimento integralmente do setor privado. Esse modelo mais frequente nas reas de energia, telecomunicaes e mais recentemente as obras de logstica. A rea de transportes passa, nesse momento, por uma transio na qual devero combinar-se os dois modelos de acordo com o tipo de empreendimento e modal logstico: execuo direta para investimentos em rodovias e uso de concesses e/ou PPPs para ferrovias, portos e aeroportos. 3) Realizao feita por intermdio de bancos oficiais Nessa modalidade, a Unio, para financiar os investimentos em reas como habitao, saneamento, mobilidade urbana, de responsabilidade dos municpios e estados, utiliza a capilaridade da rede bancria oficial, presente em quase todos os municpios, e a capacidade de anlise e acompanhamento de projetos dos seguintes bancos:
ENAP
Caixa Econmica Federal (CAIXA) o mais inserido nessa modalidade; Banco do Brasil apenas mais recentemente passou a participar desse esforo, num
modelo similar ao da CAIXA;
Agrupa o conjunto de conhecimentos em gerenciamento de projetos intrnsecos profisso de gerenciamento de projetos. Inclu prticas tradicionais comprovadas amplamente aplicadas, alm de prticas inovadoras que esto surgindo. PROJECT MANAGEMEN INSTITUTE 2004. Guia PMBOK.
35
ENAP
Banco do Nordeste (BNB) e Banco da Amaznia (Basa) em casos que envolvam recursos
dos Fundos Constitucionais do Nordeste e do Norte, recursos prprios e fundos pblicos, como o Fundo de Garantia por Tempo de Servio (FGTS) e Fundo de Amparo ao Trabalhador (FAT) e do BNDES. Em qualquer circunstncia, esses limitam-se, como o BNDES, avaliao da factibilidade financeira e do negcio dos empreendimentos. Nesse caso, quem recepciona a obra pode ser o rgo pblico interessado, estado ou municpio, ou o prprio banco que fez a medio da obra e realizou os pagamentos. H uma controvrsia instalada no Governo Federal quanto a essa responsabilidade. fundamental que o projeto apresente ao rgo de coordenao central (que seleciona o projeto, em ltima instncia, e o inclui no Oramento) sua estratgia de implementao, iniciativas que proporcionem confiana de que os riscos de execuo foram contornados ou reduzidos a nveis aceitveis para o padro de execuo vigente. A experincia na administrao pblica mostra que h dois pontos de permanente preocupao na anlise de riscos da execuo: 1) A estrutura da organizao executora para gerir e monitorar a implementao do projeto; 2) A existncia de um plano de gerenciamento do projeto38bem feito e completo. No por acaso, no Brasil essas duas dimenses da estratgia de implementao so sistematicamente frgeis, seja porque os rgos pblicos responsveis tm dificuldade de estruturar equipes de elaborao de projetos e de gerenciamento e monitoramento dos empreendimentos, assim como de posicion-las com ascendncia na organizao. No caso dos planos de gerenciamento, esses so delegados a empresas executoras do empreendimento. Terceiriza-se uma varivel essencial, sem controle ex post dessa tarefa junto empresa encarregada da execuo, pois se considera, nas licitaes, uma varivel competitiva, por isso, no-disclosure.
Quadro 7
Caractersticas bsicas da Etapa 5: Implementao A factibilidade da execuo dos projetos deve ser analisada. A execuo deve ter o foco na eficincia. Arranjo institucional desejvel Publicao de diretrizes para implementao de projetos, de modo a garantir que os principais aspectos da implementao sejam preparados ex ante a essa fase. Uso de certame para escolher o melhor projeto custo/ efetividade. Relatrios de implementao oportuna na execuo dos grandes projetos. Garantia de oramento pblico em todo o ciclo de vida dos projetos selecionados.
38
O Guia PMBOK recomenda que todo plano de gerenciamento de projeto se ocupe de detalhar oito planos que o integram: plano de gerenciamento de escopo; plano de gerenciamento do cronograma; plano de gerenciamento de custos; plano de gerenciamento da qualidade; plano de gerenciamento de pessoal; plano de gerenciamento das comunicaes; plano de gerenciamento de riscos; e plano de gerenciamento de aquisies.
36
BOX 5 Nota sobre o Brasil39 Em qualquer ambiente, h uma srie de possveis fatores que podem explicar a execuo oramentria lenta, desde a pobre identificao e elaborao de projetos, at problemas especficos relacionados a etapas do processo de implementao, tais como contratos complexos e procedimentos difceis. Para lidar com essa questo, altamente desejvel a iniciativa do PAC de pr em prtica uma estrutura clara de gesto e monitoramento, envolvendo salas de situao que renem os Ministrios do Planejamento, da Fazenda e da Comisso de Coordenao a cada duas semanas ou mais e, ainda, um grupo executivo para monitoramento. (p. 24) Esse modelo tem duas finalidades: primeiro, monitorar o andamento dos projetos, e segundo, intervir, de forma antecipada, com medidas proativas que possam resolver problemas de execuo. O fato de o oramento para os projetos do PAC estar automaticamente garantido, independente da realizao bimestral do supervit primrio oramentrio, remove um grande obstculo sua boa execuo. No entanto, como referido em relatrios do Banco Mundial e outros, as interrupes do fluxo de caixa compreendem apenas uma de uma srie de perturbaes potenciais para dificultar a implementao. (p. 24 e 25) A misso (responsvel pela elaborao do relatrio) ouviu uma srie de queixas sobre os processos de licitao e de licenciamento ambiental. No primeiro caso, a questo envolve a natureza litigiosa do processo de licitao, enquanto que o segundo diz respeito s exigncias ambientais dos vrios nveis de governo. (p. 25) O artigo 113 da Lei 8.666/93 permite a qualquer cidado consultar o TCU e revisar o processo de licitao. A linguagem nessa clusula genrica, prev que o TCU pode rever todo o processo que supostamente no tenha sido feito em conformidade com a lei de licitaes. Como consequncia, o TCU recebe um grande nmero de solicitaes para anlise, o que gera um efeito colateral dessa clusula bem intencionada, pois as queixas podem ser perniciosas. Considerando que os custos associados com queixas referidas a um tribunal de justia sero pagos pela parte vencida, os casos analisados pelo TCU so gratuitos para os requerentes. Dessa forma, os requerentes no tm qualquer incentivo para se abster de apresentar queixas que causem a lentido da execuo. (p.25) O carter contraditrio das licitaes, embora no seja um problema significativo para a maioria dos processos realizados pela administrao, um gargalo comum para grandes contratos de obras civis e foi o motivo que atrasou os principais programas da administrao federal, tais como obras de infraestrutura do PAC. (p. 25) No passado recente, o Brasil experimentou um grande nmero de aes propostas pelo governo para melhorar as taxas de execuo. Porm, at agora, o sucesso dessas medidas revelase um pouco evasivo. (p. 25) Esse fato atribudo a graves problemas de implementao nos ministrios, a saber: I) dificuldades de coordenao intergovernamental (horizontal) e entre os nveis de governo (vertical); II) falta de equipe tcnica (engenheiros especializados) para elaborar projetos de qualidade; III) falta de processos padronizados de licitao etc. (p. 25) Mais uma vez, a expectativa de que se superassem os problemas de baixa execuo somente com a garantia de financiamento no aconteceu. A imprevisibilidade oramentria parece ser apenas parte do problema. (p. 25)
ENAP
39
37
ENAP
O processo de monitoramento do PAC organizado em ciclos bimestrais. Cada ministrio envia as informaes sobre a execuo dos projetos por meio de um sistema de informao online (Sispac). Segundo Viana (2008, p. 5)40, o Sispac sofre dos mesmos problemas enfrentados por outros sistemas de informao do Governo Federal, quais sejam, fragmentao e informaes gerenciais pobres. Trimestralmente, realizada pela Casa Civil uma apresentao pblica sobre o ritmo de execuo dos projetos do PAC e seus dados macroeconmicos. Esses eventos so estratgicos e, dada a centralidade do PAC nas polticas do governo, atraem muita ateno da mdia. Os relatrios do PAC esto disponveis on-line em http://www.brasil.gov.br/pac/. (p. 26) Esses relatrios de monitoramento do PAC e o uso sofisticado de fotografias areas de locais de infraestrutura oferecem um panorama descritivo do que foi realizado e os prximos passos em implementao. No entanto, eles talvez estejam aqum de analisar as dificuldades encontradas na implementao e os ajustes necessrios para o projeto ser aprovado. A classificao Adequado, Ateno, Preocupante utilizada nesses relatrios simples, porm, no h explicao clara de como atribu-la a projeto especfico, somente o valor dos compromissos financeiros e/ ou pagamento apresentado. (p. 26) Existem caractersticas de forma e natureza especficas do PAC. Por exemplo, a carteira de projetos do PAC est isenta de uma srie de procedimentos requeridos para projetos fora do PAC. Recentemente, a Emenda Legislativa n 425/2008 dispensou todas as estradas de pr-licenciamento ambiental, como forma de acelerar a implantao desses projetos do PAC. Da mesma forma, o oramento e os procedimentos financeiros so um pouco diferentes de outros projetos. A Secretaria do Tesouro Nacional ressalta que no universalmente benfico para todo projeto ser includo no PAC, dado que por vezes a incluso no PAC atrai a ateno dos rgos de controle que acabam retardando ou mesmo inviabilizando a execuo. (p. 26) Dados sobre a execuo oramentria do PAC demonstram que, apesar do monitoramento intensivo, o ritmo de execuo dos projetos tem sido mais lento que o esperado. (...) Esse perfil de execuo permanece bastante similar ao do resto do oramento. (p. 26)
40
Viana, L. (2008). Programa de Acelerao do Crescimento: a experincia brasileira recente no monitoramento de projetos estratgicos. XIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Buenos Aires.
38
Todo projeto que disputa a preferncia do contratante procura incorporar benefcios em termos de custo, qualidade, tecnologia e prazo, pelos quais compensa correr riscos. A isso se chama41 clculo de riscos do projeto, os quais no sero passveis de negociao com o contratante. O fato que a fase de execuo traz o projeto ao nvel da realidade, onde o plano de gerenciamento testado diariamente, em especial o seu plano de riscos. Entre os aspectos fsicos no previsveis e, por isso, no considerados, destacam-se: os compromissos descumpridos pelos fornecedores e/ou pelos funcionrios diante de contratos assinados; as mudanas bruscas e intensas do ambiente econmico e fiscal, tais como eventos climticos. Trata-se de incertezas cujo histrico de empreendimentos similares no teve registros de ocorrncia e, portanto, no se traduziu em risco calculado no plano de riscos objetivos42 do projeto. Alteraes nas circunstncias do projeto mudam o perfil de custos e de financiamento. O processo de reviso deve ter alguma flexibilidade para o seu acolhimento e procedimentos para sua aprovao. A boa prtica recomenda que essas regras sejam pblicas e incorporadas aos contratos43 e 44. Um bom sistema de investimento pblico deveria ser aquele que apresentasse o menor ndice de reviso de projetos ou o menor sobrecusto em relao ao custo total da carteira. Esses ndices refletem diretamente a qualidade de projetamento que o sistema de GIP persegue e aceita. Existem, de maneira geral, dois grandes tipos de ajustes:
ENAP
41 O termo o risco compensa o benefcio desejado diz muito da relao entre risco e compensao. O risco sempre calculado em funo dos objetivos perseguidos. Se uma obra deve ser realizada mais rapidamente do que seria normal, um risco voluntrio assimilado no clculo. Portanto, h sempre uma aceitabilidade de certo risco em funo de compensaes no desempenho e custo do empreendimento. H riscos, em contrapartida, denominados involuntrios, os quais so, em geral, causados pela natureza. So riscos considerados imotivados e a reao da sociedade de modo fatalista. Adams, John, 2009.
"O risco objetivo o de domnio dos especialistas, em geral estatsticos e aturios, o que esses dominam histria, transmutada em risco... ADAMS, John 2009.
43 44
42
A reviso de contratos est prevista no art. 65 da Lei de Licitaes n 8.666: Os contratos regidos por esta Lei podero ser alterados, com as devidas justificativas, nos seguintes casos: I - unilateralmente pela Administrao: a) quando houver modificao do projeto ou das especificaes, para melhor adequao tcnica aos seus objetivos; b) quando necessria a modificao do valor contratual em decorrncia de acrscimo ou diminuio quantitativa de seu objeto, nos limites permitidos por esta Lei;
45
A questo referente ao equilbrio econmico-financeiro do contrato administrativo est prevista na Constituio da Repblica, conforme preconiza o inciso XXI do art. 37: remunerao que deve ser mantida durante toda a execuo do contrato, assegurando-se ao contratado o direito da relao inicialmente estabelecida.
39
ENAP
Optar por uma forma passiva de monitoramento, isto , s comear a atuar quando as
dificuldades j estiverem em curso e os prejuzos elevados implicarem inevitavelmente um ajuste pesado de projeto.
Principais problemas
Os prejuzos de uma m gesto nessa fase de ajuste de projeto podem ser incalculveis do ponto de vista socioeconmico, em especial com o atraso na entrega dos empreendimentos. nesse estgio que os problemas de baixa qualidade dos projetos se
Petrobrs e Eletrobrs so empresas que empregam sistemas informatizados sofisticados de gerenciamento e monitoramento dos investimentos que promovem.
46
40
transformam em rombos financeiros expressivos e a precariedade de um monitoramento in loco de rotina amplifica os custos desnecessariamente. As organizaes pblicas delegam amide essa tarefa aos engenheiros da empresa encarregada da execuo do empreendimento, no fazem acompanhamento dos relatrios de controle obrigatrio da obra quem no faz?. Tomam conhecimento de forma ex post, aps um pedido de alterao de projeto solicitado pela executora. Os governos precisam criar capacidades para monitorar a implementao de projetos e tratar dos problemas de forma antecipada e tempestiva.
ENAP
Quadro 8
Caractersticas bsicas da Etapa 6: Ajuste do projeto O processo de reviso para o reequilbrio econmico deve assegurar alguma flexibilidade para permitir mudanas no perfil dos desembolsos capazes de absorver as mudanas nas circunstncias do projeto. BOX 6 Nota sobre o Brasil47 Segundo o TCU, as principais causas de obras inacabadas ou paralisadas so a falta de priorizao, a excessiva politizao e a imprevisibilidade dos recursos oramentrios. O TCU apontou que no h demanda para a avaliao dos projetos e informaes sobre a execuo. Os ministrios tm muito pouco controle sobre suas obras, dado que nenhum dos sistemas de informao disponveis (por exemplo, Sigplan, Sidor, Siafi, Siasg, Sispac, Sisconv) possui todas as informaes necessrias para identificar as obras. Esse fato tambm cria dificuldades para as auditorias do TCU. (p. 27) Alm disso, as deficincias na concepo dos projetos causam diversas irregularidades na implementao. Por exemplo, empreiteiros mudam as especificaes dos projetos para torn-los mais caros. Contratos adicionais so assinados sem a formalizao de alteraes no projeto. Quando o TCU inspeciona o trabalho, clara a falta de controle de qualidade da agncia contratante. O resultado que o TCU suspende a execuo at que as irregularidades sejam resolvidas. Esse procedimento de controle contribui para o acmulo de obras inacabadas. (p. 27) O TCU relatou uma amostra de 400 obras inacabadas. Esse relatrio destacou a extrema dificuldade dos ministrios em obter informaes sobre seus prprios investimentos. Dependendo do tipo de investimento (direto, convnio, contratos de transferncia), existem diferentes meios de monitoramento de execuo das obras. Sistemas como o Siafi, Siasg e Sigplan geram informao oramentria, mas no so capazes de identificar uma obra, uma vez que eles no tm uma chave que relaciona projetos e planos de trabalho a rubricas oramentrias e cdigos de trabalho especficos. Uma ao do oramento poder ter muitas obras a ela relacionadas, bem como uma obra pode ter muitos contratos associados a ela. (p. 27) Arranjo institucional desejvel Monitoramento ativo.
47
41
ENAP
2.7. Operao
Uma vez que um projeto tenha sido executado, deve haver um processo para assegurar que a unidade esteja pronta para operar e prestar os servios e, assim, possa ser entregue, ou melhor, recebida pelo rgo promotor. Organizaes pblicas com experincia em financiamento de investimentos possuem guias ou manuais que apoiam o gestor pblico nesse momento. Isso requer um mecanismo eficaz para transferncia de responsabilidades sobre o empreendimento e sua gesto da operao e manuteno futura. No oramento, preciso estar assegurado o financiamento adequado escala da prestao de servios e manuteno desses ativos. Alm disso, frequente que o ativo, mesmo concludo e entregue, permanea por um perodo ocioso por falha de planejamento na aquisio de equipamentos, insumos, e at mesmo na contratao de funcionrios. O plano de gerenciamento, segundo o Guia PMBOK, previne problemas como esses no gerenciamento de integrao do projeto, detalhado em um dos oito planos que compem o plano geral de gerenciamento do projeto. Assim, importante verificar uma possvel necessidade de atualizao do empreendimento nas mudanas de tecnologia ou no perfil dos servios a serem prestados. Nesse caso, h necessidade de adaptao ps-concluso ou de investimento complementar antes de os ativos poderem ser utilizados plenamente. Outra tarefa tpica dessa fase do ciclo institucional do investimento a guarda dos registros, ou seja, a histria das fases anteriores do empreendimento. Sobretudo, o valor dos ativos deve ser registrado. Idealmente, os pases devem exigir que as agncias mantenham balanos atualizados de seus ativos, nos quais o valor dos ativos seja mantido por meio de novos aportes de capital para repor a depreciao. As agncias devem manter, nos seus registros de ativos, a documentao relativa ao ttulo jurdico que atesta a propriedade ou a forma de responsabilidade sobre o ativo. O monitoramento permanente da prestao de servios um elemento desejvel para assegurar que os novos empreendimentos sirvam ao propsito durante sua vida til. Isso sugere que a quantidade e a qualidade da prestao dos servios, associadas operao e qualidade das instalaes, devem ser rastreadas atravs do tempo. Tudo isso ganha maior significado quando as agncias responsveis pela prestao de servios so responsabilizadas pelos resultados.
Quadro 9
Caractersticas bsicas da Etapa 7: Operao Registros de patrimnio precisam ser mantidos e os valores dos ativos, registrados. Arranjo institucional desejvel Registros de patrimnio Facilidade na operao.
42
BOX 7 Nota sobre o Brasil Nos ltimos anos, tem havido um esforo considervel para reforar o sistema de registro e valorao de patrimnio. Essa uma grande tarefa, uma vez que a carteira de patrimnio do governo enorme, chegando possivelmente a 600 mil propriedades. H trs classes de ativos considerados: - bens utilizados pelo servio pblico federal, inclusive itens como reas de proteo ambiental, e os bens utilizados diretamente na prestao de servios; - ativos que proporcionam um uso comum, tais como praias federais, alguns parques, praas e estradas; e - propriedades da Unio (o maior grupo), inclusive patrimnio como portos, gerao de energia eltrica nos rios, a plataforma continental, e hotel de luxo nas Cataratas do Iguau. O grupo que tem a responsabilidade de fiscalizao o grupo de Gesto Patrimonial no mbito do Ministrio do Planejamento, cuja opinio de que, no obstante os esforos considerveis, a sua base de dados de propriedades deficiente. A tarefa de atualizao do cadastro de patrimnio vai ocorrer nos prximos 10 anos. A agncia observou ainda que alguns rgos do governo especialmente as foras armadas e algumas estatais tiveram problemas particulares na gesto dos seus ativos imobilirios. Os preos do patrimnio governamental so muitas vezes uma questo poltica complexa. No entanto, de se esperar que a disponibilidade gratuita dos edifcios pblicos aos rgos de governo, sem que se cobre pelo espao utilizado, conduza a um nvel de utilizao ineficiente, resultando em consumo excessivo. 48
ENAP
48
43
ENAP
A avaliao ex post do projeto deve ser altamente seletiva, realizada com base em requisitos de escala, singularidade, complexidade e, principalmente, histrico de falhas no ciclo de vida do projeto. O que se espera que o desenho dos futuros projetos considere as lies aprendidas, reveladas nas avaliaes ex post. Regras claras devem ser publicadas sobre os procedimentos a serem observados pelas agncias, a fim de promover uma cultura de aprendizado e de feedback de projetos, numa dinmica positiva para a melhoria da ao a longo prazo. O Livro Verde do Reino Unido citado como exemplo de boas prticas, especialmente nesse quesito to pouco usado por outros pases. Enquanto o rigor de qualquer das etapas de seleo do investimento pblico ter de ser adaptado s capacidades dos governos, a nfase aqui garantir que se usem os resultados dessa ltima etapa na tomada de deciso, mesmo que seja realizada inicialmente de forma rudimentar. Os ganhos de aprendizagem mostram-se imediatamente, por pequena que seja a nfase dada.49
Quadro 9
Caractersticas bsicas da Etapa 8: Avaliao (ex post) Realizao de avaliao ex post de projetos. Arranjo institucional desejvel Programas institucionais formais para avaliao dos projetos/programas com feedback do projeto.
BOX 8 Nota sobre o Brasil Nos ltimos 10 anos, o Governo Federal tem feito esforos a fim de utilizar as avaliaes para melhorar a gesto dos programas. A principal iniciativa tem sido conduzida pelo Ministrio do Planejamento, por meio do processo de avaliao anual do PPA. Praticamente todos os programas de prestao de servios finais aos cidados, em todos os setores da administrao federal, foram avaliados a cada ano, desde 2000. Os gerentes e as SPOA respondem a um conjunto-padro de perguntas. Essas questes so em grande parte fechadas ou de mltipla escolha. As respostas so fundamentalmente baseadas em percepes subjetivas ou julgamento dos gerentes, mas os dados financeiros e de execuo fsica do Sigplan complementam algumas delas. Segundo o Banco Mundial (2006), as informaes geradas a partir dessas avaliaes no so de grande valor para os gestores do programa. A um custo limitado, a qualidade pode ser melhorada, por exemplo: (I) utilizando um amplo conjunto de instrumentos metodolgicos para a coleta de dados dos municpios (questionrios pelo correio, entrevistas com especialistas, grupos de discusso com os gestores e beneficirios, observao direta, etc.); (II) encomendando avaliaes externas e utilizando as avaliaes existentes; e (III) fornecendo treinamento em mtodos de pesquisa para os gestores do programa.
49
44
Os projetos de investimento no esto submetidos avaliao de custo-benefcio ou de impacto. Os ministrios setoriais esto mal equipados no sentido de avaliar ex post os benefcios de projetos de infraestrutura. Por outro lado, a rea social tem avanado muito. O Ministrio do Desenvolvimento Social (MDS) construiu uma forte capacidade de contratar avaliaes, inclusive avaliaes de impacto, como as realizadas para o Programa Bolsa Famlia. Da mesma forma, o Ministrio da Educao tem investido fortemente em testes de aprendizagem do aluno, como o Enem. Por fim, o TCU tem investido muito em avaliao nos ltimos anos, especialmente a aplicao e anlise de custo-benefcio (aplicao do recurso financeiro). 50
ENAP
50
45
ENAP
3. Concluso
O exame da experincia de vrios pases na Gesto do Investimento Pblico (GIP) 51 mostra que h fragilidades presentes, em maior ou menor proporo, em todos eles. Essas evidncias sugerem uma maior ateno, por parte dos governos, sobre certos aspectos relatados a seguir, que podem aumentar a sua eficincia na operao do investimento:
Estmulos a uma gesto por resultados, na qual o desempenho das organizaes seja
aferido pela qualidade dos servios, foco no pblico-alvo, capacidade de gerir estrategicamente os recursos humanos e financeiros e, principalmente, pelo ganho de reconhecimento pela sociedade por ter gerado melhorias na qualidade de vida dos cidados.
Sistemas de controle interno e externo, orientados para auditar resultados ao lado das
auditorias operacionais, estimulando os gestores a assumirem atitude empreendedora e os riscos das inovaes institucionais.
51
46
ENAP
A melhoria da qualidade das anlises custo/benefcio deve ser uma meta permanente
de sistemas GIP essa pode variar muito entre pases: por vezes associada fraca ou pouca evidncia de demanda fundamentada por esses tipos de relatrios/avaliaes e, por vezes, associada existncia de fraca competncia para fazer avaliaes, ou, ainda, por uma combinao de ambas. Em suma, atualmente, as agncias que apresentam propostas realmente no tm os conhecimentos necessrios para realizar avaliaes de alta qualidade;
Quadro 10: Comparao de pases nos passos da Gesto do Investimento Pblico (GIP)
Caractersticas institucionais Seleo preliminar, considerando as diretrizes estratgicas Avaliao formal (ex-ante) Reviso independente ou de terceira parte Seleo do projeto e sua incluso no oramento Implementao Ajustamento do projeto Operao Avaliao (ex-post)
1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 12345678901 12345678901 12345678901 12345678901 12345678901 12345678901 12345678901 123456789012 12345678901 123456789012 123456789012 123456789012 123456789012 123456789012 123456789012 123456789012 1234567890123456789012345 1234567890123456789012345 1234567890123456789012345 1234567890123456789012345 1234567890123456789012345 1234567890123456789012345 1234567890123456789012345 1234567890123456789012345 123456789012 123456789012 123456789012 123456789012 123456789012 123456789012 123456789012 123456789012 12345678901 12345678901 12345678901 12345678901 12345678901 12345678901 12345678901 12345678901 12345678901 12345678901 12345678901 12345678901 12345678901 12345678901 12345678901 123456789012345678901234 123456789012345678901234 123456789012345678901234 123456789012345678901234 123456789012345678901234 123456789012345678901234 123456789012345678901234 123456789012345678901234
Chile
Irlanda
Koreia
Brasil
China
Vietnam
Nigria
47
ENAP
A cor verde significa conformidade significativa com os critrios de desempenho em cada uma das fases, enquanto a vermelha significa o no cumprimento significativo. A cor laranja est entre a verde e a vermelha no que se refere ao cumprimento dos critrios de desempenho. Todas as trs cores receberam tratamento intermedirio quando a caracterstica era classificada em determinada cor; entretanto, a significncia era mediana. Assim, na verde, apesar da conformidade positiva, o era de forma medianamente significativa. Igualmente para a vermelha. No foi necessrio usar essa conveno na cor laranja.
Finalizando o Mdulo
Terminamos o mdulo 1. Volte tela inicial e clique em Exerccios Avaliativos mdulo 1. Lembre-se de que uma atividade pontuada e que o aproveitamento mnimo dever ser de 70%. Em seguida, verifique se voc atingiu os objetivos propostos, respondendo a autoavaliao de aprendizagem. Caso responda No a algum item, recomendamos retornar ao tpico referente ao objetivo no atingido e revisar o contedo. Ao final, agradecemos sua colaborao em responder a Avaliao de Satisfao com o Mdulo.
48
Referncias bibliogrficas
ENAP
ADAMS, John 2009. Risco. So Paulo. Editora SENAC. BANCO MUNDIAL, 2009. Avaliao da eficincia da gesto do investimento pblico. Braslia, mimeo. DEPARTAMENTO DO TESOURO (TSO), Reino Unido 2003. O Livro Verde: Orientao aos rgos do Governo Britnico sobre como Propostas Devem Ser Apreciadas antes do Empenho de Recursos e sobre como Programas de Governo Devem Ser Avaliados. Guia do Departamento do Tesouro (TSO), Londres. FONTAINE, E. R. Project Evaluation Training and Public Investment in Chile, American Economic Review, v. 87, n 2, p. 63-67, 1997. PEREIRA, Lucia Maria Vasconcelos 2004. Reajuste, Reviso, Prorrogao e Alterao Contratual na Gesto Estratgica dos Contratos Administrativos. Rio de Janeiro. Mimeo. ORTEGN, Edgar y PACHECO, Juan Francisco 2005. Los sistemas nacionales de inversin pblica en Argentina Brasil, Mxico, Venezuela y Espaa como caso de referencia (cuadros comparativos). Serie Manuales n 40. Santiago de Chile, CEPAL. . Los sistemas nacionales de inversin pblica en Centroamrica: marco terico y anlisis comparativo multivariado. Serie Manuales n 34. Santiago de Chile: CEPAL, 2004. PROJECT MANAGEMEN INSTITUTE Guia PMBOK.3. Ed. Four Campus Boulevard, Newton Square, PA 190733299 EUA. 2004. RAJARAN, Anand; MINH LE, Tuan; BILETSKA, Nataliya; BRUMBI, Jim. Framework for Reviewing Public Investment Efficiency. Policy Research Working Paper n 5.397.Washington: World Bank, 2010. SECRETRIA DE PLANEJAMENTO E INVESTIMENTO ESTRATGICOS, SPI/MPOG Manual de apresentao de estudos de viabilidade de projetos de grande vulto, Verso 2.0. Braslia, mimeo. 2009. TRIBUNAL DE CONTAS DA UNIO 2010. Relatrio de Levantamento dos Sistemas de Monitoramento e Avaliao dos rgos da Administrao Direta dos Poder Executivo. TC 032.287/2010-0 Fiscalizao 1136/ 2010. . Relatrio de Auditoria Obras Inacabadas. n 0012.667/2006-4. 2006. . Relatrio e Pareceres Prvios Sobre as Contas do Governo da Repblica, Exerccio de 2007. 2007. . Sumrio: relatrio de levantamentos. Auditoria de natureza operacional para conhecimento da estrutura da fundao nacional de sade e dos fatores limitantes sua atuao na consecuo de obras de saneamento. Determinaes e recomendaes. TC 006.993/2011-7 [Apenso: TC 014.467/2011-9]. Braslia. mimeo. 2013. VIANA, L. Programa de Acelerao do Crescimento: a experincia brasileira recente no monitoramento de projetos estratgicos. XIII CONGRESO INTERNACIONAL DEL CLAD SOBRE LA REFORMA DEL ESTADO Y DE LA ADMINISTRACIN PBLICA, Buenos Aires, 2008.
49