AUDITORIA OPERACIONAL

Marcelo Quintiere

Currculo do Instrutor Nome: Marcelo de Miranda Ribeiro Quintiere Auditor do Tribunal de Contas da Unio desde 1989 Formao Acadmica: 1. Mestre em Economia - Gesto Econmica do Meio Ambiente (UnB - 2000) 2. Engenheiro Agrnomo pela UnB (1986) 3. Ps-Graduao em Administrao Financeira pela FGV - Braslia (1995) 4. Ps-Graduao em Polticas Pblicas pela UFRJ (1997) 5. MBA pelo Instituto Brasileiro de Mercado de Capitais (IBMEC) - 1999 Trabalhos Publicados: 1. Co-Autor do livro "Lei de Responsabilidade Fiscal" - Ed. Amrica Jurdica, 2002. 2. Autor do livro "Auditoria Ambiental" - Ed. Publit Solues Editoriais, 2006. 3. Co-Autor do livro Transparncia, Controle Social e Cidadania Publicao realizada pelo Tribunal de Contas do Estado de Santa Catarina em comemorao aos seus 50 anos de criao, 2007. 4. Co-autor do livro Auditoria Governamental, publicado pela Editora Juru em 2008. 5. Autor de diversos artigos publicados no Jornal de Braslia e na Gazeta Mercantil sobre a relao entre o meio ambiente e a economia. Atuao Acadmica: 1. Professor da Universidade Paulista de Braslia para os cursos de economia, propaganda e marketing e administrao no perodo de 2001 a 2003. 2. Professor de Ps Graduao da AEUDF (ICAT) em Auditoria Operacional e Auditoria Ambiental no curso de MBA em Gesto Pblica. 3. Instrutor do curso de formao para novos analistas concursados do TCU no perodo de 1993 a 2000 para a disciplina Auditoria Operacional.
2

4. Instrutor de Auditoria Operacional nas seguintes entidades: Presidncia da Repblica, Tribunais de Contas dos Estados de Santa Catarina, Paraba, Esprito Santo e Tocantins, SUDAM, Auditoria-Geral do Estado do Maranho, Universidade Federal do Esprito Santo e Instituto Legislativo Brasileiro (Senado Federal). Cursos Externos: 1. Curso de Auditoria Operacional em Santiago (Chile) em 1993, sob patrocnio do Banco Interamericano de Desenvolvimento (BID) e OLACEFS; 2. Curso de Auditoria Ambiental em Lisboa (Portugal) em 1997, sob patrocnio do Tribunal de Contas de Portugal. 3. Curso de Auditoria Ambiental em Bogot (Colmbia), em 2004, sob patrocnio do Banco Interamericano de Desenvolvimento (BID) e OLACEFS. Prmios Recebidos:
1. Segundo lugar no VIII Concurso Anual de Monografia promovido pela

Organizao Latino americana e do Caribe de Instituies de Fiscalizao Superiores (OLACEFS) em 2005 com o tema "Integrao Regional e a Vertente Ambiental: O Mercosul e o Aqfero Guarani".
2. Segundo lugar no I Concurso de Monografia promovido pelo Tribunal de

Contas do Estado de Santa Catarina (TCE-SC) com o tema " A Importncia da Dimenso Ambiental nas Contas Pblicas: Alguns Temas para Anlise no Tribunal de Contas de Santa Catarina".

Apresentao Quando falamos na construo de uma escola, hospital, estrada ou ponte, devemos ter em mente que os recursos financeiros que devero ser empregados sobrecarregam a populao atravs da necessria cobrana de impostos, alm do fato de que a opo por um determinado projeto social implica muitas vezes no adiamento de algum outro projeto igualmente importante e demandado pela sociedade. Da mesma forma, os programas sociais como a vacinao de crianas, a merenda escolar, a construo de habitaes populares e outros, devem contemplar as reais necessidades da populao, melhorando a qualidade de vida dos indivduos e diminuindo as disparidades scio-econmicas encontradas em nosso pas. O planejamento das diversas atividades governamentais uma tarefa complexa que tem sua origem na discusso e elaborao da proposta oramentria, onde so verificadas e priorizadas as demandas sociais existentes para posterior contratao das obras ou a execuo dos projetos e programas. O fato de concluirmos um projeto no garantia explcita de que houve a correta e eficiente alocao dos recursos pblicos. Na vida real verificamos a ocorrncia de desvios dos mais diversos tais como o superdimensionamento e locao equivocada de obras e projetos, gerados pelo planejamento ineficaz, alm do superfaturamento e obras inconclusas. Os projetos pblicos devem ser objeto de contnuo aprimoramento, objetivando alcanar maior racionalidade na tomada de decises, identificao de problemas e desvios, seleo de alternativas e otimizao dos recursos financeiros disponveis. A avaliao surge, portanto, como elemento integrante fundamental e indispensvel para garantir o contnuo aperfeioamento da mquina governamental uma vez que as demandas sociais so crescentes e a disponibilidade de recursos limitada. Este livro tem como objetivo apresentar e desenvolver uma metodologia de avaliao de projetos sociais, programas de governo ou, mesmo, da ao de entidades pblicas, desenvolvendo algumas tcnicas que permitam identificar distores entre o que foi idealizado inicialmente e o que vem sendo alcanado

em termos reais, gerando um maior nvel de eficcia e eficincia no uso dos recursos pblicos. Assim, o primeiro captulo dedicado contextualizao histricoconceitual da atividade do controle no Brasil, de forma a dar ao leitor a base necessria perfeita compreenso das condicionantes que informam e definem a metodologia desenvolvida ao longo dos demais captulos. No segundo captulo destacamos as definies de termos tcnicos comumente empregados na linguagem dos projetos, suas caractersticas, tipos e etapas, os erros mais comuns observados nas polticas sociais e a necessidade de uma nova orientao dessas polticas para beneficiar a populao de forma mais efetiva. O terceiro captulo dedicado a uma breve introduo ao estudo da Auditoria de Gesto como forma bsica da metodologia de avaliao de projetos, programas e aes de governo adotada neste livro Os captulos quarto, quinto e sexto so dedicados a abordagem da avaliao propriamente dita, apresentando a metodologia e as tcnicas mais importantes para anlise e coleta de informaes e os cuidados necessrios em sua adoo. O captulo quarto est dividido em quatro partes distintas porm interligadas, de forma a apresentar as vrias etapas que compem a fase de planejamento de uma Auditoria de Gesto, mostrando cada uma dessas etapas de uma forma mais didtica e mais detalhada, facilitando o seu estudo e utilizao prtica. O captulo quinto destaca a fase de execuo da auditoria, caracterizada pelos trabalhos de campo, apresentando algumas definies, regras e informaes indispensveis para o bom andamento dos trabalhos. J o captulo sexto aborda o tema relativo ao relatrio da auditoria, trazendo, assim como o captulo anterior, algumas definies, regras e informaes indispensveis para o sucesso do relatrio final do trabalho. Por outro lado, considerando a aridez do tema abordado e as dificuldades tcnicas de se avaliar programas governamentais, introduzimos ao final deste livro, como anexo, baseados na tcnica de Estudo de Caso, um exemplo completo de avaliao de um programa governamental real, passo a passo.

Nesse exemplo, o objeto da nossa anlise o Programa Nacional do Livro Didtico (PNLD), institudo em 1985, com o objetivo de promover a distribuio gratuita de livros didticos a todas as crianas matriculadas nas escolas pblicas de primeiro grau de todo o pas. No trabalho com o PNLD teremos a oportunidade de desenvolver a metodologia de anlise, os instrumentos de coleta de informaes, tais como a circularizao de questionrios e a entrevista, abordando suas vantagens e desvantagens, bem como enfatizar os cuidados que devem ser observados quando de sua utilizao e, ainda, desenvolver indicadores e parmetros de avaliao, de forma a elaborar uma srie de recomendaes para seu eventual aperfeioamento. Por fim, como apensos, apresentamos modelos de relatrios e questionrios, com vistas a facilitar a compreenso e o trabalho das equipes de auditores que venham a utilizar este livro como fonte de inspirao e como guia metodolgico.

Captulo I Noes Gerais de Controle

1.1 Porque Devemos Controlar o Estado? A organizao da sociedade humana em grupos sociais garantiu maiores possibilidades de sobrevivncia para a espcie e, mais modernamente, a instituio da noo de governo formalmente constitudo. A presena deste ente abstrato denominado governo ocasionou a imediata necessidade de controlar suas aes de modo a garantir o cumprimento das normas legais e o atingimento das metas de bem estar e desenvolvimento scioeconmico de interesse comum. O controle, como funo administrativa, guarda suas origens desde a criao dos primeiros Estados, j havendo registros da existncia de controle e fiscalizao desde a unificao dos dois Egitos, no reino de Mens I (3.200 a.C.), por meio da instituio de um sistema de controle da arrecadao rigoroso, exercido por um estamento burocrtico poderoso (os escribas). Em Roma, destacamos a instituio de legislaes como a Profecti Aerari, com a instituio de cargos de Tabulari e Numerarii, que funcionavam como verificadores (auditores) de contas, assistindo os magistrados no exerccio de suas atividades, bem como a responsabilidade do Senado pela apurao de responsabilidades de agentes pblicos. Todas essas instituies foram consolidadas nos cdigos Justinianos que consolidam uma estrutura de controle nica para todo o Imprio. A necessidade de entidades de controle administrativo mais eficazes ficavam evidentes na medida em que os estados cresciam de tamanho e importncia: no reinado de So Lus (Lus IX), na Frana, instituiu-se as primeiras Chambres de Comptes, que sentenciaram vrios fraudadores do Tesouro Real morte; na Pennsula Ibrica, a partir do sculo XII e por todo o perodo medieval, surgiram assemblias polticas de nobres que desempenharam funes de controle de finanas pblicas; em Portugal, em 1419, o controle financeiro ganha independncia administrativa com a criao do Regimento dos Contos. A estruturao de estados nacionais com territrios maiores e centralizao de poder nas mos dos monarcas exigiu a criao de mecanismos de controle administrativo que fossem compatveis com as novas realidades e feies dos Estados, nesse momento, comeam a ser estruturados Tribunais de Contas em praticamente todos os reinos. 1.2. O Controle no Brasil O Brasil, ao longo de toda a sua histria, passou por diversas etapas durante o perodo colonial, nas quais sua vinculao Metrpole e as atividades econmicas aqui em desenvolvimento determinavam os mecanismos de controle a serem implantados. O controle estabelecido durante esse perodo guardava a lgica do Mercantilismo / Metalismo, onde a preocupao da Metrpole era maximizar a arrecadao e diminuir as despesas com a administrao da Colnia. Essa situao era agravada pela situao econmica de Portugal que poucos produtos manufaturados tinha a oferecer nas trocas com a sua maior colnia, o que incentivava mais e mais a necessidade de aumentar ganhos via tributao. Essa situao fica muito clara nas palavras de D. Jos IV que afirmava que o Brasil deveria ser a vaca leiteira do Reino.
7

Durante todo o Imprio, ante a supremacia da Pasta da Fazenda sobre as outras, por intermdio do controle indiscriminado sobre a distribuio de crditos, arrecadao de impostos, aplicao dos recursos e equilbrio oramentrio, estabeleceu-se uma relao assimtrica de poder no interior dos gabinetes, o que gerava intensos conflitos internos nos governos. O certo que o debate sobre a existncia de um rgo independente de controle se arrastou por quase um sculo, tendo o Imprio Brasileiro assistindo em 67 anos, passarem 77 Ministros da Fazenda, o que impossibilitava qualquer ao de controle tempestiva. O problema poca era absolutamente grave, no s pelas dimenses territoriais e pela falta de tradio de um servio pblico estruturado para a criao de um Estado, mas tambm pelas dificuldades de comunicaes e pelos problemas de escriturao. Como conseqncia, no havia a menor noo da veracidade das escrituraes pblicas, havia pouca possibilidade de dimensionar com preciso o volume do estoque da dvida pblica e a aplicao dos recursos pblicos bem como os montantes de arrecadao das reparties do Tesouro. 1.3. O Tribunal de Contas da Unio Em 7 de novembro de 1890, o Presidente da Repblica, Marechal Deodoro, junto com seu Ministro da Fazenda, Rui Barbosa, criavam o Tribunal de Contas pelo Decreto n. 966-A Competia ao Tribunal a anlise mensal do movimento de receitas e despesas, conferindo o resultado encaminhado pelo Tesouro, e informando ao Legislativo , alm de julgar as contas dos responsveis, condenando-os ou concedendo-lhes quitao. Hoje o Tribunal de Contas da Unio (TCU) rgo auxiliar do Congresso Nacional, que tm por misso realizar o controle externo dos diversos poderes. O TCU tem sede em Braslia (DF) e representaes em todas as capitais dos Estados. Sua jurisdio abrange todo o Territrio Nacional, estando sob seu alcance todo e qualquer cidado que tenha sob sua guarda bens ou valores pblicos da Unio ou que tenham dado prejuzo ao Errio Federal. O Sistema de Controle Externo composto, tambm, pelos Tribunais de Contas Estaduais e dos Municpios (alm do Ministrio Pblico). importante destacar que os Tribunais de Contas Estaduais e Municipais possuem competncia e jurisdio prprias, no sendo o TCU grau de recurso contra as decises desses tribunais. No exerccio das funes de Controle Externo, compete ao TCU, na forma da legislao vigente (Constituio Federal e Lei n. 8.443/92): i) julgar as contas dos administradores e demais responsveis por bens e valores das unidades dos Poderes da Unio e administrao indireta federal, e as contas daqueles que derem causa a perda, extravio ou outra irregularidade de que resulte dano ao Errio; proceder por iniciativa prpria ou solicitao do Congresso Nacional fiscalizao contbil, financeira, patrimonial e oramentria das unidades dos Poderes da Unio; emitir parecer nas contas prestadas anualmente pelo Presidente da Repblica; acompanhar a arrecadao da receita a cargo da Unio;
8

ii) iii) iv)

v) vi) vii) viii) ix)

apreciar, para fins de registro, a legalidade de atos de admisso, aposentadoria e penso dos servidores dos Poderes da Unio; efetuar os clculos das quotas relativas ao FPE e FPM; representar ao poder competente sobre irregularidades encontradas; aplicar aos responsveis as sanes previstas na Lei; decidir sobre denncia e consulta que lhe seja apresentada.

No cumprimento dessas atribuies legais e constitucionais vislumbramos, algumas funes bsicas: fiscalizadora, judicante, normativa, consultiva, de ouvidoria. A funo fiscalizadora exercida pelo Tribunal por intermdio de auditorias, inspees, acompanhamentos, verificao de contas, atos, contratos e registro de atos de pessoal; a funo precpua e original da atividade de controle. A funo judicante, tpica do modelo de Tribunal de Contas, exercida atravs do julgamento das contas dos administradores e responsveis por bens ou valores pblicos. Cabe ressaltar que o que julgado so as contas, no o prprio administrador (o que competncia do Poder Judicirio). A funo normativa, exercida pelo TCU na forma prevista em lei (art. 31, 58, 6, da Lei n 8.443/92), decorrente das suas funes judicante e fiscalizadora, podendo o Tribunal normatizar a apresentao das contas, atualizar o valor das multas e penalidades pecunirias, j tendo, em alguns casos prticos, emitido Decises Normativas ou Smulas sobre interpretao de princpios legais (publicidade e imparcialidade). A funo consultiva exercida por intermdio da emisso de pareceres (Contas do Presidente da Repblica - art. 36 da Lei n. 8.443/92) e resposta a consultas emitidas por autoridades dos Poderes da Unio (art. 1 2 da Lei n. 8.443/92). A funo de ouvidoria decorrente da possibilidade de todo e qualquer cidado apresentar denncia ao TCU, devendo a mesma tramitar em carter sigiloso ( arts. 53 a 55 da Lei n. 8.443/92). 1.4. As Tipologias do Controle Como tipologias de controle, classificamos as diversas formas de organizar estruturalmente a funo controle no mbito do Aparelho do Estado e a forma da funo se organizar e estruturar internamente. 1.4.1. O Controle Interno e Externo A tradicional classificao entre controle externo e interno est relacionada insero ou no dos rgos de controle na estrutura administrativa a ser controlada. O Controle Interno organicamente inserido na estrutura administrativa que est sendo controlada, manda a boa prtica, e a Teoria de Controle determina que ele esteja diretamente subordinado ao dirigente maior do rgo em que est inserido. O Controle Externo subordinado ou compe outro Poder, tradicionalmente o Poder Legislativo, mas h casos em que faz parte do Poder Judicirio.
9

Outros aspectos no menos relevantes a serem estudados sobre a diferenciao entre controle interno e externo so os relativos autonomia e forma de atuao: o controle inserido na estrutura controlada tende a ser mais dependente e adotar uma postura de rgo consultor do Chefe do Poder ao qual est subordinado. Por sua vez, o controle externo tende a ter mais independncia com relao aos rgos do Poder que est sendo fiscalizado e, tambm, tende a ter uma postura mais corretiva do que de assessoramento aos rgos fiscalizados (principalmente se adotado o modelo de tribunais de contas). A existncia de Poderes se controlando mutuamente decorrncia direta da prpria estrutura do regime democrtico (10). No caso brasileiro, o controle externo dos atos da administrao pode ser efetuado pelo Poder Legislativo com auxlio dos tribunais de contas ou pelo Poder Judicirio, motivado pelo ministrio Pblico ou por Aes Populares. No Brasil, na esfera federal, o controle Externo exercido pelo Poder Legislativo, auxiliado pelo Tribunal de Contas da Unio (art. 70 da CF). A existncia do Controle Interno obrigatria a todos os Poderes (art. 74 da CF), servindo o trabalho destas Unidades de Controle Interno como base e suporte atuao do Controle Externo. No Poder Executivo federal, o rgo Central do Sistema de Controle Interno a Secretaria Federal de Controle, funcionalmente subordinada ao Ministrio da Fazenda (11). 1.5. Modelos e Formas de Controle Os dois modelos clssicos de controle so o de Tribunais de Contas e os de Controladorias, cada qual com caractersticas e peculiaridades prprias, desenvolvidos para responder aos problemas de controle sob condies e realidades distintas. O modelo de Tribunais de Contas possui as seguintes caractersticas: processo decisrio resolvido por colegiados, vitaliciedade de seus membros, poderes jurisdicionais (na instncia administrativa), poder coercitivo, grande grau de autonomia frente aos Poderes, controles administrativos judicialiformes, procedimentos de fiscalizao formais, burocrticos e eminentemente legalistas. O modelo de controladorias (ou Auditorias-Gerais) possui as seguintes caractersticas: regime de mandato, controle de carter opinativo ou consultivo, destitudos de poderes jurisdicionais e coercitivos (normalmente), vinculao a algum dos Poderes que possam gerar a fora coercitiva, predominncia da deciso monocrtica, uso predominante de tcnicas e procedimentos de auditoria prximos aos de empresas privadas de auditoria. 1.6. Os Procedimentos de Fiscalizao A auditoria o principal procedimento de fiscalizao utilizado para obter dados de natureza contbil, financeira, oramentria, patrimonial, podendo, tambm, ser utilizada para avaliaes operacionais dos rgos e entidades jurisdicionados e aferir os resultados dos programas e projetos governamentais. So tipos de auditoria : auditoria tradicional (de legalidade, de regularidade ou de conformidade) e a auditoria de gesto (operacional ou integrada). A auditoria tradicional est focada nos aspectos financeiros, patrimoniais, oramentrios, contbeis e jurdicos do
10

funcionamento e das atividades das diversas unidades jurisdicionadas. J a auditoria de gesto focaliza a verificao do cumprimento dos objetivos do rgo e dos aspectos de eficincia, eficcia e efetividade dos setores e das atividades dos mesmos. Neste livro, o nosso objetivo desenvolver os fundamentos da Auditoria de Gesto no Setor Pblico, tcnica que vem obtendo resultados significativos no aprimoramento das aes governamentais, com o estudo de sua evoluo, as etapas, desenvolvimento de critrios de auditoria e de padres de desempenho adequados a cada rea problema, bem como o emprego de alguns instrumentos para obteno de informaes, tais como a entrevista e a circularizao de questionrios.

11

Captulo II - Noes Preliminares 2.1 Conceitos Preliminares

O estudo tcnico de qualquer rea do conhecimento pode ser iniciado pela definio de alguns conceitos e premissas bsicas, facilitando a compreenso e acelerando a troca de informaes e experincias entre todos aqueles que participam do estudo. A elaborao e anlise de projetos no foge a essa regra. Vamos iniciar nosso curso com a exposio de alguns conceitos preliminares na linguagem de projetos. 2.1.1 PROJETO Todos ns temos uma noo intuitiva do que vem a ser um projeto. Uma imagem muito comum o trabalho de um engenheiro na construo de uma usina nuclear que vai gerar energia eltrica para centenas de indstrias ou um grande complexo de prdios comerciais para revitalizar uma rea da cidade ou um projeto de irrigao para incorporar vastas reas do semi-rido ao esforo produtivo. Entendemos tambm um projeto quando vemos uma simples casa de campo ou um escritor iniciando um novo livro. Os projetos atingem todos os nveis de uma organizao, envolvendo desde um pequeno grupo de pessoas at milhares delas e podem ser aplicados em praticamente todas as reas do conhecimento humano, incluindo os trabalhos administrativos, estratgicos e operacionais, bem como a vida pessoal de cada um de ns.(VARGAS, 2000). Mas o que significa EXATAMENTE o termo projeto? O termo projeto abrange algumas definies interessantes, sendo que em algumas dessas h uma clara associao do projeto com parmetros tais como o tempo, o custo e a qualidade, questes que veremos posteriormente neste curso. 1) Projeto um empreendimento no repetitivo, caracterizado por uma seqncia clara e lgica de eventos, com incio, meio e fim, que se destina a atingir um objetivo claro e definido, sendo conduzido por pessoas dentro de parmetros pr-definidos de tempo, custo, recursos envolvidos e qualidade. 2) Projeto o elo final do processo de planejamento, ou seja, a parte mais operativa do planejamento. 3) Projeto uma combinao de recursos organizacionais colocados juntos para criarem ou desenvolverem algo que no existia previamente, de modo a prover um aperfeioamento da capacidade de performance no planejamento e na realizao de estratgias organizacionais (CLELAND, 1997). 4) Projeto um esforo temporrio empreendido, visando gerar um produto ou servio nico.
12

5) Projeto um empreendimento planejado que consiste em um conjunto de atividades inter-relacionadas e coordenadas para alcanar objetivos especficos dentro dos limites de oramento e tempo (ONU, 1994). A ONU dedicou ateno definio do termo projeto com o objetivo de garantir maior segurana e transparncia aos recursos financeiros que migram constantemente entre pases ou de uma instituio multilateral de crdito (como o FMI ou o Banco Mundial) para projetos especficos em diversos pases membros. necessrio falar sempre a mesma linguagem para evitar a possibilidade de ocorrncia de problemas diplomticos. Seria interessante destacar trs aspectos relevantes que chamam a ateno nesta definio da ONU para projeto: a) b) c) atividades inter-relacionadas e coordenadas objetivos especficos limites de oramento e tempo.

Um projeto pressupe uma seqncia de atividades que devem ser coordenadas entre si. Se estamos lidando com um projeto pblico, de natureza econmica ou mesmo social, esse aspecto destacado obriga a que exista algum organismo ou entidade responsvel pela coordenao daquelas atividades. O objetivo de um projeto , tambm, um aspecto relevante pois no se poderia conceber ou perpetuar um projeto que no contasse com um objetivo clara e precisamente definido. No se pode considerar com seriedade projetos do tipo: O Novo Projeto Merenda Escolar ser distribuda sempre que houver recursos oramentrios em excesso e atingir todas as pessoas que estiverem dentro das escolas no momento de cada distribuio. Ora: quanto ser atribudo merenda escolar a cada ano ? Quando ser realizada cada distribuio de gneros alimentcios ? Quem ser o pblico-alvo desse projeto ? Os limites temporais e oramentrios so inerentes a qualquer projeto, pois caso contrrio este seria transformado em um sumidouro de recursos pblicos (sempre escassos). A definio da parcela do oramento pblico destinada a determinado projeto sinaliza sua importncia e prioridade perante o conjunto da sociedade. Um projeto que recebe maior soma de recursos est, via de regra, vinculado s demandas sociais hierarquicamente superiores. Essas questes sero de fundamental importncia quando partirmos para a avaliao de algum projeto. Os primeiros passos a serem observados em nossas anlise procuraro responder s seguintes perguntas iniciais: Qual o objetivo desse projeto ?
13

O que deveria ser feito para alcanar os objetivos propostos ? Quem o responsvel pelo planejamento, execuo e coordenao ? 2.1.2 PROGRAMA Programa um conjunto de projetos que perseguem os mesmos objetivos e abrange, em geral, atividades continuadas no tempo (Livro Didtico, Merenda Escolar, Multivacinao, etc.). Imagine um programa elaborado para evitar o colapso do fornecimento de energia eltrica no Brasil. Esse programa poderia ser composto por projetos do tipo: a) b) c) d) conscientizao da populao para evitar o desperdcio; construo de novas usinas hidreltricas; compra de usinas termeltricas; cobrana de taxas adicionais taxando o consumo excessivo, etc.

Um programa deve estabelecer prioridades e coordenar os projetos, alocando os recursos financeiros e humanos para cada um dos projetos vinculados. 2.1.3 PLANO Um plano consiste no somatrio de diversos programas que procuram alcanar um objetivo comum. Imagine o caso da educao no Brasil, tema do nosso estudo de caso mais adiante, e o que um povo instrudo representa em termos de vantagem competitiva para um pas. A situao atual est, obviamente, muito distante do que seria ideal. A soluo seria a elaborao de um Plano de Resgate da Educao, composto de programas tais como o Programa da Merenda Escolar, o Programa Nacional do Livro Didtico, o Programa de Construo de Escolas, o Programa de Valorizao do magistrio, o Programa do Material Escolar, o Programa de Educao de Adultos e outros. Note que cada um dos programas aqui destacados teria como objetivo a melhoria de um determinado aspecto do problema educao brasileira, e sua sinergia poderia proporcionar substancial melhoria nas condies atuais. 2.1.4 OBJETIVO Objetivo representa a condio ou situao que se deseja alcanar ao final do perodo de durao do projeto, atravs da alocao dos recursos humanos e financeiros e da realizao das aes previstas.

14

No caso do combate ao analfabetismo, um problema serssimo, nosso objetivo seria a reduo dos nveis observados mediante a oferta de educao formal aos adultos, associada intensificao da cobertura da rede de ensino nas reas mais carentes. 2.1.5 META Uma meta , de forma simplificada, o dimensionamento ou quantificao de um objetivo em termos de tempo, espao e valores. Assim, no nosso exemplo anterior sobre o analfabetismo, as metas do projeto seriam a reduo dos ndices de analfabetismo em 20 % em cinco anos, mediante a oferta de educao formal para 12 milhes de adultos analfabetos, associada ao aumento de 22 % do nmero de escolas e professores nas regies onde a renda familiar seja inferior a 3 salrios mnimos. 2.1.6 POPULAO ALVO A populao alvo ou objeto de um projeto aquele conjunto de pessoas ao qual ele est sendo destinado. No nosso exemplo, a populao objeto seria composta pelos indivduos adultos que, tendo mais de 18 anos, ainda no foram alfabetizados. necessrio destacar que um projeto pode ter, e geralmente tem, um alcance que atingir beneficirios diretos e indiretos. 2.1.7 COBERTURA A cobertura consiste em determinar a proporo entre a parcela da populao que est sendo alcanada ou atingida pelo projeto e a populao total. No nosso exemplo teramos de estabelecer a relao entre o nmero de indivduos analfabetos alcanado pelo projeto e o total da populao da regio ou do pas, se fosse o caso de um projeto de mbito nacional.

2.2 Premissas Bsicas de um Programa Social

A iniciativa de formular um determinado programa pode ter diversas origens, tais como: a) demandas sociais no atendidas; b) existncia de recursos naturais com grande valor econmico cuja explorao propiciar melhores condies de vida populao; c) necessidade de complementar outras aes desenvolvidas pelo Poder Pblico; d) interesse poltico de incentivar determinada regio ou atividade econmica. Um pas como o Brasil apresenta disparidades na sua distribuio de renda que conduzem a uma demanda social no atendida. Dentre as demandas no atendidas podemos citar a alfabetizao, a necessidade de facultar o acesso da populao mais carente educao, sade, saneamento, segurana, alimentao e habitao.

15

Nosso amplo territrio implica na existncia de considerveis potenciais referentes aos recursos naturais. Muitos programas e polticas sociais e econmicas so elaborados com o objetivo de diminuir as disparidades scio-econmicas existentes. Assim, os projetos hidreltricos, a ampliao da fronteira agrcola, a explorao de jazidas minerais (carajs) e de petrleo, so exemplos de aes motivadas pela existncia de recursos naturais. O governo possui diversas aes e projetos em reas sociais que atendem diferentes extratos populacionais, facilitando a sua sinergia. Como exemplo podemos citar alguns programas na rea de educao, tais como: educao de adultos; ensino bsico, mdio, profissionalizante e superior; pesquisa; construo de escolas; formao de professores; merenda escolar; livro didtico.

O governo pode agir, tambm, com a motivao poltica de reduzir as disparidades regionais, beneficiar determinada atividade econmica ou um grupo social especfico. Nesse sentido, uma das principais armas utilizadas a concesso de renncia de receita. Como exemplo de renncia de receita temos a ao das extintas SUDAM e SUDENE na conduo dos seus respectivos Fundos de Investimento Regionais (Finam e Finor), o apoio ao cinema nacional atravs da Lei de Audiovisual e o benefcio concedido aos taxistas para compra de veculos sem o pagamento de IPI. Embora o planejamento de polticas pblicas sociais tenha como fora motriz as demandas da sociedade no incomum observarmos desvios significativos nos programas e projetos elaborados. A idealizao de determinado programa/projeto deve considerar algumas premissas importantes sob o risco de comprometer a eficcia, gerando resultados pfios para a populao, alm da queda na eficincia com o desperdcio dos recursos financeiros. O responsvel pelo planejamento deve conhecer em detalhes a realidade do pas e da regio que ser alcanada pelo programa/projeto, percebendo os desnveis existentes entre as classes sociais e as disparidades regionais. Se no houver uma preocupao com esse detalhamento as polticas sociais tendem a dissociar-se da realidade, ocasionando prejuzos financeiros. Dentre as premissas mais importantes a serem observadas na elaborao de uma poltica pblica social, destacamos as seguintes:

16

2.2.1 ACESSO Os servios pblicos e polticas pblicas devem propiciar um amplo acesso a todos os grupos sociais que deles necessitam realmente. H que se destacar, portanto, que uma poltica pblica no pode ser elaborada e implementada a partir do poder de presso de determinados grupos sociais. Observe o caso da Previdncia Social no Brasil. Os grupos sociais com maior poder de organizao e de presso (os mais ricos e influentes) so aqueles que, apesar do menor nmero, obtm maior parcela de retribuio do sistema previdencirio. Os grupos mais carentes, numerosos e desorganizados no possuem poder de barganha ou de presso para forar os planejadores a rever suas posies, recebendo valores menores do sistema. E esse comportamento se observa, tambm, no acesso ao crdito agrcola onde os grandes fazendeiros tm vantagens de um sistema que exige garantias reais que no podem ser oferecidas por pequenos agricultores. Aqueles que mais empregos geram, que so mais necessitados, so aqueles com menor acesso ao crdito. 2.2.2 REDISTRIBUTIVIDADE Uma poltica pblica deve ter por prioritariamente aqueles mais necessitados. objetivo a EQUIDADE, atendendo

Na prtica temos uma UNIVERSALIZAO daquelas polticas onde o Estado (provavelmente sob presso dos grupos mais poderosos) reconhece a todos os indivduos o mesmo direito de usufruir das polticas pblicas. Um exemplo bem caracterstico no Brasil o ensino pblico universitrio onde o acesso facultado a todos independentemente das suas condies financeiras. Ora, bastante conhecido o fato de que a maior porcentagem dos alunos daquelas universidades tem um elevado padro de renda familiar. Em outras palavras, a poltica pblica serve preferencialmente aos mais ricos, impedindo o seu carter redistributivista onde os mais ricos deveriam pagar e os mais carentes deveriam usufruir do ensino gratuito. 2.2.3 CONTINUIDADE As polticas pblicas devem ser contnuas e perenes de forma a possibilitar o surgimento dos efeitos esperados pela sociedade, evitando-se interrupes motivadas por interesses meramente partidrios. As polticas pblicas so elaboradas, orientadas e executadas em funo dos interesses da populao e acertos polticos vigentes em cada momento. Quando ocorre uma alternncia no Poder h em geral uma brusca modificao de objetivos e metas com a interrupo de projetos e programas associados ao antigo regime.

17

Essa descontinuidade poltica impede, em muitos casos, o alcance dos objetivos inicialmente propostos, uma vez que os projetos necessitam de um prazo para sua consolidao e obteno dos resultados. O reflexo o comprometimento da eficcia e eficincia dos projetos em prejuzo da sociedade. 2.2.4 REDUO DAS DISPARIDADES SCIO-ECONMICAS Um pas como o Brasil, apresentando grandes dimenses geogrficas e graves distores em sua distribuio de renda, constitui um desafio para qualquer tentativa de elaborao de polticas pblicas em funo das suas marcantes disparidades scioeconmicas. A elaborao de projetos/programas sociais de mbito nacional deve considerar que nosso pas composto de um verdadeiro mosaico ou vrios Brasis que coexistem e disputam recursos escassos. Um programa de vacinao para crianas deve considerar as dificuldades de acesso em regies mais carentes onde os beneficirios so obrigados a longos deslocamentos at o local do atendimento. Da mesma forma, o PNLD, programa cujo objetivo a distribuio gratuita de livros didticos reutilizveis, dever contemplar as diferenas regionais no que concerne s condies de infra-estrutura das escolas, o nvel de capacitao dos professores, as distncias percorridas pelos alunos, o grau de instruo dos pais e outras questes que impactam os resultados do programa. Uma poltica pblica que ignora essas disparidades est fadada ao insucesso ou, na melhor das hipteses, a uma baixa eficincia no uso dos recursos oramentrios.

2.3 Orientao Preferencial de uma Poltica Social

Vimos at agora que, apesar do objetivo de uma poltica social ser a melhoria das condies de vida da populao, a presena de distores podem prejudicar a sua plena operao. Para evitar esses desvios necessria a adoo de medidas para o fortalecimento das polticas pblicas, dentre as quais destacamos: 2.3.1 EQIDADE As polticas sociais devem estar voltadas para as reais necessidades da populao, mas com o cuidado de atender prioritariamente aqueles grupos sociais mais carentes. Em outras palavras, j que os recursos so sempre escassos deve-se promover uma reduo das disparidades scio-econmicas. o princpio de oferecer mais aos mais carentes em detrimento dos grupos sociais que j detm melhores condies de vida.

18

2.3.2 HIERARQUIZAO DAS NECESSIDADES O nosso estudo de caso est relacionado com a questo da educao no pas que, conforme j sabemos, apresenta desvios e distores significativas em todos os nveis. Considerando que os recursos financeiros so finitos e escassos, qual deveria ser a rea priorizada pelo governo federal: a educao de base, a alfabetizao de adultos, o ensino universitrio ou a pesquisa cientfica ? Se colocarmos essa questo em discusso teremos um debate infindvel onde todos apresentariam os mais variados argumentos e consideraes. Uns apoiariam a opo pela pesquisa como forma de romper a distncia que nos separa dos pases mais desenvolvidos, enquanto outros defenderiam a necessidade de diminuirmos o nmero de analfabetos para inserir milhes de brasileiros na condio de cidados. Quem tem razo ? Todas as opes so vlidas e todas devem ser contempladas com algum percentual dos recursos destinados pelo oramento para a educao. Assim, a questo no definir qual a rea ou opo que deve receber o total dos recursos, mas sim estabelecer uma hierarquia entre as necessidades, de forma a definir o percentual de cada uma das reas envolvidas 2.3.3 EVITAR A FRAGMENTAO DA POLTICA SOCIAL A ao do governo nem sempre associada a uma anlise estritamente tcnica, sendo mais comum que os interesses poltico-partidrios tenham maior peso na tomada de decises. Assim, uma determinada poltica pblica pode estar pulverizada em diversas entidades e programas, pulverizando esforos e recursos financeiros que comprometero a eficincia e a eficcia da ao governamental. O reflexo um comprometimento desnecessrio de porcentagem dos recursos financeiros com aes de cunho administrativo em cada uma das entidades, diminuindo o volume de recurso que poderiam ser empregados nas atividades finais dos programas. Um exemplo o caso dos programas de suplementao alimentar, onde entidades tais como a FAE, a LBA e o Ministrio da Sade desenvolviam seus programas e projetos para beneficiar grupos sociais distintos. A Fundao de Apoio ao Estudante (FAE) era responsvel pelo programa da merenda escolar ao passo que a Legio Brasileira de Assistncia (LBA) promovia programas destinados s gestantes e nutrizes. Um outro exemplo era a questo do meio ambiente no Brasil antes da criao do Instituto Brasileiro do Meio Ambiente e dos Recursos Naturais Renovveis (IBAMA). Os esforos para criao e manuteno de reas de preservao ambiental eram atribuies inerentes ao Instituto Brasileiro do Desenvolvimento Florestal (IBDF) e Secretaria Especial
19

do Meio Ambiente (SEMA), encarecendo as aes e minimizando sua eficcia, efetividade e eficincia. 2.3.4 ADEQUAR OS SERVIOS REALIDADE O fato de o governo identificar o problema a ser combatido, hierarquizar as prioridades e desenvolver uma ao institucional voltada para oferecer seus servios no constituem uma garantia de que os mesmos alcanaro o pblico alvo desejado no planejamento do programa. E porque ser que isso ocorre ? Uma das explicaes que o planejador muitas vezes conhece o problema a ser enfrentado mas no percebe caractersticas bsicas da populao que ser atendida. Veja o caso da educao no Brasil. fato conhecido que as crianas da zona rural ajudam seus pais nas ocasies de safra, sendo comum o absentesmo. Os alunos deixam de assistir s aulas para trabalhar na lavoura. A soluo seria adequar a oferta do servio (aula, escola, professores e merenda) s condies reais dos alunos, elaborando um calendrio de aulas compatvel com a sazonalidade das safras agrcolas. certo que essa modificao da oferta acarretaria maiores custos, mas o ganho em termos de eficcia e eficincia seriam considerveis. Um outro exemplo so as campanhas de multivacinao desenvolvidas anualmente pelo governo federal. A necessidade e tempestividade so inquestionveis mas a determinao de uma data nica para atendimento obriga a populao a um esforo maior do que ocorreria se a vacinao fosse oferecida durante um maior nmero de dias. 2.3.5 MAIOR TRANSPARNCIA Muitas vezes um servio pblico no efetivamente demandado pela populao por desconhecimento. comum que o planejador esquea as disparidades existentes em nosso pas e considere a populao alvo como sendo um grupo homogneo de pessoal que tm as mesmas necessidades e grau de conhecimento. Isso no verdade e explica em grande parcela o fracasso de algumas polticas pblicas. Se a populao alvo extremamente carente, o governo dever investir somas considerveis de recursos na divulgao de seus servios e programas de forma a incentivar a demanda.

20

Veja o caso da Certido de Nascimento, um documento bsico de qualquer cidado que constitui uma prova real de CIDADANIA e, por isso mesmo, oferecido gratuitamente pelo Estado. Em localidades mais carentes alguns cartrios utilizavam de m-f para cobrar pela prestao deste servio, penalizando ainda mais uma populao pobre. O Estado deve garantir a transparncia de suas aes de forma que todo o cidado tenha conhecimento de seus direitos e deveres. 2.3.6 O CUSTO DE OPORTUNIDADE Quando decidimos aplicar parte de nossos recursos financeiros em um imvel esperamos que a sua valorizao seja maior do que as demais aplicaes disponveis naquele intervalo de tempo. Se, ao final do prazo estabelecido pelo aplicador, a valorizao do imvel for inferior quela obtida nas demais opes, dizemos que houve uma perda referente ao custo de oportunidade ou, em outras palavras, o investidor teria maior ganho se optasse por outro investimento. Com as famlias ocorre fenmeno semelhante. Imagine uma famlia muito pobre que mora na periferia de uma grande cidade como So Paulo. As crianas em idade escolar podem no freqentar as aulas em funo do custo de oportunidade envolvido. Veja que no se trata de um desconhecimento dos pais acerca do servio prestado pelo governo (ensino gratuito), mas uma opo racional de no matricular os seus filhos pois necessitam da renda extra que eles obtm com a venda de balas, jornais, servios de engraxate e outros. Se a criana no trabalhar para estudar a renda familiar sofrer uma queda que pode ser decisiva para a sobrevivncia da famlia. Qual o papel do Estado ? Se a educao bsica dever do Estado, consistindo em um mandamento constitucional, a alternativa oferecer alternativas de renda para que a famlia mantenha seus filhos na escola sem perda de renda. Essa considerao motivou a elaborao do programa denominado Bolsa Escola, onde cada famlia recebe uma quantia em dinheiro para cada filho mantido na escola. O objetivo do Estado alcanado com um maior percentual de crianas em sala de aula e as famlias so incentivadas a apoiar o estudo como forma de manuteno de sua renda. 2.3.7 AVALIAO A avaliao parte integrante do processo de planejamento, permitindo o seu contnuo aperfeioamento ao longo do tempo, alm da alocao mais racional dos recursos disponveis.

21

Embora a avaliao envolva custos, seu retorno evidente quando ponderamos a necessidade de elevarmos a eficcia e eficincia no uso dos recursos pblicos. Devemos considerar que a Lei de Responsabilidade Fiscal estabelece como princpio que a Administrao Pblica dever avaliar os resultados e reflexos de suas aes na busca de alternativas mais eficazes de forma a garantir o maior retorno para a populao. 2.3.7.1 O que Avaliao? A avaliao pretende comparar um padro ideal ou almejado com a realidade. O padro desejado ou ideal ou esperado , na maioria das vezes, o prprio objeto que motivou a adoo ou elaborao do projeto em anlise. Avaliao pode ser definida como aquele ramo da cincia que se ocupa da anlise da eficincia (MUSTO, 1975). O objeto da anlise avaliativa comparar os efeitos de um projeto com as metas que se props alcanar de forma a contribuir na tomada de decises e aprimorar os procedimentos operacionais existentes (WEISS, 1982) A avaliao no deve ser encarada como uma atividade isolada e auto-suficiente pois faz parte do processo de planejamento das polticas sociais, gerando uma retroalimentao ou feed back que permitir escolher dentre as alternativas de projetos conforme sua eficincia e eficcia. Os resultados obtidos pelos projetos so analisados de forma a retificar e reorientar aes em direo aos objetivos desejados (COHEN, 1998). 2.3.7.2. Porque devemos avaliar nossos projetos sociais? As demandas sociais so sempre crescentes, o que pode ser explicado pelo aumento vegetativo da populao, ou pela necessidade moral de incorporar milhes de indivduos ao mercado produtivo, garantindo-lhes qualidade de vida mais digna e satisfatria. Se considerarmos a existncia de uma limitao ao poder de tributar do Estado, concluiremos que no factvel imaginar uma situao onde ocorra o contnuo aumento dos recursos arrecadados. Deste descompasso entre a arrecadao e as demandas sociais, temos o prenncio do caos, com o Estado entrando em colapso diante das presses populares no satisfeitas. O risco institucional nesses casos considervel pois o enfraquecimento do governo gera crises polticas e econmicas em prejuzo das camadas mais carentes da populao. A avaliao garante o aumento de eficincia na alocao dos recursos pblicos que devem ser alocados com a maior racionalidade possvel.

22

2.3.7.3. Porque h resistncia ao processo de avaliao? A avaliao foi considerada durante muito tempo como uma atividade de carter essencialmente punitivo, onde o Estado procurava desvios e distores em suas atividades, identificando e punindo os responsveis. Em Estados autocrticos os desvios costumam ser punidos com a morte ou com trabalhos forados ao passo em que nos pases democrticos, os responsveis no esto livres do julgamento e linchamento moral pela sociedade, sendo natural, em ambos os casos uma forte resistncia idia de que os projetos devam ser avaliados. Um enfoque mais moderno vem sendo implantado gradualmente, vinculando a avaliao com a necessidade de aperfeioar constantemente as aes do governo. Assim, devemos defender a avaliao como sendo uma atividade do interesse da sociedade e, tambm, dos agentes pblicos responsveis pelo planejamento e execuo dos projetos sociais. O resultado positivo obtido em uma avaliao eficincia e eficcia no uso dos recursos postos sob sua uma avaliao negativa possibilita a identificao de resultados do projeto sem que esteja, necessariamente, fraudulentos ou dolo na ao do responsvel. garante ao gestor um atestado de responsabilidade, ao passo em que alternativas para incremento dos associada existncia de desvios

Este posicionamento mais participativo da avaliao e dos processos de auditoria representa uma mudana de paradigmas onde todos, avaliadores e gestores pblicos, ganham em termos de credibilidade, eficcia e eficincia, contribuindo para alcanar uma maior racionalidade das polticas pblicas e o conseqente bem-estar da sociedade. 2.3.7.4. Quando devemos avaliar um programa/projeto social? O processo de avaliao de uma poltica pblica pode ser realizado em momentos distintos, onde em cada situao teremos de ponderar as vantagens e desvantagens em termos de eficincia, transparncia e aperfeioamento do processo de execuo. Uma avaliao conhecida como ex-ante tem como objetivo proporcionar elementos que possam auxiliar na deciso sobre a implementao futura de um determinado projeto. Nas situaes onde temos diversos projetos disputando recursos limitados, a avaliao ex-ante possibilita hierarquiz-los de acordo com a sua eficincia no alcance do objetivo proposto. Esse tipo de avaliao est mais direcionado aos planejadores, de forma que possam definir quais projetos mais viveis para apoiar e quais projetos devem ser postergados para o futuro. Um outro tipo de avaliao aquele que ocorre durante a implantao de um projeto, sendo denominado de ex-tempore, e indica se devemos continuar o processo de implantao ou se o projeto deve ser descartado/interrompido. Este tipo de avaliao pode ser chamado,
23

tambm, de avaliao de processo e procura detectar as dificuldades que ocorrem na administrao cotidiana do projeto para correo futura. Esse tipo de avaliao tem como destinatrio preferencial os responsveis pela execuo do projeto, definindo as irregularidades e desvios e apresentando as melhores alternativas para concluso satisfatria do projeto. Para aqueles projetos j concludos temos um tipo de avaliao denominado de expost, que procura definir os impactos gerados pelo projeto e se devemos continuar a implantao de projetos semelhantes nas mesmas condies. Este tipo de avaliao pode ser chamado, tambm, de avaliao de impacto, definindo se o projeto concludo funcionou ou no, as causas dos eventuais insucessos e se o projeto deve ser implantado novamente. A avaliao ex-post est mais direcionada aos formuladores da macro poltica nacional e ao Poder Legislativo, ao qual cabe, em ltima anlise, o controle externo ou controle da sociedade sobre o uso dos recursos pblicos. Em qualquer caso, a avaliao tem como objetivo racionalizar os custos dos projetos, tornando-os mais eficientes e eficazes em benefcio da sociedade. 2.3.7.5. Como realizar uma avaliao real? Um aspecto muito interessante que observamos nos livros sobre avaliao de projetos a lacuna existente no que concerne s tcnicas de avaliao. Em outras palavras, h uma preocupao com os aspectos filosficos que cercam a elaborao das polticas pblicas sociais ao passo que os mtodos de avaliao ficam em segundo plano. A questo filosfica destacando aspectos tais como os grupos que devero ser beneficirios, o melhor direcionamento das polticas e as preocupaes com a eficincia e eficcia dos programas fundamental para obteno de resultados mais consistentes e duradouros. Vimos que a avaliao dos programas sociais parte integrante do processo de elaborao das polticas pblicas pois permite um contnuo feedback sobre os resultados e reflexos obtidos, o que facilita o seu aperfeioamento. O processo de avaliao envolve aspectos tericos ou filosficos e, tambm, aspectos de cunho eminentemente prticos. Assim devemos aprender algumas tcnicas sobre COMO FAZER uma avaliao no campo. Nos prximos captulos apresentaremos os fundamentos da Auditoria de Gesto no Setor Pblico e o emprego de algumas tcnicas para a obteno das informaes necessrias.

24

Captulo III - A Auditoria de Gesto Uma Tcnica Eficaz de Avaliao

Um dos princpios fundamentais das sociedades democrticas a obrigatoriedade que tem o Poder Pblico de prestar contas de suas aes, no s explicitando as polticas e objetivos contemplados com recursos pblicos, mas a forma como tais recursos foram empregados e os resultados alcanados. Nesse contexto, a Auditoria da Gesto no Setor Pblico representa uma poderosa ferramenta de avaliao sistemtica dos programas, projetos, atividades, sistemas governamentais, rgos e entidades pblicas com o objetivo primordial de conhecer e verificar o real desempenho do governo, apresentando sociedade os resultados do emprego dos recursos arrecadados. A definio que mais se aproxima daquilo que pretendemos ser uma Auditoria de Gesto aquela que a concebe como sendo uma avaliao da efetividade das aes implementadas pelo auditado, bem como da sua eficcia em cumprir seus objetivos, programas e metas, considerando, ainda, os aspectos da legalidade, economicidade e eficincia na administrao dos recursos pblicos. A dificuldade dessa definio, porm, est em se entender qual o significado exato dos termos efetividade, eficcia, eficincia e economicidade nela empregados. Uma vez compreendidos esses termos, no entanto, fica fcil assimilar o alcance e a profundidade pretendidos, bem como as dificuldades e a complexidade relacionadas execuo de auditorias de gesto. Assim a perfeita compreenso do significado da Auditoria de Gesto depende, em grande parte, da conceituao clara dos termos que lhes so inerentes.

3.1 Os quatro E da auditoria de gesto

Os termos economicidade (ou economia), eficincia, eficcia e efetividade, embora sejam de aceitao geral e contem com uma relativa unanimidade quanto aos seus significados, devem ter, em relao auditoria de gesto, definies bastante precisas que permitam a perfeita compreenso desse tipo de auditoria e evitem o surgimento de quaisquer dvidas conceituais. Assim, para uma melhor compreenso conceitual, podemos definir esses termos como: a) ECONOMIA A obteno e/ou alocao de recursos adequados, nas quantidades necessrias e no momento certo. Refere-se capacidade de gerir adequadamente os recursos sua disposio. Essa dimenso de considervel significado se observarmos que o administrador pblico no Brasil est submetido, via de regra, a uma situao de escassez de recursos
25

oramentrios, associados carncia de recursos humanos convenientemente capacitados e ao sucateamento da infra estrutura estatal. b) EFICINCIA A eficincia mede a relao custo-benefcio de um projeto. Em outras palavras, a sociedade deseja sempre a maior produo de bens e /ou servios ao menor custo possvel. a obteno de nveis mximos de produo com nveis mnimos de recursos. Referese obteno da mxima produtividade dos recursos disponveis, sem comprometimento da qualidade. A busca da racionalidade na aplicao dos recursos humanos e financeiros deve ser uma constante, justificando a contnua avaliao dos projetos com vistas ao seu aperfeioamento gradual. O fato de atingirmos uma determinada meta prevista no projeto no significa, necessariamente, que o projeto timo e que tivemos pleno xito. Um projeto que alcana suas metas poderia ser considerado como sendo eficaz desde que seus custos no tenham sido proibitivos. Explicamos melhor. Imagine que o projeto em anlise reduziu o analfabetismo em 25 % mas seu custo foi muitas vezes maior do que aquele inicialmente previsto. Suponha que o custo tenha sido igual ao de todo o ensino pblico superior no pas. Ser que o projeto/ programa eficaz ? Sim. Ele atingiu seus objetivos e metas. Mas o projeto, nesse exemplo, no foi eficiente pois seu custo manteve-se muito elevado. Desta forma possvel encontrarmos programas/projetos eficazes e ineficientes ao mesmo tempo. c) EFICCIA A eficcia procura identificar o grau em que os objetivos do projeto/programa foram alcanados. Significa a consecuo dos objetivos programados, em termos da ao da entidade ou programa, conforme planejado. Refere-se aos objetivos e metas programados. Imagine que, passados os cinco anos previstos no projeto de reduo do analfabetismo, o governo buscasse verificar a eficcia de suas aes. A questo seria calcular se, de fato, ocorreu uma reduo de 20 % no nmero de analfabetos do pas. Se a reduo observada ficasse na faixa de 8 %, o projeto no teria alcanado as metas previstas inicialmente, configurando um desvio passvel de anlises, avaliaes e correes futuras. Se a reduo fosse, por hiptese, de 34 % no nmero de analfabetos, o projeto poderia ser considerado como sendo muito eficaz.

26

 interessante observar que um projeto/programa com um elevado grau de eficcia obriga, tambm, a uma anlise tcnica destinada a destacar os seus pontos fortes e as boas prticas administrativas desenvolvidas, de forma a dissemin-las pela Administrao. d) EFETIVIDADE A efetividade procura identificar se o projeto/programa realmente est em consonncia com os desejos e demandas manifestados pela sociedade. a obteno dos resultados esperados advindos da ao programada. Refere-se ao impacto causado pela ao. necessrio que todas as aes do governo estejam em sintonia com a hierarquizao dos problemas e demandas da sociedade, sob pena de aplicar de forma equivocada os recursos pblicos. Se a sociedade prioriza em determinado momento o combate ao analfabetismo, a construo de um maior nmero de universidades no seria uma resposta adequada porque o pblico alvo atingido seria de outra natureza A seguir destacamos outras dimenses importantes para a compreenso dos aspectos que so analisados no curso de uma auditoria: 1) EFEITO O efeito uma reao ou resultado que ocorreu em funo do projeto ou programa. Se nosso objetivo a reduo em 20 % dos ndices de analfabetismo no Brasil (por exemplo de 22 %), teramos de acompanhar anualmente os resultados alcanados, de forma a inferir se a eventual queda do nmero de analfabetos deu-se em resposta ao projeto ou se foi derivada de outros fatores isolados independentemente da execuo do projeto. A determinao dos efeitos de um projeto um desafio de difcil superao pois, no momento em que iniciamos a execuo de um projeto, as condies iniciais de muitos outros fatores ponderveis sofrero tambm algum tipo de modificao. Em outros termos difcil isolar os efeitos de um projeto dos demais fatores. A questo pode ser exemplificada no caso de uma teia de aranha onde esto presos trs pequenos insetos. Qual o efeito da movimentao de cada inseto sobre a teia ? Ora, quando um deles se movimenta tentando escapar pode causar alteraes negativas nos outros insetos que vo, por sua vez, tentar novas alternativas para escapar. Como poderemos isolar os reflexos de apenas um dos insetos sem modificar o problema inicial e suas condies ? 2) IMPACTO De acordo com uma definio da ONU, datada de 1984, o impacto de um projeto pode ser definido como um resultado de seus efeitos.
27

No caso do projeto para reduo dos ndices de analfabetismo, um efeito visvel (caso houvesse xito) seria a reduo do nmero de analfabetos no pas em um dado intervalo de tempo. O impacto dessa populao alfabetizada poderia ser, por exemplo, o aumento de renda das pessoas ou da regio pesquisada, uma vez que pessoas com maior nvel de escolaridade tm, via de regra, maiores salrios.

3.2 As modalidades da auditoria de gesto

O controle da gesto pblica para ser eficaz e efetivo deve atender s necessidades de informaes de todos os interessados (controle externo, governo, sociedade e os prprios auditados) e, portanto, deve produzir informaes em trs nveis distintos: de exigncia mnima, de desempenho e de resultados. O nvel de exigncia mnima, como o prprio nome j enfatiza, o mnimo que se pode esperar em termos de informaes referentes ao auditado. Contempla o exame dos registros contbeis, das transaes financeiras, dos controles e do cumprimento da legislao. Determina o escopo da auditoria tradicional (de conformidade) e caracteriza-se por considerar se: as operaes financeiras so conduzidas adequadamente; as informaes financeiras se apresentam adequadamente; a empresa est cumprindo a legislao e a regulamentao vigentes; e os registros das operaes realizadas so adequados etc. O nvel de desempenho ocupa-se da determinao da economicidade e da eficincia na utilizao dos recursos alocados ao auditado e se este eficaz no seu desempenho. Caracteriza-se por considerar, entre outras questes, se: os recursos utilizados esto disponveis no momento, na quantidade e na qualidade necessrias e suficientes; foram detectadas prticas ou aes ineficientes ou antieconmicas; os objetivos estabelecidos esto sendo cumpridos; tm sido consideradas outras alternativas que permitam atingir os mesmos resultados a um custo menor; o auditado tem obtido ganhos de produtividade com a criao ou incorporao de novas tecnologias. Finalmente, o nvel de resultados ocupa-se da avaliao dos resultados obtidos pelo auditado vis--vis os objetivos sociais que lhe so atribudos. Caracteriza-se por considerar, basicamente, a avaliao dos impactos que a ao do auditado produz na sociedade e o grau desses impactos. Essa estratificao em nveis, alm de demonstrar claramente a complexidade e a abrangncia do controle da gesto pblica, permite-nos, tambm, classificar o universo de abrangncia da auditoria de gesto.

28

Assim, podemos classificar a abrangncia da Auditoria da Gesto no Setor Pblico em duas modalidades: a auditoria de desempenho (tambm conhecida como de desempenho operacional) e a auditoria de resultados (ou auditoria social). O objetivo da auditoria de desempenho examinar a ao do auditado quanto aos aspectos da economicidade, eficincia e eficcia, enquanto a auditoria de resultados busca examinar a efetividade das aes implementadas.

3.2.1 Auditoria de desempenho

A auditoria de desempenho tem como foco o exame da ao do auditado e est voltada para a verificao da economicidade, eficincia e eficcia dessa ao. Enfatiza os seguintes aspectos: a obedincia aos dispositivos legais aplicveis aos aspectos da economicidade, eficincia e eficcia da gesto. como os rgos e entidades pblicas adquirem, protegem e utilizam seus recursos; as causas de prticas antieconmicas e ineficientes; o cumprimento das metas previstas; Portanto, o foco da auditoria de desempenho o processo de gesto nos seus mltiplos aspectos: de planejamento, de organizao, de procedimentos operacionais e de acompanhamento gerencial, inclusive quanto aos seus resultados em termos de metas alcanadas. Ao se proceder a uma auditoria de desempenho, podemos utilizar trs abordagens, de acordo com o problema e as questes que se pretende examinar: anlise da estratgia organizacional, anlise da gesto organizacional e anlise da gesto operacional. A primeira abordagem, anlise da estratgia organizacional, est voltada para a avaliao da ao estratgica da organizao objeto da auditoria e envolve, basicamente, os seguintes aspectos: cumprimento da misso definida em lei; a adequao dos objetivos estratgicos s prioridades de Governo; a identificao dos principais produtos, indicadores de desempenho e metas organizacionais; a identificao dos pontos fortes e fracos da organizao, e das oportunidades e ameaas ao desenvolvimento organizacional. A segunda abordagem, denominada anlise da gesto organizacional, cuida fundamentalmente da avaliao da adequao da estrutura organizacional aos seus objetivos estratgicos e da forma como a organizao objeto da auditoria est sendo conduzida por seus responsveis. Deve abranger, entre outras, as seguintes questes: a adequao da estrutura organizacional aos objetivos do rgo ou entidade; a existncia de superposio e duplicao de funes; a existncia de sistemas de controle adequados, destinados a monitorar, com base em indicadores de desempenho vlidos e confiveis, aspectos ligados economicidade, eficincia, eficcia e efetividade;
29

 o uso adequado dos recursos humanos, instalaes e equipamentos voltados para a produo e prestao de bens e servios na proporo, qualidade e prazos requeridos; a extenso do cumprimento das metas previstas pela administrao ou legislao pertinente. A terceira abordagem, anlise da gesto operacional, est voltada para o exame dos processos de trabalho e envolve, entre outras, a anlise: da existncia de rotinas e procedimentos de trabalho documentados e atualizados; do cumprimento das prticas recomendadas pela legislao para aquisio de bens e servios, da adequao das aquisies no que se refere aos prazos, quantidade, ao tipo, qualidade e aos preos; e da guarda e manuteno dos bens mveis e imveis etc.

3.2.2 Auditoria de resultados

O objetivo da auditoria resultados examinar a efetividade das aes do auditado, principalmente no caso dos programas e projetos governamentais. Enquanto a auditoria de desempenho verifica, alm da eficincia operativa, o grau de cumprimento das metas, comparando metas previstas com metas realizadas, a auditoria resultados busca apurar em que medida as aes implementadas lograram produzir os efeitos pretendidos pela administrao. Nesse sentido, uma auditoria resultados distingue-se de uma auditoria de desempenho porque permite responder a questes no abordadas por essa ltima. Por exemplo: uma auditoria de desempenho em um programa de nutrio infantil procurar verificar o alcance das metas propostas, sugerindo, eventualmente, o aumento da eficincia do programa mediante uma seleo mais adequada dos beneficirios e uma melhoria dos sistemas de aquisio, distribuio e oferta de alimentos. Mas nada dir sobre se essas correes diminuiro a desnutrio. Por outro lado, a auditoria resultados procurar estabelecer em que medida o programa consegue melhorar a situao nutricional da populao-alvo; se houve mudanas, a magnitude das mesmas e que segmentos da populao-alvo foram afetados. Entre os aspectos a serem examinados num programa ou projeto de governo mediante uma auditoria resultados, destacam-se: a sua concepo lgica; a adequao e a relevncia de seus objetivos, declarados ou no, e a consistncia entre esses e as necessidades previamente identificadas; a consistncia entre as aes desenvolvidas e os objetivos estabelecidos; as conseqncias globais para a sociedade; os efeitos no includos explicitamente nos seus objetivos; a relao de causalidade entre os efeitos observados e a poltica proposta; os fatores inibidores do seu desempenho; a qualidade dos efeitos alcanados;

30

 a existncia de outras alternativas de ao, consideradas ou no pela administrao, e os respectivos custos envolvidos (anlise de custo-benefcio); e o cumprimento de dispositivos legais aplicveis sua natureza, aos seus objetivos e s suas aes. No entanto, uma auditoria resultados pode no tratar, necessariamente, de todos os aspectos acima mencionados. A nfase em um ou outro desses aspectos depender das questes especficas que se pretende abordar.

3.3 Abrangncia da auditoria de gesto

A auditoria de desempenho focaliza o processo operacional, enquanto a auditoria de resultados prioriza os efeitos produzidos pela ao governamental. No primeiro caso, investiga-se o funcionamento dos programas e projetos e o cumprimento de metas quantificveis, como, por exemplo, o nmero de escolas construdas, de vacinas aplicadas, de servidores treinados ou de estradas recuperadas em relao ao previsto nos planos de governo ou na legislao especfica. No segundo, deve-se agregar anlise dimenses que permitam equipe pronunciarse, por exemplo, sobre a reduo da evaso escolar, a erradicao de doenas contagiosas, a qualidade dos servios prestados pela administrao ou a reduo dos ndices de acidentes no trnsito. importante fazer a distino entre essas duas abordagens, uma vez que o cumprimento de uma meta fsica ou a disponibilidade de um servio pode ser uma condio necessria, mas no suficiente, para que determinado problema seja efetivamente resolvido ou para que determinada necessidade seja atendida. Muitas vezes, o efeito esperado pode no ocorrer ou ser insignificante. Alm do mais, uma interveno governamental especfica pode provocar efeitos inesperados, tanto negativos, quanto positivos. Nas duas situaes, ao proceder a uma auditoria de resultados, deve-se buscar identificar as relaes de causa e efeito subjacentes aos fenmenos observados, procurando identificar os efeitos atribuveis exclusivamente ao programa ou projeto. Trata-se, portanto, de verificar, valendo-se de uma metodologia apropriada, em que medida os efeitos observados, intencionais ou no, foram causados por essa interveno especfica. Embora a auditoria de desempenho e a auditoria resultados possam ser realizadas de maneira independente, as informaes produzidas em cada uma delas proporcionam uma anlise completa da atuao governamental, tanto em relao aos aspectos operacionais, quanto em relao ao impacto das aes implementadas, isto , o resultado lquido produzido por um programa ou projeto, ou seja, as modificaes verificadas no objeto da ao governamental que podem ser atribudas nica e exclusivamente ao programa ou projeto sob exame. Nesse sentido, as duas abordagens podem ser entendidas como complementares.

31

3.4 Etapas da auditoria de gesto

Na realizao de auditorias de gesto so observadas as seguintes fases: AUDITORIA DE GESTO Relatrio Preliminar Projeto da Auditoria Planejamento Preliminar Planejamento da Auditoria - Viso Geral - Levantamentos Preliminares - Coleta de Dados sobre Desempenho - Problema, Questes e Critrios - Papis de Trabalho - Testes-piloto e Validaes Execuo Relatrio

Relatrio de Auditoria

O detalhamento e a forma de execuo de cada uma dessas fases sero objeto dos captulos subseqentes.

32

Captulo IV - Planejamento da Auditoria de Gesto

Os procedimentos adotados em uma auditoria de gesto guardam semelhana com os praticados nas auditorias tradicionais. Dentre os aspectos que as diferenciam, deve ser destacado o planejamento, principalmente em razo da sua fundamental importncia para a obteno de resultados significativos. As auditorias de gesto devem ser precedidas de um planejamento rigoroso em seu objeto (programa, projeto, atividade, sistema, rgo ou entidade) uma vez que, quanto mais bem planejadas melhores sero seus resultados. Numa boa ou m preparao reside o xito ou o insucesso de uma auditoria de gesto. Alm de determinar se o trabalho proposto exeqvel e relevante, o planejamento tem como objetivo principal proporcionar uma viso integrada do auditado, fornecendo elementos suficientes para que se possa conhecer e conceber perfeitamente o trabalho a ser desenvolvido, bem como determinar qual das modalidades de auditoria de gesto deve ser adotada: a auditoria de desempenho ou a de resultados. Ademais, baseada nessa fase, a equipe delimitar os objetivos e a extenso da auditoria, bem como a metodologia a ser utilizada. O Planejamento da Auditoria deve contemplar as seguintes etapas: AUDITORIA DE GESTO Relatrio Preliminar Projeto da Auditoria Planejamento Preliminar Planejamento da Auditoria - Viso Geral - Levantamentos Preliminares - Problema, Questes e Critrios de Auditoria - Papis de Trabalho

(figura 4.1) 4.1 Planejamento preliminar da Auditoria

O planejamento preliminar da auditoria nada mais do que um documento que a equipe deve elaborar de imediato, to logo recebida a incumbncia de realizar uma auditoria de gesto, no qual so explicitadas as condies, tempo, recursos e etapas necessrias elaborao do planejamento da auditoria, propriamente dito. Esse documento, uma vez aprovado pela autoridade competente, se constituir na autorizao formal para a execuo da fase do planejamento da auditoria. Cabe observar, no entanto, que nem sempre o planejamento preliminar necessrio ou pertinente. Quando a execuo da auditoria j estiver determinada no que concerne aos aspectos do programa de trabalho (constituio da equipe, tempo disponvel, prazos etc.) o

33

planejamento preliminar deixa de ter qualquer sentido prtico e deve ser desconsiderado, passando a equipe diretamente para a fase de planejamento da auditoria. De qualquer modo, o planejamento preliminar deve ser rpido e objetivo, no devendo ultrapassar dois ou trs dias para a sua elaborao e apresentao. Deve conter os seguintes elementos: proposta de constituio da equipe de planejamento; dimensionamento do perodo do planejamento e do custo estimado; previso dos levantamentos preliminares e do cronograma de visitas; estratgias gerais para a coleta e anlise dos dados; pauta de temas que podero ser objeto de anlise; data para a apresentao do Projeto da Auditoria; e esboo do cronograma de atividades da fase de planejamento. 4.2 Planejamento da Auditoria O planejamento , seguramente, a fase mais complexa de uma avaliao uma vez que todas as aes da equipe estaro associadas s decises e consideraes adotadas durante esta fase. Durante o planejamento a equipe dispor de tempo para anlise de documentos e dados gerenciais de forma a permitir um conhecimento mais profundo acerca do projeto ou programa que se deseja auditar. Nesta fase sero conhecidos, mais profundamente, a concepo do programa, seus objetivos diretos e indiretos, os principais aspectos operacionais, os agentes envolvidos em cada etapa do programa, bem como as falhas e irregularidades eventualmente observadas. Nesta fase so identificados os pontos mais relevantes a serem abordados na avaliao com nfase na elaborao da metodologia de trabalho e o instrumental mais adequado obteno dos dados e informaes necessrias para cada questionamento ou rea de interesse selecionada. No planejamento a equipe definir os parmetros de avaliao e padres de desempenho a ser utilizados na sua anlise, programara eventuais visitas in loco e demais tcnicas de coleta de dados tais como a circularizao de questionrios para aprofundar seus conhecimentos. Sero, assim, definidos os principais aspectos de interesse para o foco da avaliao, as questes realmente relevantes para compreenso e aperfeioamento do projeto auditado, o pblico alvo das aes, o prazo para eventuais deslocamentos e a elaborao de questionrios e/ou roteiros de entrevistas. Conforme mostrado na figura 4.1, a fase do planejamento pode ser dividida em quatro etapas: Viso Geral; Levantamentos Preliminares; Problema, Questes e Critrios de Auditoria; e Elaborao de Papis de Trabalho e do instrumental para a coleta de informaes. Todo esse trabalho ir permitir a elaborao do Projeto da Auditoria. Devemos ressaltar, no entanto, que essa diviso meramente didtica, pois tais etapas so interdependentes e ocorrem, muitas vezes, de forma simultnea, no sendo possvel delimit-las claramente na prtica.
34

4.3

Projeto da Auditoria

A ltima etapa do planejamento a preparao do Projeto da Auditoria. O Projeto da Auditoria, elaborado com base nos elementos obtidos nas fases anteriores, objetiva estabelecer, diante da definio precisa dos objetivos do trabalho, a forma de alcan-los. Deve consubstanciar-se num relatrio que busque sintetizar os dados coletados e as concluses alcanadas, indicando ou no a realizao da auditoria. Na hiptese de ser recomendvel a execuo da auditoria, a equipe deve propor uma auditoria de desempenho ou de resultados, conforme a modalidade de Auditoria de Gesto mais adequada ao objeto do trabalho. O Projeto da Auditoria deve evidenciar, entre outras, as seguintes informaes: a) o objetivo da auditoria; b) a modalidade de auditoria a ser executada e o universo a ser examinado; c) as tcnicas e procedimentos a serem utilizados; d) os critrios a serem observados como base de comparao, julgamento e apreciao de desempenhos; e) as etapas a serem cumpridas com respectivos cronogramas de execuo; e f) a quantificao dos recursos necessrios execuo do trabalho. O projeto da auditoria deve conter, ainda, a descrio do escopo do trabalho de auditoria e os motivos que levaram a equipe a sugerir um determinado tema e enfoque. Devem ser detalhados o problema de auditoria e as questes que sero investigadas, os mtodos que sero empregados na coleta e anlise dos dados, os meios necessrios para implement-los, assim como os principais papis de trabalho especficos a serem utilizados. Nos prximos captulos veremos como se constitui cada uma das partes que compem o planejamento da auditoria.

35

Captulo V Viso Geral A viso geral visa compreender como o auditado (entidade, rgo, empresa pblica, programa de governo etc.) est estruturado, permitindo que a equipe identifique questes que meream ser examinadas mais detalhadamente. nesse momento que a equipe deve buscar conhecer e compreender perfeitamente a ao do auditado; conhecer seus objetivos e propsitos, buscar informaes relevantes em relao aos aspectos (ou setores) a serem avaliados. nessa etapa, tambm, que se deve comear a avaliar com mais cuidado os critrios que sero empregados quando da execuo do trabalho de campo, levando-se em conta eventuais evidncias anteriormente detectadas, a abrangncia e a profundidade das anlises e das verificaes que se pretende efetuar, bem como deve ser preliminarmente definido o escopo dos resultados pretendidos, pois, conforme nos lembra John Cook, Quando devidamente planejados, os procedimentos de auditoria possibilitam ao auditor inspecionar as evidncias que maior grau de relevncia apresentam para o parecer. (Cook e Winkle, 1981, p. 30). As fontes de informao mais comuns para consulta so os relatrios gerenciais, as prestaes de contas da entidade encarregada de executar o projeto, relatrios setoriais, a lei oramentria, o Sistema Integrado de Administrao Financeira e outros. A etapa de viso geral , tambm, uma excelente oportunidade para nivelar o conhecimento dos membros da equipe de auditoria, possibilitando que todos tenham um conhecimento bsico acerca da entidade/projeto, seus objetivos, etapas da operacionalizao, problemas identificados anteriormente, etc. O resultado uma maior motivao dos membros da equipe, alm da economia de recursos financeiros decorrente da racionalizao do tempo destinado auditoria. Essa etapa importante na medida em que antes que se possa iniciar, de fato, uma auditoria de gesto, uma srie de dados, informaes, anlises, pr-testes etc., sero necessrios e, no raro, vo demandar uma ou mais visitas e consultas preliminares ao prprio auditado, a outros rgos, entidades ou programas semelhantes, a especialistas etc. Nesse sentido, a viso geral deve abranger informaes tais como: a) base legal A base legal que deu origem ao rgo, entidade, ente, programa, projeto etc. e que regulamenta a sua operao, fonte primria de informao e permite, geralmente, identificar o escopo, os objetivos gerais, as fontes de recursos e demais caractersticas formais do auditado. b) antecedentes institucionais As informaes sobre a vida institucional do auditado permitem identificar aspectos crticos ou pontos de estrangulamento que tm sido ou sero enfrentados. Deve-se verificar:
36

 data de criao; denominaes anteriores; origem e evoluo dos recursos; rgos, entidades, programas, projetos e atividades governamentais que atuam na mesma rea; auditorias e avaliaes realizadas anteriormente, destacando os aspectos avaliados, principais concluses e efeitos inesperados; mudanas significativas nos objetivos do auditado. c) diretrizes As aes implementadas pelo auditado devem guardar consistncia com as bases tericas e com os valores que fundamentaram a sua criao. Mesmo que no possam ser identificadas na documentao, importante que elas sejam obtidas junto aos gestores ou tcnicos, para melhor compreender as relaes de causa e efeito que deram origem ao auditado. Verificar: princpios ou doutrinas presentes na criao do auditado; anlises que deram suporte deciso de criao do auditado; diretrizes declaradas e implcitas; d) prioridades, objetivos e metas As aes desenvolvidas pelo auditado devem estar logicamente relacionadas com as suas metas e objetivos. Portanto, devem ser verificados: estudos prvios que deram suporte criao do auditado; pesquisas, pareceres tcnicos ou opinies de especialistas; relao entre as prioridades apontadas e as metas e objetivos fixados; objetivos explicitados; objetivos relacionados s aes desenvolvidas (o que ser realizado); objetivos relacionados aos resultados pretendidos (efeitos sobre a populao-alvo); metas e objetivos mais importantes; exeqibilidade quantitativa, qualitativa e temporal das metas e objetivos. e) acompanhamento e controle O acompanhamento e controle dos resultados por parte do auditado, atividade fundamental de gesto e deve basear-se em medidas de desempenho que permitam a sua avaliao sistemtica. Os parmetros de desempenho devem refletir adequadamente os objetivos gerais do auditado e servir de base para as suas decises gerenciais e estratgicas. Verificar: unidades de medida de desempenho usadas regularmente; adequao das unidades de medida de desempenho aos objetivos; nvel de desempenho considerado adequado para cada meta ou ao; consistncia e confiabilidade dos sistemas de acompanhamento e controle.

37

f) populao-alvo Quando for o caso, deve-se obter uma descrio detalhada da populao-alvo do auditado, verificando: clientela (ou pblico-alvo do auditado) e suas caractersticas; critrios de seleo dos beneficiados; diferenas significativas entre participantes e no participantes; grupos no afetados ou afetados por outros rgos, entidades, programas, projetos e atividades governamentais que possam ser usados em comparaes. g) contexto poltico-social O contexto poltico-social no qual atua o auditado uma fonte importante de informaes para se entender o seu funcionamento. Verificar: estudos realizados por terceiros; impacto na mdia; grupos ou organizaes que apiam as aes do auditado; indivduos, grupos ou organizaes que criticam as aes do auditado; principais focos de resistncia s aes do auditado. h) caractersticas scio-econmicas As diferenas regionais podem explicar variaes significativas na operao de rgos, entidades, programas, projetos e atividades governamentais. Portanto deve ser verificado: em que regies as aes do auditado foram implementadas; quais as caractersticas scio-econmicas dessas regies; as diferenas relevantes entre essas regies, inclusive culturais. i) caractersticas operacionais A descrio dos recursos e do funcionamento do auditado uma tarefa bsica da viso geral, essencial para se compreender como as aes esto sendo desenvolvidas e para se aferir o grau de eficincia e economia dos gestores. Assim, devem ser verificados os seguintes aspectos: i.1) quanto aos recursos humanos responsveis pela execuo das aes; existncia de quadro prprio de pessoal; composio do quadro de pessoal em termos de: formao acadmica e profissional; funes tcnicas, de direo e de suporte; procedimentos de seleo de pessoal;
38

 dificuldades de preenchimento de funes especficas; atividades de treinamento e capacitao; taxa de rotatividade. i.2) quanto aos recursos financeiros principais itens de custo apresentados pelo auditado; custos de desenvolvimento, implantao e operao do auditado; indicadores financeiros. situao financeira; situao da gesto. i.3) quanto aos equipamentos e instalaes caractersticas das instalaes fsicas; equipamentos disponveis. adequao dos equipamentos disponveis em relao: clientela; aos objetivos do auditado. j) desempenho dos gestores bastante interessante, quando possvel, fazer-se uma avaliao prvia do desempenho dos gestores. Essa avaliao visa dar uma idia geral inicial do padro e da qualidade da gesto, a qual dever ser reavaliada no transcorrer da auditoria. As informaes podem ser obtidas a partir de pronunciamentos, de decises tomadas pelas autoridades competentes; dos planos estratgicos e relatrios de gesto; dos sistemas de informaes gerenciais; de entrevistas com os gestores e especialistas; de relatrios de auditorias anteriores e de vrias outras fontes.

39

Captulo VI Levantamentos Preliminares

Muitas vezes, a complexidade e a falta de informaes precisas a respeito do auditado podem comprometer o resultado do trabalho. Nesse caso, a equipe deve considerar a convenincia de realizar levantamentos preliminares. Tal procedimento no s se justifica como altamente recomendvel no caso de auditorias de maior complexidade e/ou custos elevados, pois reduz as incertezas e aumenta as chances de que o trabalho desenvolvido alcance o nvel de qualidade desejado com o menor custo possvel. Os levantamentos preliminares so constitudos por visitas, entrevistas, pesquisas, levantamento de opinies etc, realizadas antes do incio da auditoria e dirigidas ao prprio auditado, a outros rgos ou instituies, a especialistas, ao pblico-alvo da ao etc. Os levantamentos preliminares tm como objetivos principais: Consolidar as informaes obtidas durante a Viso Geral; Selecionar as reas Relevantes para a Auditoria; Possibilitar a Coleta de Dados sobre Desempenho; e definir claramente o Problema a ser estudado. Vejamos cada um desses objetivos. 1) Consolidar as informaes obtidas durante a Viso Geral Devemos observar que as principais fontes de informaes utilizadas na Viso Geral representam uma situao ocorrida no passado. So relatrios de auditoria, relatrios de gesto, lanamentos contbeis e financeiros, sries histricas de recursos oramentrios disponibilizados, etc. A questo que surge nesse momento a dvida acerca da validade de todas as constataes j pesquisadas. Ser que um determinado problema enfocado em uma fiscalizao anterior j foi saneado? Da mesma forma, ser que uma rea problemtica, onde j ocorreram srios problemas e irregularidades ainda apresenta tais distores ? Os levantamentos preliminares tm, portanto, o objetivo inicial de eliminar essas dvidas, possibilitando a anlise de informaes mais atualizadas obtidas na entidade, alm das entrevistas com a cpula dirigente. 2) Selecionar as reas Relevantes para a Auditoria Na medida em que a equipe avana no exame da documentao mais atualizada e realiza contatos e entrevistas possvel ter um conhecimento mais aprofundado das questes que envolvem a operacionalizao das aes do auditado, seus principais problemas e reas mais sensveis. Devemos observar que a fase de planejamento tem incio com a Viso Geral, onde o conhecimento da equipe sobre a entidade/projeto auditado muito reduzido. Quando a Viso Geral concluda, o nvel de informao j maior.

40

Assim, os levantamentos preliminares aumentam o conhecimento da equipe e permitem centrar os esforos futuros apenas nas reas que so realmente mais importantes ou onde h maior probabilidade de ocorrncia de irregularidades ou problemas operacionais. 3) Possibilitar a coleta de dados sobre desempenho Os dados sobre desempenho so fundamentais para a avaliao da economicidade, da eficincia, da eficcia e da efetividade da ao do auditado. So fundamentais, tambm, para que se possa saber se os aspectos a serem abordados na auditoria so realmente relevantes; se as questes de auditoria so suficientes e os critrios consistentes. Embora fundamentais, esses dados nem sempre esto disponveis e a sua obteno enfrenta vrios problemas: a dificuldade de desenvolver indicadores de desempenho a partir de objetivos definidos de forma imprecisa; o efeito de fatores externos sobre o desempenho do auditado, dificultando a identificao dos resultados diretamente atribuveis s aes e polticas especficas; a dificuldade de mensurar produtos essencialmente no homogneos e de incorporar a dimenso qualitativa nos indicadores de desempenho; a necessidade freqente de mltiplos indicadores para se obter um quadro da eficincia e da efetividade da ao do auditado; e a subjetividade quase sempre presente nos indicadores qualitativos. Em funo dessas dificuldades, ao examinar informaes sobre desempenho, a equipe deve apurar o seguinte: os procedimentos de coleta de dados sobre desempenho sero suficientes e adequados? os indicadores de desempenho usados so vlidos, completos e justificveis luz da relao custo-benefcio? os indicadores de desempenho fazem parte do processo de tomada de decises do auditado? As questes acima relacionadas devem servir como base para a delimitao do escopo e da extenso da auditoria, a qual deve centrar-se nas questes em que haja segurana quanto validade, a suficincia e a aplicabilidade dos indicadores de desempenho. Cabe observar que boas fontes de indicadores de desempenho podem ser encontradas na legislao pertinente, nas normas internas do auditado, nas informaes prestadas pelos gestores e no desempenho observado no passado ou em situaes similares. Os relatrios de auditorias j realizadas, no pas ou no exterior, podem fornecer indicaes valiosas sobre quais parmetros podem ser usados em dada situao. Uma vez conhecidos os parmetros que podero servir de referncia para medir o desempenho do auditado, a equipe deve iniciar o processo de estabelecimento do problema, das questes e dos critrios de auditoria. 4) Definir claramente o problema a ser estudado Fornecer dados e informaes que permitam uma definio clara do problema; estabelecer a rea (ou reas) de interesse para a auditoria

41

 fornecer detalhes sobre a situao atual do auditado, verificando se as informaes disponveis (principalmente as levantadas na viso geral) so fidedignas; verificar se a abrangncia e a profundidade do trabalho, pretendidas pela equipe, condizem com a realidade do auditado. O que se busca nos levantamentos preliminares, portanto, estabelecer um vnculo entre o planejamento do trabalho e a realidade do auditado, de forma a garantir a exeqibilidade e a efetividade da auditoria. Sua importncia est associada melhor compreenso do comportamento atual do auditado . Constitui-se, ademais, em instrumento fundamental para o planejamento, a conduo e a interpretao dos resultados de uma Auditoria de Gesto.

42

Captulo VII Questes e Critrios de Auditoria

Sempre que iniciamos uma auditoria h uma tendncia ou mpeto de se tentar investigar todas as questes associadas ao nosso objeto. Tal tendncia ainda mais reforada quando procuramos estabelecer o objetivo do trabalho o qual, na maioria das vezes, genrico e abrangente. No entanto isso impossvel, uma vez que, quanto maior a amplitude de nossas aes, menor ser a profundidade de anlise alcanada. Quando optamos por auditar uma determinada rea, devemos elaborar o instrumental analtico adequado. Em outras palavras, para cada rea ou setor a ser analisado temos de definir os critrios de auditoria, os padres de desempenho esperados e a metodologia para coleta de informaes a nvel de campo. Quando a equipe decide abordar diversas reas em uma empresa ou projeto, estar correndo o enorme risco de no obter uma profundidade de anlise adequada em razo das dificuldades em desenvolver o referido instrumental para as reas escolhidas. O dispndio de energia, tempo e recursos financeiros neste caso muito grande e no h garantia de que os resultados obtidos sero compensadores. Ao contrrio. Quando temos a opo por um trabalho envolvendo muitas reas, o nosso esforo acaba sendo pulverizado ou distribudo em diversas aes e a anlise fica mais pobre e mais superficial. Nesse sentido, a tcnica mais correta implica em realmente focar o nosso objetivo e, a partir da, selecionar algumas reas que sejam mais relevantes em relao ao nosso foco e que ofeream maior potencial de risco para o projeto ou empresa que est sendo auditado, para nelas centrar as anlises. No devemos superestimar nossa capacidade de anlise: para cada auditoria a equipe dever, inicialmente, determinar o seu objetivo principal e as reas correlatas. Para focar o nosso objetivo de forma adequada e podermos realizar um trabalho tecnicamente perfeito, a nossa primeira providncia deve ser a de estabelecer, com clareza e preciso, o problema objeto da nossa auditoria. Esquematicamente, essa etapa do trabalho pode ser assim representada:

43

 Objetivo da auditoria Problema de auditoria rea(s) relevante(s) Questo de auditoria 1 Questo de auditoria 2 Questo de auditoria n

Critrio de Auditoria 1.1 Critrio de Auditoria 1.2 Critrio de Auditoria 1.3 Critrio de Auditoria 2.1 Critrio de Auditoria 2.2 Critrio de Auditoria 2.3 Critrio de Auditoria n.1 Critrio de Auditoria n.2 Critrio de Auditoria n.3

7.1

Problema de auditoria O Problema de Auditoria o que se quer investigar. , na verdade, a formulao da questo fundamental que ser o objeto da investigao qual se refere o trabalho. o que vai dar sentido ao trabalho, constituindo-se no objetivo a ser perseguido. Portanto, o problema de auditoria constitui o elemento central para lastrear o direcionamento dos trabalhos da auditoria, a metodologia a ser desenvolvida, as tcnicas a serem adotadas e os resultados que se pretende atingir. Ao formular o problema, a equipe est, ao mesmo tempo, estabelecendo com clareza o foco de sua investigao e os limites e dimenses que devero ser observados durante a execuo dos trabalhos, ou seja, est delimitando seus objetivos de modo a orientar o trabalho para aquilo que se mostra factvel. Nesse sentido, a adequada formulao do problema de auditoria fundamental para o sucesso da auditoria de gesto, uma vez que trar implicaes nas decises quanto aos dados que sero coletados, forma de coleta que ser empregada, s anlises que sero efetuadas e s concluses que sero obtidas. Imaginemos que ns estivssemos diante do seguinte objetivo: "Verificar se os Conselhos Municipais de Sade tm influncia na melhoria do atendimento prestado pelo SUS nas Prefeituras Municipais". A formulao do problema, neste caso, dever limitar e especificar o que se quer investigar. Poderia ser: A qualidade do atendimento prestado pelo SUS no mbito das Prefeituras Municipais est relacionada atuao do Conselho Municipal de Sade?

44

J neste outro exemplo, o objetivo da auditoria foi fixado como sendo: Avaliar o desempenho do PRONAF no que concerne ao impacto causado pelas aes implementadas na sua execuo O problema pode ser: O PRONAF tem promovido o desenvolvimento de polticas pblicas apropriadas e a implantao das condies adequadas de acesso s facilidades necessrias ao bom desempenho do agricultor familiar? Um terceiro exemplo, associado ao Programa Nacional do Livro didtico (PNLD), seria o seguinte: "O PNLD tem por objetivo a distribuio gratuita de livros didticos reutilizveis para as crianas matriculadas nas escolas pblicas de primeiro grau, mediante um processo de escolha prvia dos ttulos pelos professores, de forma a melhorar a qualidade do ensino pblico." O problema de auditoria seria: "A operacionalizao do PNLD permite que os livros didticos sejam efetivamente entregue a todos os alunos matriculados na rede pblica de ensino de primeiro grau, permitindo uma melhoria das condies de ensino?" Em todos os casos, houve uma clara delimitao dos objetivos no sentido de se concentrar o trabalho naquilo que factvel, dadas as condies pr-existentes para a sua execuo. 7.2 reas Relevantes para a Auditoria

Como vimos, o dispndio de energia, tempo e recursos para auditar vrias reas distintas muito grande e, normalmente, os resultados obtidos no so compensadores. Por esse motivo, ao iniciarmos o planejamento da Auditoria de Gesto, e to logo tenhamos fixado o nosso problema, devemos estabelecer as reas Relevantes para a Auditoria. Para tanto, a equipe deve procurar segmentar o objeto da auditoria nas vrias reas que o constituem (por exemplo: um programa de merenda escolar pode ser segmentado por reas levando-se em conta a concepo estratgica e a adequao do programa; aquisio dos produtos; a armazenagem; o transporte; a distribuio etc.). De acordo com essa segmentao, a equipe dever verificar qual ou quais as reas so mais significativas ou oferecem maior potencial de risco para a eficcia ou "sucesso" do programa e escolher uma ou mais dessas reas para serem abordadas na auditoria. Em geral no recomendvel trabalharmos com mais do que duas ou trs reas na fase de execuo para evitarmos que as anlises, por falta de tempo e dificuldades na coordenao da equipe, sejam superficiais. Uma vez escolhidas as reas Relevantes para a Auditoria, faz-se necessrio estabelecer claramente o que se pretende investigar em cada uma delas. nesse momento que

45

iremos passar formulao das questes de auditoria com o posterior desenvolvimento dos critrios de auditoria e dos padres de desempenho. 7.3 Questes de auditoria

As questes de auditoria so perguntas especficas sobre o desempenho do auditado, derivadas do problema de auditoria, que podem ser verificadas mediante a mensurao de variveis e, em conjunto, representam a prpria essncia do trabalho de auditoria. As questes de auditoria, portanto, constituem a delimitao e o detalhamento operacional do problema de auditoria e, uma vez respondidas, permitem responder ao problema e cumprir o objetivo geral ao qual se refere o trabalho. Nem sempre, no entanto, possvel formular questes de auditoria de forma simples, clara e completa. Normalmente, a equipe, ao iniciar o planejamento da auditoria, tem somente uma noo geral, difusa e mesmo confusa do seu objetivo. Isto est na natureza complexa da prpria auditoria de gesto. Assim, muita dedicao e esforo intelectual so necessrios antes que a equipe possa dizer claramente para quais questes est procurando respostas. Entretanto, a colocao adequada de cada questo um dos aspectos mais importantes da auditoria. Portanto, parece cabvel perguntar: O que uma boa formulao de uma questo de auditoria? Apesar de as questes de auditoria diferirem grandemente e, apesar de no haver uma maneira certa de formul-las, certas caractersticas das questes de auditoria e da sua formulao podem e devem ser apreendidas e utilizadas com grande vantagem. Para comear, cabe estabelecer que uma questo de auditoria nada mais do que uma questo de pesquisa (haja vista que uma auditoria nada mais do que uma pesquisa). Portanto, o estudo da formulao de questes de pesquisa, do ponto de vista da metodologia cientfica, parece-nos um bom caminho. Para iniciarmos o nosso estudo, vamos tomar como parmetro os dois exemplos de Problemas de Auditoria j utilizados e formular duas questes (entre as muitas possveis): A primeira poderia ser: Existem diferenas significativas em relao qualidade do atendimento prestado pelo SUS populao nos municpios que possuem Conselho Municipal de Sade atuante em relao aos que o Conselho no atuante? Note-se que a questo aqui colocada em forma de pergunta. Note-se, tambm, que a questo apresenta uma relao entre variveis. Neste caso, relaciona: diferenas significativas na qualidade do atendimento e atuao do Conselho Municipal de Sade. O outro exemplo o do PRONAF (Programa Nacional de Fortalecimento da Agricultura Familiar), para o qual poderamos formular a seguinte questo:

46

O PRONAF tem proporcionado o desenvolvimento ou a adaptao e a disseminao de novas e atualizadas tecnologias agropecurias para os agricultores familiares? Neste exemplo a questo tambm colocada na forma de pergunta e tambm apresenta uma relao entre variveis: a atuao do PRONAF e o efetivo resultado para os agricultores familiares em relao ao desenvolvimento ou a adaptao e a disseminao de novas e atualizadas tecnologias agropecurias. Como se pode observar dos exemplos acima, uma questo de auditoria , pois, uma sentena interrogativa que pergunta: Que relao existe entre duas (ou mais) variveis? A resposta a essa questo aquilo que est sendo procurado na auditoria. Portanto, se uma questo de auditoria foi bem formulada (e, portanto, atendendo aos critrios da metodologia cientfica), geralmente ela dever conter duas ou mais variveis que apresentam relao entre si. Cabe ressaltar que o tipo de questo a ser formulada ter uma relao direta com a natureza da resposta e com o tipo de informao que constar do relatrio. Outra observao importante que, se as questes de auditoria relacionam variveis genricas, sinal de que tais questes precisam melhor formuladas e suas variveis precisam ser devidamente explicitadas e delimitadas. Nesse caso, duas solues so possveis: a) a equipe dever formular uma nova srie de questes especficas que detalhem melhor o que se vai investigar; ou b) a equipe dever especificar e detalhar melhor tais quesitos quando da formulao dos critrios de auditoria. Cabe observar, no entanto, que a primeira soluo sempre melhor do que a segunda. Na elaborao das questes de auditoria, alm dos aspectos metodolgicos, deve-se levar em conta, tambm, o seguinte: clareza e especificidade; uso de termos e variveis que possam ser definidos e mensurados; viabilidade investigativa (possibilidade de serem respondidas); articulao e coerncia (o conjunto das questes elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado). 7.3.1 Condies para a formulao de questes de auditoria H duas condies simples para distinguir boas questes. Primeira, a questo deve expressar uma relao entre duas (ou mais) variveis (h excees a esta condio, mas so raras e ocorrem, normalmente, nos casos em que a auditoria tem como objetivo conhecer o objeto da auditoria, isto , o trabalho se reveste de caractersticas descritivas). Segunda, a questo deve ser formulada claramente e de maneira no ambgua, na forma interrogativa. Em vez de dizer, por exemplo, a questo ... ou o propsito desta

47

questo ..., faa uma pergunta. As perguntas tm a virtude de formular a questo diretamente. A maneira mais simples a melhor maneira: faa uma pergunta. Assim, pode-se afirmar que uma questo que no contenha implicaes de teste para as varveis que definem a sua relao ou relaes, no uma questo de auditoria. Isto significa que as questes de auditoria no s devem apresentar uma relao, mas que tambm as variveis da relao, de alguma forma, devem ser mensurveis. Portanto, em resumo, pode-se afirmar que, apesar de as questes de auditoria diferirem grandemente e embora no haja uma maneira certa de formul-las, certas caractersticas tanto das prprias questes quanto da sua formulao podem e devem ser apreendidas e utilizadas com grande vantagem. Portanto, as questes de auditoria devem: sempre que possvel, expressar uma relao entre variveis; ser apresentadas sob a forma interrogativa, e poder ser testadas empiricamente, isto , devem possibilitar a obteno de evidncias reais sobre a relao apresentada. 7.4 Critrios de Auditoria

um fato normal que, na medida em que o auditado desenvolve a sua operao, os resultados obtidos no so necessariamente idnticos queles esperados ou idealizados quando de sua implantao. preciso, portanto, identificar qual o nvel de consecuo das metas e objetivos preconizados inicialmente. As divergncias sempre existiro e so motivadas por diversos fatores, atuando isolada ou concomitantemente, dentre os quais podemos destacar: dificuldades operacionais no previstas; intermitncia na liberao de recursos financeiros; incapacidade administrativa; fraudes ou irregularidades; alternncia polticas com orientaes divergentes; crises econmicas; carncia de pessoal etc. Assim, deve-se estabelecer algum tipo de variveis que permitam a mensurao do desempenho do auditado. Essas variveis so a forma concreta de traduzir conceitos abstratos em critrios mensurveis, definindo indicadores apropriados que permitiro medir e responder a questo formulada. A essas variveis de mensurao damos o nome de Critrios de Auditoria. Portanto, os critrios de auditoria so os padres ou indicadores utilizados para determinar se um dado desempenho real (ou condio, que o nome genrico que se d situao real existente que caracteriza o desempenho do auditado), satisfaz, supera ou est aqum do desempenho esperado.

48

A tarefa de traduzir conceitos abstratos em variveis mensurveis, definindo indicadores apropriados, indispensvel para que se possa medir o alcance dos objetivos perseguidos pelo auditado. Ao mesmo tempo, a definio clara e precisa de cada critrio de auditoria, explicitando qual a conotao (conceitual e operacional) que cada um assume dentro do trabalho, fundamental para que possamos determinar com exatido o tipo de informao que pretendemos obter na coleta de dados. 7.3.4.1 Atributos dos Critrios de Auditoria Para que se possa considerar uma varivel de mensurao como um critrio de auditoria, deve-se verificar se essa varivel: a) possui uma condio mensurvel; e b) se comparvel a um padro de desempenho. Para tanto, necessrio considerar que a condio a mensurao da prpria varivel na situao real, enquanto o padro de desempenho (ou critrio) o parmetro que permite expressar uma avaliao mediante a sua comparao com a condio. , portanto, o indicador usado para determinar se a condio atinge, excede ou est aqum do esperado. Cabe observar que nas auditorias tradicionais no existe grande dificuldade em se estabelecer os critrios de auditoria, tendo em vista que os padres de desempenho so a prpria lei ou as normas e os princpios de Contabilidade e os do Direito Administrativo. J nas auditorias de gesto, o desenvolvimento de critrios para mensurar o desempenho e/ou o resultado da ao, deve levar em conta os objetivos do auditado, o desempenho de organizaes que desenvolvam atividades similares, as boas prticas gerenciais e outros tantos fatores, o que aumenta significativamente no s o trabalho da equipe, quanto a sua responsabilidade em relao aos resultados da auditoria. Portanto, uma questo parece-nos crucial: Como desenvolver esses critrios nas auditorias de gesto? 7.3.4.2 Desenvolvendo os Critrios de Auditoria Como j enfatizamos, os critrios de auditoria so fruto de considervel trabalho de pesquisa envolvendo diversas fontes, tais como a prpria legislao associada entidade/programa, oramento, relatrios de gesto, relatrios gerenciais e tantas outras. Para clarificar o assunto, imaginemos que estivssemos analisando o Programa da Merenda Escolar. Nesse Programa uma varivel interessante e muito til para a nossa anlise seria a porcentagem de dias letivos em que a merenda foi efetivamente oferecida aos alunos. A idia ou premissa do Programa da Merenda Escolar oferecer aos alunos uma certa quantidade de alimento que possa suprir parcela das necessidades dirias de calorias e protenas. O critrio de auditoria poderia ser restabelecido como sendo a quantidade de dias letivos com merenda. Mas nossa varivel deve contemplar no apenas o parmetro de comparao. necessrio estabelecer valores ou uma ordem de grandeza que permitam estabelecer uma

49

comparao efetiva entre aquilo que foi planejado, idealizado e o que est ocorrendo na prtica. Essa ordem de grandeza ou o valor numrico associado ao critrio de auditoria ser o nosso padro de desempenho. O Programa da Merenda estabelece que haver merenda suficiente em todos os dias letivos para todas as crianas em todas as escolas. Ou seja, se houver aula em determinada escola, dever haver merenda para todas as crianas. Se considerarmos, por exemplo, um total de 200 dias letivos/ano, a situao ideal ou esperada ser a oferta de merenda para 200 dias tambm. Assim, para o critrio de auditoria denominado quantidade de dias letivos com merenda temos um padro de desempenho igual a 200 dias. Essa a premissa ou meta estabelecida pelo Programa da Merenda Escolar. O exemplo a seguir resume a questo: Critrio de Auditoria quantidade de dias letivos com merenda Padro de Desempenho 200 dias

Portanto, para efetuarmos a nossa anlise podemos lanar mo dessas informaes como um critrio de auditoria vlido, pois o mesmo atende aos atributos de ter uma condio mensurvel (dado que se pode medir a quantidade de dias letivos em que a merenda foi servida em cada escola) e ser comparvel a um padro de desempenho (merenda distribuda em todos os 200 dias letivos). Desenvolvamos um outro exemplo. Tomemos o primeiro problema apresentado anteriormente: para aferir a qualidade dos servios prestados pelo SUS, optou-se pelo estabelecimento de nove variveis de mensurao divididas em facilidades de atendimento e estrutura de atendimento. Os critrios de auditoria estabelecidos como determinantes para a aferio das facilidades de atendimento foram os seguintes: a) dificuldade para a marcao de consulta - mede o nvel de dificuldade imposto ao usurio para a marcao de uma consulta em uma unidade de sade; b) tempo de espera entre a marcao e a consulta - mede o tempo mdio decorrido entre a solicitao (marcao) e a consulta com o mdico. c) tempo de espera no local da consulta - mede o tempo mdio de espera do paciente no local da consulta, antes de ser atendido. d) dificuldade para a marcao de exames complementares - mede o nvel de dificuldade imposto ao usurio (necessidade de deslocar-se para outro local ou de voltar em outra oportunidade) para a marcao de exames complementares solicitados pelo mdico quando da consulta. Os estabelecidos como determinantes para a aferio da estrutura de atendimento foram os seguintes:

50

e) sistemtica de atendimento - verifica a forma determinada pelas prefeituras para o atendimento pelos mdicos: pelo regime de produo; pelo regime de permanncia; ou por outra forma. f) adequao da oferta de servios mdicos - verifica a adequao da oferta de especialidades mdicas bsicas (clnica geral, ginecologia e pediatria) em relao demanda potencial (populao). g) adequao da oferta de medicamentos - verifica a capacidade de atendimento da unidade de sade na oferta de medicamentos. h) adequao das instalaes fsicas - verifica se as instalaes fsicas da unidade de sade esto adequadas aos fins a que se destinam. i) adequao dos equipamentos mdicos - verifica se a quantidade e o estado dos equipamentos mdicos disponveis na unidade de sade esto adequados aos fins a que se destinam. j) oferta de servios e programas - verifica os servios e programas de sade especficos ofertados populao pelos municpios. k) oferta de especialidades mdicas - verifica a oferta, pela rede pblica, de outras especialidades mdicas que no as bsicas. Em relao atuao dos Conselhos Municipais de Sade buscou-se verificar e caracterizar a sua existncia formal, o funcionamento, o grau de independncia e a real capacidade de influir e decidir a poltica de sade local (caracterizados esses aspectos em funo da existncia de atas das reunies, do teor das discusses e decises registradas e de entrevistas com os seus membros). Assim, estabelecidos os padres de desempenho (por exemplo: nenhuma dificuldade imposta ao usurio para a marcao de uma consulta em uma unidade de sade, no caso das variveis de qualidade; e regularidade das reunies e alta independncia das decises, no caso das variveis de atuao), foi possvel estabelecer a existncia ou no da correlao entre a qualidade do atendimento e o funcionamento dos Conselhos Municipais de Sade e dai responder ao problema proposto. Em resumo: a elaborao do problema, das questes e dos critrios de auditoria, cuja seqncia pode ser consolidada em cinco passos, conforme mostrado na figura 4.2, executada no decorrer do planejamento e, ao final, devem estar suficientemente precisos e detalhados, para que possam servir para: definir de um arcabouo terico-conceitual bsico; delimitar o escopo e a extenso da auditoria, tornando palpveis os seus objetivos; orientar a coleta de dados, indicando como obter evidncias e achados significativos; fixar parmetros balizadores das concluses e recomendaes da auditoria.

51

1 passo Descreva o problema que ser enfocado pela auditoria com base nas informaes propiciadas pelo planejamento da auditoria, assim como nos parmetros de desempenho definidos e nas condies observadas pela equipe 2 passo Formule as questes de auditoria. O problema deve ser subdividido em tantas partes (questes) quantas necessrias para clarificar o assunto 3 passo Estabelea as variveis de mensurao. Cada questo de auditoria, por sua vez, dever ser definida na forma de termoschave, cujas dimenses e/ou variveis identificveis so constitudas por dados e informaes utilizadas para medi-la 4 passo Teste as questes e suas respectivas variveis de mensurao identificando as de difcil resposta, as no essenciais, as desprovidas de potencial para melhorar o desempenho e as que os recursos disposio da equipe so insuficientes para resolve-las e elimine-as 5 passo Elabore a matriz de planejamento, montando um esquema de trabalho detalhado para cada questo formulada 7.3.4.3 Elaborando uma Matriz de Planejamento A formulao do problema, das questes e dos critrios de auditoria demanda uma abordagem lgica e ordenada a partir da qual se possa estruturar o trabalho a ser desenvolvido. Para tanto, nas auditorias de gesto, so utilizadas matrizes de planejamento. Uma matriz de planejamento nada mais do que uma consolidao esquemtica das informaes relevantes de uma auditoria, e tem por objetivo auxiliar a elaborao conceitual do trabalho e orientar a fase de execuo (Um exemplo de uma matriz de planejamento pode ser vista como apenso deste livro). Cabe ressaltar, que a matriz de planejamento um instrumento flexvel e dinmico, que pode e deve ser atualizada na medida em que o trabalho de auditoria progride, de maneira a assegurar que os objetivos da auditoria sejam alcanados e que as evidncias apropriadas sejam obtidas. Alm do objetivo geral, das reas relevantes, do problema, das questes e dos critrios de auditoria, compem a matriz de planejamento os seguintes elementos:
52

 padres de desempenho: devem ser registrados os critrios que serviro de base de comparao com o desempenho observado, bem como a forma pela qual se chegou a eles. Esse registro constitui-se na memria de clculo da varivel de mensurao e importante para que se tenha uma idia mais precisa da sua adequao realidade. informaes requeridas: que so os dados e informaes que constituem as dimenses e/ou variveis identificadas a partir dos termos-chave que definem cada questo de auditoria. fontes das informaes: isto , os instrumentos, os registros, as pessoas, os sistemas, os documentos, as publicaes etc. onde sero coletados os dados e informaes que permitiro medir a condio atual do auditado. As fontes de informao podem ser diretas ou indiretas. As fontes diretas so aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados. Por exemplo, entrevistas realizadas diretamente com os beneficirios de um programa ou as anotaes e os registros originrios de uma visita s instalaes de um projeto. As fontes indiretas so aquelas coletadas e sistematizadas por outros, como, por exemplo, os registros administrativos; os estudos e pesquisas existentes; a legislao, as normas ou procedimentos; os documentos oficiais etc. O principal cuidado a ser observado na utilizao de fontes indiretas relaciona-se confiabilidade dos registros e controles internos e possibilidade de manipulao dos dados. tcnica de coleta das informaes: deve-se registrar as tcnicas utilizadas para a coleta de dados e informaes, caracterizando-as para cada um dos principais instrumentos. tratamento das informaes coletadas: refere-se ao modo como so organizados os dados e as relaes que se pretende estabelecer entre as variveis selecionadas para responder s questes de auditoria. Os mtodos utilizados para organizar as informaes coletadas variam de acordo com os procedimentos adotados na coleta de dados e podem ser quantitativos ou qualitativos. A escolha dos procedimentos a serem adotados no tratamento das informaes coletadas, portanto, dever ser feita com extremo cuidado para que no haja distoro nas concluses. limitaes obteno das informaes: para garantir um desempenho adequado do trabalho de auditoria, indispensvel identificar todos os fatores que podem dificultar a obteno dos dados e informaes necessrias, prejudicando a execuo da auditoria e comprometendo o alcance dos resultados esperados. Portanto, devem ser registradas as limitaes devidas s caractersticas dos dados e informaes que se quer coletar; s condies operacionais com que se vai trabalhar (de tempo, financeiras, tcnicas, conceituais etc.); ao acesso propriamente dito etc. Nesse sentido a equipe deve procurar verificar, entre outras, em relao ao auditado, as condies: de acessibilidade das informaes existentes:
53

 das bases de dados computadorizadas; dos arquivos de um modo geral; das polticas relativas s informaes confidenciais e ao acesso s pessoas, aos registros e aos locais; e de disponibilidade de grupos ou indivduos relevantes para a obteno de informaes. E, em relao ao trabalho, as condies que permitam a plena obteno das informaes requeridas, tais como: os prazos disponveis para a execuo; a disponibilidade de recursos humanos, fsicos e financeiros; e a viabilidade dos procedimentos e rotinas de coleta de dados e informaes propostas. confiabilidade dos dados e informaes: devem ser verificados e registrados todos e quaisquer problemas observados sobre a confiabilidade dos dados e informaes existentes ou que sejam objeto de coleta. Esse registro fundamental para que se possa atribuir o necessrio grau de confiabilidade e preciso s concluses e recomendaes advindas da questo de auditoria que se est medindo.

54

Captulo VIII Papis de Trabalho e Instrumental para Coleta de Informaes

8.1 Papis de Trabalho

Papis de trabalho so os instrumentos utilizados para a coleta de dados e a sistematizao das informaes resultantes do desenvolvimento de uma auditoria. So registros que evidenciam as caractersticas dos atos e fatos relevantes apurados durante a realizao dos trabalhos. Os papis de trabalho so, portanto, o suporte de todo o trabalho desenvolvido, contendo o registro dos procedimentos adotados, das informaes utilizadas, das verificaes a que se procedeu, dos testes executados e das concluses a que se chegou. Vrias so as finalidades dos papis de trabalho, podendo-se destacar como principais: a) racionalizar a execuo do trabalho; b) garantir o alcance dos objetivos; c) fundamentar o relatrio do auditor com provas necessrias e suficientes; d) facilitar a reviso do trabalho; e) fornecer dados para a deciso da autoridade competente; f) servir de base para respaldar a eventuais aes judiciais; g) demonstrar que os critrios de auditoria adotados foram os mais adequados; e h) fornecer orientao para exames posteriores. Quanto natureza, os papis de trabalho podem ser classificados em: a) especficos; b) gerais; c) de valor probatrio; e d) de valor analtico. Os papis de trabalho de natureza especifica so aqueles que, em virtude das caractersticas peculiares de uma determinada auditoria, so elaborados para servir de auxilio realizao da mesma (questionrios, roteiros de entrevistas, formulrios de registro de dados etc.) Os papis de trabalho de natureza geral so aqueles utilizados rotineiramente no desenvolvimento da maioria dos trabalhos de auditoria (roteiros, listas de checagem, itens da legislao etc.). Os de valor probatrio so aqueles que respaldam diretamente o relatrio, ou seja, contm informaes que no precisam ser detalhadas para sua utilizao, constituindo-se, normalmente, em documentos originais ou cpias dos mesmos. J os papis de trabalho de valor analtico so aqueles que, elaborados ou no pela equipe, facilitam a anlise das informaes obtidas de fontes diversas. Geralmente so constitudos por resumos, comparaes, tabelas, clculos etc.

55

8.2.

Cuidados na elaborao dos papis de trabalho

A elaborao dos papis de trabalho no to simples como aparenta inicialmente. uma atividade que necessita de muitas precaues. , de fato, uma das partes mais delicadas de uma auditoria e somente produzir resultados satisfatrios se a equipe dominar o assunto e seguir os princpios metodolgicos necessrios. Ao elaborar um papel de trabalho, deve-se levar em considerao o fim e o propsito dele, bem como a quem se destina, isto , se o seu preenchimento ser feito pela prpria equipe ou por terceiros. Nesse sentido ele deve ser simples, objetivo, claro e direto. sempre conveniente testar os papis de trabalho antes de ir a campo, pois somente assim saber-se- at que ponto eles atendero as necessidades do trabalho que se pretende desenvolver e, no caso de se perceberem inadequaes ou falhas, ainda se ter tempo de corrigi-las. Esse procedimento de suma importncia para o aperfeioamento dos papis de trabalho. 8.3. Teste-piloto e validao dos papis de trabalho

Parte integrante do planejamento da auditoria, os testes-piloto e as validaes permitem checar, em relao ao trabalho que ir ser desenvolvido, a metodologia proposta, as premissas iniciais acerca do funcionamento da entidade objeto da auditoria, a qualidade e confiabilidade dos dados existentes, bem como a qualidade dos papis de trabalho. Para obter um quadro representativo, a equipe deve escolher, para a realizao dos testes-piloto, um local ou aspecto do auditado que permita antecipar os problemas que podero ser enfrentados. Alm disso, os dados coletados permitiro ajustar o tamanho da amostra e a se certificar de que a metodologia selecionada oferecer uma resposta conclusiva ao problema proposto. 8.4. Instrumental para Coleta de Informaes

8.4.1. A Amostragem e sua Aplicao Tomemos como exemplo, para este caso, o Programa Nacional do Livro Didtico. Como ser possvel verificar a realidade do livro didtico no mbito das escolas por ele abrangidas, dado que so cerca de 208.000 atendidas? Esta questo complexa, no s em razo do grande nmero de escolas no Brasil, mas tambm em razo da sua pulverizao geogrfica e das disparidades scio-econmicas entre as regies e cidades. Para contornar essas dificuldades, teramos que eleger uma amostra que representasse o universo que queremos pesquisar. Mas a, outras questes se apresentam: Quais as escolas que comporiam a nossa amostra para a pesquisa da situao real do livro didtico? Escolas de cidades grandes ou de cidades pequenas?

56

Escolas selecionadas em capitais de Estado ou escolas localizadas em reas rurais em municpios pobres? Escolas grandes ou pequenas? A definio da amostra e seus eventuais desvios podem comprometer toda a anlise em funo dos vcios observados nas respostas. A estatstica poder auxiliar no desenvolvimento de uma amostra confivel, contemplando essas particularidades e definindo o tamanho mais adequado aos interesses de nosso trabalho. 8.4.2 O Instrumental Analtico Uma vez definida a amostra a ser trabalhada, devemos estabelecer o melhor instrumental analtico para obter os dados necessrios junto a essa amostra. Dentre os instrumentos mais comuns utilizados em auditorias temos a entrevista, a circularizao de questionrios, as visitas in loco e a anlise documental. Cada um desses instrumentos ou tcnicas apresenta vantagens e desvantagens, que justificam seu emprego em trabalhos especficos em detrimento de outros instrumentos menos adequados. Por outro lado, bastante comum o emprego simultneo de mais de um instrumental analtico em casos particulares. Assim, o planejamento de uma auditoria de gesto poder contemplar o emprego de entrevistas e visitas in loco concomitantemente, garantindo maior segurana quanto fidedignidade dos dados. 8.4.3 As Tcnicas para Coleta de Dados Uma das etapas mais complexas de uma avaliao a elaborao do instrumental que ser usado para obteno de dados e informaes no campo. A dificuldade est em, uma vez selecionadas as reas mais relevantes, estabelecido o problema e as questes de auditoria para cada rea, definir os critrios de auditoria e os padres de desempenho esperados. A definio desses parmetros dever contemplar a tcnica mais adequada para coleta das informaes, considerando as peculiaridades do trabalho e do pblico alvo, os limites de prazo existente para concluso do trabalho, as distncias envolvidas e o acesso, alm do custo financeiro. As principais tcnicas para coleta de informaes so a entrevista, a circularizao de questionrios, as visitas in loco e o exame documental, cada uma com suas vantagens e desvantagens, conforme verificaremos a seguir. A Entrevista A entrevista uma tcnica para obteno de informaes que consiste em elaborar um roteiro de questes para serem aplicadas aos elementos selecionados de uma amostra da populao objeto.
57

A maioria das pessoas acredita que uma entrevista segue a mesma lgica de um dilogo comum. E voc? Saberia entrevistar uma pessoa? A entrevista requer a adoo de cuidados tcnicos importantes para assegurar o mximo de retorno e a qualidade das respostas, dentre os quais destacam-se: a) agendar a entrevista: as pessoas tm seus compromissos e obrigaes profissionais, devendo ser comunicadas com antecedncia de sua inteno e dos objetivos gerais da entrevista. b) pontualidade: pela mesma razo apontada anteriormente, devemos ser extremamente pontuais para que nossa presena ou atraso no cause problemas ao entrevistado. c) elaborao de roteiro prvio: toda entrevista estruturada dever ter o apoio de um roteiro com as questes centrais a serem abordadas, evitando assim os lapsos de memria, o desperdcio de tempo e situaes indesejveis. O roteiro deve ser do conhecimento de todos os membros da equipe de forma que, na eventualidade do responsvel pela sua execuo enfrentar algum impedimento, outro integrante da equipe possa continuar os trabalhos sem perda de qualidade. d) objetividade: comum encontrarmos pessoas que no conseguem ser precisas e objetivas ao perguntar e/ou ao responder questes da uma entrevista. No caso do entrevistador isso se verifica naquelas perguntas infindveis, nas quais temos uma verdadeira exposio de motivos ou mesmo uma pergunta com diversos itens que ningum consegue memorizar. No caso do entrevistado a falta de objetividade se observa quando as respostas so excessivamente longas, abordando outros assuntos, conexos ou no, o que demanda maior esforo para compreenso. A soluo analisar com antecedncia os principais tpicos que sero abordados na entrevista, inteirando-se dos reais objetivos associados a cada questo e da vinculao existente entre os temas em anlise. Quanto falta de objetividade do entrevistado, aconselha-se uma breve interrupo de forma a sempre retornar ao tema inicial, evitando digresses e perda de tempo. O entrevistador deve procurar conduzir a entrevista segundo seus objetivos e prazos. e) controle do tempo: uma entrevista no uma conversa sem compromissos em um bar com amigos. A entrevista uma atividade profissional com incio e fim, cabendo equipe extrair o melhor resultado possvel. Entrevistas muito longas so desaconselhveis, enfadonhas e pouco objetivas, no sendo raro observarmos conversas paralelas entre as pessoas ou assuntos sem vnculo direto com o trabalho. Para evitar esses problemas a equipe de auditoria deve estabelecer um prazo mximo de uma hora para execuo da entrevista, o que far com que o tempo seja otimizado. Uma
58

outra questo importante evitar que mais de um membro da equipe faa perguntas ao entrevistado, pois ele poder se sentir bombardeado com perguntas, muitas vezes desconexas. f) presena de pessoas estranhas: uma entrevista envolve freqentemente informaes constrangedoras ou de cunho estritamente pessoal, sendo necessrio proteger o entrevistado. Quando a equipe chega a um local onde sero realizadas as entrevistas bastante comum que outras pessoas que no tm vnculo com o trabalho fiquem prximas ao entrevistado, afinal voc uma novidade e todos querem saber em detalhes o que est sendo feito. Questes envolvendo crenas religiosas, orientao poltica ou sexual, composio e evoluo do patrimnio, projetos futuros, etc., so, em geral, temas polmicos que podem gerar desconforto ao entrevistado, que ser ainda maximizado se houver a presena de outras pessoas tais como familiares, vizinhos, amigos ou colegas de trabalho. A equipe deve procurar realizar as entrevistas em separado com o objetivo de conquistar a confiana do entrevistado e, conseqentemente, informaes vlidas. g) uso de gravador: em algumas ocasies o volume de informaes, aliado ao nosso desconhecimento sobre o tema a ser auditado pode sugerir o uso de gravadores para maximizar as vantagens da entrevista. Embora o uso apresente suas vantagens, devemos pedir permisso ao entrevistado para no causar constrangimentos. Um aspecto interessante que o uso de gravadores inibe o entrevistado que passa a controlar sua fala, seu vocabulrio e sua espontaneidade, o que prejudica a qualidade da entrevista, em especial quando se trata de pessoas mais carentes e com menor nvel de discernimento. As Vantagens da Entrevista O emprego de qualquer tcnica envolve o conhecimento prvio de suas vantagens e desvantagens com o objetivo de maximizar os resultados potenciais para nosso trabalho de auditoria. 1) maior detalhamento: quando executamos uma entrevista temos um contato pessoal com o entrevistado, o que possibilita uma viso de vrios aspectos subjetivos tais como seu ambiente de trabalho/residncia, o seu nvel de instruo, qualidade da infra-estrutura disponvel e outros. Essas informaes subjetivas adicionais no so abordadas necessariamente em uma entrevista, mas esto presentes no momento em que o contato formal estabelecido, o que facilita a compreenso do conjunto. 2) analfabetos participam: muito comum que durante nossas auditorias surja a necessidade de obter informaes junto a um pblico alvo mais carente e com menor nvel de educao formal, ocasio na qual o uso da tcnica de entrevista mais adequado.
59

Se verificarmos a probabilidade de que nosso pblico seja em grande parte composto por analfabetos, devemos elaborar uma entrevista ao invs de encaminhar um questionrio. As Desvantagens da Entrevista: 1) maior custo: a aplicao da tcnica de entrevista no significa apenas a leitura de uma srie de perguntas ao entrevistado para anotao posterior. necessrio que os entrevistadores sejam treinados no sentido de entender cada questo formulada e seus objetivos para o trabalho, estabelecer a melhor forma de abordagem de questes delicadas/constrangedoras, controlar do tempo de entrevista e observar aspectos subjetivos que podem agregar maior qualidade e profundidade ao trabalho. Alm do custo vinculado ao treinamento, a entrevista implica na necessidade de deslocamentos do entrevistador, o que envolver o pagamento de auxlio transporte, vale refeio ou mesmo dirias. 2) menor abrangncia geogrfica: a tcnica de entrevista no adequada quando desejamos obter informaes de diversas localidades (ex. a realidade do Programa de Vacinao em todo o Brasil) pois isso acarretaria um custo excessivo em deslocamentos. A entrevista mais apropriada para trabalhos que envolvam a necessidade de aes mais pontuais como, por exemplo, entrevistas com dirigentes de uma entidade/programa objetivando conhecer mais detalhadamente os aspectos associados s medidas administrativas adotadas, etc. 3) inexistncia de anonimato: a entrevista no garante o anonimato do entrevistado pois necessrio o contato direto e formal. Assim, diversas questes mais delicadas e/ou polmicas podem ser mascaradas na tentativa de agradar ao entrevistador ou para manter um posicionamento mais aceito pela sociedade. 4) constrangimentos e defesas: o contato com o entrevistador pode, em algumas ocasies, constranger o entrevistado em funo das eventuais diferenas sociais, culturais ou econmicas. o caso de trabalhos realizados em comunidades muito carentes como favelas e assentamentos rurais quando o entrevistado colocado de frente a essas diferenas: o entrevistador tem melhor vocabulrio, veste-se melhor, tem carro, sabe ler e escrever.....tudo contribui para que haja um constrangimento inicial que deve ser detectado e eliminado. O entrevistado passa a uma atitude voltada para agradar o entrevistador, tentando encontrar a resposta que ter melhor receptividade, ou, ao contrrio, tentar mascarar a sua real situao de carncia. Para minimizar esses problemas entrevistador experiente deve conquistar a confiana do pblico alvo, evitando o uso de vocabulrio mais sofisticado e expresses excessivamente tcnicas.
60

A Tcnica de Circularizao de Questionrios Esta outra tcnica para obteno de informaes consiste na elaborao de um questionrio que ser encaminhado pelo correio para uma populao objeto responder. Depois de recebidas as respostas, a equipe passa a tabular os resultados. Essa tcnica mais apropriada para aqueles casos onde a populao objeto est dispersa em uma grande rea geogrfica como os estados da regio norte e h limitaes associadas ao tempo e fora de trabalho disponvel. Assim como a tcnica de entrevista, o questionrio apresenta vantagens e desvantagens que sero observadas a seguir. As Vantagens do Questionrio: 1) maior abrangncia geogrfica: o questionrio possibilita a obteno de uma viso mais abrangente em termos geogrficos de forma mais rpida e barata, o que muito til se desejamos conhecer mais profundamente os reflexos regionalizados de um determinado programa ou ao governamental em diversas regies, estados e municpios (ex. Programa de Vacinao, Programa da merenda Escolar, etc.) 2) menor custo: o custo por questionrio muito menor do que o custo de cada entrevista ou visita in loco, pois no envolve a necessidade de treinamento prvio ou deslocamentos. 3) maior facilidade para tabular os resultados: um questionrio deve ter questes do tipo fechada, o que facilita sua posterior tabulao. No caso da entrevista, muitas questes formuladas so do tipo aberta, o que significa que haver a necessidade de interpretao e sistematizao das respostas. 4) garantia de anonimato: o questionrio no envolve contato pessoal: quem responde no est sendo observado pelo pesquisador e a possvel influncia deste sobre a veracidade das resposta ser menor. As desvantagens do questionrio: 1) pblico alvo mais selecionado: o questionrio um instrumento de pesquisa mais sofisticado pois exige um pblico mais preparado para sua resposta, ou seja, apenas a parcela da populao alfabetizada poder participar deste trabalho. Esta desvantagem ocasiona um vis nas respostas que, dificilmente, representaro a real situao da populao que atendida por um programa social. 2) menor porcentagem de respostas: o questionrio tem um nvel de resposta inferior quele apresentado pela entrevista, pois mais fcil descartar uma correspondncia que chega pelo correio do que uma pessoa solicitando apenas alguns minutos de ateno.

61

Essa desvantagem contornada pelo fato de que, no uso de questionrios, o nmero de indivduos potencialmente alcanado muito maior. Devemos lembrar que o custo de encaminhar mais um questionrio , basicamente, o custo de postagem. O correto uso da tcnica de questionrio requer a adoo de cuidados tcnicos importantes para assegurar o mximo de retorno e a qualidade das respostas, dentre os quais destacam-se: a) Encaminhar Documento Explicativo: considerando que nosso objetivo obter o maior nvel de resposta, devemos encaminhar, juntamente com o questionrio, uma carta de apresentao do trabalho na qual indicamos: os responsveis e telefone para contato; o objetivo do trabalho; prazo para resposta; garantia total de sigilo; endereo para resposta.

b) Encaminhar Envelope Resposta: em diversas ocasies o pblico objeto de nossas pesquisas muito carente, no possuindo condies para adquirir os selos e envelopes para resposta. A adoo deste cuidado aumenta o nvel de resposta do trabalho. c) Realizao de Pr Teste: a elaborao de um questionrio envolve cuidados na sua elaborao, tais como o uso de vocabulrio adequado, evitando grias e regionalismos, questes diretas e de fcil compreenso, etc. Assim, antes de encaminharmos centenas ou milhares de questionrios pelo correio, devemos fazer um teste anterior de forma a aplicar o questionrio a um pblico semelhante quele que ser objeto de nossa pesquisa. Esse teste inicial tem como principal vantagem evitar a ocorrncia de erros que acarretem diminuio do nvel de resposta e, tambm, respostas erradas. d) O Vocabulrio e o Nmero de Questes: As pessoas selecionadas no tm muita disponibilidade de tempo para se dedicarem a responder um questionrio com um nmero de questes excessivo. Assim, devemos tentar trabalhar com um intervalo entre 25 e 35 questes. O vocabulrio deve ser mais simples, sem o emprego de grias, regionalismos, estrangeirismos e termos tcnicos muito especficos. As questes devem ser fechadas ou do tipo mltipla escolha, apresentando alternativas para as respostas com intervalos de forma a facilitar a compilao posterior dos dados.

62

A Tcnica das Visitas in loco As visitas in loco so, tambm, uma outra alternativa muito comum para a obteno de informaes acerca dos projetos/atividades auditadas, consistindo no deslocamento de membros da equipe. A equipe pode optar em realizar todos os deslocamentos em conjunto ou, alternativamente, dividir-se em grupos de forma a possibilitar uma maior abrangncia ou alcance da auditoria. As Vantagens das Visitas: A vantagem da visita a possibilidade de conferir diretamente aspectos subjetivos de forma imediata, sem necessidade de contar apenas com os dados dos relatrios gerenciais ou entrevistas. A visita d a chance de formar um juzo de valor mais consistente sobre o ritmo de execuo de projetos sociais, estado de conservao de obras e patrimnio pblicos, nvel de satisfao da populao com os servios prestados e outros. As Desvantagens das Visitas: As desvantagens so o elevado custo, envolvendo o pagamento de passagens, dirias e ajudas de custo aos membros da equipe, alm das limitaes associadas fora de trabalho e ao limitado tempo disponvel para realizao de muitos deslocamentos. importante tentar o apoio da entidade auditada no sentido de disponibilizar meios de transporte at os projetos auditados, bem como o pessoal de campo responsvel pela sua implementao. Essa medida pode ser adotada j durante a realizao do exame preliminar, quando a equipe estabelece o primeiro contato com a entidade auditada e sua cpula dirigente. Muitos crticos argumentam que a equipe deve contar com meios prprios para seu deslocamento, sem necessitar do apoio da entidade auditada. Na verdade no devemos partir da presuno de que h sempre m utilizao dos recursos ou desvios de responsabilidade do dirigente da entidade. Ao contrrio. Na imensa maioria das vezes, o dirigente tem, tambm, total interesse em avaliar sua gesto, corrigindo desvios e otimizando os recursos alocados em seus projetos. O controle deve atuar em conjunto com a Administrao Pblica, pois, ao mesmo tempo em que formalmente faz parte desta, comunga dos mesmos interesses em aumentar a eficcia e eficincia dos recursos pblicos. As visitas devem ser agendadas com antecedncia e as solicitaes de apoio devem ser comunicadas de forma a que a entidade possa planejar suas aes, disponibilizando toda a infra-estrutura necessria (veculos, motorista, combustvel, dirias, pessoal capacitado para acompanhar a equipe, etc). Muitas vezes interessante anexar fotografias no relatrio de auditoria de forma a consolidar algum posicionamento da equipe ou para denotar mais precisamente uma
63

determinada situao encontrada. A necessidade deve ser comunicada previamente para evitar desentendimentos, pois muitas vezes no permitido o uso de fotografias em fbricas ou departamentos da Administrao Pblica. Um outro aspecto que deve ser enfocado no planejamento que os deslocamentos devero prever, alm do tempo de visita s instalaes e eventuais entrevistas, o percurso na estrada, as condies mdias de trfego, as necessrias paradas para abastecimento, alimentao da equipe e descanso em hotis. E todas essas consideraes devem ser observadas tendo em vista, ainda, o horrio de funcionamento dos projetos/unidades que sero visitadas. Em outras palavras, de nada adiantar sacrificar a equipe e o pessoal de apoio da entidade auditada para chegar em determinado local aps o trmino do expediente normal. Ao considerarmos essa questo podemos elaborar um planejamento mais consistente e preciso, evitando maiores esforos e dispndio intil de recursos. A Tcnica do Exame Documental O exame de documentos a alternativa mais corriqueira para obteno de informaes em auditorias. Os documentos devem ser solicitados sempre por escrito para possibilitar o controle da equipe e amparar eventuais cobranas. A solicitao deve consignar um prazo razovel para atendimento, sempre negociado previamente com o setor auditado, de forma a evitar desentendimentos e sobrecargas inteis. A devoluo dos documentos dever ser acompanhada de um registro de baixa a ser assinado pelo funcionrio responsvel e a solicitao de cpias deve levar em considerao a capacidade de atendimento do setor. As Vantagens do Exame Documental: 1) menor custo: uma vez que no h necessidade de treinamento ou de deslocamentos da equipe como nos casos da entrevista e das visitas in loco, respectivamente; 2) possibilidade de estabelecer sries histricas: envolvendo parmetros de anlise, o que nem sempre factvel quando se trata de entrevistas ou visitas in loco. As Desvantagens do Exame Documental: 1) a incerteza da compatibilidade entre o documento e a realidade: muitas auditorias so realizadas com base em documentos produzidos pela prpria entidade auditada, tais como relatrios de gesto, informes gerenciais consolidados, e outros, que no necessariamente retratam a exata realidade vivida pelo projeto. 2) inexistncia de cruzamento de informaes: h casos em que temos informaes dispersas em diversos tipos de documentos mas no h uma consolidao segundo os cruzamentos de dados necessrios aos objetivos da equipe, demandando muito tempo para sua elaborao e anlise.
64

Captulo IX Projeto da Auditoria

Como vimos, a ltima etapa do planejamento da auditoria a preparao do Projeto da Auditoria. Este busca estabelecer, diante da definio precisa dos objetivos do trabalho, a forma de alcan-los. O Projeto da Auditoria deve consubstanciar-se num relatrio que busque sintetizar os dados coletados e as concluses alcanadas, indicando ou no a realizao da auditoria. Esse relatrio, que denominamos Relatrio de Planejamento, deve conter todas as informaes colhidas pela equipe de auditoria durante o planejamento, permitindo ao leitor conhecer o auditado, bem como entender como a auditoria ser desenvolvida. Nesse relatrio so includos todas as aes da equipe, suas consideraes, entrevistas realizadas, setores visitados, etc. Na hiptese de ser recomendvel a execuo da auditoria, a equipe deve propor uma auditoria de desempenho ou de resultados, conforme a modalidade de Auditoria de Gesto mais adequada ao objeto do trabalho. O projeto da auditoria deve conter, ainda, a descrio do escopo do trabalho de auditoria e os motivos que levaram a equipe a sugerir um determinado tema e enfoque. Devem ser detalhados o problema de auditoria e as questes que sero investigadas, os mtodos que sero empregados na coleta e anlise dos dados, os meios necessrios para implement-los, assim como os principais papis de trabalho especficos a serem utilizados. O Projeto da Auditoria, de um modo geral, deve evidenciar, tambm, trs questes fundamentais: a) a seleo das reas relevantes para a Auditoria e sua justificativa; b) os custos envolvidos; e c) a metodologia mais adequada. Normalmente, os Relatrios de Planejamento obedecem estrutura mostrada a seguir:

65

Pr-texto - Capa - Sumrio Texto - Introduo - Viso Geral - Atividades realizadas - Projeto da auditoria - Objetivos - Caractersticas - Proposta de execuo Ps-texto - Proposta de encaminhamento - Referncias bibliogrficas - Anexos

PROJETO DA AUDITORIA

Pr-texto 1. Capa A capa constitui-se no primeiro contato do leitor com o relatrio. Sua funo, alm de esttica, apresentar as informaes essenciais para a perfeita identificao do seu contedo. composta por quatro elementos bsicos que devem ser dispostos em seqncia, na forma em que a equipe ou a instituio determinarem: nome da entidade que determinou ou para a qual est sendo apresentando o trabalho. ttulo do trabalho, englobando o ttulo propriamente dito, a modalidade da auditoria e o rgo, entidade, programa etc. na qual foi realizada. nome dos componentes da equipe; e local e data em que foi apresentado o relatrio 2. Sumrio

Sumrio a enumerao das principais divises, sees, e outras partes do relatrio, na mesma ordem em que as matrias nele aparecem. O sumrio deve oferecer ao leitor uma viso geral do contedo do relatrio e indicar as pginas correspondentes. Nesse sentido, sempre que se julgar adequado, deve-se adotar a subdiviso de cada item ou captulo em subitens especficos.

66

Os anexos contendo glossrios, tabelas, grficos, ilustraes e demais documentos ou informaes necessrias formulao da proposta de trabalho e s concluses do relatrio, tambm devem estar referenciados no sumrio. Texto 1. Introduo

A introduo a primeira seo do texto do Relatrio de Auditoria. Ela serve principalmente para contextualizar o trabalho em relao ao auditado e realidade social, poltica e econmica nacional e/ou regional. Deve transmitir ao leitor todas as informaes necessrias e suficientes para que ele possa entender porque, como e para que o trabalho ser realizado. De um modo geral, a introduo deve apresentar um resumo do que ser a auditoria, registrando as reas ou temas objeto da avaliao. recomendvel, tambm, mostrar os benefcios esperados em termos de economia de recursos e aperfeioamento da atuao do auditado. Em geral, a introduo segue o seguinte roteiro: panorama geral do objeto da auditoria; histrico do problema e sua insero no contexto social, poltico e econmico, geral e especfico, que envolvem a realizao da auditoria. deficincias e falhas referentes ao desempenho e/ou resultados do auditado constantes de outros trabalhos realizados anteriormente. 2. Viso Geral

Etapa realizada no escritrio com o objetivo de identificar os aspectos gerais da entidade, tais como: 3. identificao do auditado (denominao, natureza jurdica, endereo, relao de responsveis e outras informaes pertinentes); legislao pertinente e diretrizes governamentais aplicveis; caractersticas operacionais da entidade / programa a ser auditado; misso, objetivos estratgicos, estrutura e principais atividades; principais produtos e indicadores de desempenho existentes; processo de tomada de decises e sistemas de controle; recursos humanos, fsicos e financeiros utilizados. avaliao preliminar do desempenho dos gestores.

Atividades realizadas na fase de planejamento da auditoria

Nesta seo devem ser descritas as atividades realizadas durante a fase do planejamento da auditoria. Pode ser adotado o seguinte roteiro:

67

 os rgos e instituies visitadas; as pessoas entrevistadas; os especialistas contatados; os pr-testes ou testes-piloto realizados; os principais papis de trabalho desenvolvidos; os mtodos empregados na anlise dos dados e informaes coletadas; e outras informaes julgadas pertinentes. 4. Projeto da Auditoria

O projeto da auditoria consubstancia o trabalho a ser realizado. Portanto, deve conter as informaes necessrias para que a autoridade competente possa analisar e decidir pela sua realizao. Contempla o seguinte: 5.1 Objetivos da auditoria - Objetivo geral. - rea(s) relevante(s) para a auditoria e justificativa(s) > razes que determinaram a realizao da auditoria (significncia dos valores geridos, impacto das aes empreendidas ou de outros fatores ligados ao desempenho do auditado); > importncia da auditoria e da(s) rea(s) selecionada(s); > justificativa para a escolha da(s) rea(s); > resumo do que ser a auditoria; >valor dos resultados esperados e possveis benefcios advindos da realizao da auditoria; e > outras informaes que realcem a importncia da auditoria. 5.2. Caractersticas da auditoria - Modalidade de auditoria a ser executada; - Problema(s) de auditoria. - Questes e critrios de auditoria: > listar cada uma das questes que sero objeto de avaliao, destacando como sero mensuradas e qual o critrio de auditoria ser utilizado na avaliao. - Delimitao > universo abrangido pela auditoria; > principais aspectos que sero considerados no trabalho; > quais as principais limitaes impostas ao trabalho? (ex.: limitaes ao acesso a dados e informaes importantes; limitaes de tempo, limitaes financeiras, limitaes de acesso amostra ou populao alvo etc.) - Fundamentao Terica > consiste na apresentao de um resumo dos principais estudos e trabalhos realizados sobre o assunto objeto da auditoria (reviso da literatura) que tem relevncia para o trabalho atual e que permitam estabelecer e fundamentar o ponto de partida do trabalho, estabelecendo os pressupostos conceituais que daro sustentao terica e metodolgica auditoria. Deve-se tentar responder, basicamente, ao seguinte:
68

> o que foi revelado pelos estudos e trabalhos anteriores que tem relevncia para o trabalho atual? > que contribuies esses estudos trazem para o trabalho em questo? > que aspectos (prticos, tericos, conceituais etc.) apresentados nesses estudos sero utilizados no presente trabalho? - Procedimentos metodolgicos: > caractersticas qualitativas e/ou quantitativas dos dados e informaes necessrios ao desenvolvimento do trabalho; > papis de trabalho especficos desenvolvidos para o levantamento dos dados e informaes necessrias; > tcnicas de anlise a serem aplicadas; e > os resultados esperados. - Definio operacional de termos e variveis: > definir claramente qual a conotao (conceitual e/ou operacional) que cada termo e/ou varivel assume dentro do trabalho. 5.3. Proposta de execuo Equipe de auditoria:

> componentes da equipe de auditoria (relao de seus membros e das unidades nas quais esto lotados); - Condies de execuo: > prazo de execuo da auditoria e custo estimado; > data para a apresentao do relatrio de auditoria; > programao de visitas (quando houver necessidade de deslocamentos ou viagens para diferentes locais durante a realizao do trabalho); > cronograma de atividades com indicao de responsveis;

Ps-Texto
1. Proposta de encaminhamento

A proposta de encaminhamento conter as recomendaes da equipe de auditoria acerca da execuo do trabalho. Podero ser destacadas neste item, tambm, outras recomendaes que meream ser levadas ao conhecimento da autoridade competente, relativas a fatos e/ou ocorrncias referentes ao auditado, verificadas durante a fase de planejamento da auditoria. Dessa
69

forma, o prprio relatrio de planejamento pode suscitar outras providncias alm das relacionadas com realizao da auditoria. 2. Referncias bibliogrficas

Ao final do relatrio deve-se fazer referncia a todos os documentos, textos e publicaes consultados na realizao do trabalho, obedecendo s normas tcnicas da ABNT. 3. Anexos

Se necessrio, anexar documentos, textos, tabelas, grficos ou outras publicaes importantes para o esclarecimento e/ou compreenso de itens ou assuntos tratados no corpo do Projeto de Auditoria.

70

Estudo de Caso
Programa Nacional do Livro Didtico PNLD
Apresentao: A educao sempre foi um problema significativo no Brasil, sendo lugar comum as crticas envolvendo a remunerao de professores, o excesso de alunos carentes, a infraestrutura precria das escolas, o elevado nvel de repetncia e outros. Essa situao catica tornou necessria a elaborao de inmeros programas governamentais idealizados para minimizar os reflexos negativos sobre a populao. Dentre esses programas podemos destacar a merenda escolar, o livro didtico, o material escolar, o treinamento de professores, a construo de CIEPs , etc. Os livros didticos so instrumentos auxiliares importantes da atividade docente. Nos ltimos tempos, devido em boa parte ausncia de outros materiais que orientem os professores quanto a o que ensinar e como ensinar e falta de acesso do aluno a outras fontes de estudos e pesquisa, o livro didtico passou a ser o principal referencial do trabalho em sala de aula. O livro didtico acaba estabelecendo o roteiro de trabalho do professor para o ano letivo, dosando as atividades dirias e ocupando os alunos na sala de aula e em casa. V-se, portanto, que em um pas com grandes disparidades scio-econmicas como o Brasil, o livro didtico assume papel relevante na formao de nosso povo. Veremos que o programa apresentava alguns problemas de carter operacional que dificultavam o alcance de seus objetivos principais. O presente estudo de caso est relacionado com uma Auditoria Operacional realizada pelo Tribunal de Contas da Unio (TCU) no Programa Nacional do Livro Didtico (PNLD) em 1992. Nosso objetivo nesse estudo de caso identificar alguns problemas do PNLD, suas causas e reflexos, recomendando alternativas que possam garantir uma melhoria significativa em termos de eficincia e economicidade e eficcia do programa. O que o Programa Nacional do Livro Didtico (PNLD) ? O PNLD foi institudo com o Decreto n. 91.542, de 19/08/85 (vide anexo), e tem como principal objetivo a universalizao e melhoria do ensino de 1 Grau, com a contnua valorizao do magistrio. O Programa prev a distribuio gratuita de livros escolares aos estudantes matriculados nas escolas pblicas de 1 Grau, reduzindo os gastos das famlias com educao. O PNLD est apoiado em trs (3) premissas principais, todas contidas no texto do Decreto de criao do Programa, quais sejam:
71

a) participao ativa dos professores do ensino de 1 Grau, mediante anlise e indicao dos ttulos dos livros a serem adotados; b) aquisio e a distribuio do livro didtico para todas as escolas da rede pblica de ensino de 1 Grau do Pas; c) adoo de livros reutilizveis, permitindo a sua utilizao nos anos subseqentes sua distribuio. Trata-se, na verdade, de um programa muito ambicioso e que trata de um problema de mbito nacional. Em 1992, ano de nossa auditoria, as dimenses do PNLD eram as seguintes: 1) Nmero de escolas atendidas: 208.000; 2) Nmero de alunos matriculados: 25 milhes; 3) Nmero de professores responsveis pela seleo do livro: 900.000. A idia bsica do programa que cada professor possa escolher o livro de sua disciplina que ser utilizado em sua sala de aula no prximo ano letivo e que o aluno de 1 Grau receba um livro de cada disciplina. Em outras palavras, no poder haver aluno e escola sem livro didtico. Essa uma tarefa de flego, uma verdadeira operao de guerra, como veremos mais adiante. Devemos iniciar nossa avaliao tendo em mente os problemas inerentes a um programa de grande porte, desses to comuns em nosso pas. Os Problemas Inerentes a um Programa de Grande Porte A operacionalizao de um programa em escala nacional em um pas como o Brasil, to extenso e complexo em suas relaes internas de poder e distribuio de riquezas e oportunidades, apresenta grandes dificuldades que devero ser previamente compreendidas de forma a facilitar a avaliao dos resultados alcanados. Dentre os principais problemas existentes podemos destacar: 1) A Extenso Geogrfica: Quando falamos de um programa em escala nacional como o PNLD, a Merenda Escolar, a Multivacinao e outros, necessrio ter em considerao que nosso pas possui um territrio muito extenso, ocasionando problemas logsticos na implementao desses programas.

72

No caso do PNLD verificaremos que a extenso geogrfica era um entrave operao do programa, principalmente no que se refere s etapas de distribuio dos livros nas escolas e fiscalizao dos resultados. A distribuio de algumas centenas de livros para uma escola de 1 Grau localizada na Grande So Paulo no constitui desafio insupervel e o custo envolvido na operao bastante reduzido pois as grandes editoras esto sediadas naquela cidade. As ruas so asfaltadas e bem sinalizadas em sua grande maioria, facilitando o acesso. Uma coisa muito diferente realizar a distribuio dos livros em uma escola localizada na zona rural do municpio de Xapuri no Estado do Acre. O acesso muito difcil, as estradas so intransitveis durante o perodo de chuvas na regio, no h sinalizao confivel e o risco de acidentes maior. Uma entrega em So Paulo envolve o trabalho de algumas horas, ao passo que em Xapuri o tempo demandado na operao ser de muitos dias. Essa disparidade entre as regies deve ser considerada quando da elaborao de programas de mbito nacional. 2) As Disparidades Econmicas Qual a imagem que voc, leitor, tem de uma escola de 1 Grau no Brasil ? Feche os olhos e tente lembrar de como era a sua escola. Este exerccio simples encerra descobertas significativas posto que h uma enorme disparidade entre as escolas de regies ricas e de regies pobres, entre escolas de cidades grandes e as escolas de reas rurais. Antes que nosso relato a seguir produza rancores, interpretaes equivocadas e juras malignas de dio eterno, devemos destacar que essas imagens retratam UMA REALIDADE MDIA observada em diversos recantos do pas. Assim, possvel que exista uma escola modelo em uma regio muitssimo carente e, tambm, uma pssima escola em uma regio riqussima e desenvolvida. Estamos trabalhando com MDIAS!!!!! Uma escola de cidade grande possui geralmente um padro acima da mdia nacional, apresentando-se como uma construo de alvenaria, com paredes, janelas, telhado, diversas salas de aula, biblioteca, refeitrio, ptio de recreao, muros, muitos alunos e professores. Se repararmos com mais ateno veremos que esses professores so adultos e possuem capacitao profissional compatvel com a misso que desempenham. A maioria possui curso superior em reas especficas tais como pedagogia, letras, matemtica, geografia, histria, psicologia e outras. E os alunos ? Qual o perfil de um aluno mdio de 1 Grau em uma cidade grande ?

73

Em geral o aluno tem, apesar da pouca idade e vivncia, um amplo acesso s informaes do cotidiano. Esse aluno tem televiso e rdio em casa, os pais no so analfabetos, h convvio social mais intenso com vizinhos, familiares, amigos, etc. Esses alunos tm, tambm, condies financeiras suficiente para adquirir livros infantis, lbuns de figurinhas, gibis e outros instrumentos que auxiliaro na sua aprendizagem futura. Falamos at agora de uma escola mdia em uma grande cidade, um grande centro urbano. E qual seria a realidade de uma escola localizada na zona rural de um municpio muito carente ? Essa escola via de regra no possui a mesma infra-estrutura da escola anteriormente analisada. No h muros, o espao fsico muito restrito, poucas salas de aula (em geral duas ou trs), no h refeitrio com mesas e cozinha industrial, nem mesmo uma biblioteca. A nica semelhana visvel o grande nmero de alunos e professores. Mas essa semelhana existe mesmo ? Como so, em mdia, os alunos e professores desta escola ? Os professores, via de regra, no possuem o mesmo nvel de capacitao profissional do que seus pares nos grandes centros urbanos. No participam de congressos, seminrios e cursos de atualizao, no tm acesso aos livros didticos distribudos gratuitamente pelas grandes editoras do pas e sua remunerao significativamente menor. Um outro aspecto relevante no que concerne aos professores dessas escolas mais carentes est associado com a idade. De fato, no nordeste comum observarmos adolescentes de 14-16 anos encarregadas de ministrar aulas de alfabetizao para crianas de 7-8 anos. Sua capacitao , obviamente, insuficiente apesar da boa vontade em colaborar. E os alunos ? Esses alunos so filhos de famlias com menor renda e menor acesso informao. So crianas que no tm, em geral, recursos financeiros para adquirir livros e gibis, alm de no ter acesso televiso, rdio e jornais. Os pais so, tambm, produto do meio em que viveram, no sendo raro o caso de crianas com pais analfabetos, o que se traduz em uma maior resistncia a matricular as crianas na escola. Nas reas rurais comum, ainda, verificarmos famlias inteiras percorrendo os municpios vizinhos a procura de emprego, o que dificulta a manuteno das crianas na escola durante todo o ano letivo. Essa disparidade entre as regies deve ser considerada quando da elaborao de programas de mbito nacional. Tendo em vista essas disparidades regionais e/ou econmicas, nosso trabalho de avaliao j comea com uma questo fundamental a ser analisada posteriormente: Qual a realidade do PNLD nas diversas regies geogrficas e segundo as condies scio-econmicas e culturais existentes ?

74

Note bem: um programa de mbito nacional no poder ser avaliado tendo como parmetro apenas a realidade observada nos grandes centros urbanos do pas. Se fizssemos nossa avaliao com este enfoque nossos resultados conteriam um vis significativo, prejudicando a anlise, concluso e propostas tcnicas objetivando o aperfeioamento do programa. Em sntese, necessrio ter uma viso de conjunto. No possvel elaborar um programa de mbito nacional sem considerar essas questes.

75

A Operacionalizao do PNLD. Em 1992, data da primeira auditoria realizada pelo TCU no programa, a operao do PNLD estava dividida em diversas etapas, envolvendo outras entidades do Governo Federal e da iniciativa privada. A seguir sero abordadas de forma resumida as principais etapas existentes no PNLD poca. 1) Incluso do Livro Didtico no Programa 1.1. A Comisso de Anlise O PNLD possua uma comisso de servidores da Fundao de Apoio ao Estudante (FAE), responsvel pela anlise de todos os ttulos encaminhados para compor o programa. Assim, quando um autor conclua um livro didtico, sua editora encaminhava o trabalho para anlise e, caso fosse considerado como adequado aos interesses do programa, seria includo no manual de escolha. 1.2. Os Problemas Detectados A atuao da citada comisso apresentava falhas significativas. A primeira inconsistncia estava em no atribuir notas ou graduao entre os ttulos examinados de forma a facilitar o processo de escolha pelo professor. necessrio destacar que o manual encaminhado s escolas possua mais de 1500 ttulos, agrupados por srie e disciplina (vide exemplo anexo). Um professor de matemtica da 5 srie tinha aproximadamente 40 ttulos disponibilizados, devendo escolher apenas um. Como no havia uma avaliao formal indicando a nota obtida pelo livro, seus pontos fortes e fracos, sua didtica, e outras anlises de interesse, o professor no sabia ao certo qual a melhor alternativa. Uma outra questo que merece destaque o fato de que muitos dos ttulos disponibilizados no manual de escolha como sendo adequados ao ensino de 1 Grau continham informaes equivocadas, erros grosseiros e, pior, induziam ao racismo e outros preconceitos. Esses ttulos foram submetidos a nova anlise pelo Ministrio da Educao e retirados posteriormente. 2) Encaminhamento do Manual de Escolha e do Formulrio de Pedido para cada escola. Aps o exame dos ttulos pela comisso de anlise da FAE, o manual de escolha era encaminhado, juntamente com um formulrio para indicao dos ttulos selecionados e respectivas quantidades, pelo correio a todas as escolas pblicas do pas. O formulrio para indicao dos ttulos (em anexo) era complexo, dificultando seu preenchimento pelos professores e ocasionando erros nos pedidos.

76

Uma outra falha constatada era o pedido de livros a maior, ou seja, as escolas sabiam da intermitncia dos recursos do PNLD e tentavam proteger seus interesses solicitando uma quantidade de livros maior do que o nmero de alunos matriculados. 3) Seleo do Livro Didtico pelo professor; 3.1. A ingerncia no processo de seleo. O PNLD estabelecia que a seleo do livro a ser utilizado era uma atribuio exclusiva do professor responsvel pela disciplina. A FAE argumentava que, tendo os professores nveis diversos de capacitao tcnica, no seria producente que a escolha do livro sofresse qualquer tipo de ingerncia. Assim, a equipe tinha interesse em verificar a ocorrncia de casos onde a diretora da escola, ou mesmo a Secretaria Municipal de Educao, consolidassem os pedidos dos professores forando a escolha de ttulos predeterminados. 3.2. A escolha Aleatria ou no escuro: Causas e Efeitos J verificamos anteriormente que o manual de escolha elaborado pela FAE no continha nenhuma indicao concernente avaliao ou juzo de valor sobre a qualidade dos livros oferecidos. Os professores, principalmente nas regies mais carentes, no detinham informao suficiente para uma escolha racional, a escolha era feita ao acaso ou no escuro, sem critrios ou parmetros. O efeito desse problema era a resistncia do professor em utilizar um livro para o qual no tinha capacitao tcnica necessria. Os livros eram selecionados, adquiridos e entregues, mas ficavam sem utilizao. 4) Processamento dos Pedidos pelo MEC. O MEC processava todos os pedidos de todas as escolas do Brasil e encaminhava o resultado consolidado FAE que iniciava o processo de aquisio dos livros junto s editoras. 5) Aquisio dos livros solicitados pela FAE 5.1. O processo licitatrio da FAE: Certo ou Errado ? A FAE contatava cada uma das editoras e negociava individualmente os ttulos e quantidades que haviam sido indicados pelo conjunto dos professores. A questo nesse ponto que no havia um processo licitatrio nos moldes determinados pela legislao, ou seja, o pedido no era formulado para todas as editoras para que essas disputassem entre si pelo menor preo. Se o livro Matemtica Fcil tivesse sido selecionado com um total de 345.000 exemplares em todo o Brasil, apenas a editora que detinha os direitos autorais daquele ttulo

77

poderia ser contratada pela FAE para sua produo. pudesse fabricar os livros a um menor preo.

Isso ocorria mesmo se outra editora

Inicialmente a equipe questionou esse tpico mas acabou convencida de que no seria possvel a ruptura do vnculo contratual existente entre a editora e o autor, representado pelos direitos autorais. Alm disso verificou-se que o processo licitatrio j ocorria quando cada um dos 900.000 professores tinha a opo de escolher o seu livro dentre um grande nmero de ttulos disponibilizados pela FAE em seu manual de escolha. 5.2. O poder de barganha da FAE. Um outro aspecto relevante era o preo mdio de aquisio dos livros pela FAE, bastante inferior ao preo de mercado praticado pelas editoras. A FAE adquiria os livros para o PNLD a um preo equivalente a 25 35% do preo de mercado em funo do seu enorme poder de barganha no mercado editorial brasileiro. De fato, a FAE representava mais de 40% dos livros vendidos pelas editoras. O raciocnio das editoras era o seguinte: melhor vender mais barato e em grande quantidade para um s comprador do que insistir na manuteno dos preos de mercado. Essa grande compra garantia os custos fixos das editoras durante praticamente todo o exerccio e todas as vendas futuras seriam computadas como lucro. A editora que ficava de fora dessas negociaes para o PNLD arcava com maiores dificuldades financeiras do que as outras, ou seja, trabalhava mais apertada. 5.3. O volume de livros adquiridos. O poder de barganha da FAE estava lastreado no imenso volume de livros adquirido a cada ano. O grfico abaixo representa as compras da entidade a cada ano durante o perodo 1985/1992. 6) Produo dos livros pelas Editoras. Uma vez estabelecido o contrato com a FAE, estabelecendo os ttulos e quantidades a serem produzidas, as editoras iniciavam a produo. Um aspecto a ser referenciado que praticamente todo o parque grfico nacional responsvel pela editorao dos livros didticos est localizado em So Paulo, motivo pelo qual toda a logstica da distribuio dever considerar esse fator. As editoras deveriam produzir seus livros segundo parmetros de qualidade estabelecidos em contrato pela FAE, indicando a gramatura do papel a ser utilizado, o tipo de capa, a forma de fixao da capa, o nmero de cores das pginas, o tamanho das letras, etc. A questo referente qualidade do que estava sendo entregue pelas editoras, ou seja, o cumprimento das especificaes contratuais foi, tambm, objeto de anlise pela equipe de auditoria. A justificativa era a necessidade de verificar a compatibilidade entre o que estava

78

sendo entregue e o que era estabelecido pelo governo, pois qualquer diferena no tipo de papel usado, por exemplo, poderia ocasionar desvios considerveis de recursos pblicos. 7) Entrega dos livros produzidos em galpo para processo de mixagem Os livros produzidos eram encaminhados a um grande galpo alugado pela FAE onde era realizada a mixagem. O processo de mixagem consiste em separar todos os exemplares de cada um dos ttulos solicitados pelas escolas atendidas pelo programa. A questo que esse processo poderia ocasionar erros na entrega dos livros s escolas, alm do custo elevado referente ao aluguel e prpria operao de mixagem. 8) Distribuio dos livros para as escolas A distribuio dos livros nas escolas um dos pontos mais importantes para o desempenho operacional do PNLD. Devemos lembrar que uma das premissas do programa que todas as escolas pblicas de 1 Grau do Brasil seriam contempladas com a entrega dos livros. A distribuio era realizada inicialmente por empresas transportadoras privadas selecionadas em processo licitatrio pelo MEC/FAE. Em 1990 a empresa F. Souto venceu a licitao e tinha, conforme o contrato firmado com a FAE, um prazo limite para entrega dos livros nas escolas de todo o pas. O volume de livros naquele ano foi consideravelmente superior queles dos anos anteriores e a empresa no possua infra-estrutura suficiente para realizar a tarefa. De incio a entrega foi sendo realizada nas maiores cidades, aquelas cujo acesso era mais fcil e barato. Mas, medida em que o tempo passava, tornou-se claro que a empresa no teria condies de cumprir os prazos contratuais. Esta constatao fez com que a F. Souto , em conluio com uma empresa do ramo de reciclagem, destrusse mais de 7 milhes de livros didticos. A soluo encontrada foi a entrega desse volume de livros na empresa de reciclagem de papel que transformava milhares de caixas de livros destinadas s crianas carentes em papel reciclado. A trama foi descoberta em 1991 e os responsveis pelas empresas foram julgados e condenados pela Justia Federal a ressarcir os danos causados, sendo a F. Souto declarada empresa inidnea para contratar com a Administrao Pblica. Alm do problema associado confiabilidade das empresas contratadas para a distribuio, a existncia de outros desvios fragilizavam o programa na medida em que dificultavam o processo de distribuio dos livros. Dentre os problemas mais srios, destacavam-se os erros indesejveis da distribuio. O erro de distribuio pode ser dividido em 4 principais tipos de ocorrncia, motivados pela mixagem equivocada ou pelo prprio processo de entrega dos livros na escola. Os erros so:

79

1. Erro de Destino: Esse tipo de erro consiste em entregar livros em local diferente daquele onde o pedido foi solicitado. 2. Erro de Quantidade Esse tipo de ocorrncia observado quando os ttulos selecionados so entregues conforme solicitado mas em quantidades diversas daquela original. 3. Erro de Ttulo Solicitado Esse tipo de ocorrncia observado quando os ttulos selecionados so entregues nas quantidades solicitadas mas h divergncia nos ttulos. 4. Erro de Prazo Esse tipo de erro est vinculado ao fato de que o livro didtico, enquanto instrumento de apoio ao aluno carente e professor, deve estar disponvel preferencialmente antes do incio do perodo letivo. Um livro entregue em junho no ser utilizado na maioria das vezes por resistncia da professora que o selecionou e que preferiu comear as aulas usando outra metodologia ao invs do livro didtico. 9) Recebimento dos livros A segurana do sistema poca dos desvios praticados pela empresa F. Souto era bastante frgil uma vez que a comprovao da entrega dos livros era realizada mediante a entrega de um recibo assinado pela diretora responsvel. A FAE no possua nenhum mecanismo ou procedimento de controle para impedir a falsificao de assinaturas, autorizando o pagamento mediante a simples entrega do recibo pela empresa transportadora. No havia uma conferncia de assinaturas e nem to pouco o contato com escolas selecionadas ao acaso para confirmar a entrega. 10) Reutilizao dos Livros O PNLD estabelecia uma meta interna de que cada livro didtico adquirido deveria ter uma vida til de trs (3) anos, ou seja, deveria ser usado por trs alunos. Esse parmetro adotado foi meramente aleatrio, uma vez que no havia nenhum estudo anterior ou mesmo experincia internacional acerca dessa questo. A reutilizao do livro didtico, uma premissa bsica do PNLD, est associada a uma srie de consideraes e parmetros tcnicos, objeto de pesquisa por parte da equipe de auditoria, a seguir destacadas:

80

10.1.

O nvel de devoluo

No possvel haver uma reutilizao do livro didtico em nveis significativos se no houver um elevado ndice ou porcentagem de livros devolvidos aps o trmino do ano letivo. Ser que isso realmente ocorre na prtica, no dia-a-dia de nossas escolas ? As escolas situadas em reas rurais apresentam uma realidade diversa daquela observada nas escolas urbanas. O acesso s escolas mais difcil e os alunos muitas vezes tm de caminhar longas distncias. comum, tambm, que o aluno deixe a escola durante o ano letivo para acompanhar a famlia que parte em busca de novas oportunidades de trabalho. Devemos sempre lembrar da imensa colcha de retalhos dos muitos Brasis que coexistem em nosso pas e as particularidades de cada segmento social e econmico. Nessas reas rurais, as famlias so muito pobres e seus membros no possuem, via de regra, uma capacitao profissional mais slida. Assim, a ocupao tradicional das famlias a agricultura e a pecuria cujas caractersticas marcantes so, em muitas regies, notadamente extensivas ou de subsistncia. medida em que as safras so se sucedendo, o trabalho migra em busca de novas frentes e opes de sustento. Quando a cana-de-acar colhida aquela imensa populao perde seu sustento imediato, partindo para outros municpios vizinhos. Os pais levam os filhos e OS LIVROS no so devolvidos. Uma das dvidas iniciais da equipe de auditoria consistia em estimar o nvel de devoluo nas diversas regies do pas de forma a verificar se a reutilizao do livro didtico sofre algum tipo de restrio. 10.2. A Resistncia dos Alunos

necessrio destacar que os alunos so crianas e, como tal, apresentam restries ao uso de livros j utilizados, contendo rasuras, pginas rasgadas e/ou sujas ou mesmo exerccios resolvidos. Essa questo pode ter reflexo, ainda que de menor intensidade, na devoluo do livro. O aluno poderia danificar ainda mais o livro recebido, tornando-o inaproveitvel par ao prximo ano letivo. A soluo, como veremos a seguir, passa pela adoo de uma campanha de conscientizao de pais, alunos e professores e, tambm, por um programa de manuteno ou conserto dos livros danificados. Em ambos os casos necessria a participao da sociedade para que haja sucesso na reutilizao dos livros por perodos mais longos. 10.3. A Campanha de Conscientizao

O PNLD deveria desenvolver uma campanha de conscientizao destinada aos pais, alunos e professores ressaltando a necessidade de preservar o livro didtico em boas condies de uso.

81

Nunca demais relembrar as precrias condies de nossas escolas e as dificuldades enfrentadas pelos pais de alunos mais carentes. As prprias condies scio-econmicas do meio conduzem destruio precoce dos livros. Na poca da auditoria a nica forma de conscientizao estava associada a um texto na contracapa dos livros, indicando a necessidade de sua preservao em boas condies para que pudesse ser utilizado novamente. Os professores tambm buscavam um maior engajamento, orientando os seus alunos no sentido de no utilizar canetas no preenchimento das questes, no sujar ou rasgar as pginas, etc. 10.4. A Manuteno dos Livros Danificados. Os livros sempre apresentam sinais de uso aps o trmino do ano letivo: so rasuras, pginas amassadas, sujas ou rasgadas, exerccios respondidos no prprio livros, etc. A soluo seria a adoo de um sistema de mutiro onde os professores, e eventualmente os pais dos alunos, promoveriam o conserto dos livros danificados. Assim, diminuindo a resistncia dos alunos, haveria maior probabilidade de que o livro pudesse ser reutilizado no ano seguinte. 10.5. A qualidade do livro As editoras, conforme abordado anteriormente, deveriam produzir seus livros segundo parmetros de qualidade estabelecidos em contrato pela FAE, dentre os quais possvel destacar: a) gramatura. A gramatura uma medida que indica o peso de celulose existente em um metro quadrado de determinado papel. Assim, quanto maior a gramatura, maior ser a quantidade de celulose empregada na elaborao do papel, aumentando sua resistncia. A FAE estabelecia uma gramatura de 65 gr/m , ou seja, cada metro quadrado deveria possuir 65 gramas de celulose. b) o tipo de capa. A capa responsvel pela proteo do livro contra choques, sujeira, etc. Uma capa rgida oferece maior grau de proteo do que uma capa flexvel, contribuindo para uma maior durao do livro. c) fixao da capa. Cada uma das formas de fixao da capa ao livro confere uma determinada resistncia ao conjunto. Assim, uma capa costurada (mais cara) apresenta maior resistncia, ao passo em que a simples colagem das pginas capa no possibilita uma resistncia elevada.

82

d) nmero de cores O maior nmero de cores e a presena de desenhos e figuras so fatores de motivao do aprendizado e possibilitam, indiretamente, um maior interesse dos alunos na preservao dos livros.

83

EXERCCIOS DE FIXAO A seguir os alunos sero divididos em grupos para desenvolvimento de exerccios com o objetivo de avaliar o Programa Nacional do Livro Didtico (PNLD). Os exerccios propostos tm a funo de auxiliar o alunos na fixao da teoria associada aos conceitos e premissas de um programa de governo, bem como no desenvolvimento das etapas bsicas de uma auditoria operacional naquele programa.

Exerccio n. 01: Conceitos associados ao PNLD O Decreto n. 91.542/85 (folhas 66/67 ) implantou o Programa Nacional do Livro Didtico (PNLD), que ser utilizado em nosso estudo de caso neste curso de avaliao de projetos. Considerando os termos do decreto, procure identificar os conceitos envolvidos, tais como o pblico-alvo, meta, objetivo, impacto, efeito, etc. Exerccio n. 02: Eqidade e Acesso ao PNLD O seu grupo de trabalho j identificou alguns conceitos relacionados com o Programa Nacional do Livro Didtico (PNLD). Este segundo trabalho tem como objetivo proporcionar um debate sobre o PNLD no que concerne s premissas bsicas que devem ser atendidas ou observadas por uma poltica pblico de cunho social. Procurem desenvolver as seguintes questes: 1) O PNLD um programa de nvel nacional. O acesso a esse programa o mesmo em todas as regies, estados, municpios e escolas ? 2) A premissa vinculada equidade ou redistributividade est sendo observada na formulao do PNLD ? Em outras palavras, os grupos sociais mais carentes recebem tratamento diferenciado de forma a evitar o crescimento das disparidades ? 3) Quais so os riscos identificados pela equipe que podem influenciar negativamente o programa ? 4) Qual a influncia que as disparidades scio-econmicas entre as regies e estados tm sobre o PNLD ? O grupo considera que o programa pode funcionar indistintamente em regies ricas e pobres ? Explique.

84

Exerccio n. 03: O PNLD e a Seleo das reas Relevantes O seu grupo de trabalho j identificou alguns conceitos relacionados com o Programa Nacional do Livro Didtico (PNLD) e analisou as premissas bsicas que devem nortear a elaborao e operao de uma poltica pblica de cunho social. Este terceiro trabalho em grupo tem como objetivo a avaliao do PNLD dentro das tcnicas de auditoria de gesto. Para desenvolver as etapas da Viso Geral e do Exame Preliminar, a equipe dever ler a documentao relativa ao objetivo e premissas do PNLD, bem como sua operacionalizao (pginas 53/60 ). Aps a leitura recomendada, a equipe dever selecionar trs (3) reas consideradas como sendo aquelas mais relevantes, justificando a sua escolha. Exerccio n. 04: Critrios de Auditoria e Padres de Desempenho A elaborao de critrios de auditoria e dos padres de desempenho associados representa um amplo trabalho de pesquisa e constitui uma etapa muito importante para o correto desenvolvimento de uma auditoria operacional. Este exerccio tem como objetivo desenvolver a noo de Critrio de Auditoria e de Padro de Desempenho. Cada uma das equipes dever escolher uma das instituies abaixo e elaborar uma lista com cinco (5) critrios de auditoria e respectivos padres de desempenho: a) b) c) d) e) f) escola; hospital; corpo de bombeiros; correios; supermercado; cemitrio.

Exerccio n. 05: A Definio do Instrumental mais Adequado Aps a definio da amostra e dos critrios de auditoria e padres de desempenho, a equipe dever definir qual o melhor instrumental analtico (ou a combinao de alguns instrumentais) para coletar as informaes necessrias. A equipe deve recordar que para cada uma das reas selecionadas como sendo relevantes h um conjunto de critrios de auditoria e de padres de desempenho associados, o que implica na existncia de uma metodologia mais adequada para coleta de informaes.
85

Qual o melhor instrumental para cada uma das reas selecionadas ? Exerccio n. 06: A Definio da Amostra Sua equipe j treinou o desenvolvimento dos critrios de auditoria e dos respectivos padres de desempenho associados. A etapa seguinte definir qual a amostra de escolas que ser usada para retratar a realidade dos PNLD. A equipe deve notar que a amostra deve retratar o conjunto de escolas do pas e no apenas de algum extrato. Assim, a amostra dever contemplar escolas pequenas e grandes, escolas em zona rural e urbana, escolas em estados ricos e pobres, etc. Qual seria a amostra de escolas desenvolvida pela sua equipe ? Exerccio n. 07: Desenvolvimento do Plano de Auditoria Este trabalho em grupo tem como objetivo a avaliao do PNLD dentro das tcnicas de auditoria de gesto. A equipe j realizou as etapas de Viso Geral e de Exame Preliminar, desenvolvendo vrios critrios de auditoria e padres de desempenho que devero ser aplicados a uma amostra de escolas para conhecer a realidade do PNLD, alm de estabelecer o instrumental mais adequado para coleta de informaes a nvel de campo. Agora a equipe dever desenvolver um plano de auditoria, utilizando as respostas de todos os exerccios anteriores, de modo a contemplar as seguintes questes: a) quais as reas mais importantes do PNLD que devero ser objeto de uma anlise mais profunda ? b) qual a justificativa para escolha de cada uma das reas selecionadas ? c) como a equipe pretende avaliar cada uma das reas ? c.1) quais os critrios de auditoria desenvolvidos para cada uma das reas ? c.2) quais os padres de desempenho associados a cada critrio de auditoria? c.3) qual o instrumental usado para cada rea selecionada ? d) qual a estimativa de tempo e de custos envolvida ?

86

A Auditoria Realizada pelo Tribunal de Contas da Unio A Auditoria Operacional desenvolvida pela equipe do TCU foi precursora de algumas tcnicas interessantes e possibilitou base tcnica para recomendar diversas modificaes no Programa Nacional do Livro Didtico. A equipe em questo era composta de apenas 4 analistas, nenhum com experincia ou formao acadmica em reas como pedagogia. A necessidade de buscar um retrato da realidade do PNLD nas escolas de todo o pas trouxe como alternativa mais vivel a adoo da tcnica de circularizao de questionrios, complementada por visitas in loco em escolas previamente selecionadas e em algumas Secretarias Estaduais de Educao e Secretarias Municipais de Educao. O universo de escolas associado ao PNLD muito grande (mais de 208.000 escolas), alm de estar espalhado por todos os estados da Federao. Como era impossvel realizar visitas in loco em uma parcela significativa das escolas, optou-se por definir uma amostra de escolas que receberiam os questionrios. As escolas selecionadas deveriam representar a realidade do PNLD em escolas localizadas em capitais de estados e no interior, pois a equipe queria traar um perfil do programa em diversos pontos do pas. A amostra desenvolvida (sem o apoio de um estatstico) foi estruturada da seguinte forma: nas capitais de estado selecionou-se 20 escolas ao acaso e, no interior dos estados, selecionamos todas as escolas existentes naqueles municpios com at 5 escolas. A premissa da equipe era de que uma capital de estado representaria o municpio mais rico e desenvolvido de cada estado, ao passo que aqueles municpios com um nmero reduzido de escolas seriam considerados como sendo os municpios mais pobres. Obviamente essa amostra contm algumas imperfeies, tais como: nem sempre a capital do estado o municpio mais rico (vide Santa Catarina onde a capital, Florianpolis, est atrs de Joinville e Blumenau). Outro aspecto que um nmero reduzido de escolas em um municpio no quer dizer, obrigatoriamente, que aquele municpio seja pobre....so os erros e falhas cobradas do pioneirismo. A amostra contemplou 2.310 escolas. Como no havia um referencial anterior para nortear nosso trabalho, a equipe decidiu que seria importante verificar in loco a realidade do PNLD nas escolas, em primeiro lugar porque havia o temor de que o nvel de resposta fosse baixo, inviabilizando as concluses. Outro aspecto importante era a necessidade de confrontar as respostas dos questionrios com aquelas observaes de campo. Enquanto os questionrios eram encaminhados pelo Correios, a equipe deslocou-se para a Regio Nordeste, que representa 30% do nmero de escolas e de alunos matriculados, alm de contar com nveis de qualidade de vida reconhecidamente baixos.
87

A equipe, dividida em duas duplas, visitou todos os estados do Nordeste, desenvolvendo suas aes junto s escolas, Secretarias Estaduais e Municipais de Educao. Nas visitas, alm de entrevistas com alunos e professora, a equipe buscou verificar as condies fsicas das escolas, o nvel de preparo dos professores, o estoque de livros existentes e a sua efetiva utilizao. Tambm foi objeto de nossas visitas a verificao da merenda escolar pois sabemos hoje que o livro didtico e a merenda caminham lado a lado na tentativa de melhorar as condies de ensino no interior do pas. Aps as visitas in loco na Regio Nordeste, a equipe deslocou-se para So Paulo, maior parque grfico do Brasil, onde visitou as quatro (4) maiores indstrias grficas associadas ao PNLD (Saraiva, FTD, Brasil e Spiccione). Nessas empresas foi possvel verificar a importncia do programa frente ao setor privado, alm de colher diversas ponderaes e sugestes para aperfeioamento do programa. Um outro aspecto relevante associado ao deslocamento da equipe para So Paulo foi a possibilidade de contatar diretamente com o Instituto de Pesquisa Tecnolgica da Universidade de So Paulo (IPT/USP) com o objetivo de verificar se aquela instituio poderia desenvolver testes fsico-qumicos nos livros recebidos pela FAE/MEC, atestando sua compatibilidade com o disposto no contrato celebrado com as editoras. As modificaes recomendadas pelo TCU na sistemtica de operao do PNLD foram as seguintes: a) o programa deve basear sua estratgia de atuao considerando uma vida til do livro didtico de apenas 2 anos; b) o mesmo livro poder ser encomendado pela escola para repor seu estoque inicial; c) o MEC dever firmar convnio com entidade capacitada a realizar testes fsicoqumicos de forma a atestar o padro de qualidade dos livros fabricados e sua consonncia com o disposto no contrato celebrado com as empresas editoras; d) o MEC deveria desenvolver campanha educativa na mdia com o objetivo de conscientizar pais e alunos acerca da importncia de preservar os livros recebidos para serem utilizados por outros alunos; e) a entrega dos livros dever ser feita pela ECT nas Prefeituras Municipais ao invs de entregar os livros diretamente em todas as escolas participantes do programa, reduzindo erros e desvios fraudulentos; A Auditoria Operacional , conforme se verifica, uma ferramenta de anlise bastante poderosa e eficaz, possibilitando, inclusive, a modificao de procedimentos operacionais nas empresas e programas auditados.

88

Bibliografia 1. ABRAMO, Persu. Pesquisa em Cincias Sociais. Um guia para estudantes. Programa de Textos Didticos, UFBA, 1970. 2. BRASIL. Repblica Federativa do. Constituio Federal. Braslia: Centro Grfico do Senado Federal, 1988, 292p. 3. _______ Emenda Constitucional n 19, de 4 de junho de 1998. Braslia: Centro Grfico do Senado Federal, 1998. 4. _______ Lei n 8.443, de 16 de julho de 1992. Braslia: D.O.U., 1996. 5. COOK, John W. & . Winkle, Gary M. Auditoria: filosofia e tcnica. So Paulo: Ed. Saraiva, 1981, 1 ed., 2 tiragem, 451p. 6. FACHIN, Odlia. Fundamentos de Metodologia. So Paulo: Ed. Saraiva, 2001, 3 ed., 200p. 7. ILACIF. Instituto Latinoamericano de Cincias Fiscalizadoras. Auditoria Operacional. Bogot, Ed. Dintel, 1981, 2 ed. 538p. 8. ________ Manual Latinoamericano de Auditoria Profesional en el Sector Publico. Bogot, Ed. Dintel, 1981, 3q ed. 538p. 9. _________ Auditoria Operacional en Israel, Peru y Suecia. Publicacion n 17 - Seminrio Auditoria Operacional en el Sector Publico: Herramienta Dinmica para el Desarrollo. Quito, ILACIF, 1978, 85p. 10. MOTA, Jos Adelino. Auditoria Operacional. Braslia: Boletim UNITEC. Braslia, 1989. 11. ROCHA, Arlindo Carvalho. A Funo da Auditoria Operacional na Avaliao e Controle de Entidades Governamentais. in: Revista do Tribunal de Contas da Unio, n 44, abr/jun de 1990, p. 67/79. Braslia, maro de 1992. 12. TCU. Tribunal de Contas da Unio. Manual de Auditoria do Tribunal de Contas da Unio. In: Boletim do Tribunal de Contas da Unio, n 14, de 06/mar/96, 86 p. Braslia, maro de 1996. 13. _________. Manual de Auditoria de Natureza Operacional. Braslia: TCU, 2000,114p. 14. _________. Secretaria de Controle Externo em Santa Catarina. Relatrio de Auditoria Operacional: A qualidade do atendimento prestado pelo SUS relacionado existncia de fatores especficos verificados no mbito das Prefeituras Municipais. Florianpolis: Mimeografado, agosto de 1997. 15. VILLAS, Marcio Martins. Auditoria Operacional em Entidades Governamentais. Braslia, Mimeografado, 1989, 31p.

89

Anexo 1 Decreto N. 91.542, de 19 de AGOSTO de 1985

Institui o Programa Nacional do Livro Didtico, dispe sobre sua execuo, e d outras providncias. O Presidente da Repblica, usando da atribuio que lhe confere o artigo 81, item III, da Constituio, e Considerando os propsitos de universalizao e melhoria do ensino de 1 Grau, contidos no Programa Educao para Todos; Considerando a necessidade de promover-se a valorizao do magistrio, inclusive mediante a efetiva participao do professor na indicao do livro didtico; Considerando, finalmente, o objetivo de reduzir os gastos da famlia com educao, decreta: Art. 1. Fica institudo o Programa Nacional do Livro Didtico, com a finalidade de distribuir livros escolares aos estudantes matriculados nas escolas pblicas de 1 Grau. Art. 2 O PNLD ser desenvolvido com a participao dos professores do ensino de 1 Grau, mediante anlise e indicao dos ttulos dos livros a serem adotados. 1 A seleo far-se- por escola, srie e componente curricular, devendo atender s peculiaridades regionais a serem adotadas. 2 Os professores procedero a permanentes avaliaes dos livros adotados, de modo a aprimorar o processo de seleo. Art. 3 Constitui requisito para o desenvolvimento do Programa, de que trata esse Decreto a adoo de livros reutilizveis. 1 Para os efeitos deste artigo, dever ser considerada a possibilidade da utilizao dos livros nos anos subseqentes sua distribuio, bem como a qualidade tcnica do material empregado e o seu acabamento. 2 A reutilizao dever permitir a progressiva constituio de bancos de livros didticos, estimulando-se seu uso e conservao. Art. 4. A execuo do PNLD competir ao Ministrio da Educao, atravs da Fundao de Assistncia ao Estudante FAE, que dever atuar em articulao com as Secretarias de Educao dos Estados, Distrito Federal e Territrios, e com rgos municipais de ensino, alm de associaes comunitrias.
90

Pargrafo nico. A execuo prevista neste artigo compreender a seleo final, a aquisio e a distribuio do livro didtico s escolas da rede pblica de ensino de 1 Grau, bem como atividades de acompanhamento e controle do Programa. Art. 5 A Secretaria de Ensino de 1 e 2 Graus SEPS, do Ministrio da Educao, responder pela formulao, superviso e avaliao da poltica do livro didtico. Art. 6 1986. Art. 7 O Ministro de Estado da Educao expedir as normas que se fizerem necessrias execuo deste Decreto. Art. 8 Art. 9 Este Decreto entrar em vigor na data de sua publicao. Revogam-se as disposies em contrrio. O PNLD institudo por este Decreto entrar em vigor no ano letivo de

Jos Sarney Presidente da Repblica Marco Maciel Ministro de Estado da Educao

91

Anexo 2 Ofcio de Apresentao do Questionrio

Senhora Diretora: O Tribunal de Contas da Unio est realizando levantamentos no Programa Nacional do Livro Didtico (PNLD), a nvel nacional, objetivando a adoo de medidas para melhor eficincia e eficcia do Programa, executado pela Fundao de Assistncia ao Estudante (FAE MEC), de forma a suprir as reais necessidades dos alunos. Para a implementao desse trabalho, de fundamental importncia a participao das escolas, como principal interessada. Desta forma, solicitamos a sua valiosa contribuio respondendo o questionrio em anexo, indispensvel para se estabelecer um quadro da real situao do Programa Nacional do Livro Didtico. Esclarecemos que as informaes prestadas pelas escolas sero de uso exclusivo do TCU, na realizao deste trabalho, no sendo permitida a divulgao dos nomes das escolas e/ou de suas diretoras. Solicitamos a V. S. o envio ao Tribunal do questionrio respondido, mesmo que incompleto, com a maior brevidade possvel, utilizando-se do envelope que segue em anexo, com porte pago (no precisa colocar selo), bastando entregar na agncia dos correios de sua cidade.

Atenciosamente,

Pedro Tadeu Oliveira da Silva Coordenador da Equipe de Auditoria do TCU 6 SECEX

92

Anexo 3 Questionrio Encaminhado s Escolas

Questes: 1) Os ttulos dos livros didticos recebidos da FAE em 1991 correspondem aos ttulos solicitados por essa escola? Relao de todas as Sries desde a 1 at a 8 ( ) sim ( ) no

2) A quantidade dos livros didticos recebidos da FAE em 1991 corresponde quantidade solicitada pela escola ? Relao de todas as Sries desde a 1 at a 8 ( ) sim 3) A escola costuma receber os livros didticos vindos da FAE: ( ) antes do incio do ano letivo ( ) aps o incio do ano letivo 4) Os livros didticos da FAE costumam durar, na prtica: ( ) menos de um ano ( ) um ano ( ) dois anos ( ) trs anos ( 5) Aps as aulas do dia, os livros permanecem: ( ) com o aluno ( ) na escola ) mais de trs anos ( ) no

6) Qual a porcentagem de alunos que devolvem o livro didtico aps o encerramento do ano letivo ? ( ) menos de 10 % ( ) entre 10% e 30 % ( ) mais de 75 % ( ) entre 30 % e 50 %

( ) entre 50 % e 75 %

7) A escola adota alguma providncia para recuperar os livros ainda no devolvidos pelos alunos ? ( ) sim ( ) no

Em caso afirmativo, qual a providncia adotada ?

93

8) A escola faz a recuperao dos livros danificados ? ( ) sim, sempre que ocorre algum dano ao livro ( ) sim, ao final do ano letivo em sistema de mutiro ( ) sim, mensalmente ( ) no 9) A escola possui livros didticos em seu estoque ou na biblioteca ? afirmativo, qual a quantidade aproximada de livros ? Em caso

10) H alguma resistncia por parte dos alunos em receber livros j usados anteriormente ? ( ) no ( ) sim, mas os alunos acabam utilizando o livro ( ) sim, e os alunos se recusam a usar o livro 11) J ocorreu algum caso de rejeio, por parte de professores, em usar um livro escolhido por outro professor ? ( ) sim ( ) no

12) Os professores tiveram acesso prvio aos livros que escolheram ? ( ) sim ( ) no

13) A escola encontra dificuldades em preencher o formulrio da FAE ? ( ) sim ( ) no

94