Red de Revistas Cientficas de Amrica Latina, el Caribe, Espaa y Portugal

Sistema de Informacin Cientfica

Sano, Hironobu; Frana Montenegro Filho, Mrio Jorge As Tcnicas de Avaliao da Eficincia, Eficcia e Efetividade na Gesto Pblica e sua Relevncia para o Desenvolvimento Social e das Aes Pblicas Desenvolvimento em Questo, vol. 11, nm. 22, enero-abril, 2013, pp. 35-61 Universidade Regional do Noroeste do Estado do Rio Grande do Sul Iju, Brasil
Disponvel em: http://www.redalyc.org/articulo.oa?id=75225787003

Desenvolvimento em Questo, ISSN (Verso eletrnica): 2237-6453 davidbasso@unijui.edu.br Universidade Regional do Noroeste do Estado do Rio Grande do Sul Brasil

Como citar este artigo

Nmero completo

Mais informaes do artigo

Site da revista

www.redalyc.org
Projeto acadmico no lucrativo, desenvolvido pela iniciativa Acesso Aberto

ARTIGO

As Tcnicas de Avaliao da Ecincia, Eccia e Efetividade na Gesto Pblica e sua Relevncia para o Desenvolvimento Social e das Aes Pblicas
Hironobu Sano1 Mrio Jorge Frana Montenegro Filho2

Resumo
A necessidade crucial de mais eficincia, eficcia e efetividade (3Es) das aes governamentais est intrinsecamente relacionada questo do desenvolvimento, pois suas possibilidades so, muitas vezes, cerceadas devido aos limites que surgem quando os atores envolvidos na gesto pblica no esto comprometidos com estes conceitos, resultando em impactos negativos na vida de todos os cidados. Da a demanda por uma avaliao sistemtica, contnua e eficaz que esbarra na falta de clareza quanto a indicadores de desempenho no setor pblico. Assim, o presente artigo tem por objetivo apresentar sete propostas de utilizao dos citados indicadores (3Es) na gesto pblica, visando o desenvolvimento das polticas sociais. As principais concluses deste estudo so sobre a relevncia dos conceitos apresentados (3Es) para o desenvolvimento social, a importncia da comparao de desempenhos, a necessidade de adoo de mais de um mtodo que seja eficiente, eficaz e efetivo e o carecimento de convencer e capacitar os envolvidos.

Palavras-chave: Avaliao. Polticas pblicas. Eficincia. Eficcia. Efetividade.

Doutor em Administrao Pblica e governo pela Fundao Getlio Vargas/SP.

hiro.sano@gmail.com
2

Mestrando do Programa de Ps-Graduao em Administrao (PPGA) da Universidade

Federal do Rio Grande do Norte (UFRN). mario@cidadania.org.br

DESENVOLVIMENTO EM QUESTO Editora Uniju ano 11 n. 22 jan./abr. 2013

p. 35-61

THE EVALUATION TECHNIqUES OF EFFICIENCY, EFFICACY ANd EFFECTIVENESS IN pUBLIC MANAGEMENT ANd ITS RELEVANCE FOR THE SOCIAL dEVELOpMENT ANd pUBLIC ACTION
Abstract
The crucial need for more effectiveness, efficiency and efficacy (3Es) of the governmental actions is inextricably related to development, because its chances are often curtailed when the actors involved in public administration are not committed to 3Es concepts, resulting in limitations and negative impacts on all citizens lives. Hence, the demand for a systematic, continuous and effective evaluation that is hindered by a lack of clarity on performance indicators in the public sector. Thus, this paper presents seven proposals of 3Es indicators use in public administration to develop social policies. The main conclusions of this study are: a) the relevance of the concepts presented (3Es) for social development; b) the importance of perform evaluation benchmarking; c) the need to adopt more than one efficient, effective and efficacious method and d) convince and empower those involved.

Keywords: Evaluation. Public policy. Efficiency. Effectiveness. Efficacy.

As Tcnicas de Avaliao da Eficincia, Eficcia e Efetividade na Gesto Pblica e sua Relevncia para o Desenvolvimento Social e das Aes Pblicas

A necessidade crucial de mais eficincia, eficcia e efetividade (3Es) das aes governamentais est intrinsecamente relacionada questo do desenvolvimento social, pois suas possibilidades so, muitas vezes, cerceadas, devido aos limites que surgem quando os atores envolvidos na gesto pblica no esto comprometidos com estes conceitos, resultando em impactos negativos na vida de todos os cidados. Da a demanda por uma avaliao sistemtica, contnua e eficaz que esbarra na falta de clareza quanto a indicadores de desempenho no setor pblico. Surge, ento, um dilema sobre qual deve ser o foco e qual metodologia utilizar, problema que persiste apesar dos diversos estudos e discusses. Este aspecto destacado por vrios autores, entre eles Costa e Castanhar (2003), ao referirem-se ao emaranhado conceitual que ainda prevalece. Devido diversidade de indicadores de resultados, sero abordados aqueles relacionados aos trs principais critrios de desempenho: 3Es. Sua relevncia destacada por vrios autores, dentre eles Antico e Jannuzzi ([2006?], p. 19), ao afirmarem que a avaliao de um programa pblico requer indicadores que possam dimensionar o grau de cumprimento dos objetivos dos mesmos (eficcia), o nvel de utilizao de recursos frente aos custos em disponibiliz-los (eficincia) e a efetividade social. Tambm observvel que a maior parte dos dez desafios para uma reinveno da gesto pblica, destacados por Marini (2008), est implicitamente relacionada com os conceitos dos 3Es, sendo quatro explicitamente: o da contratualizao de resultados, o da melhoria da eficincia operacional, o da reinveno do controle e o do comprometimento das pessoas. Diante do exposto, o presente artigo tem por objetivo apresentar propostas de utilizao dos 3Es na gesto pblica. Considerando que o assunto tratado bastante vasto e dinmico, a pretenso deste texto contribuir para a melhoria da gesto pblica, apresentando mais detalhadamente apenas uma dentre as vrias propostas pesquisadas, das quais seis so sumariamente apresentadas, destacando alguns importantes conceitos relacionados temtica. Assim, no campo das iniciativas ser abordada a
Desenvolvimento em Questo

37

Hironobu Sano Mrio Jorge Frana Montenegro Filho

adaptao do Balanced Scorecard, metodologia de medio e avaliao do desempenho empresarial para a rea pblica proposta por Ghelman (2006), o Quadro Lgico apresentado por Pfeiffer (2006), a construo de um sistema de indicadores introduzido por Jannuzzi e Patarra (2006), os indicadores de eficincia para rgos pblicos propostos por Garcia (2008), as auditorias de desempenho realizadas pelos Tribunais de Contas estudadas por Oliveira (2008), o modelo de gesto orientada para resultados de Minas Gerais estudado por Lemos (2009) e a Transparncia Oramentria Municipal via Internet sugerida por Pires (2010). A importncia deste artigo observvel em constataes como a de Frey (2000, p. 229), ao afirmar que a fase da avaliao imprescindvel para o desenvolvimento e a adaptao contnua das formas e instrumentos de ao pblica. Alm de ser respaldada por pesquisas como a de Ghelman (2006), ao concluir que, apesar de a questo da eficincia fazer parte do discurso de melhora da gesto pblica, sendo inclusive um princpio constitucional que rege a administrao pblica, a quase totalidade das organizaes pesquisadas no possuam indicadores que tratassem desta questo. O artigo divide-se em quatro partes. Inicia abordando a avaliao focada nos 3Es, como primeiro tpico do referencial terico utilizado. A segunda parte contm uma breve apresentao de alguns conceitos relevantes sobre indicadores, como suas propriedades, tcnicas, crticas, relevncia e desafios. A terceira parte est subdividida em dois tpicos, sendo no primeiro exemplificadas, resumidamente, em razo das limitaes de tamanho do artigo, seis propostas de utilizao dos indicadores de desempenho (3Es) na gesto pblica, enquanto no segundo tpico foi analisada uma stima proposta, com mais profundidade que as anteriores, por ser a mais abrangente dentre as pesquisadas. Por fim, conclui-se sobre a relevncia dos conceitos apresentados para o desenvolvimento social, a importncia da comparao de desempenhos, a necessidade de adoo de mais de um mtodo que sejam eficientes, eficazes e efetivos, e o carecimento de convencer e capacitar os envolvidos alm de sugerir futuros trabalhos. 38
Ano 11 n. 22 jan./abr. 2013

As Tcnicas de Avaliao da Eficincia, Eficcia e Efetividade na Gesto Pblica e sua Relevncia para o Desenvolvimento Social e das Aes Pblicas

Avaliao: Ecincia, Eccia e Efetividade (3Es)

A temtica da avaliao bastante ampla, da a necessidade de delimitao dos principais critrios que se deseja estudar diante dos infindveis questionamentos que podem ser elaborados na etapa de avaliao. Optou-se, assim, pelos trs mais tradicionais, usados e fundamentais: os 3Es, segundo autores como Carvalho (2001) e Harmon e Mayer (1999) ao versarem sobre a eficincia e eficcia na administrao pblica. Sua relevncia tambm pode ser observada quando Sulbrandt (1993) agrupa as experincias avaliativas de programas em trs metodologias bsicas: a) avaliao de metas (eficcia); b) avaliao de impacto (efetividade); e c) avaliao do processo (eficincia). Por seu turno, Jannuzzi e Patarra (2006) destacam a importncia do monitoramento dos programas segundo o raciocnio insumo-processo-resultadoimpacto, que pode ser realizado com os 3Es, conforme ilustrado na Figura a seguir, inclusive para os insumos envolvidos, avaliando sua influncia em cada uma das trs etapas: Figura 1 Fluxograma da avaliao

Fonte: Elaborado pelos autores, 2012.

A Lei n 11.653/2008 corrobora as perspectivas anteriormente apresentadas ao estabelecer que a gesto do Plano Plurianual de 2008 a 2011 observar os princpios de eficincia, eficcia e efetividade na avaliao dos seus programas (Brasil, 2008). Diante das vrias definies existentes dos 3Es, algumas delas inclusive contraditrias entre si, faz-se necessrio explicitar que os conceitos adotados neste artigo so os de Washington Souza (2008), nos quais a efetividade percebida mediante a avaliao das transformaes ocorridas a partir da ao; a eficcia resulta da relao entre metas alcanadas versus metas pretendidas e a eficincia significa fazer mais com menos recursos.
Desenvolvimento em Questo

39

Hironobu Sano Mrio Jorge Frana Montenegro Filho

Estas definies esto alinhadas a vrias outras largamente utilizadas, entre elas as do manual Guide for monitoring and evaluation do Unicef, apresentadas no texto de Costa e Castanhar (2003), e do Tribunal de Contas da Unio (TCU), presentes no texto de Ghelman (2006). Vale ressaltar que a efetividade est relacionada ao impacto social que procura identificar os efeitos produzidos sobre uma populao-alvo de um programa social. Por seu turno, avaliar o impacto social mensurar o real valor de um investimento social. O que torna sua avaliao indispensvel o fato de que, caso o impacto social no seja o esperado, poder-se- replanejar a atuao (Fontes, 2005). A principal dificuldade, porm, garantir a vinculao entre as aes do programa e as mudanas percebidas. A eficcia, por sua vez, propicia que as instituies avaliadas respondam s presses por transparncia, demonstrando que resultados esto sendo alcanados. A mensurao da eficincia de uma ao social pode ser realizada de vrias formas e a falta de parametrizao gera diversas dvidas sobre quais aes so mais eficientes. A eficincia tambm no pode ser avaliada olhandose apenas para os aspectos internos da organizao, devendo-se voltar para a globalidade das demais organizaes (Arajo et al., 2008). Ou seja, no se deve apenas avaliar se houve desperdcios ou desvios dos recursos, mas tambm comparar a eficincia alcanada com a de outras organizaes que podem vir a se tornar benchmarkers. Segundo Marinho e Faanha (2001, p. 6), avaliao pressupe comparao. Vale destacar, ainda, que a busca pela eficincia implica uma melhor utilizao dos recursos, resultando no combate corrupo. Com relao ao aspecto histrico da eficincia, sua presena observada tanto no surgimento da teoria da administrao quanto na teoria da administrao pblica. , importante lembrar, todavia, que a sua busca, imbuda numa cultura racional burocrtica, desvinculada de interferncias morais, resultou no genocdio dos judeus e dos ciganos em Auschwitz, smbolo, poca da 2 Guerra, da modernidade e cientificamente organizada, que se utilizava das tcnicas mais eficazes (Lwy, 2011). 40
Ano 11 n. 22 jan./abr. 2013

As Tcnicas de Avaliao da Eficincia, Eficcia e Efetividade na Gesto Pblica e sua Relevncia para o Desenvolvimento Social e das Aes Pblicas

Tambm se entende pertinente situar os 3Es nas trs fases de um processo avaliativo: a que antecede o incio do projeto (ex-ante), estando vinculada s clssicas etapas de diagnstico e formulao do programa social; a que ocorre durante a etapa de constituio (pari-pasu) e a que se sucede ao (ex-post), na etapa de avaliao propriamente dita (Jannuzzi, 2005). Estas relaes so sintetizadas no Quadro a seguir. Quadro 1 Os 3Es nas trs fases da avaliao Indicador Eficincia FASE Ex-ante Estimativa baseada em iniciativas comparveis. Pouco utilizada. Pari-pasu Comparao entre o que foi previsto e o que se est realizando. Utilizada principalmente no controle oramentrio. Acompanhamento da realizao das metas propostas. Avaliaes parciais ao trmino das etapas de um programa. Ex-post Comparao com iniciativas similares ou com o planejado. Mais utilizada.

Eficcia

Baseada em iniciativas comparveis. Pouco utilizada.

Verificao se as metas propostas foram atingidas. Vinculao das mudanas, caso tenham ocorrido as aes empreendidas. Mais utilizada e recomendada.

Efetividade Expectativa baseada em iniciativas similares. Pouco utilizada.

Fonte: Elaborado pelos autores, 2012.

Finalmente, preciso destacar que a avaliao sistemtica, contnua e eficaz uma ferramenta gerencial poderosa, fornecendo aos formuladores e gestores de polticas pblicas condies para aumentar a eficincia e efetividade dos recursos aplicados. Faz-se necessrio, portanto, o desenvolvimento de um conjunto harmnico e sistemtico de indicadores que abranjam os 3Es e suas inter-relaes, tema a ser tratado no prximo tpico.
Desenvolvimento em Questo

41

Hironobu Sano Mrio Jorge Frana Montenegro Filho

Indicadores
Lemos (2009) afirma haver um consenso de que todo monitoramento e avaliao baseiam-se em indicadores que auxiliam nas tomadas de deciso, permitindo um melhor desempenho, a formulao de um oramento mais racional e uma prestao de contas mais clara e objetiva. Costa e Castanhar (2003, p. 987) indicam que:
O grande desafio para a disseminao da prtica da avaliao de projetos no setor pblico , sem dvida, encontrar formas prticas de mensurar o desempenho e fornecer ao responsvel pela gesto dos programas sociais, bem como para os demais atores envolvidos, informaes teis para a avaliao sobre os efeitos de tais programas, necessidade de correes, ou mesmo da inviabilidade do programa.

O desafio em questo esbarra na falta de consenso a respeito da definio de indicadores sociais. Situao diferente a do setor privado, em que seus indicadores j so consagrados, sendo, muitos deles, inclusive, internacionalmente utilizados. Ocorre o mesmo em outros setores menos preocupados com as questes sociais e mais focados em suas respectivas especialidades e indicadores. Por exemplo, o setor econmico elege o Produto Interno Bruto (PIB) como um indicador da gerao de riqueza, ao passo que o setor agrcola toma como parmetro de produtividade as toneladas de gros por safra, enquanto o judicirio baseia-se no nmero de processos por juiz para alocar seus recursos, entre outros. Tentar-se- contribuir para a superao deste desafio, destacando algumas informaes relevantes sobre indicadores para polticas pblicas. Para um maior aprofundamento, porm, faz-se necessria a consulta aos artigos citados. Antico e Jannuzzi (2006) detalham em seu artigo os tipos, propriedades e fontes de indicadores para cada uma das quatro etapas (diagnstico, formulao, instituio e avaliao) do ciclo de avaliao de polticas pblicas. Alertam, tambm, sobre os bolses de iniquidades escondidos pelos indicadores que refletem as mdias municipais. Alm disso, demonstram as 42
Ano 11 n. 22 jan./abr. 2013

As Tcnicas de Avaliao da Eficincia, Eficcia e Efetividade na Gesto Pblica e sua Relevncia para o Desenvolvimento Social e das Aes Pblicas

etapas de construo de indicadores multicritrios, que podem ser utilizados para programas intersetoriais. Exemplificam, igualmente, um Painel de Indicadores de Monitoramento, considerado como uma ferramenta pragmtica. Por fim, escrevem brevemente (dois pargrafos) sobre a Anlise Envoltria de Dados (DEA), sendo necessria a leitura complementar de obras especficas para sua utilizao. Sobre a efetividade, sugerem o emprego de indicadores de diferentes naturezas e propriedades, na tentativa de captar as mudanas ocorridas, alertando para a necessidade de avaliaes qualitativas e da lentido do impacto, quando o marco zero no trgico ou os recursos no so expressivos. J Costa e Castanhar (2003) apresentam no seu texto informaes importantes para a elaborao de um sistema de avaliao, inclusive exemplificando-o. Por seu turno, Guimares e Jannuzzi (2005) advertem, em sua anlise crtica, sobre os problemas decorrentes do emprego de indicadores sintticos (mdia de vrios indicadores simples). Eles afirmam que, por mais abrangentes que esses indicadores tentem ser, alguns inclusive compostos por 38 indicadores simples, como o ndice de Qualidade de Vida Urbana (IQVU),3 no devem ser interpretados como um reflexo fiel e absoluto da realidade.

Mtodos de avaliao de desempenho na gesto pblica: os 3Es como indicadores

Exemplicando seis diferentes propostas
Por serem apresentados de forma bastante resumida, com objetivos meramente exemplificativos, torna-se indispensvel a leitura dos seis textos a seguir referenciados para o seu pleno entendimento.

Mais informaes sobre o IQVU disponveis em: <http://portalpbh.pbh.gov.br/pbh/ecp/

comunidade.do?evento=portlet&pIdPlc=ecpTaxonomiaMenuPortal&app=planejamento &tax=17975&lang=pt_BR&pg=6901&taxp=0&>.

Desenvolvimento em Questo

43

Hironobu Sano Mrio Jorge Frana Montenegro Filho

1) Balanced Scorecard
Pelo j comentado fato do setor privado possuir mais ferramentas, conhecimentos e histrico na utilizao de indicadores, muitos estudiosos tentam adaptar ferramentas empresariais s necessidades pblicas. parte as crticas sobre estas adaptaes, Ghelman (2006) tambm apresenta um modelo adaptado do Balanced Scorecard aos preceitos de uma nova gesto pblica moderna e focada nos resultados, preservando, segundo o autor, as especificidades da rea pblica. Dentre as adaptaes, o autor conclui pela necessidade das medidas de desempenho nas dimenses da: a) eficincia, visando otimizao dos recursos dos contribuintes; b) eficcia, por meio da melhoria da qualidade dos servios; e c) efetividade, buscando orientar as aes pblicas para o atendimento ao cidado. Assim, facilmente observvel o uso de todos os 3Es, alm da preocupao com o monitoramento sistemtico dos resultados. O autor tambm justifica a utilizao conjunta dos 3Es ao afirmar que a busca isolada pela eficincia, reduzindo custos e/ou aumentando a produtividade, pode comprometer a qualidade do servio. Mesmo ofertando um servio com eficincia e eficcia no h garantias do alcance da efetividade com a conquista da transformao desejada, citando inclusive exemplos. Sobre a efetividade, o autor tambm conclui que, ao consider-la como um dos aspectos medidos pelo modelo proposto, permite-se um aumento do controle social decorrente da possibilidade de avaliao do desempenho organizacional. Para que o cidado seja um indutor da melhoria da qualidade do servio pblico, porm, faz-se necessria a disponibilizao destas informaes de forma fcil e inteligvel, caso contrrio sua participao ser cerceada. Partindo da premissa de que o Estado fator fundamental para o desenvolvimento, o autor estabelece a contribuio do seu modelo a partir do aperfeioamento dos instrumentos de gesto. So feitas, contudo, algumas ressalvas, como o fato de este modelo no poder ser aplicado diretamente em 44
Ano 11 n. 22 jan./abr. 2013

As Tcnicas de Avaliao da Eficincia, Eficcia e Efetividade na Gesto Pblica e sua Relevncia para o Desenvolvimento Social e das Aes Pblicas

todos os rgos pblicos, mas apenas naqueles que possuem um planejamento estratgico estruturado e uma forte cultura de medio do desempenho organizacional. Vale frisar que o modelo desconsidera as especificidades de cada rgo pblico e, por isso, deve ser adaptado s especificidades de cada instituio.

2) Quadro Lgico
Pfeiffer (2006) apresenta a metodologia do Quadro Lgico (QL) criada para demonstrar a efetividade dos projetos de cooperao internacional, ou seja, ao contrrio da anteriormente apresentada na proposta anterior, ela no possui elementos da lgica empresarial. Sua matriz fornece respostas a questes intimamente associadas aos 3Es, tais como: Qual o seu propsito e quais as mudanas a serem alcanadas? Como se pretende produzir melhorias? Como possvel identificar o alcance das melhorias e mudanas? Logo, no se pode negar que o desafio na elaborao de um QL selecionar e combinar, adequadamente, os processos que sero capazes de gerar os resultados desejados de forma eficiente. Esta relao pode ser visualizada na Figura 2. Figura 2 Eficincia e efetividade no QL

Fonte: Pfeiffer, 2006.

Desenvolvimento em Questo

45

Hironobu Sano Mrio Jorge Frana Montenegro Filho

Assim, define-se o xito do projeto j na fase do seu planejamento, suprindo a falta de clareza e unanimidade da literatura especializada sobre como defini-lo. O QL tambm permite um acompanhamento sistemtico e uma avaliao mais simples e objetiva, ao relacionar cada resultado e objetivo a um indicador vinculado a uma fonte de comprovao, conforme ilustrado a seguir. Figura 3 Estrutura do QL

Fonte: Pfeiffer, 2006.

Sendo o QL apenas um instrumento de gerncia de projetos, faz-se necessria, para sua eficcia, sua integrao num sistema mais amplo de gerenciamento, adaptando-o s especificidades de cada projeto. Constatase, ainda, ser ele um mapa que orienta as equipes e os gerentes, alm de tambm apresentar-se como um acordo entre os interessados sobre os rumos do projeto e os compromissos assumidos. Ressalte-se que, por no ser de fcil domnio, recomendvel a utilizao de especialistas ou a capacitao terica e prtica para seu emprego, tendo em vista que ele evolui na mesma proporo da concretizao dos projetos.

3) Entidades de Fiscalizao
Oliveira (2008) destaca que as Entidades de Fiscalizao Superior, como os Tribunais de Contas, esto sendo cada vez mais demandadas para realizar trabalhos qualitativos, abrangendo os 3Es. Estas auditorias so de46
Ano 11 n. 22 jan./abr. 2013

As Tcnicas de Avaliao da Eficincia, Eficcia e Efetividade na Gesto Pblica e sua Relevncia para o Desenvolvimento Social e das Aes Pblicas

nominadas operacionais ou de desempenho e buscam avaliar as organizaes pblicas em aspectos como eficincia, economicidade, eficcia e efetividade. O referido autor apresenta o impacto da incluso das auditorias de efetividade no rol das tradicionais atribuies destes tribunais em verificar a regularidade das contas pblicas, focando os aspectos legais, oramentrios, contbeis, financeiros e patrimoniais, realizadas via auditoria de conformidade. Os principais seriam a necessidade de diversificao dos seus profissionais, juntamente com novas rotinas, e sem esquecer o aspecto poltico, uma vez que os resultados podem suscitar questionamentos de natureza poltica. O trabalho apresenta os tipos de auditorias de desempenho, dentre as quais constam a de eficincia e a de efetividade de programas, j praticadas em pases como Austrlia, Frana, Alemanha, Holanda, Sucia, Reino Unido e Estados Unidos. A primeira tem por objetivo examinar as funes organizacionais, os processos e os elementos de um programa para avaliar se os seus insumos esto sendo otimizados, focando principalmente os custos. Ela no implica reformulao radical da misso, do papel e da estratgia dos rgos de auditoria, alm do fato da eficincia ser considerada um valor fundamental por unanimidade (Oliveira, 2008, p. 40). J a de efetividade examina o impacto do programa, e sua realizao afetaria o papel, a estratgia e a misso, que se tornaria mais ampla e abstrata, das entidades de fiscalizao. Estas mudanas ocorreriam pelo fato de esta modalidade ser mais complexa, no tendo um modelo rgido e padronizado como as auditorias de conformidade, exigindo, assim, um amplo domnio de conhecimentos multidisciplinares. No se pode deixar de observar que, por mais significativos que sejam os achados identificados durante uma auditoria operacional, as recomendaes para melhoria do desempenho da organizao auditada no sero completamente institudas, caso esta no disponha de recursos suficientes para o atendimento das sugestes realizadas. Como se pode ver, a capacidade contributiva das recomendaes para a melhoria da gesto pblica pode ser limitada pela ausncia de diversos recursos, tais como humanos, financeiros,
Desenvolvimento em Questo

47

Hironobu Sano Mrio Jorge Frana Montenegro Filho

polticos ou tcnicos. Sobre este ltimo, e diante da constatao do autor a respeito da necessidade de emprego de modelos analticos na etapa de planejamento das auditorias, artigos como o presente buscam contribuir para a formao de um referencial terico acessvel.

4) Planilhas
Garcia (2008) prope a adoo de duas planilhas para avaliao da eficincia na gesto pblica. A apresentada na Figura 4 possui nove indicadores relacionados gesto oramentria, financeira e patrimonial, aos processos de aquisio, ao ndice de inovao, a iniciativas sociais e aos servios prestados. Sendo o alcance a tais informaes restrito, seu preenchimento s poderia ser realizado por algum com amplo acesso, como o gestor do rgo. Figura 4 Planilha para avaliao da eficincia na gesto

Fonte: Garcia, 2008.

48

Ano 11 n. 22 jan./abr. 2013

As Tcnicas de Avaliao da Eficincia, Eficcia e Efetividade na Gesto Pblica e sua Relevncia para o Desenvolvimento Social e das Aes Pblicas

A segunda planilha, apresentada na Figura 5, empregada para gerar o indicador Servios Prestados presente na primeira. Ela deve ser preenchida pelos cidados, usurios ou beneficirios dos servios prestados pelo rgo pblico. composta por 32 indicadores relacionados a servios pela Internet, ao atendimento prestado, s instalaes, ao processo de solicitao do servio, resoluo do problema e ao ps-atendimento. Figura 5 Planilha para avaliao da eficincia nos servios prestados

Fonte: Garcia, 2008.

Desenvolvimento em Questo

49

Hironobu Sano Mrio Jorge Frana Montenegro Filho

O autor peca ao no explicitar como os indicadores propostos so elaborados e ao no distinguir outros conceitos relacionados a eles, tais como eficcia, efetividade e qualidade. Logo, vrios indicadores referem-se mais ao grau de qualidade da prestao do servio da entidade do que propriamente a sua eficincia (quantidade de servio x recursos).

5) Estado para Resultados

O trabalho de Lemos (2009) investiga se o modelo de gesto do Estado de Minas Gerais, conduzido pelo programa Estado para Resultados, orientado para resultados, nos moldes do modelo de gesto desenvolvido pelo Banco Interamericano de Desenvolvimento (BID) juntamente com o Centro Latino-Americano de Administrao para o Desenvolvimento (Clad). A autora concluiu que a gesto estadual passou a ser orientada para resultados, caracterizando-se por uma cultura e um instrumental de gesto orientados a melhorar a eficcia, eficincia, produtividade e efetividade no uso dos recursos do Estado para melhorar os resultados de desempenho das organizaes e dos servidores pblicos (p. 34). Com isso, a estratgia adotada permitiria a reformulao da gesto estadual, com novos valores e princpios, obtendo, no longo prazo, uma nova cultura comportamental do setor pblico mineiro, voltado para o desenvolvimento da sociedade com critrios objetivos para se medir o desempenho dos resultados das aes governamentais (p. 47). Ao introduzir a problemtica do seu estudo, a autora aponta como tendncia uma gesto pblica, provedora de servios, orientada para o alcance de resultados de desenvolvimento, sendo o seu garantidor, alm de comentar que nas ltimas dcadas o Estado vem desempenhando um papel-chave na criao de condies para o bem-estar social. Posteriormente, cita a disciplina administrao para o desenvolvimento, surgida na dcada de 60, com a finalidade de gerar uma administrao mais eficiente, efetiva e eficaz, capaz de criar os meios administrativos necessrios para o desenvolvimento poltico, econmico e social. Ademais, afirma que, para a instituio de uma 50
Ano 11 n. 22 jan./abr. 2013

As Tcnicas de Avaliao da Eficincia, Eficcia e Efetividade na Gesto Pblica e sua Relevncia para o Desenvolvimento Social e das Aes Pblicas

nova administrao para o desenvolvimento, faz-se necessrio o estabelecimento de relaes claras entre os resultados das polticas e seus indicadores de eficcia e efetividade. A concepo de estratgias efetivas, que resultem em desenvolvimento, tambm tida como central na governana da Nova Gesto Pblica.4 Por fim, a autora afirma ser fundamental, neste modelo de gesto, o fornecimento de informaes significativas e em tempo real sociedade sobre o desempenho do setor pblico, aspecto este que ser tratado na anlise seguinte.

6) TOM Web
Pires (2010) prope a adoo da Transparncia Oramentria Municipal via Internet (TOM Web), que consiste na prestao de contas (accountability) pela Internet, disponibilizando em tempo real informaes pormenorizadas sobre sua execuo oramentria e financeira. Seu foco so os municpios, tendo em vista que os Estados e principalmente o governo federal j adotam ferramentas similares. O autor defende que a transparncia possibilitada por essa ferramenta um pr-requisito da eficincia nas novas formas de governar. Ele introduz sua Monografia manifestando a expectativa de que, com a adoo do modelo proposto, haver mais transparncia nos municpios brasileiros devido reduo das assimetrias informacionais entre governantes e governados, ampliando assim as oportunidades para que a cidadania se constitua numa alavanca para governos locais mais eficientes, efetivos, eficazes e responsivos, necessrios ao desenvolvimento socioeconmico e reduo das desigualdades no pas (Pires, p. 4).

Originou-se das mudanas ocorridas nas administraes pblicas de pases como a Inglaterra,

em 1976. Focada em resultados, busca aumentar a eficincia, a eficcia e a efetividade das aes pblicas.

Desenvolvimento em Questo

51

Hironobu Sano Mrio Jorge Frana Montenegro Filho

O TOM Web definido como um modo de gerir a arrecadao e sua destinao, prestando contas, por meio de relatrios peridicos, via websites, deixando claros prazos, decises, resultados e riscos, nas fases de planejamento, aprovao, execuo e avaliao. Esta modalidade respaldada pela Lei Complementar 131/09, que cria a obrigatoriedade de publicao das contas pblicas em tempo real, via Internet, para todos os entes da federao, com prazo at 2013 para os municpios de at 50.000 habitantes. Operacionalmente, o TOM Web seria um link no site de cada prefeitura, contendo documentos, informaes e dados relevantes sobre o planejamento oramentrio, a sua execuo e as compras pblicas. O aprofundamento do contedo das informaes dar-se-ia de acordo com a profundidade da navegao empreendida pelo usurio, podendo manter-se superficial, atendendo assim tanto a demanda de especialistas quanto de leigos. O seu contedo deve ser consistente, completo e organizado, apresentando documentos integrais e tecnicamente bem-elaborados, regularmente atualizados e que oferea condies de acesso fcil para qualquer usurio. O autor relaciona os documentos considerados por ele bsicos e necessrios como ponto de partida para elaborao do contedo e sugere que sejam disponibilizados canais de comunicao e materiais didticos, como glossrios e textos de fcil compreenso.

Anlise da avaliao de programas sociais

O texto Indicadores para Diagnstico, Monitoramento e Avaliao de Programas Sociais no Brasil, de Jannuzzi e Patarra (2006), foi escolhido como o principal objeto de estudo, entre todos os pesquisados, pela sua clareza na apresentao das ideias, facilidade de leitura e por abranger os mais relevantes conceitos relacionados temtica pesquisada. 52
Ano 11 n. 22 jan./abr. 2013

As Tcnicas de Avaliao da Eficincia, Eficcia e Efetividade na Gesto Pblica e sua Relevncia para o Desenvolvimento Social e das Aes Pblicas

Os autores manualizaram as informaes e conceitos fundamentais para a avaliao de programas sociais, a seguir descritos, como o processo de construo de um sistema de indicadores, os quadros de avaliao da aderncia dos indicadores s propriedades desejveis e a taxonomia dos indicadores. Tambm destacam que os indicadores permitem a operacionalizao de conceitos abstratos, possibilitando, assim, seu monitoramento e aprofundamento da investigao acadmica, inclusive alertando para os casos de indicadores que adquirem o status de conceito e para as desvantagens e vantagens na utilizao de indicadores sintticos. Mostram quais indicadores, e suas respectivas propriedades e fontes, so requeridos em cada uma das quatro etapas do ciclo de formulao e avaliao de programas sociais. Discorrem sobre a necessidade de combinao de indicadores em programas intersetoriais devido aos vrios objetivos envolvidos e possibilidade de utilizao da anlise multicritrio. Ensinam que o processo de construo de um sistema de indicadores sociais inicia-se com a determinao do objetivo do programa. A seguir, delineiam-se quais aes sero necessrias a sua realizao. Posteriormente, escolhem-se dados e estatsticas que possam acompanhar cada uma das aes, informando a eficincia no uso dos recursos, a eficcia no cumprimento das metas e a efetividade das mudanas. Defendem que a escolha dos indicadores deve ser pautada pela adeso s propriedades desejadas (os autores sugerem 12). Por fim, concluem ser necessrio, na etapa de formulao dos programas, prever a organizao de procedimentos de coleta e tratamento de informaes especficas e confiveis em todas as fases do ciclo de implementao, que possam permitir a construo dos indicadores de monitoramento desejados (Januzzi; Patarra, 2006, p. 52). Assim, o importante que a escolha dos indicadores baseie-se em uma avaliao crtica das suas propriedades e no se paute simplesmente pela tradio de uso. Os indicadores devem ser especficos e sensveis. Deve-se
Desenvolvimento em Questo

53

Hironobu Sano Mrio Jorge Frana Montenegro Filho

buscar avaliar os impactos sobre os determinados grupos da populao por meio de indicadores subjetivos, empregando-se estratgias metodolgicas avaliativas de natureza qualitativa. Sobre a eficincia, os autores sugerem analis-la a partir dos recursos alocados utilizando a tcnica da Anlise Envoltria de Dados (DEA). Derivada dos mtodos de pesquisa operacional, a DEA permitiria a identificao das unidades de operao mais eficientes. Considerando as condies estruturais de operao, ela leva em conta como os recursos, expressos pelos indicadores de insumo, so usados para gerar os resultados finais, representados por indicadores de resultado como a eficcia e efetividade. Acerca da eficcia, os citados autores destacam sua vinculao aos objetivos finais dos programas pblicos, sendo expressa pela categoria de indicadores-resultado, requeridos na ltima etapa do ciclo, que se inicia com o diagnstico, passa pela formulao e efetivao, findando com a avaliao. Ressaltam que suas propriedades permitem a identificao de boas prticas e dficits sociais e que as pesquisas amostrais e os registros administrativos so sua fonte de dados predominante. Por fim, relativamente efetividade, destacada a dificuldade de vinculao da poltica pblica mudana ocorrida. Por isso, o grande desafio relacionado a este indicador reside na obteno de dados vlidos que informem o alcance dos resultados e seu impacto social. Da ser desejvel a opinio da populao atendida pelo programa, por fornecer indcios da efetividade social. Alm disso, advertem ser questionvel a utilizao de indicadores sintticos na avaliao da efetividade social, posto que, por combinarem vrias medidas, no possvel vincular uma transformao especfica como efeito direto de um determinado programa. Visando a facilitar a compreenso pelos leitores do contedo exposto, elaborou-se o seguinte quadro comparativo com breves comentrios acerca dos modelos apresentados: 54
Ano 11 n. 22 jan./abr. 2013

As Tcnicas de Avaliao da Eficincia, Eficcia e Efetividade na Gesto Pblica e sua Relevncia para o Desenvolvimento Social e das Aes Pblicas

Quadro 2 Comparativo entre os modelos

Modelo Vantagens Desvantagens Dificuldade de vinculao da poltica pblica mudana ocorrida. Pode induzir o desenvolvimento ao: Fornecer informaes sobre o uso dos recursos pblicos, o cumprimento dos compromissos governamentais e a mudana na vida dos cidados. Direcionar o foco de toda gesto pblica para a realizao de efetivas mudanas sociais. Demonstrar com clareza quais so as mudanas desejadas. Ampliarem seu papel de fiscalizao introduzindo a efetividade no rol de suas auditorias operacionais.

Sistema de P o s s i b i l i d a d e d e indicadores acompanhamento da eficincia no uso dos recursos, a eficcia no cumprimento das metas e a efetividade das mudanas. B a l a n c e d Monitoramento sisScorecard temtico dos resultados. Quadro L- Relaciona cada resulgico tado e objetivo a um indicador. Entidades Experincia em aude Fiscali- ditorias e indepenzao dncia funcional.

Dificuldades de motivao dos funcionrios pblicos para um desempenho por resultados. Necessidade de especialistas por no ser de fcil domnio. Conflitos resultantes de possveis diferentes concluses sobre os aspectos subjetivos da efetividade das aes.

Necessidade de um amplo domnio de conhecimentos multidisciplinares. Planilhas Fcil estabelecimen- Desconsidera os aspectos Permitir que os cidados to e entendimento. da eficcia e efetividade. avaliem a qualidade e eficincia dos servios pblicos prestados. Estado para Abrange os 3Es. Difcil aceitao pelos Mudar a cultura vigente Resultados executantes (servidores de baixa eficincia, efepblicos). tividade e eficcia dos No avalia a coerncia dos servios pblicos. TOM Web indicadores entre si. Fomento a transpa- Desconsidera os aspectos Facilitar a fiscalizao rncia e eficincia da eficcia e efetividade. da aplicao dos recurno uso dos recursos sos municipais. municipais.

Fonte: Elaborado pelos autores, 2012.

Desenvolvimento em Questo

55

Hironobu Sano Mrio Jorge Frana Montenegro Filho

Vale salientar que h dificuldade, especialmente nos pases da Amrica Latina, de formar coalizes capazes de equacionar minimamente polticas pblicas capazes de impulsionar o desenvolvimento e promover a incluso social de grande parte da populao (Souza, 2006). Assim, pode-se deduzir que esta falta de equacionamento reflita-se em dificuldade, obscuridade e desacordo quanto avaliao de tais polticas. Logo, em relao s informaes contidas na coluna, Pode induzir o desenvolvimento ao, estas derivam dos trabalhos aos quais se referem, sendo sintetizadas para manuteno da esttica do quadro anterior, e no confirmam a existncia de uma relao entre mudanas sociais e os modelos propostos. So apenas apresentadas possibilidades cuja comprovao carece de estudos posteriores e especficos para cada modelo. Esclarece-se tambm que o Estado considerado apenas um dos trs principais atores sociais, ao lado do mercado e da sociedade e, portanto, suas aes dependem dos demais segmentos para que o desenvolvimento social ocorra. Considere-se ainda que nenhum dos modelos apresentados pode ser visto como uma panaceia, devendo ser consideradas as caractersticas das aes desenvolvidas e as peculiaridades da organizao executante, buscando sempre a mais apropriada metodologia avaliativa. Nesse sentido alerta Arretche (1998, p. 30), ao afirmar que o uso adequado dos instrumentos de anlise e avaliao so fundamentais para que no se confunda opes pessoais com resultados. Tambm deve ser levado em considerao o alerta de Lowi (1992, p. 1), que every regime tends to produce a politics consonant with itself 5 , ou seja, os modelos de avaliao, seus indicadores e a utilizao dos seus resultados tende a variar de acordo com as caractersticas da gesto em vigor. Por fim, quanto s trs fases da avaliao anteriormente apresentadas na discusso sobre Avaliao: eficincia, eficcia e efetividade (3Es), cabe situar os modelos apresentados em cada uma delas no quadro seguinte.

Traduo livre dos autores: Cada regime tende a produzir sua prpria poltica.

56

Ano 11 n. 22 jan./abr. 2013

As Tcnicas de Avaliao da Eficincia, Eficcia e Efetividade na Gesto Pblica e sua Relevncia para o Desenvolvimento Social e das Aes Pblicas

Quadro 3 Os modelos nas trs fases da avaliao

FASE Ex-ante Sistema de Abrange. indicadores B a l a n c e d Pode abranger no moScorecard mento do planejamento estratgico. Quadro L- Estimula a avaliao ao gico determinar com clareza os objetivos. Entidades de No abrange. Fiscalizao MODELO Planilhas No abrange. Estado para Pode abranger. Resultados TOM Web No abrange. Pari-pasu Abrange. Pode abranger. Ex-post Abrange. Abrange.

Possibilita por ser uma ferramenta de acompanhamento. Apenas em situaes especficas e sob demanda. No abrange. Abrange.

Abrange.

Abrange.

Abrange. Abrange.

Possibilita ao disponibili- Possibilita ao zar informaes. disponibilizar informaes.

Fonte: Elaborado pelos autores, 2012.

Consideraes nais
Sendo o objetivo deste artigo apenas compilar algumas propostas de utilizao dos indicadores de desempenho (3Es) na gesto pblica, d-se por atingido o seu propsito de disponibilizar aos gestores pblicos, num formato acessvel, de fcil consulta e entendimento, vrios mtodos de avaliao, contribuindo assim com o constante aperfeioamento das nossas polticas pblicas. Sendo elas uma das principais indutoras do desenvolvimento nacional e regional, a consequncia direta do seu contnuo aprimoramento a melhoria na qualidade de vida de toda a populao. Da a relevncia de estudos como este. Ao adotarem-se os 3Es como parmetros para uma boa gesto pblica, faz-se necessria tambm a constante avaliao de alternativas para obteno de melhores resultados, pois a simples comparao com os efeitos da prpria
Desenvolvimento em Questo

57

Hironobu Sano Mrio Jorge Frana Montenegro Filho

ao governamental pode ocultar ineficincias, ineficcias e pouca efetividade, quando confrontados a outros programas. Tal necessidade decorrente do fato de os indicadores de desempenho serem relativos, requerendo sempre um padro ou um objetivo para comparao, que poder ser absoluto (metas do prprio programa), normativo (relativo a outro programa), histrico (resultados anteriores), terico (hiptese) ou negociado (acordo). So vrias as experincias e propostas existentes, cada uma com diferentes graus de complexidade e aplicabilidade, sendo algumas complementares entre si. A prpria diversidade e complexidade da administrao pblica inviabiliza a adoo de um nico mtodo, sendo necessria a adoo de metodologias j testadas e reconhecidas ou a escolha, parcimoniosa e criteriosa, das que indicam possuir o desempenho desejado e a consistncia nos seus resultados. Diante desta variedade, importante buscar mtodos de baixo custo de instalao e manuteno (eficientes), que possibilitem o atendimento do maior nmero de metas (eficazes) e que realmente contribuam para as transformaes desejadas (efetivos). Como muitos outros campos da Administrao, a busca por consensos necessrios construo de modelos de avaliao de desempenho amplamente aceitos ocorrer com as contribuies prticas e tericas, como, por exemplo, o levantamento de sete experincias realizado neste artigo. Enquanto persistirem as dificuldades operacionais e conceituais, as metodologias de avaliao carecero de uma prvia estrutura particular de referncia, alm do convencimento e capacitao dos envolvidos. Tambm lcito dizer que os observatrios de polticas pblicas constituem-se em dinmicos instrumentos de avaliao. Dentre os existentes foram identificados o Observatrio das Metrpoles, que rene 159 pesquisadores e trabalha com 14 metrpoles e uma aglomerao urbana, e o Observatrio da Cidadania (2009), criado em 1995, que acompanha os avanos e retrocessos em relao a diversas metas de desenvolvimento social e idealiza estabelecer, no mbito da sociedade civil, mecanismos permanentes de monitoramento e avaliao. 58
Ano 11 n. 22 jan./abr. 2013

As Tcnicas de Avaliao da Eficincia, Eficcia e Efetividade na Gesto Pblica e sua Relevncia para o Desenvolvimento Social e das Aes Pblicas

Finalmente, sugere-se que futuros trabalhos busquem analisar outras metodologias de avaliao da eficincia, eficcia e efetividade na gesto pblica, tais como a atuao e os impactos dos observatrios.

Referncias
ANTICO, C.; JANNUZZI, P. M. Indicadores e a gesto de polticas pblicas. [2006?]. Disponvel em: <www.fundap.sp.gov.br/debatesfundap/pdf/Gestao_de_Poi%C3%ADticas_ Publicas/Indicadores_e_Gest%C3%A3o_de_Pol%C3%ADticas_P%C3%BAblicas. pdf>. Acesso em: 7 jan. 2011. ARAJO, D. A. et al. Organizaes sem fins lucrativos e a gesto estratgica: um estudo da eficincia operacional pelo modelo de anlise da competitividade do Instituto Alemo de Desenvolvimento IAD. 2008. Disponvel em: [http://www.anpad.org. br/evento.php?cod_evento_edicao=33]. Acesso em: 11 fev. 2011. ARRETCHE, M. T. S. Tendncias no estudo sobre avaliao. In: RICO, E. M. Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez. 1998. BRASIL. Lei n 11.653, de 7 de abril de 2008. Dirio Oficial da Unio, Braslia, DF, n 67, tera-feira, 8 de abril de 2008. Seo 1, p. 5. CARVALHO, M. C. B. Avaliao de projetos sociais. In: VILA, C. M. Gesto de projetos sociais. 3. ed. So Paulo: AAPCS, 2001. COSTA, F. L.; CASTANHAR, J. C. Avaliao de programas pblicos: desafios conceituais e metodolgicos. Revista de Administrao Pblica, Rio de Janeiro, v. 37 n. 5, p. 969-992, set./out. 2003. FONTES, M. A validao e avaliao de impacto social. 2005. Disponvel em: <www. socialtec.org.br>. Acesso em: 30 jul. 2009. FREY, K. Polticas pblicas: um debate conceitual e reflexes referentes prtica da anlise de polticas pblicas no Brasil. Planejamento e Polticas Pblicas, Braslia, n. 21, p. 211-259, jan./jun. 2000. GARCIA, R. L. M. Eficincia em rgos pblicos: uma proposta de indicadores. 2008. Dissertao (Mestrado em Administrao Pblica) FGV, Rio de Janeiro, 2008.

Desenvolvimento em Questo

59

Hironobu Sano Mrio Jorge Frana Montenegro Filho

GHELMAN, S. Adaptando o Balanced Scorecard aos preceitos da nova gesto pblica. Niteri. 2006. Dissertao (Mestrado em Sistema de Gesto pela Qualidade Total) Universidade Federal Fluminense, 2006. GUIMARES, J. R. S.; JANNUZZI, P. M. IDH, indicadores sintticos e suas aplicaes em polticas pblicas: uma anlise crtica. Revista Brasileira de Estudos Urbanos e Regionais, [s.l.], v. 7, n. 1, p. 73-85, maio 2005. HARMON, M. M.; MAYER, R. T. Teora de la Organizacin para la Administracin Pblica. Mxico: Fondo de Cultura Econmica, 1999. JANNUZZI, P. M. Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil. Revista do Servio Pblico, Braslia, v. 56, n. 2, p. 137-160, abr./jun. 2005. JANNUZZI, P. M.; PATARRA, N. L. Manual para capacitao em indicadores sociais nas polticas pblicas e em direitos humanos. So Paulo: Oficina Editorial, 2006. LEMOS, C. S. Gesto pblica orientada para resultados: avaliando o caso de Minas Gerais. 2009. Dissertao (Mestrado em Administrao Pblica) FGV, Rio de Janeiro, 2009. LOWI, T. J. The State in Political Science: How We Become What We Study. The American Political Science Review, Washington, v. 86, n. 1, p. 1-7, jan./mar. 1992. LWY, M. Barbrie e modernidade no sculo XX. 2011. Disponvel em: <http://www. egov.ufsc.br/portal/sites/default/files/anexos/25798-25800-1-PB.pdf>. Acesso em: 22 maio 2012. MARINHO, A.; FAANHA, L. O. Programas sociais: efetividade, eficincia e eficcia como dimenses operacionais da avaliao. Rio de Janeiro: Ipea. 2001. MARINI, C. Um declogo da boa gesto pblica: os desafios de um Estado para resultados. 2008. Disponvel em: <http://www.portalct.com.br/blogs/gestaopublica/ administracao/files/files/Artigo%20Caio%20Marini%20Gest%C3%A3o%20por%20 Resultados.pdf>. Acesso em: 18 mar. 2011. OBSERVATRIO DA CIDADANIA. Dilogos sobre violncia e segurana pblica: razes e urgncias. Rio de Janeiro: Ibase, 2009. OLIVEIRA, R. V. Auditoria operacional: uma nova tica dos tribunais de contas auditarem a gesto pblica, sob o prisma da eficincia, economicidade, eficcia e efetividade, e o desafio de sua consolidao no TCE/RJ. 2008. Dissertao (Mestrado em Administrao Pblica) FGV, Rio de Janeiro, 2008.

60

Ano 11 n. 22 jan./abr. 2013

As Tcnicas de Avaliao da Eficincia, Eficcia e Efetividade na Gesto Pblica e sua Relevncia para o Desenvolvimento Social e das Aes Pblicas

PFEIFFER, P. O quadro lgico: um mtodo para planejar e gerenciar mudanas. In: GIACOMONI, J.; PAGNUSSAT, J. L. Planejamento e oramento governamental. Braslia: Enap, 2006. PIRES, V. A. (2010). Transparncia oramentria municipal via Internet (TOM Web) no contexto do revigoramento democrtico e republicano: uma proposta. Disponvel em: <http://www.esaf.fazenda.gov.br/esafsite/premios/SOF/sof_2010/monografias2010_ arquivos/Tema_1_1_L_Valdemir_010.pdf>. Acesso em: 15 abril 2011. SOUZA, C. Polticas pblicas: uma reviso da literatura. Sociologias, Porto Alegre, n. 16, p. 20-45, jul./dez. 2006. SOUZA, W. J. Responsabilidade social corporativa e Terceiro Setor. Braslia: Universidade Aberta do Brasil, 2008. SULBRANDT, J. La evaluacin de los programas sociales: una perspectiva crtica de los modelos usuales. In: KLIKSBERG, B. Pobreza: un tema impostergable. Mxico: Fondo de Cultura Econmica, 1993.

Desenvolvimento em Questo

61