Redalyc

Sistema de Informao Cientfica

Rede de Revistas Cientficas da Amrica Latina o Caribe, a Espanha e Portugal

Souza Minayo, Maria Ceclia de Importncia da Avaliao Qualitativa combinada com outras modalidades de Avaliao Sade & Transformao Social / Health & Social Change, vol. 1, nm. 3, 2011, pp. 2-11 Universidade Federal de Santa Catarina Santa Catarina, Brasil
Disponvel em: http://www.redalyc.org/src/inicio/ArtPdfRed.jsp?iCve=265319573003

Sade & Transformao Social / Health & Social Change ISSN (Verso eletrnica): 2178-7085 rodrigomoretti@ccs.ufsc.br Universidade Federal de Santa Catarina Brasil

Como citar este artigo

Nmero completo

Mais informaes do artigo

Site da revista

www.redalyc.org Projeto acadmico no lucrativo, desenvolvido pela iniciativa Acesso Aberto

Sade & Transformao Social

Health & Social Change Pesquisa Qualitativa, Teoria e Metodologia

Importncia da Avaliao Qualitativa combinada com outras modalidades de Avaliao

The importance of qualitative evaluation combined with other evaluation methods

Maria Ceclia de Souza Minayo1

1

Pesquisadora Titular da Fundao Oswaldo Cruz

RESUMO - Neste texto promove-se uma discusso sobre avaliao qualitativa de projetos e programas sociais e de sade e suas vrias formas de abordagem, mas sem separar essa atividade tcnica, acadmica e social do contexto das investigaes avaliativas. Por isso, o artigo d nfase questo histrica da prtica de avaliar; aos conceitos principais de avaliao; s tipologias; s fases e a seu sentido social, pragmtico e tico. Do ponto de vista da avaliao qualitativa se discutem as bases tericas, as modalidades e as questes de validade, especificamente levando-se em conta a triangulao de perspectivas e a incluso de todos os atores no processo. Aprofunda-se a proposta do chamado RAP (Rapid Assessment to Projects). A concluso do texto leva a considerar a importncia de incluir os diversos atores com suas crenas e expectativas no processo avaliativo para que ele se constitua num ato de aprendizagem para todos os envolvidos. Palavras-chave: Avaliao em sade; avaliao de programas sociais; avaliao; avaliao qualitativa; pesquisa avaliativa. ABSTRACT - This text promotes a discussion on the "qualitative evaluation" of social and health and social programs and projects and their various approaches, but without separating this technical, academic and social activity from the context of the evaluative research. This article emphasizes the historical questions of the practice of assessment, the main concepts of evaluation, the types, the stages and its social, pragmatic and ethical sense. From the standpoint of qualitative assessment, the theoretical foundations, the modalities and the issues of validity are discussed, specifically considering the triangulation of perspectives and the inclusion of all stakeholders in the process. The proposal called the RAP (Rapid Assessment to Projects) goes deeper. The conclusion of the text leads to the consideration of the importance of including diverse actors, with their own beliefs and expectations, in the evaluation process so that it becomes an act of learning for all involved.. Keywords: Evaluation in health; evaluation of social programs, qualitative evaluation, evaluative research

1. INTRODUO O hbito de avaliar instituies, programas e projetos com mtodos e tcnicas cientficas relativamente recente no mundo e no Brasil. Tornou-se freqente aps a Segunda Guerra Mundial nos pases centrais do capitalismo, acompanhando os macios investimentos em polticas pblicas de bem estar social. com essa insero na realidade que a avaliao passou, nos ltimos 60 anos, a fazer parte da pauta de investimentos tericos e prticos, ao lado das metodologias e modelos de pesquisas sociais, visando maior eficincia na aplicao de recursos e efetividade nas aes institucionais, sociais e 1,2. econmicas A prtica avaliativa tem sido introduzida em diferentes ambientes e de vrias formas, ora como uma ao externa que analisa determinada interveno ou problema, ora como etapa do planejamento e da gesto das instituies, de programas e projetos e no seu sentido mais nobre, acompanhando concomitantemente as aes voltadas a mudanas desde o seu primeiro desenho. Segundo Scriven , a avaliao deve ser considerada, na atualidade, no apenas como uma tcnica, mas como uma transdisciplina, ou seja, um campo de estudo prprio que ao mesmo tempo oferece instrumentos de reflexo para outras reas
Autor correspondente Maria Ceclia de Souza Minayo Pesquisadora titular da Fundao Oswaldo Cruz Centro Latino Americano de Estudos sobre Violncia e Sade Jorge Careli Av. Brasil, 4036 sala 700 - Manguinhos CEP:21040-361 Rio de Janeiro-RJ Tel.: (21) 2290.4893 - Fax: (21) 3882.9151 ceclia@claves.fiocruz.br Artigo encaminhado 17/02/2011 Aceito para publicao em 28/04/2011
3

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

3 de conhecimento. Na etapa atual de evoluo do capitalismo ps-industrial, a avaliao das instituies e das polticas sociais passou a ser intensamente valorizada no mundo. Isso se deve, sobretudo, a mudanas profundas no paradigma das relaes sociais de produo, cujas caractersticas so o acelerado crescimento do fluxo de informaes, de economia de escala e de focalizao de aes. Ela se torna verdadeiro desafio quando se trata de tomar decises 2 complexas de investimento frente a questes que apresentam fortes componentes culturais e polticos resistentes s mudanas, exigindo um desenho de instrumentos que valorize a vasta gama de intervenientes. O processo de institucionalizao das tecnologias de avaliao visando a acompanhar projetos sociais e ou de mudanas institucionais, no caso do Brasil, alm de ser recente, ainda muito tmido, o que se deve principalmente cultura autoritria e clientelista que costuma orientar a prxis 4 poltica do pas, independente dos governos vigentes . No entanto, h exemplos notoriamente exitosos de avaliao, como so os casos das conduzidas pela CAPES e pelo CNPq que foram capazes de, no s acompanhar, mas tambm de evidenciar os problemas e as potencialidades da cincia e tecnologia no pas, orientando seu rumo e a aplicao de recursos pblicos. Embora no faltem crticas aos sistemas utilizados pelas duas instituies, eles so fortemente responsveis pelo elevado nvel competitivo que as Ps-Graduaes e os Grupos de Pesquisa no Brasil atingiram no pas e pelo seu reconhecimento em mbito mundial. No campo das polticas pblicas, preciso reconhecer que, a partir dos anos 1990, tambm no Brasil se intensificaram as prticas de avaliao na rea social, de segurana e em vrios mbitos 5-10 institucionais . Vrios fatores tm contribudo para isso. Dentre eles, destacam-se: (a) a reforma do Estado que fez diminuir sua presena direta nas reas sociais e aumentou seu papel de formulador de polticas e de repassador de recursos para execuo de polticas pblicas; (b) a focalizao da ao governamental em determinadas atividades exigindo anlise de eficcia dos investimentos; (c) a entrada de organizaes no-governamentais e da iniciativa privada na prestao de inmeros servios de interesse pblico, em relao aos quais, h uma concorrncia por recursos, pois tanto as empresas como os governos cobram resultados; (d) as exigncias dos rgos internacionais que financiam projetos sociais e estratgicos; (e) a ampliao e o aprofundamento dos mecanismos de controle social sobre as polticas sociais e instituies, colocando os recursos que utilizam sob vigilncia da sociedade civil e gerando presso dos meios de comunicao e da opinio pblica. No rumo desse crescimento das prticas avaliativas, necessrio levar em conta, tambm, o aumento da capacidade tericometodolgica, tcnica e crtica dos intelectuais e pesquisadores brasileiros na anlise de programas e projetos governamentais, das instituies pblicas e privadas e do terceiro setor. Existem dois tipos de ao avaliativa que se complementam: monitoramento e avaliao propriamente dita. Entende-se por avaliao, a realizao de um conjunto de atividades tcnicocientficas ou tcnico-operacionais que buscam atribuir valor de eficincia, eficcia e efetividade a processos de interveno em sua implantao, implementao e resultados. Entende-se por monitoramento, a observao e o registro regular das atividades previstas dentro de um projeto ou programa. Esse ltimo se configura como um processo rotineiro de acmulo de informaes sobre determinada proposta em todos os seus aspectos, por meio de observao sistemtica e com propsitos definidos. O sentido da avaliao e do monitoramento pode ser resumido em trs pontos: (a) compreender o que contribui para o xito dos programas, projetos e servios; (b) o que possibilita seu alcance e (c) o que questiona seus limites. Por isso, toda avaliao que acompanha o desenrolar e analisa os resultados de uma proposta de interveno uma iniciativa que deve subsidiar a correo de rumos e reorientar estratgias de ao. Principalmente, deve ressaltar lies que as experincias em execuo ou passadas permitem aprender, trazendo informaes novas e propiciando mais qualidade s operaes e aos critrios de financiamento dos projetos e propostas. Para o xito de uma avaliao ou monitoramento, devem ser seguidos pelo menos quatro parmetros: (a) a dimenso de utilidade, pois jamais se deve empreender uma avaliao intil; (b) a dimenso da viabilidade que significa levar em conta o ambiente poltico, prtico e de custo-benefcio; (c) a dimenso tica que ressalta o respeito aos valores dos interessados e a seriedade intelectual com que deve ser realizada a abordagem avaliativa e obedecidos os devidos critrios de benemerncia e de confidencialidade; e (d) a dimenso da preciso tcnica, ou seja, uma avaliao para gerar informaes importantes deve ser realizada dentro

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

4 de determinados parmetros que j esto hoje 11 universalmente consolidados cientificamente . Do ponto de vista da sua utilidade prtica, uma boa avaliao visa a reduzir incertezas, a melhorar a efetividade das aes e a propiciar a tomada de decises relevantes por meio de lies 1,12,13 aprendidas no processo . Uma avaliao deve permitir identificar pontos fracos e fortes e destacar o que mais produtivo visando a: (1) oferecer respostas aos beneficirios, instituio, sociedade e ao governo atendendo ao ator social que a encomendou - sobre o uso dos recursos empregados; (2) orientar os investidores sobre as melhores aplicaes de seus recursos visando ao desenvolvimento de pessoas, instituies e setores; (3) responder aos interesses das instituies, de seus gestores e de seus tcnicos; (4) buscar sempre uma 1 melhor adequao das estratgias e das prticas . Quanto a sua utilidade, uma avaliao costuma ser enquadrada em trs tipos: a diagnstica, que proporciona informaes acerca da situao; a formativa que visa a socializar o entendimento dos problemas existentes para possveis solues; e a somativa cujo propsito oferecer uma viso geral do processo de interveno ou de soluo de um problema, considerando as etapas em seu conjunto. Essa ltima uma modalidade bastante utilizada na rea de educao. importante enaltecer tanto o sentido como a orientao prtica social, pois, como lembra Penna 11 Firme , nem toda avaliao produtiva: avaliar pode ser um empreendimento de sucesso, mas tambm de fracasso; pode conduzir a resultados significativos ou a respostas sem sentido; pode 11:p.1 defender ou ameaar , dependendo de seus propsitos e da postura tica com que feita. Ou seja, podem existir avaliaes tendenciosas, mal elaboradas e superficiais que poucos resultados trazem para a aprendizagem das instituies. Essas correm o risco de prejudic-las quando as inferncias no so contextualizadas e compreensivas. Deve-se ressaltar, no entanto, que mesmo uma avaliao bem realizada e cercada de cuidados, sozinha, no consegue solucionar os problemas da prtica, pois solucion-los uma tarefa da administrao e de outros responsveis operacionais. Para ser vivel, uma avaliao deve ter condies de realizao do ponto de vista financeiro, tcnico, e gerencial. Toda avaliao precisa de oramento compatvel com o nvel de profundidade que seu propsito e o objeto estudado requer. Do ponto de vista tcnico, preciso que a organizao de uma avaliao leve em conta o desenvolvimento terico j consolidado universalmente nessa rea, para que todo o instrumental utilizado seja qualitativamente adequado aos objetivos propostos. Do ponto de vista tico, a avaliao de intervenes e de investimentos se dirige para mudanas que precisam ser construdas no cho da realidade social: a populao brasileira anseia por diminuir as desigualdades e ver erradicados o mandonismo e o autoritarismo poltico, institucional e acadmico. A competente anlise de um projeto, programa ou conjunto de programas deve tornar mais evidente para as instituies e a sociedade a aplicao de seus recursos, evitando ou denunciando desperdcios. Essa orientao tanto mais eficaz quanto mais o conceito e a prtica avaliativa forem cientificamente compreensivos e fundamentados e passarem a fazer parte do cotidiano das instituies.

2. CONCEITOS QUE FUNDAMENTAM AVALIAES QUALITATIVAS E QUANTITATIVAS Tipologias de avaliao - O desenvolvimento do campo da avaliao trouxe o aprimoramento de alguns termos prprios que devem fazer parte das abordagens quantitativas ou qualitativas. So eles: eficincia, eficcia, efetividade e, mais contemporaneamente, sustentabilidade. Esses termos permeiam a linguagem de todas as estratgias e instrumentos de avaliao. O conceito de eficincia oriundo da noo de otimizao dos recursos disponveis: ou seja, obter a custo mnimo possvel o mximo de benefcio. A avaliao de eficincia vem transbordando cada vez mais seu nicho econmico, incluindo estratgias e instrumentos para analisar custos sociais, polticos e ambientais alguns deles intangveis - provocados por projetos de interveno institucional, de polticas pblicas ou do setor privado nas comunidades e no meio ambiente. Muitas agncias, atualmente, incluem na avaliao de eficincia, pesquisas qualitativas ou quantitativas de satisfao da populao atingida pelos projetos, com o intuito de saber se sua aplicao est sendo social, poltica e ambientalmente eficiente. A avaliao de eficcia consiste na anlise do cumprimento das metas traadas por um determinado projeto. o tipo mais simples, comum e difundido de anlise de determinada interveno, geralmente realizada pelos prprios rgos

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

5 encarregados de execuo da proposta. Enquadramse aqui os dados apresentados nos relatrios anuais das entidades e as estatsticas que elas produzem com o intuito de demonstrar que "cumpriram as expectativas", no que se refere ao volume e quantidade do produto esperado. O critrio de sucesso mais comumente usado o da eficcia objetiva, isto , a constatao de que as metas atingidas so iguais, superiores ou inferiores s metas propostas. Os estudos de eficcia geralmente so metrificados, ou seja, se apresentam com dados quantitativos, ilustrados com grficos, figuras e tabelas. Mas tambm podem incluir anlises de 14 eficcia subjetiva que constituem abordagens qualitativas que corroboram ou criticam a consecuo das metas a que custo social e emocional para os que trabalham na instituio ou para os que so os seus destinatrios. A avaliao de efetividade mais profunda que a avaliao de eficcia. Ela capta os efeitos de um projeto ou programa e tem por finalidade aferir as mudanas quantitativas e qualitativas promovidas pela interveno. Considera o antes e o depois da execuo de uma proposta ou compara os resultados obtidos com outra situao em condies semelhantes, sobre a qual no houve interveno. As avaliaes de efetividade tm vrios pressupostos, porm o mais bsico de que a ocorrncia de mudanas no suficiente para referendar concluses a respeito do xito de uma proposta: necessrio demonstrar que elas no ocorreriam (total ou parcialmente) sem a existncia da interveno em pauta. Geralmente, as anlises de efetividade so 5 realizadas por meio de estudos de impacto que captam os efeitos e as alteraes efetivas de uma interveno em relao aos objetivos estabelecidos, empiricamente: (a) se os resultados esperados foram alcanados; b) que resultados no esperados ocorreram; e se os resultados so positivos, negativos, ou at perversos no mdio ou longo prazo frente ao problema que se quis enfrentar. A avaliao qualitativa costuma ser largamente utilizada nos estudos de efetividade, para que o destinatrio final (usurio, cliente e outros) se pronuncie sobre os resultados de uma interveno ou de mudanas. A avaliao da sustentabilidade se fundamenta na construo de indicadores para analisar padres sustentveis de desenvolvimento quanto a aspectos tcnicos, ambientais, econmicos e sociais. Fundamenta-se no termo desenvolvimento sustentvel que substitui o conceito de progresso como sinnimo de crescimento apenas econmico. Embora desenvolvimento sustentvel ainda seja um conceito em construo - por isso, alvo de muitas controvrsias - ele representa a idia de que o avano de uma dada sociedade medido no somente por sua capacidade de gerar riqueza (dimenso econmica), mas tambm pelas condies de diviso da riqueza gerada (dimenso social), da preservao e conservao do meio ambiente (dimenso ambiental), quanto ao conhecimento e inovao (dimenso conhecimento) e do investimento nas instituies e pessoas para promov-lo (dimenso 15 institucional) . A avaliao de sustentabilidade vem sendo incorporada anlise de projetos e aprimorada terica e tecnicamente. E, o termo sustentabilidade tornou-se um aposto imprescindvel s propostas de desenvolvimento. Especificidade do monitoramento - O monitoramento pode ser interpretado como uma etapa da avaliao e, ao mesmo tempo, tem o sentido especfico de acompanhar a eficincia do processo de implantao e implementao de uma proposta de interveno, mas tambm, a eficcia de seus resultados. O monitoramento da implantao e da implementao constitui um olhar mais constante e prximo sobre a realizao da ao proposta, por meio de indicadores que permitam sugerir adequaes durante o processo e dar cincia aos financiadores, implementadores e beneficirios sobre o andamento das intervenes. Geralmente, esse acompanhamento registrado em relatrios curtos e diretos contendo: (a) anlise da situao; (b) dados sobre os investimentos feitos; (c) identificao dos problemas e da busca de solues; (d) garantia de que as atividades previstas estejam sendo executadas corretamente ou sobre o porqu da proposta no estar sendo bem sucedida; (e) anlise crtica voltada para apreciar se o projeto em execuo vem sendo o mais apropriado para a resoluo do problema em questo. O monitoramento da eficcia, que ocorre ao final do projeto, apresenta informaes sobre as metas alcanadas e se elas correspondem ou divergem do que havia sido proposto no incio do projeto. O relatrio desse monitoramento constitui um dos elementos importantes para o processo de avaliao como um todo, mas particularmente para os estudos de impacto que vierem a ser feitos, tambm depois do projeto concludo. Ciclo de Avaliao - Uma avaliao completa aquela que incorpora um ciclo inteiro de anlise de determinada interveno ou ao, iniciando-se antes que uma interveno ocorra (ex-ante), passando pelo acompanhamento do processo de implantao e implementao (monitoramento) e pela anlise dos

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

6 efeitos e resultados (monitoramento e avaliao expost). No entanto, uma avaliao pode privilegiar apenas um momento da realizao de uma poltica pblica, interveno ou ao institucional. Por exemplo, pode-se avaliar: (a) apenas o processo de implantao de uma proposta; (b) somente sua implementao; (c) um problema institucional especfico que requer anlise; (d) ou somente os resultados de uma ao. Em todos os casos importante ter em mente todas as etapas do processo e, no caso de avaliao institucional, o estudo da origem, da histria e do contexto em que ela atua fundamental, sobretudo quando se trata de uma entidade consolidada em que ser impossvel reconstituir o ex-ante. O estudo da etapa ex-ante muito recomendado quando se pretende obter conhecimento sobre o impacto de determinada interveno ou mudana, para tornar possvel a comparao do estado inicial com as metas atingidas ao final. Para a preparao dessa etapa, um instrumento que vem sendo muito utilizado hoje o 16 chamado quadro lgico . Esse se constitui num dispositivo que visa organizao racional de uma proposta de interveno, tanto para sua apresentao como para seu acompanhamento e avaliao. Esse instrumento, desenvolvido nos anos 1960 nos Estados Unidos, passou a ser utilizado pela 17 maioria das agncias internacionais para delinear o momento inicial de seus emprstimos e investimentos a fim de compar-lo com os efeitos gerados. Na elaborao do quadro lgico se estabelecem o ponto de partida ou a linha de base, assim como as metas e indicadores que devero ser acompanhados durante o processo e avaliados ao final de determinada interveno. Na sua organizao, esse instrumento possui uma lgica vertical que clarifica a razo pela qual o projeto foi concebido e como ser executado (objetivo superior, objetivo do projeto, resultados esperados e atividades). E uma lgica horizontal que explica como os resultados do projeto sero expressos de forma clara, realista e verificvel (indicadores, meios de verificao e fatores externos). Embora no fornea resposta a todas as perguntas, o uso do quadro lgico permite clarificar as seguintes questes: (1) Por que o projeto deve ser realizado; (2) Qual o seu propsito e quais as mudanas a serem alcanadas; (3) Como se pretende produzir melhorias; (4) Quais so as condies externas que influenciam o alcance dos resultados e dos seus efeitos; (5) Como possvel identificar o alcance das melhorias e mudanas. Dentre suas vantagens, ainda possvel citar o fato de que (1) o quadro lgico permite colocar foco nos resultados; (2) facilita o monitoramento de alcance das metas e o uso prudente dos recursos; (3) facilita a elaborao de relatrios e documentos baseados nos resultados alcanados e nas lies aprendidas. Mas o modelo, como todo modelo tambm alvo de muitas crticas, sobretudo pelo seu 16 carter esttico, positivista e simplificado . Etapa de avaliao e o monitoramento da implantao e da implementao - corresponde anlise do processo de realizao das atividades previstas no momento ex-ante, por meio de indicadores e acompanhamento das metas estabelecidas. O objetivo concreto dessa etapa promover ajustes e correes para que o projeto produza os resultados previstos. A avaliao da implantao uma atividade importante para assegurar a eficincia inicial que corresponde ao ajuste entre as necessidades de recursos (humanos, materiais e de poder) e o comeo das atividades de interveno no tempo e na medida certa. A anlise da implementao corresponde ao acompanhamento do desenvolvimento da proposta de interveno por meio de indicadores e, eventualmente, por meio de avaliaes extensas, inclusive, avaliao qualitativa realizada com os realizadores da proposta e com os clientes ou usurios que so seu alvo, levando em conta os pontos crticos para correo de rumos durante o processo. Em geral so objeto de avaliao da implantao e da implementao os seguintes elementos: (a) as estruturas necessrias para que o projeto ocorra sem atropelos: obteno de informaes sobre recursos fsicos, humanos, materiais, formas de organizao e de funcionamento (normas e procedimentos), especificao de equipamentos e tecnologias disponveis; (b) os processos e movimentos de encaminhamento das atividades pelos diferentes atores com suas funes especficas e nveis hierrquicos, para garantir que as operaes de interveno tenham sucesso; (c) os resultados e efeitos parciais: esperados ou no esperados de acordo com as metas estabelecidas (d) a participao e as percepes dos diferentes atores que influenciam os processos e os resultados, seja no sentido positivo ou negativo. As avaliaes de processo trabalham, sobretudo, com indicadores de eficincia, no entanto, muitas instituies como o caso do Banco 18 Mundial , promovem avaliao de impacto mesmo

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

7 durante o processo; e tambm no decorrer da proposta, de satisfao dos usurios quando julga que isso seja necessrio. Por exemplo, estudos de impacto durante a implementao so importantes quando h intervenes que provocam mudanas na vida das pessoas. Quando essas mudanas so negativas, a avaliao oferece elementos para correo de rumos ou interrupo da proposta. Etapa de avaliao dos resultados ex -post O termo resultado bastante ambguo, pois se espera que uma avaliao comece a produzir efeitos desde a sua concepo, por exemplo, quando se colocam gestores e profissionais juntos colaborando na organizao das questes que devem ser perguntadas e aprofundadas. Tambm, avaliam-se resultados durante o processo de implantao e implementao que, ao ser conduzido, promove efeitos positivos ou negativos e oferece lies a serem seguidas pelos diferentes atores envolvidos na ao. No entanto, restringe-se aqui o sentido de avaliao de resultados para as anlises de efetividade e de impacto que ocorrem aps ser concludo um projeto. Instituies e agncias costumam dar grande nfase ao momento ex-post, estabelecendo um intervalo de tempo de, por exemplo, um ano a dois, depois de concluda determinada interveno, para se observar, dimensionar e compreender os efeitos que provocou. Na finalizao de uma proposta, uma avaliao de efetividade pode ocorrer em duas vias: por meio de estudos mais simples e operacionais; ou por meio de anlises mais profundas e complexas que incluem abordagens quantitativas e qualitativas, no conhecimento das dimenses do que ocorreu. Muito frequentemente costuma-se opor a avaliao qualitativa baseada em estudos quantitativos que do nfase mtrica dos processos 19 e dos produtos . Contudo, considera-se que essas duas abordagens se complementam uma vez que sempre h aes quantificveis, assim como sempre existe implicao subjetiva em todas as aes humanas. Isso particularmente verdadeiro quando se trata da anlise de programas e instituies, em que o envolvimento, as opinies e as atitudes de todos os atores que configuram a ao social (agentes pblicos, membros de ONG, professores, estudantes, gestores, administrativos, dentre outros) influenciam fortemente os resultados almejados. Assim, o objetivo de uma avaliao qualitativa permitir a compreenso compreenso a palavra chave de 20 toda investigao qualitativa - dos processos e dos resultados considerando-os como um complexo integrado por idias, padres de comportamento e de interaes, organizados em torno a interesses consensuais e socialmente reconhecidos. Segundo Zucker , a pujana de uma poltica social ou de uma instituio dependem da capacidade dos atores individuais e organizacionais de serem agentes de seu processo de atualizao permanente, o que envolve os conceitos de interdependncia entre estruturas e aes sociais, sem se sucumbir idia de causalidade linear entre 23 23 elas . Segundo Giddens , a recursividade entre estruturas, as aes e as vontades fundamenta o processo por meio do qual as polticas sociais e instituies emergem, se transformam e so permeadas por configuraes contnuas de interpretao. Nesse sentido, a avaliao qualitativa lida com os aspectos estruturais e funcionais de polticas sociais ou de instituies e, de preferncia concomitantemente, com os componentes ideolgicos, relacionais e polticos. Em si mesma e para que tenha sucesso, a avaliao qualitativa precisa ser encarada como um processo que reconhece os vrios atores institucionais ou que compem uma poltica pblica ou social em seus diversos papis e funes como agentes de mudana ou conservadorismo atuando, portanto, num ambiente de aprendizagem. Gestores e tcnicos que vislumbram o papel da avaliao como parte de seu planejamento e de sua programao cotidiana criam espaos permanentes de reflexo sobre a prxis. Isso lhes permite desconstrurem idias pr-concebidas, alinhar conceitos, fazer correo de rumos, mudar prioridades, abrir mo de iniciativas que no se mostram frutferas e at trocar seus lderes.
21,22

3. ESPECIFICIDADE DA AVALIAO QUALITATIVA DE PROGRAMAS E INSTITUIES Entende-se por avaliao qualitativa aquela que busca analisar o papel das representaes, das crenas, das emoes e das relaes no andamento de um programa, projeto ou proposta de poltica pblica ou institucional. A razo principal deste tipo de avaliao se fundamenta na certeza de que os valores, as injunes polticas e as relaes humanas influenciam na realizao dos projetos e programas. Portanto, saber como ocorre a dinmica antropolgica subjacente s propostas de ao pblicas ou institucionais fundamental para se conhecer os motivos mais profundos que promovem ou emperram os processos e os resultados de uma ao social.

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

8 Do ponto de vista tico, a avaliao qualitativa das instituies e das intervenes sociais se orienta para mudanas a serem construdas no cho da realidade social. por isso que a prtica avaliativa mais eficaz quando passa pela viso e crena das pessoas e sobre o cotidiano de atuao institucional a partir de uma orientao como a formulada por Silva e Brando. Entendemos avaliao como a elaborao, a negociao, a aplicao de critrios explcitos de anlise, em um exerccio metodolgico cuidadoso e preciso, com vistas a conhecer, medir, determinar e julgar o contexto, o mrito, o valor ou o estado de um determinado objeto, a fim de estimular e facilitar processos de aprendizagem e de desenvolvimento de 7:p.2 pessoas e de organizaes . Na abordagem de Silva & Brando , a relevncia dada ao sentido construcionista da parceria no processo. Os autores usam expresses tais como elaborao, negociao, uso de critrios explcitos, processo de aprendizagem, desenvolvimento de pessoas e de organizaes. o 24 mesmo modelo tambm preconizado por Demo . 11 Ou coincide com Penna Firme , quando diz que preciso investir em: Avaliaes sensveis responsabilidade situacional e metodologicamente flexveis no entendimento poltico e substancialmente criativas para integrarem todas essas dimenses na direo do desenvolvimento e do aperfeioamento de seu objeto (pag.3). A concepo de avaliao qualitativa aqui exposta se inclui nas tentativas cientficas contemporneas que consideram essa atividade no como um evento isolado e sim como um processo cientfico que integra avaliadores e avaliados em busca do comprometimento e do aperfeioamento dos indivduos, dos grupos, das instncias de gesto, dos programas e das instituies. Dentro das tipologias correntes, a avaliao qualitativa tal como concebida neste texto insere-se 12,25 nas modalidades de investigao avaliativa ou de pesquisa operacional, mas ambas vo alm da proposta de avaliao normativa que costuma tratar o evento a ser analisado isolado de qualquer interferncia dos sujeitos e dos contextos. A investigao avaliativa comporta outras caractersticas como menciona 12 Contandriopoulos;Champagne; et al : pretende analisar a pertinncia, os fundamentos tericos, a produtividade, os efeitos e o rendimento de uma interveno [ou ao institucional], assim como as relaes existentes entre a interveno e o contexto 12:p.37 no qual ela se situa . J a avaliao qualitativa
7

de cunho operacional se fundamenta na apropriao de estratgias de abordagem antropolgica de forma ao mesmo tempo sistemtica e rpida. Embora variem quanto s tcnicas desenvolvidas e s finalidades para as quais se realizam, as abordagens qualitativas tm um ncleo comum e estruturante: (a) referem-se necessidade de levar em conta a participao e as percepes dos sujeitos envolvidos na criao e na implementao dos processos institucionais ou programas em avaliao; (b) consideram as relaes hierrquicas e entre os pares e as representaes sobre a instituio, sua atuao e problemas como parte fundamental dos xitos e dos limites das aes; e (c) partem da proposta de simplificar e tornar operativa, para fins de anlise de intervenes, a abordagem antropolgica. Os instrumentos geralmente utilizados so descries socioculturais, econmicas e demogrficas dos contextos analisados. E, empregam entrevistas, grupos focais e observao de campo, complementados com informaes institucionais, orientaes escritas, dados de servios, mapas de atividades, organogramas, cronogramas de trabalho, estudos estatsticos j existentes, entre outros. Por isso a expresso avaliao qualitativa no significa a mesma coisa que avaliao de 8 qualidade . Essa ltima expresso, embora excepcionalmente seja tratada por meio de estratgias qualitativas, costuma compor-se de um corpo terico-metodolgico em que de antemo so estabelecidos critrios ou indicadores para acreditao ou parmetros tcnicos por especialidades, privilegiando-se a mensurao. J a abordagem que se baseia nas correntes de pensamento compreensivas deve ser realizada por meios etnometodolgicos tais como exemplificados 26-30 acima e sempre inclui a participao dos atores . Seu uso vem constituindo, alm de uma demanda pragmtica, uma necessidade de aprofundamento terico e validado e isso vem ocorrendo nos ltimos 26 anos . Uma das modalidades hoje mais comuns e mais utilizadas de avaliao qualitativa de programas sociais e de sade atualmente de o chamado RAP 26-32 (Rapid Assessment) que foi concebido para atender s necessidades prticas de conhecimento dos profissionais dessas reas, de compreenderem o quanto valores, crenas e relaes dificultam ou facilitam a promoo social, a preveno de enfermidades e a vida saudvel, sobretudo em contextos tnicos ou de pobreza. O RAP trabalha dentro de uma sistemtica operacional e etnogrfica para coleta e anlise de dados, em geral,

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

9 complementado informaes quantitativas e observao direta no campo. Essa estratgia se inclui num conjunto de outros modelos de avaliao rpida - todos eles desenvolvidos a partir dessa proposta inicial e pioneira de Suzan Scrimshaw e Helena 27 Hurtado em cuja primeira implementao a autora 28,29 deste texto participou - como os que so 33 34 utilizados para avaliao rural ambiental , estudos 35 rpidos de problemas epidemiolgicos , estudos 36 37 imediatos de desastres e de condies biomdicas . Hoje essa modalidade metodolgica vem sendo utilizada com xito, sobretudo, por Organizaes Internacionais como o Banco Mundial e a Organizao 38 Mundial de Sade . Mas h muitas outras iniciativas de avaliao qualitativa que possuem as mesmas 8,24,31,37-41, premissas e se regem pelo pressuposto da possibilidade de treinar e sensibilizar profissionais de sade e de outras reas sociais e institucionais para as utilizarem. uma aposta na expectativa de que as estratgias metodolgicas qualitativas possam tornar mais compreensivas, sistemticas, estruturadas e interativas as propostas de interveno e a definio de sua situao por parte de todos os atores sociais envolvidos na implementao de uma ao, de uma mudana ou na soluo de um problema. Embora se distinga do que historicamente foi 42,43 considerada pesquisa participativa a pesquisa qualitativa sempre pressupe a participao dos atores que so investigados. Essa postura tica e terica que se fundamenta nos princpios da filosofia 44 comunicativa propicia meios para que, no desenvolvimento do processo de anlise, os que o implementam ou recebem seus influxos se apropriem da compreenso dos dados quantitativos e qualitativos gerados pelo trabalho e recolham subsdios para liderar mudanas necessrias. No entanto, existe uma diferena fundamental entre pesquisa qualitativa e pesquisa participante. Essa ltima tem como exigncia terica de seu modelo 42,43 , a integrao dos mltiplos interlocutores na realizao de todas as fases da investigao: na sua concepo, na definio do problema, na teorizao, no levantamento de dados, nas anlises do material coletado e na elaborao dos resultados. J pesquisa qualitativa conta com os atores (entrevistados, gestores, usurios, por exemplo) como um dos agentes para discutir o objeto, os objetivos, os instrumentos de pesquisa e a primeira verso do relatrio, mas no os inclui em todas as etapas tcnicas de realizao da investigao. Poder-se-ia dizer que toda pesquisa participante uma abordagem qualitativa e nem toda investigao qualitativa se confunde com pesquisa participante.

4. AVALIAO POR TRIANGULAO DE MTODOS A proposta defendida neste texto que a avaliao que melhor consegue compreender e explicar as situaes sociais e de sade alia abordagens 1,26 quantitativas ou qualitativas . Embora, cada uma delas possa ser utilizada independentemente e com sucesso, desde que seja rigorosa na contextualizao, nas perguntas que faz e nos instrumentos que utiliza. A viso que combina as abordagens quantitativas e qualitativas aqui denominada como triangulao de mtodos e encontra fundamento nas idias 45:p.115 filosficas de Kant , desenvolvidas no Sistema dos Princpios do Entendimento em sua obra sobre a Crtica da Razo Pura. Kant ensina que a a possibilidade da experincia oferecida pela realidade objetiva a todos os nossos conhecimentos a 45 priori. Para Kant o entendimento da realidade se fundamenta em princpios bsicos: os axiomas da intuio; as antecipaes da percepo. Num fenmeno sempre existe uma quantidade extensiva no tempo e no espao que s pode ser apreendida pela composio de homogneos mltiplos e pela conscincia da unidade sinttica deste mltiplo. No entanto a conscincia emprica dos fenmenos, diz o autor, permite perceb-los tambm em sua intensidade, pois eles contm sensaes sob forma de representao subjetiva. Ou seja, o sujeito afetado e experimenta existencialmente o fenmeno que vivencia: isso constitui uma unidade do sistema de entendimento que ao mesmo tempo quantitativo e 45 qualitativo. Kant chamou a quantidade intensiva de qualidade das sensaes, assinalando que a vivncia dessa qualidade sempre emprica. Da mesma forma, as quantidades s podem ser conhecidas pela sua continuidade e repetio: Chamarei matemticos, os dois princpios precedentes, sendo ambos constitutivos dos 45:p.123 fenmenos Logo atuao concreta subjazem princpios e regras universais relativas unidade na sntese dos fenmenos, cuja realidade objetiva e subjetiva pode ser mostrada e avaliada: no objeto que a unidade sinttica dos conceitos evidencia uma 45:p.119 realidade . Ou seja, a realidade concreta pode ser conhecida por meio de dados subjetivos (significados, intencionalidade, interao, participao) e de dados objetivos (indicadores, distribuio de freqncia e outros) inseparveis e interdependentes. Essa proposta propicia a dissoluo de dicotomias que existem em nosso esprito: entre quantitativo e qualitativo; entre macro e micro; entre interior e exterior; entre sujeito e objeto.

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

10 A modalidade de triangulao de mtodos se fundamenta na teorizao do contexto e do contedo do programa a ser avaliado e usa os instrumentos operacionais para analisar os resultados, os efeitos e o rendimento da interveno. Acrescenta, porm, a esses elementos, a observao e a anlise da dinmica visvel e subjacente dos atores sociais envolvidos no processo e suas representaes. No desdobramento metodolgico e prtico, retomam-se os trs pilares da avaliao tradicional e a eles se agregam os princpios bsicos da sociologia compreensiva, no como superposio e sim como 39,40,46,47, sntese de mltiplos olhares Mas dentro da prpria abordagem qualitativa deve-se exercitar uma viso triangulada que se faz pela: (a) combinao e cruzamento de mltiplos pontos de vista; (b) tarefa conjunta de pesquisadores com formao diferenciada; (c) viso de vrios informantes e (d) emprego de uma variedade de tcnicas de coleta de dados que acompanha o trabalho de investigao. Seu uso, na prtica, permite interao, crtica 39,40,48- 50 intersubjetiva e comparao . usurios, e as indagaes de quem financia ou patrocina.

REFERNCIAS BIBLIOGRFICAS
1. 2. Minayo MCS, Assis SG; Souza ER. Avaliao por triangulao de mtodos. Rio de Janeiro: Editora Fiocruz; 2005. Braverman MT, Engle M, Arnold MA, Rennekemp R, (org.). Program Evaluation in a Complex Organizational System: lessons from cooperative extension: new directions for evaluation. American Evaluation Association Editions; 2008. Scriven M. Evaluation in the new millennium: the transdisciplinarity vision. Pp.1-30. In: Donaldson P, Steward I ,Scriven M. (editors). Evaluating social programs and problems: visions for a new millennium. New Jersey: Lawrence Earlbaum Associates Publishers; 2005. p.1-30. Silva PLB, Melo MAB. O processo de implementao de polticas pblicas no Brasil: caractersticas e determinantes da avaliao de programas e projetos. Repblica Dominicana: CLADE; 2000. Cohen E, Franco R. Avaliao de Projetos Sociais. Petrpolis: Editora Vozes; 2003. Hartz ZMA Explorando novos caminhos na pesquisa avaliativa das aes de sade. In: Hartz ZMA (org.). Avaliao em sade: dos modelos conceituais prtica na anlise da implantao de programas. Rio de Janeiro: Editora Fiocruz; 1997.p.19-28. Silva RS, Brando D. Construo da capacidade avaliativa em organizaes da sociedade civil. So Paulo: Instituto Fontes; 2003. Uchimura KY, Bosi, MLM. Qualidade e subjetividade na avaliao de programas e servios de sade. Cad Sade Pblica 2002; 18(6),1561-1569. Raposo R. Avaliao de Aes Sociais: uma abordagem estratgica. In: vila CM. (org.) Gesto de Projetos Sociais. So Paulo: APCCS; 2001. p. 90-101. Carvalho MCB. Avaliao de projetos sociais. In: vila CM. (org.) Gesto de Projetos Sociais. So Paulo: APCCS; 2001. p.5973. Penna Firme T. Avaliao em rede. Disponvel em: www.rits.org.br. Acesso em 04.06.2008. Contandriopoulos AP, Champagne F, Denis JF, Pineault R. A avaliao na rea da sade: conceitos e mtodos. In: Hartz ZMA (org). Avaliao em sade. Rio de Janeiro: Editora Fiocruz; 1997. p. 29-48. Posavac EJ, Carey RG. Program evaluation: methods and case studies. New Jersey: Upper Saddle River; 2003. Figueiredo MA, Figueiredo AMC. Avaliao poltica e avaliao de Polticas. Anlise de Conjuntura 1986;1(3),107-127. Sachs I. Desenvolvimento sustentvel, bioindustrializao descentralizada e novas configuraes rural-urbana. Os casos da ndia e do Brasil. In: Vieira PF, Weber J (org.). Gesto de Recursos Naturais Renovveis e Desenvolvimento: Novos Desafios para a Pesquisa Ambiental. So Paulo: Cortez; 1997. p. 29-37. Gasper D. Logical Frameworks: problems and potentials. Disponvel em: www.mande.co.uk/logframe.htm. Acesso em: 10.08.2010. Mackay K. The World Banks ECB Experience. New directions for evaluation2002; 93, 81-99. World Bank (BIRD). Second Minas Gerais Development Partnership: project appraisal document. BIRD; 2008. Bernstein RJ. Beyond objectivism and relativism: science, hermeneutics and praxis. Philadelphia: University of Philadelphia Press, 1983. Minayo MCS. Los conceptos estructurantes de la investigacin cualitativa. Salud Colectiva 2010; 6(3), 251-261.

3.

4.

5. 6.

7.

5. ALGUMAS CONCLUSES Os avanos recentes da avaliao, como uma rea de conhecimento especfica, evidenciam importantes mudanas na postura tantos dos pesquisadores como dos gestores e profissionais das diferentes reas de interveno. Em geral, a maioria deles hoje busca integrar avaliados e avaliadores nos processos analticos institucionais ou de prestao de servios, pois considera esse par de oposies complementares como aprendizes que, estudando e refinando conceitos e tcnicas, crescem junto com a dinmica avaliativa. Nessa concepo, a avaliao menos classificatria do que melhor ou do que peor e muito mais promocional. Serve para consolidar entendimentos e parcerias, apoiar mudanas sucessivas, corrigir rumos, ampliar o comprometimento dos diferentes atores e promover o aperfeioamento dos indivduos, grupos instituies e sistemas. Um dos ganhos fundamentais da avaliao ocorre quando a equipe que a realiza aceita o desafio do trabalho cooperativo e inclui o grupo que objeto de anlise em suas atividades por meio da autoavaliao e nos momentos de formulao do projeto, de discusso dos instrumentos e dos resultados. Assim se complementa o olhar interno e o olhar externo: o labor de quem recolhe os dados, o envolvimento intersubjetivo de quem investiga em campo, a viso de quem atua na interveno, as preocupaes dos

8.

9.

10.

11. 12.

13. 14. 15.

16.

17. 18. 19.

20.

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

11
21. Zucker LG. Institutional theories of organization. Annual Review of Sociology 1987; 13, 443-464. 22. Zucker LG. The role of institutionalization in cultural persistence. In: Powell WW, Dimaggio PJ. (editors). The new institutionalism in organizational analysis. Chicago: The University of Chicago Press;1991. p.83-107. 23. Giddens A. The constitution of society. Berckeley: University of California Press; 1984. 24. Demo P. Avaliao qualitativa. So Paulo: Editora Cortez; 1999. 25. Silva LMV, Formigli VLA. Avaliao em sade: limites e perspectivas. Cad Sade Pblica 1994; 10 (2), 80-91. 26. Trotter R, Needle RH, Goosby E, Bates C, Singer M. A methodological model por rapid assessment, responses and evaluation: the RARE program in public health. Field Methods 2001; 13(2),137-139. 27. Scrimshaw S, Hurtado E. Rapid Assessment Procedures for Nutrition and Primary Health Care: anthropological approaches to improving program effectiveness. Tokio: The United Nations University; 1987. 28. Patton MQ. How to use qualitative methods in evaluation. Newbury Park: Sage Publications; 1987. 29. Minayo MCS. Abordagem Antropolgica para Avaliao de Polticas Sociais. Rev Saude Publica 1991; 25 (3),233-238. 30. Minayo MCS, DElia JC, Svitone E. Programa Agentes de Sade do Cear: Estudo de Caso. Fortaleza: UNICEF; 1990. 31. Atkinson S. 1993. Anthropology in research on the quality of health services. Cad Saude Publica 1993;9(2),283-299. 32. Nuto SS, Nations MK.. Avaliao qualitativa dos servios com processo de construo de cidadania. Ao Coletiva 1999; 2,25-29. 33. Heaver R. Participative rural appraisal: potential applications to family planning, health and nutrition programs. Washington DC: Technical Department Asia Region World; 1991. 34. Stohlgren TJ, Chong GW, Kalkhan MA, Shell LD. Rapid assessment of plant diversity patterns: a methodology for landscape. Environment monitoring and assessment 1997; 4 (1), 25-43. 35. International Epidemiological Association. Rapid epidemiologic assessment. Official Journal or the International Epidemiological Association 1989;18 (supl.2). 36. Malilay J, Flanders WD, Brogan DA. Mtodo modificado de mostreo por conglomerados para evaluacin rpida de necesidades despus de un desastre. Revista Pan Americana de Salud Pblica 1997; 2(1),7-12. 37. Lee T, Price T. Indicators and research methods for rapid assessment of a tuberculosis control program: case study of a rural area of South Africa. Tubercle Lung Diseases 1995; 76(5),441-449. 38. World Health Organization. Rapid evaluation method: guidelines for maternal and child health, family planning and other health services. Geneva: WHO; 1993. 39. Denzin NK, Lincoln YS. Handbook of qualitative research. Thousand Oaks: Sage Publications; 1994. 40. Denzin NK. The research act. Chicago: Aldine Publishing Company, 1979. 41. Bebe J. Basic concepts and techniques of rapid appraisal. Human Organization 1995; 54: 42-51. 42. Brando CR. Repensando a pesquisa qualitativa. So Paulo: Editora Brasiliense; 1985. 43. Gajardo M. Pesquisa participante na Amrica Latina. So Paulo: Editora Brasiliense; 1987. 44. Habermas J. Teora de la Accin Comunicativa. I, II. Madrid: Taurus Editorial;1987. 45. Kant I. Crtica Razo Pura. Coleo os Pensadores. So Paulo: Editora Abril;1980. 46. Jick TD. Mixing Quantitative and Qualitative Methods: triangulation and action. Administrative Science Quarterly 1979; 24, 602-611. 47. Samaja J. La Combinacin de Mtodos: Pasos para una Comprensin Dialectica del Trabajo Interdisciplinario. Educacin Medico-Social 1992; 26 (1), 4-34. 48. Minayo MCS, Cruz Neto O. Triangulacin de mtodos en da evaluacin de programas y servicios de salud. 65-80. In: Bronfman M, Castro R. (org). Salud, cambio social y poltica: perspectivas desde Amrica Latina. Mxico: Edamex; 1999. p.65-80. 49. Minayo MCS, Sanches O. Quantitativo-Qualitativo; oposio ou complementaridade? Cad Sade Pblica 1993; 9 (supl.1), 239262. 50. Minayo MCS, Souza E, Assis SG, Cruz Neto O, Deslandes SF, Silva CMPF. Avaliao dos Centros de Orientao e Apoio Sorolgico/CTA/COAS da Regio Nordeste. Cad Sade Pblica 1999;15(1),355-367.

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.