Mtodos de pesquisa social emprica e indicadores sociais

Achim Scrader
Organizadores:
Clarissa Eckert Baeta Neves
Emil Albert Sobottka
16 x 23 cm, 128 pginas, 2002.
ISBN 85-7025-629-9
Ed. UFRGS

Indicadores para o dialogo e Indicadores de resultados de projetos sociais

1) Justificativas para a tendncia em torno de indicadores:
a) a exigncia de organismos (sobretudo internacionais) para financiamento;
b) a necessidade de legitimao (com dados empricos) das polticas e de denncias;
c) a necessidade de democratizao de informaes sobre as realidades sociais para
possibilitar a ampliao do dilogo da sociedade civil com o governo.
d) apresentao de resultados efetivos de cooperao no governamental.
NOO NASCE COMO UMA QUESTO DISCUTVEL (Valarelli)
2) Objetivos e finalidades variadas:
Clareza em termos da funo e da utilidade:
Cautela em termos da construo e da interpretao expresso sempre enviesada e
valorativa
3) Questes centrais:
a) clareza do que se pretende medir;
b) qualidade e preciso na produo das informaes que comporo os indicadores;
c) cautela e cuidado na interpretao das informaes disponveis.

d) indicadores: questo da informao enquanto direito que permite o dilogo entre a

gesto pblica e a sociedade civil.
e) a produo de indicadores deve democratizar as informaes disponveis e
possibilitar uma leitura da realidade social sob a tica dos grupos organizados da
sociedade civil;
e) a apropriao das informaes por parte da sociedade civil deve possibilitar a
ampliao do dilogo desta com o governo, favorecendo um eventual aumento da
participao popular nos processos de formulao (e definio) de agendas, bem como
de monitoramento e avaliao de polticas.
4)O Que So Indicadores
Indicadores so:
- instrumentos importantes para controle da gesto e verificao de eficincia e eficcia,
que permitem comparar situaes entre localidades (espaos) ou organizaes.
- importantes ferramentas gerenciais de gesto para a administrao pblica; e por
outro, um instrumento fundamental para a fiscalizao da gesto pblica por parte dos
movimentos populares.
- fotografias comparveis de determinadas realidades sociais.
- so nmeros que procuram descrever um determinado aspecto da realidade, ou
apresentam uma relao entre vrios aspectos.
- simples e compostos: SIMPLES normalmente so auto-explicativos: descrevem
imediatamente um determinado aspecto da realidade (nmero de leitos hospitalares
implantados, por exemplo) ou apresentam uma relao entre situaes ou aes (como
a relao entre o nmero de matrculas no 2 grau sobre nmero de matrculas no 1
grau).
COMPOSTOS, por sua vez, apresentam de forma sinttica um conjunto de aspectos da
realidade (por exemplo, o ndice de inflao reflete a variao geral de preos da
economia de determinado pas a partir da variao de preos de uma cesta de bens pr
determinada). Estes ndices compostos agrupam, em um nico nmero, vrios
indicadores simples, estabelecendo algum tipo de mdia entre eles.

- Em projetos sociais, indicadores so parmetros qualificados e/ou quantificados que

servem para detalhar em que medida os objetivos de um projeto foram alcanados,
dentro de um prazo delimitado de tempo e numa localidade especfica. Como o prprio
nome sugere, so uma espcie de marca ou sinalizador, que busca expressar algum
aspecto da realidade sob uma forma que possamos observ-lo ou mensur-lo.
- Indicam, mas no so a realidade: identificao de uma varivel, ou seja, algum
aspecto que varia de estado ou situao, variao esta que consideramos capaz de
expressar um fenmeno que nos interessa. (exemplo da febre: Assim, a doena o
estado ou situao que pretendemos avaliar; a temperatura a varivel utilizada; a
escala em graus Celsius que define o que normal e o que febre o indicador; o
termmetro o instrumento ou o meio de verificao.).
-Instrumento de resposta s perguntas em torno de um projeto, em torno de objetivos.
-Instrumento de monitoramento (avaliao durante o processo)
5) Por que construir um indicador
-os dois principais motivos para a construo de indicadores: acadmicos e de
avaliao e legitimao de polticas pblicas.
-Os indicadores so construdos geralmente para medir, quantificar e qualificar
determinada realidade social. Os objetivos prticos da construo de um indicador so,
por um lado, analisar pesquisas de cunho acadmico; por outro, avaliar desempenho e
legitimar determinada poltica pblica.
-A democratizao das informaes auxilia a sociedade no s a controlar as aes do
governo municipal, mas tambm permite que os movimentos e entidades que atuam na
vida poltica e social formulem propostas de prioridades e de interveno e as ofeream
ao poder pblico para implantao.
6) Em que tipo de ao possvel a utilizao de indicadores
-Para a avaliao da poltica necessrio estabelecer os critrios da avaliao poltica
(normativa)

O mais conveniente para a consolidao de um sistema de avaliao de polticas

pblicas seria que as aes pblicas sejam sociais, sejam administrativas e de apoio,
fossem fruto de um diagnstico sobre a realidade. Uma vez realizado o diagnstico,
seriam definidos metas e objetivos de curto, mdio e longo prazo. A partir desses dois
elementos seria possvel a definio:
a) da poltica pblica mais apropriada para a interveno social e o alcance dos
objetivos definidos e desenhada a poltica pblica de interveno com metas e objetivos
bem definidos;
b) do indicador, ou indicadores, que possibilitasse tanto a avaliao final da interveno
realizada, quanto o acompanhamento e monitoramento da implementao da referida
poltica pblica.
-- Para democratizar informaes bsicas que orientaro a discusso poltica.
Figueiredo e Figueiredo chamam a ateno para o fato de que os indicadores no so
instrumento neutros, no respondem a tudo, e, para serem efetivos, dependem muito
de processos mais racionais de formulao e implementao da ao pblica.
- como a democracia, o processo de construo de indicadores interminvel, sob uma
perspectiva de construo contnua, processo de acmulo: anterior. Deste modo a
construo de indicadores deve ser permanente como a construo de uma escada,
degrau por degrau.
- Para medir ou revelar aspectos relacionados a diversos planos da vida social:
individual e familiar, coletivo e associativo, das relaes sociais, polticas, econmicas e
culturais da sociedade. Dizemos, ento, que os indicadores se referem a aspectos
tangveis e intangveis da realidade. Tangveis so os facilmente observveis e
aferveis quantitativa ou qualitativamente, como renda, escolaridade, sade,
organizao, gesto, conhecimentos, habilidades, formas de participao, legislao,

direitos legais, divulgao, oferta etc. J os intangveis so aqueles sobre os quais s

podemos captar parcial e indiretamente algumas manifestaes: conscincia social,
auto-estima, valores, atitudes, estilos de comportamento, capacidade empreendedora,
liderana, poder, cidadania. Como so dimenses complexas da realidade, processos
no lineares ou progressivos, demandam um conjunto de indicadores que apreendam
algumas de suas manifestaes indiretas, "cercando" a complexidade do que
pretendemos observar.
7) Aspectos prticos da construo de um indicador:
a) Comparabilidade Os indicadores devem permitir a comparao temporal e
espacial. Surge um problema: generalizao versus individualizao dos indicadores.
Quanto mais generalizado o indicador, maiores so as possibilidades de comparaes
com outras realidades. Por outro lado, quanto menos generalizados, maiores so as
possibilidades de individualizar e medir determinadas especificidades locais. Neste
caso, entretanto, haver maior dificuldade de comparao.
b) Disponibilidade da informao as bases de dados devem ser acessveis e, de
preferncia, devem constituir sries histricas, para permitir, ao mesmo tempo, a
comparao entre fatores (fotografias de pessoas diferentes), e evoluo, no tempo, do
desempenho (fotografia de uma mesma pessoa em diferentes pocas);
c) Normalizados Os resultados dos indicadores devem ser traduzidos para uma
escala adimensional. Esse procedimento permite uma mescla entre diferentes
indicadores;
d) Quantificveis Os indicadores devem ser traduzidos em nmeros, sem o demrito
da anlise qualitativa. Alis, os indicadores quantitativos devem facilitar uma anlise
qualitativa do desempenho da gesto;

e) Simplicidade O indicador deve ser de fcil compreenso. Deve-se observar,

entretanto, que os indicadores so tentativas at pretensiosas de retratar ou expressar
de maneira muito sinttica determinados fenmenos e processos complexos.
Na construo de indicadores, considera-se a diferena e a coerncia que guardam
entre si a varivel a observar, o indicador utilizado e o meio ou fonte de verificao.
Alm disso, os indicadores podem ser quantitativos ou qualitativos. Quantitativos
quando procuram focar processos satisfatoriamente traduzveis em termos numricos,
tais como valores absolutos, mdias, porcentagens, propores etc. Qualitativos
quando relacionados a processos onde prefervel utilizar referncias de grandeza,
intensidade ou estado, tais como forte/fraco, amplo/restrito, frgil/estruturado, gil/lento,
satisfatrio/insatisfatrio e assim por diante.
8) Fluxograma
1. Delimitar o quadro de referncia - a abordagem da realidade fragmentada, levando
em conta os objetivos das polticas ou programas.
2. Delimitar o objeto e os objetivos da avaliao.
2.1.Circunscrever o objeto quanto ao espao (unidade de observao);
Tempo (unidade ou intervalo); s medidas (se unidimensional, multidimensional ou
relaes entre dimenses); processamento e anlise dessas medidas.
3. Escolher as variveis que comporo os indicadores
4. Definir a composio dos indicadores
5. Acessar sistema de informaes ou criar sistema de informaes (Coleta e
tratamento de dados primrios ou secundrios, segundo a definio do qu e para que
modelar).
Nesta medida, a utilizao de indicadores, como instrumentos de democratizao de
informao, fundamental para o fortalecimento da participao popular e do controle
social.

9)Trs grandes grupos de indicadores padro: indicadores de eficcia, de

eficincia e de efetividade.
Quadro 2 pagina 24
A escolha dos indicadores em um projeto tambm ocorre em funo dos ngulos que
se quer avaliar: sua eficincia, eficcia, efetividade ou impacto.

Eficincia diz respeito boa utilizao dos recursos (financeiros, materiais e

humanos) em relao s atividades e resultados atingidos. Por exemplo, atividades
planejadas X realizadas, custo total X pessoas atingidas, quantidade de cursos X
pessoas capacitadas.

Eficcia observa se as aes do projeto permitiram alcanar os resultados

previstos. Um programa de capacitao permitiu aos seus participantes adquirir
novas habilidades e conhecimentos? A criao de uma cooperativa realmente
implicou em melhorias na produo e comercializao de produtos?

Efetividade examina em que medida os resultados do projeto, em termos de

benefcios ou mudanas gerados, esto incorporados de modo permanente
realidade da populao atingida. Por exemplo, se um grupo mantm no tempo
novos comportamentos e atitudes ou se a assessoria a um grupo permitiu que ele
se mantivesse por iniciativa e motivao prpria.

Impacto diz respeito s mudanas em outras reas no diretamente trabalhadas

pelo projeto (temas, aspectos, pblicos, localidades, organizaes etc.), em virtude
de seus resultados, demonstrando seu poder de influncia e irradiao. Por
exemplo, se um programa de orientao de sade gerou na populao aes de
reivindicao e negociao com a prefeitura para obras de saneamento bsico na
comunidade; se o trabalho junto a um grupo portador de deficincia animou-os a se
organizarem e provocou mudanas no comportamento da comunidade em relao a
eles; se os resultados positivos de um programa de capacitao de
empreendedores fizeram com que o seu modelo fosse adotado e reproduzido em
outros locais.

10) Quando importante construir um indicador e quando surgiram os principais

indicadores (universais) utilizados atualmente.
Os indicadores so elaborados principalmente quando h necessidade de formulao
de agendas e/ou de avaliao das polticas pblicas. Como j foi visto, esses
indicadores expressam valores polticos de determinados perodos histricos.
DIFERENTE DO PASSADO.
a) Indicadores de Primeira Gerao: so os indicadores Simples. O Produto Interno
Bruto - PIB e PIB per capita, criados nos anos 50, so exemplos tpicos dessa gerao
de indicadores.
b) Indicadores de Segunda Gerao: so os indicadores compostos, dos quais o ndice
de Desenvolvimento Humano (IDH), criado nos anos 90, proposto por um organismo
internacional, o PNUD, e fruto de um longo processo de consenso, o exemplo mais
destacado. Esse indicador incorpora o PIB per capita, associando-o a mais dois
indicadores: longevidade e nvel educacional.
c) Indicadores de Terceira Gerao: so indicadores que consideram o trabalho como
um processo a ser aprimorado ao longo do tempo, com discusses permanentes e
reavaliao de metas e objetivos. O ndice Paulista de Responsabilidade Social,
elaborado pela Fundao Seade, a pedido da Assemblia Legislativa de So Paulo,
um tpico Indicador de Terceira Gerao.
Parte-se do suposto de que um indicador, ou um conjunto de indicadores, no mede e
tampouco reflete a riqueza e a complexidade da realidade social. No entanto, a criao
de Indicadores de Segunda Gerao podem, ao mesmo tempo, contrapor-se aos
indicadores mais tradicionais, como o PIB, e ainda servir de isca para que o conjunto da
sociedade leia e conhea relatrios mais complexos com descries e detalhamentos
mais aprofundados da realidade social.

Os Indicadores de Terceira Gerao, alm de incorporarem a idia da imperfeio dos

indicadores e do seu potencial de isca, presentes na configurao dos Indicadores de
Segunda Gerao, preocupa-se tambm em medir, alm dos resultados de curto prazo,
os esforos realizados pela gesto pblica na direo de melhorar alguns indicadores e
avaliar a criao e consolidao de mecanismos institucionais que favoream a
participao da sociedade da implementao e na avaliao das polticas pblicas, bem
como a transparncia nas aes do governo.

11) Caractersticas de um bom sistema de indicadores

Um bom sistema de indicadores para monitoramento e avaliao de resultados
apresenta as seguintes caractersticas:

coerente com a viso e com a concepo que as organizaes envolvidas tm

sobre os objetivos centrais e as dimenses que um projeto deve considerar e resulta
da negociao transparente e no impositiva dos diferentes interesses e
expectativas;

Considera as particularidades do contexto e foi desenvolvido a partir de um bom

conhecimento da realidade na qual se vai intervir;

Define indicadores que captam os efeitos atribuveis s aes, servios e produtos

gerados pelo prprio projeto;

Tem indicadores bem definidos, precisos e representativos dos aspectos centrais da

estratgia do projeto, sem ter pretenso de dar conta da totalidade;

Est orientado para o aprendizado, estimulando novas reflexes e a compreenso

pelos vrios envolvidos sobre a complexidade dos fatores que podem determinar ou
no o alcance dos objetivos;

Prev e especifica os meios de verificao que sero utilizados, bem como os

responsveis pela coleta de informao, pela anlise e tomada de decises;

Combinam, de modo adequado natureza do projeto, indicadores relativos

eficincia, eficcia e efetividade;

simples, capaz de ser compreendido por todos, e no apenas por especialistas,

sem ser simplista;

vivel do ponto de vista operacional e financeiro;

Fornece informaes relevantes e em quantidade que permite a anlise e a tomada

de deciso;

Aproveita as fontes confiveis de informao existentes, poupando recursos, tempo e

energia do projeto.
12)QUESTES CENTRAIS DO TEXTO:
Alertar para a importncia da coleta e sistematizao de informaes que permitam a
incorporao dos mais amplos setores sociais nos debates e discusses acerca da
implementao e avaliao de polticas pblicas;
e mostrar que a formulao, bem como a leitura, dos indicadores so, a priori,
permeadas por um aspecto fortemente normativo, o que absolutamente natural.
O que se defendeu ao longo do tempo que a apropriao das informaes por parte
dos movimentos sociais e dos mais amplos e diversos setores sociais um direito e um
instrumento fundamental para ampliar a possibilidade de dilogo entre o Estado e os
referidos setores organizados. Complementando essa idia, a disponibilidade de
informaes confiveis tambm foi vista como um dever do poder pblico e direito da
cidadania.
Um sistema de indicadores sempre resultado do processo de dilogo e negociao
entre os diferentes sujeitos envolvidos. Cada organizao tem uma leitura dos
problemas sociais, de suas causas e possveis solues; possui valores prprios e
atribui para si uma misso ou papel na resoluo destes problemas. Adota um enfoque
sobre que dimenses o projeto deve abordar e cria expectativas sobre o ganho e o
aprendizado que ter com ele.

Cada projeto requer um sistema de indicadores prprio. Mesmo que o conjunto de

variveis utilizadas seja semelhante aos de outros projetos, os indicadores devero
retratar as condies especficas de cada realidade.