METODOLOGIA PARA AVALIAO DE INDICADORES DE DESEMPENHO DE

PRESTADORES DE SERVIOS

Carla Canton Sandrin

(1)

Engenheira Sanitarista e Ambiental pela Universidade Federal de Santa Catarina (UFSC). Especialista em
Engenharia Ambiental e Saneamento Bsico pela Universidade do Oeste de Santa Catarina (UNOESC).
Engenheira Sanitarista e Ambiental da ARIS.
Ciro Loureiro Rocha

(2)

Engenheiro Civil e Sanitarista pela Escola de Engenharia da Universidade Federal (RS), Especializao em
Hidrologia Aplicada (IPH/UFRGS) e Mestre em Engenharia Ambiental (UFSC). Estgios no USGS (USA),
na Frana, na Inglaterra, na Alemanha. Vrios cargos na administrao pblica e empresas de economia mista,
na rea de ensino, na iniciativa privada, destacando-se as funes na UFSC, SDS/SC, DNAEE/MME; Diretor
da ELETROSUL; Diretor da ABRH e Consultor; Coordenador de Normatizao da ARIS.
Ricardo Martins

(3)

Engenheiro Sanitarista-Ambiental pela Universidade Federal de Santa Catarina. Diretor de Regulao da

ARIS Agncia Reguladora Intermunicipal de Saneamento. Professor substituto do Instituto Federal de Santa
Catarina - curso de Agrimensura de 2009 e 2010, responsvel pela cadeira de implantao de obras de
infraestrutura. Scio fundador da Motta Martins Engenharia atuando em estudos, criao, desenvolvimento e
elaborao de empreendimentos no pas, com nfase no estado de Santa Catarina.
Daniel Narzetti

(4)

Graduado em Cincias Econmicas pela Universidade Federal de Santa Catarina (UFSC), Tecnlogo em
Sistemas Eletrnicos pelo Instituto Federal de Santa Catarina (IF-SC). Consultor Econmico da Facilita
Assessoria e Projetos, com nfase no estudo de sistemas financeiros, gesto de informaes empresariais,
viabilidade econmica de projetos, inovao e popularizao de tecnologias; Sistema Financeiro Habitacional;
Sade; Saneamento; Terceiro Setor; Mobilidade; estatstica, big data e programao econmica.
Endereo: Rua Santos Saraiva, 1546 - Estreito - Florianpolis- SC- CEP: 88070-101- Brasil - Tel: (48) 39549100
E-mail: carla@aris.sc.gov.br
RESUMO
Diante do atual cenrio, a utilizao e a interpretao de indicadores, como mecanismos de avaliao do
desempenho e da qualidade dos servios prestados em saneamento bsico, permitem o constante
monitoramento, fiscalizao e anlise desses servios, bem como, seu aprimoramento, acompanhamento da
execuo de metas de Contratos de Concesso e/ou dos Planos Municipais de Saneamento Bsico PMSB.
Desta forma este estudo objetiva, alm de identificar e disseminar as melhores prticas, efetuar a comparao
dos resultados, induzir a melhoria da eficincia a partir do momento em que cada prestador buscar o progresso
constante de seus indicadores. Esta ferramenta elaborada pela Agncia Reguladora composta por um
conjunto de indicadores que tem como finalidade o mapeamento de riscos e a verificao dos controles
utilizados pelos prestadores, alm de indicar melhorias nos processos que podero ser adotadas por estes,
classificandoos conforme seu nvel de representatividade. Cada indicador contribui para a quantificao da
qualidade dos servios sob um determinado ponto de vista, numa dada rea e durante um dado perodo de
tempo. A metodologia desenvolvida poder tambm ser utilizada como ferramenta para determinao dos
fatores de eficincia quando dos reajustes e revises tarifrias.

ABAR Associao Brasileira de Agncias de Regulao

Palavras-chave: Indicadores, Prestadores de Servios, Planos Municipais de Saneamento Bsico, Metas,

Regulao.
INTRODUO
Como Marco Regulatrio, na questo do Saneamento Bsico no pas, a Lei Federal n 11.445 trouxe
mudanas significativas para a prestao dos servios de saneamento bsico, sendo que uma das principais foi
a separao das funes de planejamento, regulao e prestao (operao) dos servios. Como um dos
instrumentos da Lei Federal n 11.445, surge o Plano Municipal de Saneamento Bsico - PMSB, atravs do
qual os Municpios podem elaborar seu planejamento para um determinado cenrio no horizonte de tempo.
Para bem desempenhar as competncias que lhe foram atribudas e com fundamento no artigo 23 da Lei
Federal n 11.445/07, a Agncia Reguladora controla, regula e fiscaliza a prestao dos servios pblicos
especialmente de servios de saneamento bsico, para os quais recebeu delegao:
A Entidade Reguladora editar normas relativas s dimenses tcnica, econmica e social de
prestao dos servios, que abrangero, pelo menos, os seguintes aspectos: I - padres e
indicadores de qualidade da prestao dos servios. (Lei n 11.445/2011 Cap. V , art.23).
A Secretaria Nacional de Saneamento Ambiental, o Ministrio das Cidades, gere o Sistema Nacional de
Informaes sobre Saneamento SNIS (SINISA), e realiza anualmente pesquisa junto aos prestadores de
servios de saneamento, com coleta de dados e informaes do setor. A ABAR tambm, atravs de sua
Cmara Tcnica de Saneamento, a Associao Brasileira de Agncia de Regulao, elegeu os principais
indicadores do SNIS, para servir de referencia no acompanhamento da prestao dos servios de gua e
esgoto com foco nas aes regulatrias. Essa proposta de padronizar os indicadores, a todos os Entes
Reguladores associados a ABAR, tem como objetivo avaliar os processos de maneira uniforme. Dessa
maneira, a Agncia Reguladora desenvolveu a metodologia para a Avaliao de Desempenho da Prestao de
Servios via acompanhamento da evoluo desses indicadores.
METODOLOGIA
Esta ferramenta elaborada pela ARIS composta por um conjunto de indicadores que tem como finalidade o
mapeamento de riscos e a verificao dos controles utilizados pelos prestadores, alm de indicar melhorias nos
processos que podero ser adotadas por estes, classificandoos conforme seu nvel de representatividade. Cada
indicador contribui para a quantificao da qualidade dos servios sob um determinado ponto de vista, numa
dada rea e durante um dado perodo de tempo.
A utilizao e a interpretao de indicadores, como mecanismos de avaliao do desempenho e da qualidade
dos servios de saneamento, permitem o constante monitoramento, a fiscalizao e anlise desses servios,
bem como, seu aprimoramento, o acompanhamento da execuo de metas de Contratos de Concesso e/ou dos
Planos Municipais de Saneamento Bsico - PMSB, identificar e disseminar as melhores prticas, a
comparao dos resultados via metodologia de benchmarking, por exemplo, podendo induzir a melhoria da
eficincia, a partir do momento em que cada prestador buscar o progresso constante de seus indicadores. Esta
metodologia tambm pode ser utilizada como ferramenta para determinao dos fatores de eficincia quando
dos reajustes e revises tarifrias.
Indicadores Definidos pela ARIS
Na definio dos indicadores buscou-se cobrir as dimenses mais relevantes da prestao dos servios de
abastecimento de gua e esgotamento sanitrio, com o objetivo de garantir que as informaes mais
significativas para a regulao sejam contempladas, conforme recomendado pela Cmara Tcnica de
Saneamento da ABAR. Na Erro! Fonte de referncia no encontrada., so apresentados os principais
temas de abordagem na sua dimenso e descrio.

ABAR Associao Brasileira de Agncias de Regulao

Cdigo

Dimenses

Descrio

Contexto

Itens que explicam o contexto do municpio, mas que fogem da gerncia do Prestador de
servios. Apontam fatores que podem influenciar as variveis e indicadores avaliados
nas outras dimenses.

Eficincia

Permitem a avaliao da eficincia dos operadores em cada um dos municpios.

Importantes instrumentos para introduo de padres de desempenho.

Econmico-Financeiro

Se propem a analisar a situao econmico-financeira da prestao dos servios nos

municpios.

Qualidade

Possibilitam verificar se os padres de qualidade mnima estabelecida pela

normatizao atendida em cada um dos municpios.

Universalizao

Demonstram a abrangncia dos servios. Instrumentos para a introduo e avaliao de

polticas pblicas no sentido da universalizao.

Figura 1: Dimenses e descrio dos Indicadores de Desempenho

Para compor a classificao dos indicadores, foram estabelecidos parmetros que tm como principais
referncias, a Portaria n 2.914 do Ministrio da Sade e as metas apresentadas no Plano Nacional de
Saneamento Bsico (PLANSAB) para a regio Sul, publicado em 2013 pelo Ministrio das Cidades.
Quanto parametrizao dos indicadores de desempenho utilizada, prope-se a classificao dos indicadores
em cores, que pode ser considerada uma tcnica de estmulo participao social, especialmente no que diz
respeito facilidade com que o leitor ter de entender a informao fornecida, despertando o lado crtico e
reflexivo de quem a est recebendo. Este mtodo permite, com bastante simplicidade, compreender o
resultado da avaliao dos servios, mesmo que o interlocutor tenha conhecimentos limitados sobre o setor de
saneamento.
Cada Indicador de Desempenho possui uma frmula de clculo, onde esto evidenciadas todas as informaes
e dados necessrios para sua determinao. Para fins de comparao, a ARIS, como parte desta metodologia
de avaliao, definiu intervalos e limites quantitativos para cada um dos indicadores, os quais foram divididos
em nveis distintos: Ideal, Satisfatrio, Insatisfatrio e No Informado, representados por diferentes
cores, conforme ilustrado a seguir:
Ideal: Cenrio Normativo /PLANSAB/ Regio Sul.
Satisfatrio: Cenrio superior ao referenciado no SNIS 2010 para o Estado de Santa Catarina.
Insatisfatrio: Cenrio inferior ao referenciado no SNIS 2010 para o Estado de Santa Catarina.
X No Informado: Que no foi respondido, no comunicado pelo Prestador; no se tem informao.

Nesse sentido, os indicadores esto agrupados nas cinco dimenses distintas, j citadas, bem como a sua
definio, conforme segue abaixo:
Contexto: Extenso da Rede de gua por Ligao (IN020); Densidade de Economias de gua por
Ligao (IN001); Consumo Mdio de gua por Economia (IN053); Participao das Economias
Residenciais de gua no Total das Economias de gua (IN043).
Eficincia: ndice de Perdas na Distribuio (IN049); ndice de Produtividade de Pessoal Total
(IN102); ndice de Despesa por Consumo de Energia Eltrica nos Sistemas de gua e Esgotos
(IN060); Despesa de Explorao por m Faturado (IN026); Despesa Mdia Anual por Empregado
(IN008).
Econmico Financeiro: Tarifa Mdia Praticada (IN004); Margem de Despesa de Explorao
(IN030); ndice de Evaso de Receitas (IN029).
Qualidade: ndice de Hidrometrao (IN009); ndice de Macromedio (IN011); Incidncia das
Anlises de Coliformes Totais Fora do Padro (IN084); Extravasamentos de Esgotos por Extenso
de Rede (IN082).
Universalizao: ndice de Atendimento Urbano de gua (IN023); ndice de Atendimento Urbano
de Esgoto em Relao ao Atendimento com Abastecimento de gua (IN024); ndice de Tratamento
de Esgoto (IN016).

ABAR Associao Brasileira de Agncias de Regulao

Na tabela 1, esto listados os indicadores selecionados pela ARIS, categorizados nas respectivas dimenses e
cdigos do SNIS, com os equivalentes indicadores presentes no PLANSAB, bem como, a referncia utilizada
para as faixas de classificao dos mesmos.
Tabela 1: Indicadores e corresponde referncia utilizada para classificao
CATEGORIA
DO INDICADOR

INDICADOR
(ARIS/SNIS)
IN020

Contexto

IN001
IN053
IN043
IN049
IN102

Eficincia

IN060
IN026
IN008
IN004

Econmico-financeiro

IN030
IN029
IN009

Qualidade

Universalizao

IN011
IN084

INDICADOR
CORRESPONDENTE
(PLANSAB)

REFERNCIA UTILIZADA
P/ FAIXA DE
CLASSIFICAO

ARIS
ARIS
ARIS
A6

IN082
IN023

IN024
IN016

ARIS
PLANSAB
ARIS
ARIS
ARIS
ARIS
ARIS
ARIS
ARIS
ARIS

A4

ARIS
PLANSAB

A2

ARIS
PLANSAB

E4

ARIS
PLANSAB

Critrios de Avaliao
Para aplicao da metodologia, ser necessrio ter as informaes fornecidas pelos prestadores dos servios
atravs da planilha dos indicadores devidamente preenchida. De posse dessas informaes, ser possvel
avaliar e acompanhar o desempenho dos prestadores num determinado perodo definido.
Assim, sero estabelecidos comandos em uma planilha eletrnica que, de acordo com a faixa de abrangncia
do indicador, ser atribuda uma cor e ser classificado em: Ideal, satisfatrio, insatisfatrio e no informado,
conforme anteriormente descrito. Esta avaliao do desempenho dos indicadores poder ser feita anualmente.
A anlise da srie histrica de indicadores permitir que seja evidenciada sua evoluo no tempo at o ano de
referncia. Tambm poder ser realizada uma avaliao, estimando um avano futuro com base em metas prestabelecidas. Para o acompanhamento da evoluo histrica foram definidas trs categorias distintas:
MELHOROU (M): variao positiva no desempenho do indicador;
DIMINUIR (D): variao negativa no desempenho do indicador;
CONSTANTE (C): sem ocorrncia de variao no desempenho do indicador.
A metodologia tambm permitir estabelecer estudos de benchmarking onde podero ser comparados aos
indicadores de outros municpios, estados, sistemas do Pas. Assim, para acompanhamento da evoluo num
determinado perodo, definiu-se trs nveis limites de enquadramento, ou seja, inferior, superior e semelhante.
A seguir mostrado o critrio para a valorao de cada um dos limites:
SUPERIOR (S): desempenho do indicador maior que o comparado.
INFERIOR (I) desempenho do indicador menor que o comparado.
SEMELHANTE (SE) desempenho do indicador permaneceu igual ao comparado.
Ao se concluir a anlise dos indicadores, ser possvel construir uma matriz de resultados, na qual estaro
apresentados os resultados das comparaes e evoluo dos indicadores, permitindo assim a avaliao do
desempenho da Prestao dos Servios. Na Tabela 2, apresentado um modelo de Matriz de Resultados.

ABAR Associao Brasileira de Agncias de Regulao

Tabela 2: Modelo de Matriz de Resultados

MUNICPIO:

ANO2011

1. Universalizao:
ndice de Atendimento Urbano de gua (IN023)
ndice de Atendimento Urbano de Esgoto em Relao ao Atendimento com Abastecimento de gua (IN024)
ndice de Tratamento de Esgoto (IN016)
2. Eficincia:
ndice de Perdas na Distribuio (IN049)
ndice de Produtividade de Pessoal Total (IN102)
ndice de Despesa por Consumo de Energia Eltrica nos Sistemas de gua e Esgotos (IN060)
Despesa de Explorao por m Faturado (IN026)
Despesa Mdia Anual por Empregado (IN008)
3. Qualidade:
ndice de Hidrometrao (IN009)
ndice de Macromedio (IN011)
Incidncia das Anlises de Coliformes Totais Fora do Padro (IN084)
Extravasamentos de Esgotos por Extenso de Rede (IN082)
4. Econmico Financeiro:
Tarifa Mdia Praticada (IN004)
Margem de Despesa de Explorao (IN030)
ndice de Evaso de Receitas (IN029)
5. Contexto:
Extenso da Rede de gua por Ligao (IN020)
Densidade de Economias de gua por Ligao (IN001)
Consumo Mdio de gua por Economia (IN053)
Participao das Economias Residenciais de gua no Total das Economias de gua (IN043)

ANO2012 ANO2013 ANO2014

ANO1

ANO2

ANO3

COMPARAO
ENTRESISTEMAS

C
D
C

D
C
C

M
M
M

S
SE
SE

M
C
D
D
C

M
M
X
C
D

C
D
M
C
D

I
S
S
SE
I

C
M
D
D

C
M
C
M

M
M
X
M

SE
I
I
S

M
X
C

M
D
M

D
C
M

S
S
I

M
C
D
M

C
X
D
D

D
X
C
D

I
SE
S
S

Ranking da Qualidade da Prestao de Servio

Para se avaliar a qualidade dos servios prestados nos municpios regulados pela ARIS, ser criado um
ranking de classificao. Sero listados os municpios e atribuda uma pontuao a cada um.
Cada indicador verde (ideal) valer 3 pontos; indicadores amarelos (satisfatrio) valero 1 ponto, os
indicadores vermelhos (insatisfatrio) no contabilizam pontos e, quando no informado, ter pontuao
negativa, -1 ponto. A maior pontuao atingida ser 39 pontos (13 indicadores X 3 pontos). Dos 19
indicadores, 06 no possuem classificao.
Na Tabela 3 apresentado um exemplo de Ranking a ser criado de acordo com a pontuao.
Tabela 3: Exemplo de Ranking dos 10 municpios com maior pontuao na prestao dos servios
POSIO

PONTOS

MUNICPIO

PRESTADOR

39

AUTARQUIA

37

COMPANHIA ESTADUAL

33

CONCESSIONRIA PRIVADA

...

...

...

...

...

...

...

...

...

...

...

...

....

176

...

....

....

Como forma a incentivar os prestadores com objetivos de qualidade, a ARIS definiu limites onde estes sero
certificados, atribuindo um selo de conformidade conforme segue abaixo.

Ouro 37 pontos

Prata 32 36 pontos
Bronze 27 31pontos

ABAR Associao Brasileira de Agncias de Regulao

RESULTADOS ESPERADOS
Com a aplicao desta metodologia pretende-se estabelecer uma ferramenta auxiliar na avaliao sistemtica
da eficincia, eficcia e efetividade das aes desenvolvidas pelos Prestadores de Servios. O uso de
indicadores permitir ainda aperfeioar e racionalizar as atividades de fiscalizao, alm de poder gerar
diagnsticos anuais, disposio dos Municpios e da Agncia, que podero ser utilizados como instrumento
de informaes para a formulao de polticas pblicas no setor do saneamento bsico e para as aes de
regulao.
CONCLUSES E RECOMENDAES
Com a metodologia assim desenvolvida, a Agncia Reguladora, no mbito de suas atribuies, utilizar os
indicadores recomendados pela CTSan/ABAR e do Sistema Nacional de Informaes em Saneamento SNIS,
de forma complementar a anlise dos indicadores dos Planos Municipais de Saneamento Bsico. Esta
ferramenta, tambm se aplicar aos Contratos de Programa/Concesso dos Municpios consorciados
Agncia, com o intuito de fomentar uma avaliao comparativa entre sistemas similares a nvel regional e
nacional, que posteriormente poder ser apresentada no Relatrio Anual de Avaliao dos Indicadores de
Desempenho dos Municpios.
Cabe ressaltar que a utilizao desses indicadores para avaliao do desempenho dos prestadores dos servios,
ainda apresenta algumas margens de incertezas ou limitaes que so originrias de vrios fatores, dentre eles,
podemos citar:
I. Os dados do SNIS no esto ainda certificados. Isso implica que os prestadores poderiam repassar
informaes inverossmeis, sem sofrer sanes ou penalidades.
No entanto, encontra-se em discusso no mbito da Cmara Tcnica de Saneamento da ABAR a possibilidade
de as Agncias Reguladoras assumirem o papel de auditoria e certificao dos dados de seus prestadores
regulados, fato este que traria ao SNIS um nvel mais elevado de confiabilidade.
II. O estabelecimento dos parmetros de avaliao dos indicadores, embora com base em critrios
tcnicos, sempre necessrio instituir julgamentos subjetivos, os quais tero impacto sobre as
concluses.
Alm disso, deve-se tomar extremo cuidado com a sinalizao que se pretende dar aos indicadores, isto , se
os parmetros no forem acuradamente estabelecidos, podem desestimular o atingimento de metas de bom
desempenho dos prestadores.
III. Outro entrave, diz respeito defasagem de aproximadamente dois anos entre o perodo de coleta das
informaes e a divulgao dos dados do SNIS, o que dificulta sobremaneira anlises em curto
espao de tempo, impossibilitando a rpida proposio de solues aos problemas apontados pelos
indicadores.
Ainda, quanto aos critrios de acompanhamento da evoluo do desempenho dos prestadores de servios,
devero ser estabelecidos em consonncia com o ciclo da reviso tarifria peridica ou em regime especial,
com a reviso do PMSB ou por procedimento regulatrio, devendo abranger um perodo mnimo de 04 anos.
Recomenda-se aos prestadores dos servios de saneamento a utilizao interna de outros indicadores que
entendam ser apropriados para efeitos da sua prpria gesto. Ressalta-se tambm, a importncia e
obrigatoriedade da utilizao, pelos prestadores e posterior apresentao ao Ente Regulador, dos indicadores
definidos pelo PMSB dos Municpios e respectivos instrumentos delegatrios.

REFERNCIAS BIBLIOGRFICAS
1.
2.
3.

ABAR- Associao Brasileira de Agncias de Regulao. Disponvel em http://www.abar.org.br/.

ARES - PCJ - Agncia Reguladora dos Servios de Saneamento das Bacias dos rios Piracicaba, Capivari
e Jundia. Disponvel em http://www.arespcj.com.br. Acesso em: Fev. 2015.
ARIS AGNCIA REGULADORA INTERMUNICIPAL DE SANEAMENTO - SC. O papel do ente
regulador e mecanismos para avaliao e controle da implementao de Planos Municipais de

ABAR Associao Brasileira de Agncias de Regulao

4.

5.

6.
7.
8.

9.

10.
11.
12.
13.
14.

15.

Saneamento Bsico (PMSB) em Santa Catarina. ABAR, VIII CONGRESSO BRASILEIRO DE

REGULAO, Fortaleza, 2013.
ARIS AGNCIA REGULADORA INTERMUNICIPAL DE SANEAMENTO - SC. O papel do ente
regulador na transformao de dados sobre o saneamento bsico em informaes para o usurio. ABAR,
VIII CONGRESSO BRASILEIRO DE REGULAO, Fortaleza, 2013.
ARIS AGNCIA REGULADORA INTERMUNICIPAL DE SANEAMENTO - SC. Elaborao de
uma ferramenta de auxlio na regulao e fiscalizao de aterros sanitrios por Agncias Reguladoras de
Saneamento. ABES, 27 CONGRESSO BRASILEIRO DE ENGENHARIA SANITRIA, Goinia, 2013.
ARIS AGNCIA REGULADORA INTERMUNICIPAL DE SANEAMENTO - SC. Informaes
disponveis www.aris.sc.gov.
ARSAE/MG - Agncia Reguladora de gua e Esgoto de Minas Gerais. Disponvel em
http://www.arsae.mg.gov.br/.
BARBI, S. A.; CRTES, L. S. Avaliao dos componentes da tarifa mdia e da estrutura de custos das
prestadoras regionais de saneamento do Sudeste: um estudo baseado no SNIS 2010. In: CONGRESSO
BRASILEIRO DE REGULAAO ABAR, 8., 2013, Fortaleza. Anais...
BRASIL. Ministrio das Cidades. Secretaria Nacional de Saneamento Ambiental SNSA. Sistema
Nacional de Informaes sobre Saneamento: Diagnstico dos Servios de gua e Esgotos 2012.
Braslia: SNSA/MCIDADES, 2014. 164 p
BRASIL. Lei n 11.445, de 5 de janeiro de 2007. Disponvel em: <www.planalto.gov.br>. Acesso em:
Fev. 2015.
BRASIL. Lei n 12.527, de 18 de novembro de 2011. Disponvel em: <www.planalto.gov.br>. Acesso
em: Fev. 2015.
BRASIL. Portaria MS n 2.914 de 12/12/2011. Dispe sobre os procedimentos de controle e de vigilncia
da qualidade da gua para consumo humano e seu padro de potabilidade. Ministrio da Sade. 2011.
BRASIL. Ministrio das Cidades. Proposta de Plano Nacional de Saneamento Bsico PLANSAB. 2011.
Disponvel em: <http://www.cidades.gov.br/>. Acesso em: Fev. 2015.
COSTA, S. A. B.; CRTES, L. S.; COELHO, T.; FREITAS, M. M. Indicadores em saneamento:
avaliao da prestao dos servios de gua e de esgoto em minas gerais. Rev. UFMG, Belo Horizonte, v.
20, n.2, p. 334-357, jul./dez. 2013.
SNIS - Sistema Nacional de Informao sobre Saneamento. Glossrio de Informaes Informaes
gerais de gua e esgoto, 2013. Disponvel em http:\\www.snis.gov.br, consultado em novembro de 2014.

ABAR Associao Brasileira de Agncias de Regulao