XIII SIMPEP - Bauru, SP, Brasil, 6 a 8 de Novembro de 2006

Avaliao da qualidade dos sites de governo eletrnico - baseada na

satisfao dos usurios
Simone Vasconcelos Silva (CEFETCAMPOS) simonevs@cefetcampos.br
Luciana Rocha (UENF) lurochas@yahoo.com.br

Resumo: Neste artigo, ser apresentada uma metodologia baseada na qualidade de

produtos de software (sites de e-gov), abordando determinao do grau de satisfao
dos usurios, ou seja, a usabilidade. Primeiramente sero definidos os critrios que
sero utilizados na avaliao da qualidade dos sites de e-gov. Aps a escolha dos
critrios, um mtodo ser apresentado para classific-los pelo nvel de importncia
relacionado aos sites de e-gov. Como um prximo passo, um segundo mtodo ser
introduzido para classificar os critrios da usabilidade pelo nvel de qualidade que
apresentam em um site de e-gov selecionado. Finalmente, combinam-se os dois mtodos,
definindo um fator de usabilidade para avaliar a qualidade dos sites de e-gov. Ser
apresentando tambm um estudo de caso baseado no site da Receita Federal.
Palavras-Chave: e-gov, qualidade, usabilidade
1. Introduo
A sociedade est vivenciando, h alguns anos, um processo de reestruturao de um
modelo industrial para um modelo informacional, que proporciona uma nova arquitetura
tecnolgica, econmica, poltica, organizacional e de gesto coletiva. A Internet surge como
instrumento desta mudana, no somente como uma nova tecnologia da informao, mas
tambm como uma nova forma de organizacional da economia e da sociedade, num processo
de reconstruo.
As empresas esto utilizando este novo modelo informacional com aplicaes em comrcio
eletrnico, organizao interna, relaes externas, entre outros processos. Este modelo
tambm gera muitos impactos na estruturao da prpria sociedade, estabelecendo novos
padres comportamentais, mudanas na comunicao e o surgimento de comunidades
virtuais.
A partir deste cenrio, onde a sociedade passa a se inserir neste modelo global da
informao, os governos (nacional, estadual e municipal) percebem a necessidade da insero
de seus servios a esta nova realidade, surgindo ento o chamado, Governo Eletrnico, cujo
objetivo maior a prestao de servios a sociedade com maior rapidez e qualidade, alm da
reduo de custos.
A web se tornou uma meta para os rgos governamentais no intuito de prover maior
acessibilidade aos servios do governo para os cidados. No entanto a facilidade de utilizao
dos sites, a usabilidade, tem sido um obstculo para atingir tal finalidade, pois disponibilizar
um servio na web no, necessariamente, garante sua utilizao.
Os websites que obtm grande sucesso na Internet so aqueles que observam as duas
caractersticas fundamentais: usabilidade e simplicidade. Onde a usabilidade a propriedade
que um site dispe, no sentido de permitir ao usurio a obteno do mximo de informaes
de suas pginas, com o mnimo de esforo. (NIELSEN, 1993)
A maior parte das pginas web do governo so caracterizadas por uma quantidade
excessiva de informao que torna o contedo confuso e dificulta em grande parte a sua
utilizao por parte da populao.
Este artigo prope a utilizao de uma metodologia para avaliar a satisfao dos

XIII SIMPEP - Bauru, SP, Brasil, 6 a 8 de Novembro de 2006

usurios dos sites de Comrcio Eletrnico. A avaliao da qualidade de websites de Governo

Eletrnico (E-Gov) busca identificar as caractersticas que, de algum modo, possuem efeito
sobre a capacidade dos usurios de atingirem seus objetivos de maneira eficaz e objetiva.

2. Governo eletrnico
De acordo com o site do Governo Eletrnico do Brasil, no ano 2000 o Governo
Brasileiro lanou as bases para a criao de uma sociedade digital ao criar um Grupo de
Trabalho Interministerial (GTTI) com a finalidade de propor polticas, diretrizes e normas
relacionadas com as novas formas eletrnicas de interao. O Comit Executivo de Governo
Eletrnico CEGE, atendendo a um Plano de Metas, apresentou, ainda no mesmo ano, o
documento "Poltica de Governo Eletrnico". Em setembro de 2002 foi publicado um
documento com o balano das atividades desenvolvidas nos dois anos de Governo Eletrnico
e constitui uma base de informaes para a continuidade do programa em 2003. (BRASIL,
2005)
Em novembro de 2003, a Presidncia da Repblica publicou um Decreto criando 8
Comits Tcnicos de Governo Eletrnico, a saber: Implementao do Software Livre;
Incluso Digital; Integrao de Sistemas; Sistemas Legados e Licenas de Software; Gesto
de Stios e Servios On-line; Infra-Estrutura de Rede; Governo para Governo - G2G, e Gesto
de Conhecimentos e Informao Estratgica. (BRASIL, 2005)
Segundo o site do Governo Eletrnico do Brasil, o papel do Estado no cenrio da
transformao digital o de agente estratgico para o atendimento da demanda de maior
participao direta dos cidados. A universalizao dos servios tem como diretriz estimular o
acesso Internet seja individual, pblico, ou ainda coletivo e comunitrio. A meta colocar o
governo ao alcance de todos, ampliando a transparncia das suas aes, e incrementando a
participao cidad.
Em relao ao cidado so desenvolvidos portais na Internet que funcionam como
verdadeiros balces virtuais de informao e atendimento para a prestao de servios; j para
a gesto interna so desenvolvidos e integrados sistemas em rede interna (intranet); e para a
integrao com parceiros e fornecedores, fortalecidos os sistemas de informao do Governo
Federal em uma extranet. A estrutura relacional entre os principais atores neste processo deve
ocorrer entre governo, cidados/clientes e empresas, dentro das diversas possibilidades de
transaes eletrnicas (e-business e e-gov). (BRASIL, 2005)
Praticamente 65% das empresas brasileiras usam e-gov, mas j entre as pessoas fsicas, a
Internet usada para se relacionar com o governo por apenas 12,7% da populao.
(CERIONE, 2005)

3. Ergonomia e design de interfaces

Segundo a International Ergonomics Association, a ergonomia uma disciplina
cientfica concernente ao entendimento da interao entre humanos e outros elementos de um
sistema e a profisso que aplica teorias, princpios, informaes e mtodos para o design,
priorizando o bem-estar humano e a performance global do sistema.
Na ltima dcada, as pesquisas nas reas de engenharia de software e ergonomia
resultaram no advento de uma nova rea de conhecimento: a ergonomia do software. Seu
objetivo buscar ferramentas e critrios para solucionar os problemas criados com o
desenvolvimento de sistemas de computador.
O campo da ergonomia de interfaces est situado no que diz respeito a ergonomia
cognitiva (concernente aos processos mentais tais como percepo, memria, deciso e
reaes motoras, e como elas afetam as interaes entre humanos e outros elementos do

XIII SIMPEP - Bauru, SP, Brasil, 6 a 8 de Novembro de 2006

sistema). Ela se apresenta no caso de tarefas informatizadas em que os processos cognitivos

da atividade mental so preponderantes. (CYBIS, 2004)
No design de GUI (User Interface Guide) trs processos da ergonomia cognitiva
interessam particularmente: criao das imagens para interfaces relacionadas aos mtodos,
percepo e processamento das imagens na interao, e comunicao entre designer e usurio
atravs da interface grfica.

4. Usabilidade
A primeira norma que definiu o termo usabilidade foi a ISO/IEC 9126-1, sobre
qualidade de software. Sua abordagem claramente orientada ao produto e ao usurio, pois
considera a usabilidade uma das caractersticas de qualidade existente em um produto de
software e a define como "um conjunto de atributos de software relacionado ao esforo
necessrio para seu uso e para o julgamento individual de tal uso por determinado conjunto de
usurios. (ISO/IEC 9126-1, 1999)
O conceito da usabilidade evoluiu, passando a considerar mais o ponto de vista do
usurio e seu contexto de uso do que as caractersticas ergonmicas do produto. Foi
redefinido na norma ISO 9241-11 (Orientao para a Usabilidade) como "a capacidade de um
produto ser utilizado por usurios especficos para atingir objetivos especficos com eficcia,
eficincia e satisfao em um contexto especfico de uso". (DIAS, 2000)
Os componentes da usabilidade so: fcil aprendizado, eficincia, fcil de ser
lembrado, minimizao de erros e satisfao. (NIELSEN, 1993)
A usabilidade visa a avaliao da qualidade do produto de software e a garantia de que
o usurio realizar bem suas tarefas, aproveitando integralmente os recursos disponveis no
mesmo. Alm disso, possibilita a identificao de problemas e respectivas solues em fases
crticas dos processos de produo.
Os testes de usabilidade tm se tornado uma prioridade nos grupos de
desenvolvimento web, sendo que estes tm se mostrado de grande confiana e alta efetividade
no desenvolvimento de ferramentas. (LEITE, 2004)

5. Projeto de pginas para web

De acordo com Cybis (2004), para se alcanar o sucesso na criao e concepo de um
projeto deve-se ter critrios bem definidos. Critrios ergonmicos primordiais se subdividem
na busca da minimizao da ambigidade para identificar e classificar qualidades e
dificuldades ergonmicas do software interativo, tais critrios so:
Conduo: a ergonomia busca em um software aconselhar, orientar, informar, e conduzir
o usurio em sua interao com o sistema, atravs de mensagens, alarmes, rtulos, etc.
Pode ser dividido em: Presteza, Feedback Imediato, Legibilidade e
Agrupamento/Distino de Itens;
Carga de trabalho: a observao da Carga de Trabalho fundamental para que se tenha
um software econmico, de modo que os elementos da interface no sobrecarreguem
cognitiva e perceptivamente o usurio. Pode ser dividido em: Brevidade e Densidade
Informacional;
Controle Explcito: possibilita o controle na definio das entradas por parte dos usurios,
reduzindo a probabilidade de erros. Pode ser dividido em: Aes Explcitas do Usurio e
Controle do Usurio;
Adaptabilidade: um sistema reage conforme o contexto e s necessidades/ preferncias do
usurio. Pode ser dividido em: Flexibilidade e Consideraes da Experincia do Usurio;

XIII SIMPEP - Bauru, SP, Brasil, 6 a 8 de Novembro de 2006

Gesto de erros: refere-se aos mecanismos empregados na preveno ou reduo da

ocorrncia de erros, bem como sua correo quando estes acontecem. Pode ser dividido
em: Proteo Contra os Erros, Qualidade das Mensagens de Erro e Correo dos Erros;
Homogeneidade/Coerncia: refere-se conservao de determinadas caractersticas de
interface de modo a facilitar sua compreenso, ou seja, a padronizao da interface;
O significado dos cdigos e denominaes: fundamental que os cdigos e denominaes
apresentem uma estreita relao semntica com seu referente;
Compatibilidade: refere-se tanto ao grau de similaridade entre ambientes e aplicaes
distintos, quanto ao possvel acordo entre caractersticas do usurio e das tarefas, como
tambm das organizaes das sadas, entradas e dilogo de uma dada aplicao.

6. Metodologia para aferio da usabilidade

Utiliza-se um checklist (conjunto de perguntas, envolvendo os princpios
ergonmicos, baseados nas recomendaes dos manuais de desenvolvimento de interfaces
grficas, as normas da ISO 9241 e guias para desenvolvimento de softwares) estruturado de
forma bem simples, com o objetivo de coletar as opinies dos usurios dos sites de governo
eletrnico de maneira rpida e eficiente. O checklist composto de 16 critrios.
(PRESSMAN, 1995) (ROCHA et. al., 2001) (SILVA & DE SOUZA, 2004).
6.1. Critrios que compe o checkList para avaliao dos sites de governo eletrnico
Padronizao: utilizao de um modelo nico no site quanto a cores, cones, localizao
das informaes, etc;
Layout: combinao de cores, cones, figuras, menus, disponibilidade das informaes, ou
seja, o design da interface;
Navegao: facilidade de localizar e caminhar entre links e/ou pginas do site;
Facilidade de acesso: facilidade de acessar o site e as informaes contidas nele;
Tempo de resposta: consiste no tempo necessrio para o site processar, emitir resultados e
acessar determinadas funes;
Facilidade de impresso: consiste em fornecer aos usurios a possibilidade de imprimir
documentos e respostas geradas;
Help on-line: fornece informaes sobre a utilizao do site e pode ser acessado sempre
que o usurio desejar;
Busca e recuperao de dados: fornecer aos usurios a possibilidade de buscar as
informaes desejadas, internamente no site utilizado;
Processamento correto: gerar respostas precisas e de acordo com as solicitaes;
Facilidade de correo: proporcionar aos usurios a alternativa de correo de dados j
inseridos, de maneira fcil e rpida;
Facilidade de download: proporcionar aos usurios links ou cones que fornea a opo de
salvar documentos, formulrios e softwares;
Mensagens: capacidade do software de interagir com o usurio, atravs de mensagens
claras e objetivas, utilizando-se de um vocabulrio comum;
Segurana dos dados: garantir ao usurio que seus dados estaro disponveis apenas para
pessoas autorizadas e para o servio do governo para o qual foi cadastrado;
Feedback: retorno de informaes necessrias s operaes realizadas pelos usurios;
Validao dos dados: capacidade do site de validar os dados e/ou opes de entrada,
alertando o usurio quando a operao comprometer a integridade dos dados;
Resistncia aos Erros: capacidade do site de continuar o processamento dos dados e a

XIII SIMPEP - Bauru, SP, Brasil, 6 a 8 de Novembro de 2006

rotina normal de trabalho em caso de erros e/ou falhas sem que ocorra perda de dados j
inseridos, evitando a necessidade de digit-los novamente.
6.2. Prioridade dos critrios da usabilidade
A prioridade dos critrios definida de acordo com a opinio do usurio, onde este
definir a importncia de cada critrio para os sites de governo eletrnico, de forma
generalizada. Utiliza-se um checklist para coleta de dados, onde cada um dos critrios ser
avaliado pelos usurios de acordo com a seguinte avaliao: Grande Importncia (GI), Mdia
Importncia (MI), Pouca Importncia (PI) e Nenhuma Importncia (NI). A avaliao da
prioridade dos critrios feita pelo usurio recebe um valor numrico, ou seja, um peso (Pi) de
acordo com cada opo da avaliao, conforme mostra a Tabela 1. (SILVA, 2003)
TABELA 1- Peso das opes da avaliao
Avaliao
GI
MI
PI
NI

Peso (Pi )
6
4
2
0

Aps a avaliao, para se determinar o valor final para o peso de cada critrio para os
sites de governo eletrnico em relao amostra escolhida, utiliza-se a seguinte equao:
4

Pf = Pi * Pfeq
i=1

Onde:
Pf Peso final do critrio aps a avaliao
i Quantidade de opes da avaliao para cada critrio, variando de um a quatro
Pi - Peso da opo da avaliao
Pfeq Porcentagem referente freqncia obtida em cada opo na avaliao do critrio.
De acordo com a equao descrita acima, o peso final encontrado para cada critrio ir
pertencer a intervalos e cada critrio ser classificado de acordo com o intervalo no qual seu
peso final se enquadra, conforme mostra a Tabela 2. (SILVA, 2003)
TABELA 2 - Intervalos para classificao dos critrios em relao ao peso final
Classificao
Grande Importncia (GI)
Mdia Importncia (MI)
Pouca Importncia (PI)
Nenhuma Importncia (NI)

6,0
4,5
3,0
1,5

Peso ( Pf )
4,5
3,0
1,5
0,0

6.3. Grau dos critrios da usabilidade

Utiliza-se checklist para coleta de dados referente ao grau de qualidade de cada
critrio de acordo com os usurios de um determinado site de governo eletrnico, selecionado
para avaliao da usabilidade, como por exemplo, o site da receita federal, conforme a
seguinte avaliao: Muito Bom (MB), Bom (B), Mdio (M), Ruim (R), Pssimo (P) e
Inexistente (I). A avaliao da qualidade dos critrios feita pelo usurio recebe um valor
numrico, ou seja, um grau (Gi) de acordo com cada opo da avaliao, conforme mostra a
Tabela 3. (SILVA, 2003)

XIII SIMPEP - Bauru, SP, Brasil, 6 a 8 de Novembro de 2006

TABELA 3 - Grau das opes da avaliao

Avaliao
MB
B
M
R
P
I

Grau (Gi)
10
8
6
4
2
0

Aps a avaliao, para se determinar o valor final para o grau de cada critrio para o
site de governo eletrnico selecionado em relao amostra escolhida, utiliza-se a seguinte
equao:
6

Gf = Gi * Pfeq
i =1

Onde:
Gf Grau final do critrio aps a avaliao
i Quantidade de opes para cada critrio, variando de um a seis
Gi - Grau da opo da avaliao
Pfeq Porcentagem referente freqncia obtida em cada opo na avaliao do critrio.
De acordo com a equao descrita acima, o grau final para cada critrio da avaliao
ir pertencer a intervalos e cada critrio ser classificado de acordo com o intervalo no qual
seu grau final se enquadra, conforme mostra a Tabela 4. (SILVA, 2003)
TABELA 4 - Intervalos para classificao dos critrios em relao ao grau final
Opo
Muito Bom (MB)
Bom (B)
Mdio (M)
Ruim (R)
Pssimo (P)
Inexistente (I)

Grau ( Gf )
10
8
8
6
6
4
4
2
2
0
0

6.4. Tcnica para avaliao da qualidade dos produtos de software de acordo com a
satisfao do usurio
O objetivo dessa tcnica a avaliao da usabilidade de um produto de software (sites
de governo eletrnico) de acordo com as opinies dos usurios. Esta tcnica utiliza as duas
tcnicas citadas acima, e atravs delas efetua clculos para determinao de um fator de
usabilidade, o qual servir para classificar o produto de software (sites de governo eletrnico)
em relao qualidade de interao entre o site avaliado e seus usurios. (SILVA, 2003)
Aps obter o valor do peso final de cada critrio e do grau final de cada critrio
atravs das tcnicas descritas acima, ser utilizada a seguinte equao para o clculo do fator
da usabilidade:
U = (Gf Pf ) Pf
Onde:
U Usabilidade
Gf - Grau Final
Pf - Peso Final

XIII SIMPEP - Bauru, SP, Brasil, 6 a 8 de Novembro de 2006

Nos casos em que todos os critrios forem considerados como de nenhuma

importncia para os sites de governo eletrnico e/ou como inexistentes para o site avaliado, ao
fator da usabilidade (U) ser atribudo o valor zero (0,0).
O produto de software (site de governo eletrnico) ser classificado de acordo com o
valor encontrado para o fator de usabilidade pela aplicao da equao acima. A tcnica
apresentada utiliza uma escala dividida em quatro categorias, conforme mostra a Tabela 5.
(SILVA, 2003)
TABELA 5 - Escala da usabilidade para classificao do software
Usabilidade
0,0 <= U <= 2,5
2,5 < U <= 5,0
5,0 < U <= 7,5
7,5 < U <= 10,0

Classificao
Usabilidade Inaceitvel
Mdia Usabilidade
Boa Usabilidade
Excelente Usabilidade

7. Estudo de caso
O site de governo eletrnico selecionado para a avaliao foi o site da Receita Federal
(www.receita.fazenda.gov.br).
A amostra foi constituda de 20 usurios. Os usurios que participaram da pesquisa
possuem o seguinte perfil: idade entre 30 e 50 anos; terceiro grau completo; ambos os sexos;
profisses diversas (engenheiros, professores, pedagogos, psiclogos, mdicos e advogados).
A Tabela 6 abaixo mostra os clculos necessrios para utilizao da frmula da Usabilidade.
TABELA 6 - Clculos para utilizao da frmula da usabilidade
CRITRIOS
Layout
Padronizao
Navegao
Help on-line
Busca e recuperao de Dados
Mensagens
Processamento Correto
Facilidade de Correo
Tempo de Resposta
Facilidade de Impresso
Facilidade de Acesso
Facilidade de Download
Segurana de Dados
Feedback
Validao dos Dados
Resistncia aos Erros
TOTAL

Pf
3,8
4,6
5
4,9
5,6
5,7
6
5,3
5,8
5,2
4,9
5,3
6
5
5,2
5,6
83,9

Gf
8,6
8,6
7,5
0,2
0,5
6,3
10
5,8
8,6
9,6
8,5
10
10
7,2
9,5
6,2

Pf X Gf
32,68
39,56
37,5
0,98
2,8
35,91
60
30,74
49,88
49,92
41,65
53
60
36
49,4
34,72
614,74

Utilizando a frmula da Usabilidade, tem-se: U = 614,74 / 83,9 = 7,3. E de acordo

com Tabela 6 de classificao pode-se dizer que a Usabilidade do site da Receita Federal foi
considerada Boa Usabilidade em relao amostra.
A Figura 1 e a Figura 2 abaixo, mostra a distribuio dos pesos e dos graus finais de
cada critrio de acordo com a amostra.

XIII SIMPEP - Bauru, SP, Brasil, 6 a 8 de Novembro de 2006

FIGURA 1 - Pesos finais de cada critrio

FIGURA 2 - Graus finais de cada critrio

A principal alternativa para aumentar significativamente o fator da usabilidade,
encontrado acima, seria implementar os critrios de Help On-Line, Busca e Recuperao de
Dados, os quais foram considerados Pssimos ou Inexistentes pela amostra.
O prprio site da Receita Federal realiza uma pesquisa de satisfao entre seus
usurios. O acesso feito atravs de uma opo existente no site, conforme Figura 3.

FIGURA 3 Link para pesquisa

XIII SIMPEP - Bauru, SP, Brasil, 6 a 8 de Novembro de 2006

O acesso atravs do link da Figura 3 traz um formulrio de preenchimento on-line,

conforme a figura abaixo.

FIGURA 4 Formulrio de satisfao dos usurios do site da Receita Federal

O resultado desta pesquisa mostrado assim que o usurio confirma seu voto, atravs
do boto Votar, este resultado descrito conforme figura abaixo.

FIGURA 5 Resultado da pesquisa de satisfao realizada pelo site da Receita Federal

8. Consideraes finais
Com o estudo da qualidade dos sites de Governo Eletrnico atravs da usabilidade,
pode-se entender com preciso as reais necessidades e anseios dos usurios em relao aos
servios pblicos prestados a sociedade. Atravs da metodologia de avaliao apresentada
pode-se determinar:
A prioridade dos critrios de usabilidade nos sites de Governo Eletrnico;
A qualidade dos critrios avaliados considerando a satisfao dos usurios de sites
especficos de Governo Eletrnico;
Classificar os sites de Governo Eletrnico avaliados, em relao ao grau de usabilidade
que apresentam, ou seja, em relao satisfao dos usurios;
Identificar os critrios que no satisfazem as necessidades dos usurios;
Viabilizar as informaes necessrias para a melhoria dos critrios considerados
insatisfatrios, de modo que as necessidades dos usurios sejam satisfeitas e que o site
avaliado atinja o grau de qualidade desejado.

XIII SIMPEP - Bauru, SP, Brasil, 6 a 8 de Novembro de 2006

A metodologia apresentada poder ser utilizada no site com a finalidade de avaliar sua
qualidade em relao satisfao do usurio, como poder ser utilizada tambm durante o
processo de desenvolvimento do mesmo. E desta maneira, apresentar resultados suficientes
para possveis alteraes nas fases de construo do site, de modo que se tenha uma maior
garantia da satisfao do usurio final e a certeza de uma reduo significativa de custos com
as alteraes e manutenes.
O aumento do grau da usabilidade dos sites de governo eletrnico acarretar uma
elevao nos ndices de utilizao destes servios entre as pessoas fsicas, pois a facilidade de
uso e a comodidade gerada aumentaro de maneira satisfatria a difuso destes servios.
9. Referncias Bibliogrficas
ASSOCIAO BRASILEIRA DE NORMAS TCNICAS (ABNT). NBR 9241-11 Requisitos ergonmicos
para trabalho de escritrio com computadores: Parte 11: orientao sobre usabilidade. Rio de Janeiro. 2000
BRASIL. Site do Governo Eletrnico do Brasil. http://www.governoeletronico.gov.br. 2005
CERIONI, T. A. Quase 65% das empresas brasileiras usam e-gov. Revista Information Week Brasil.
http://www.itweb.com.br/noticias/artigo. 2005.
CYBIS, W. Engenharia de usabilidade: uma abordagem ergonmica. Programa de Ps- Graduao em
Engenharia de Produo. UFSC. Labutil. Florianpolis. http://www.labiutil.inf.ufsc.br/Apostila_nvVersao.pdf.
2004.
DIAS, C. Avaliao da Usabilidade: Conceitos e Mtodos. Revista IT, So Paulo. http://www.ii.pucampinas.br/revistait/seg.ed/artigo02. 2000.
ISO/IEC 9126-1. Information Technology, Software Product Quality, part 1: quality model. 1999.
LEITE, M. Professional usability testing and return on investment as it applies to user interface design for
web-based products and services. http://www.taskz.com/ucd_testing_roi_summary.php. 2004.
NIELSEN, J. Usability Engineering. 1. ed. So Francisco: Morgan Kaufmann. 1993.
PRESSMAN, R. Engenharia de Software. 3. ed. So Paulo: Makron Books. 1995.
ROCHA, A., MALDONATO, J., WEBER, K. Qualidade de Software Teoria e Prtica. 1. ed. So Paulo:
Prentice Hall. 2001.
SILVA, S. Qualidade de Software Uma Abordagem Baseada na Satisfao do Usurio. Dissertao
(Mestrado em Engenharia de Produo) Campos-RJ, Universidade Estadual do Norte Fluminense UENF,
172p. 2003.
SILVA, S., DE SOUZA, D. Evaluation of the Quality of the Interaction Between Users And Custom-Made
Software Product. ICETE 2004. Portugal.

10