Histria e Comparao de Instrumentos Para Medida de Satisfao de Usurios de

Informao

Autoria: Ilan Avrichir

RESUMO

Esse artigo faz uma apresentao de cinco instrumentos de medida de satisfao de usurios
de informao, entre os desenvolvidos de acordo com melhor teoria psicomtrica e protocolos
especficos para sistemas de informao. Compara as caractersticas desses instrumentos
(modelos tericos subjacentes a cada instrumento, unidade de anlise aos quais eles se
aplicam etc.), seu nvel de validade (incluindo uma verificao dos testes de confiabilidade e
validade aos quais foram submetidos) e sua aplicabilidade. O trabalho rev e discute alguns
dos problemas importantes envolvidos em desenvolver instrumentos de medida de
percepes, sentimentos e julgamentos, e enfatiza o rigor necessrio definio e a validao
de uma medida de satisfao. Por fim, o artigo comenta possveis direes para o
desenvolvimento de novas pesquisas.

INTRODUO

A pesquisa de instrumentos para medir satisfao de usurios de informaes (SUI) tem pelo
menos 30 anos. Nesse perodo, dezenas de instrumentos foram propostos, criticados e
abandonados e alguns poucos resistiram sanha verificadora dos colegas dos propositores e
alcanaram credibilidade e aceitao no meio acadmico e na prtica profissional.
Atualmente, a pesquisa da medio de sucesso de sistemas de informao comea a se mover
em direo medida do impacto dos sistemas, mas esse um campo ainda novo, e nenhum
instrumento foi ainda submetido aos mesmos rigores dos instrumentos que medem satisfao
dos usurios de informao.
O conhecimento da histria dos principais instrumentos de medida de SUI nos propicia:
Primeiro, um entendimento dos modelos terico subjacentes a cada instrumento, da unidade
de anlise (sistema, funo de informao na empresa) aos quais eles se aplicam, os testes de
confiabilidade e validade aos quais foram submetidos, de forma a podermos fazer uma
escolha informada de qual usar no nosso projeto de pesquisa ou aplicao profissional.
Segundo, sua anlise permite um aprendizado sobre as questes envolvidas no
desenvolvimento de instrumentos de medida psicomtricas, em geral, e a questionrios multi-
itens em particular. E, por ltimo, seu entendimento aponta uma perspectiva sobre como
continuar a desenvolver esse campo.
Neste artigo, pretendemos contribuir para esses objetivos da seguinte maneira:
a) Apresentando alguns dos problemas importantes envolvidos em desenvolver instrumentos
de medida de percepes, sentimentos e julgamentos;
b) Descrevendo e analisando como os pesquisadores que desenvolveram os instrumentos
mais conceituados na rea de medida de satisfao de usurios de informao lidaram com
esses problemas;
c) Comparando os principais instrumentos quanto s suas qualidades psicomtricas; e

1
d) Sugerindo direes para pesquisa, para o campo em geral, e para o Brasil em particular.

O PORQU DAS MEDIDAS DE SATISFAO DE USURIOS DE INFORMAO

A importncia dos sistemas de informao para a gerncia um dos assuntos mais discutidos
na histria recente da administrao. Onda aps onda, propostas de novas abordagens,
ferramentas e metodologias de desenvolvimento tm prometido, e em boa medida frustrado, a
expectativa de permitirem a tomada de decises com base em informaes confiveis,
mantidas em tempo real, sem redundncias no planejadas. Sistemas de gerncia de banco de
dados, linguagens de 4 gerao, desenvolvimento assistido por computador, MRP e MRP III,
e mais recentemente os sistemas de Enterprise Resource Planning, ou ERPs, e e-commerce
so apenas alguns representantes dessa seqncia. Cada gerao de hardware e software, cada
nova abordagem promissora correspondeu de uma forma geral a investimentos vultosos da
parte das organizaes.
natural, portanto, que essas organizaes, de uma forma geral, e as empresas, em particular,
tenham buscado medir o sucesso desses investimentos, e que os pesquisadores, tenham
buscado dar uma resposta a esta demanda.
Das medidas usadas para medir sucesso de sistemas de informao, a satisfao dos usurios
com a informao tem sido, provavelmente, a mais usada. Delone e Mclean (1992)
encontraram 100 pesquisas empricas sobre sucesso de sistemas de informao, j no perodo
1981 a 1988, apenas nas sete publicaes que consideraram mais respeitadas entre
pesquisadores na rea de SI. Essas pesquisas foram agrupadas por eles, de acordo com o
constructo usado para medir sucesso, em seis categorias: Qualidade do sistema, qualidade da
informao, uso da informao, satisfao do usurio, impacto sobre o indivduo e impacto
sobre a organizao. Dessas, a com maior nmero de estudos, 32, foi satisfao do usurio. O
interesse por essa categoria no parece ter arrefecido, pelo menos a julgar pela quantidade de
pesquisas empricas e artigos publicados que encontramos e citamos na bibliografia.
Como Delone e McLean notam, as razes para o uso amplo desse constructo como medida,
no est necessariamente ligado sua solidez conceitual. H pelo menos trs razes para esse
uso: (a) Satisfao um constructo com alto nvel de apelo intuitivo (face validity)i difcil
negar o sucesso de um sistema que os usurios dizem que gostam; (b) A disponibilidade de
instrumentos confiveis, j em 1983, para esse constructo, propiciando formas de medir a
satisfao e comparar estudos e sistemas; e (c) as deficincias das outras medidas; elas so ou
conceitualmente fracas ou empiricamente difceis.
Uma ilustrao da dificuldade emprica envolvida na medida do impacto dos sistemas sobre a
organizao, por exemplo, aparece num estudo sobre o valor da informao propiciada por
um sistema de Electronic Data Interchange (EDI), feito por Mukhopadhyay, Kekre e
Kalathur (1995). Os autores buscavam estimar os benefcios, em dlar, da melhoria da
informao resultante da troca eletrnica de informaes. Coletaram e analisaram
cuidadosamente dados de uma dcada de centros de montagem da Chrysler, buscando
controlar as variaes introduzidas por alteraes de volumes, modelos, mudanas de
engenharia, mix de produtos, etc. Mesmo assim, na discusso dos resultados, so obrigados
a admitir que, como na maioria dos estudos desse tipo, houve falta de controle de variveis
intervenientes. A Chrysler tinha implantado a maioria dos princpios de Just In Time pouco
antes do EDI, e os resultados derivados dos dois projetos podiam estar superpostos.

2
QUESTES DE VALIDADE E CONFIABILIDADE ENVOLVIDAS EM MEDIDAS
PSICOMTRICAS

Uma das primeiras questes com as quais se depara tanto o pesquisador, que desenvolve ou
usa uma medida, como o profissional, que avalia um instrumento, o porqu de mltiplos
itens, num questionrio voltado a obter um julgamento ou avaliao. Em resumo, as razes
para o uso de medidas multi-itens so: (a) itens individuais tendem a ter baixa correlao com
o atributo que se quer medir; (b) cada item tende a ter uma correlao com outros atributos,
que no o que se quer medir; (c) itens isolados tendem a ter um erro de medida considervel,
que se atenua, quando as medidas so somadas, para obter uma medida total; e (d) um item
pode categorizar as pessoas em um nmero pequeno de grupos satisfeitos ou no satisfeitos,
por exemplo mas a maioria dos problemas de medida requer uma diferenciao muito mais
fina.
A medida de constructos utilizados em pesquisa, por intermdio de questionrios multi-itens,
no simples nem direta. Entre os problemas que podem ocorrer com esse tipo de
instrumentos, Straub (1989) destaca, primeiro, a introduo pelo pesquisador de vis em
direo ao resultado que ele espera. Esse vis pode ser introduzido pela seleo dos itens, ou
pela forma de express-los. Segundo, itens redigidos de forma ambgua, conduzindo a
instrumentos no confiveis. E terceiro, Straub aponta questionrios muito longos, que
desmotivam os respondentes e geram resultados ambguos.
Para ter uma noo do quo bom um instrumento , existem tcnicas a serem seguidas na
construo e validao dos mesmos. A seguir relacionamos algumas das caractersticas de
validade e confiabilidade que precisam estar presentes num bom instrumentoii.
O termo validade denota a utilidade cientfica de um instrumento de medida, em outras
palavras, o quanto ele mede o que ele se prope a medir (Nunnaly e Bernstein, 1994, pg
83). Tem trs significados principais:
a) Validade de constructo
b) Validade preditiva
c) Validade de contedo
As cincias bsicas esto preocupadas em estabelecer relaes funcionais entre variveis
importantes. Essas variveis tendem a ser abstratas e latentes e no concretas e observveis.
Nesse sentido, so construdas pelo cientista e no dadas pela natureza. Os constructos se
referem a domnios de variveis. O pesquisador no ter condies de combinar todas elas.
Da, que podemos dizer que uma medida tem validade de constructo, se os resultados obtidos
a partir dela permanecessem os mesmos, se usssemos outras variveis do domnio.
Para que uma medida tenha validade de constructo, ela tem que demonstrar validade
convergente e discriminante. Isso significa que a medida precisa ser similar dentro dela, e
diferente de outras medidas. Normalmente, faz-se a anlise fatorial de itens de vrias medidas,
para estabelecer a validade de constructo. Se os itens de cada medida estiverem
correlacionados entre si, mas no com itens de outras medidas, h evidncia de validade de
constructo (Grover 1999).
Outra forma de validade de constructo a validade divergente, que se refere habilidade da
medida de produzir diferenas de grupos relevantes. Por exemplo, usurios sabidamente

3
insatisfeitos com um sistema devem produzir escores maiores do que a mdia, ou do que
usurios satisfeitos.
A validade preditiva se refere capacidade do instrumento de estimar algum critrio externo
ao instrumento em si. Predio aqui no significa necessariamente previso. Refere-se sim a
existncia de relaes funcionais entre o preditor (a medida) e eventos, que podem ocorrer
antes, durante ou depois. Um teste clnico ter validade preditiva, se seus resultados estiverem
correlacionados com a existncia anterior, atual, ou futura de uma doena. A validade
preditiva se demonstra pela alta correlao entre a medida e o critrio.
A validade de contedo se refere propriedade do instrumento de medir o que se prope, ao
fato dos itens serem uma coleo representativa do domnio e do teste ser construdo de uma
forma sensata. A estatstica pode ajudar no julgamento da validade de contedo mostrando,
por exemplo, se aquela medida tem correlao com outras, que buscam medir a mesma coisa.
No entanto, a questo da validade de contedo depende da adequao da seleo de itens e da
forma com so apresentados. Garante-se pela formulao cuidadosa de materiais antes do
teste e no pela avaliao aps sua aplicao.
A questo da confiabilidade, ou consistncia interna, est diretamente relacionada com o do
erro de medida. Os erros de medida no sero nunca eliminados, mas deve-se buscar reduzi-
los, tanto quanto possvel. Uma definio de confiabilidade ausncia de erros aleatrios, isto
, repetio dos resultados, quando diferentes pessoas fazem o experimento, quando
diferentes instrumentos pretendem medir a mesma coisa e quando variaes incidentais
existem nas condies. A medida da confiabilidade normalmente feita atravs do coeficiente
Alpha de Cronbach. Outra forma de confiabilidade o teste- reteste, que fornece evidncia de
que o instrumento consistente ao longo do tempo. A confiabilidade no garante validade.
condio necessria, mas no suficiente. O fato de uma medida ser passvel de ser repetida
vrias vezes no garante que ela apresente correlao com outras medidas do mesmo atributo.

A HISTRIA DOS PRINCIPAIS INSTRUMENTOS DE MEDIDA DE SATISFAO

DE USURIOS

O Instrumento de Satisfao de Usurio de Informao de Bailey e Pearson

Entre os instrumentos de medida de satisfao usurio de sistemas de informao que

alcanaram repercusso prtica e influenciaram significativamente o desenvolvimento do
campo, um dos mais antigos o desenvolvido por Bailey e Pearson, (1983). Esse instrumento
buscava avaliar a satisfao com os servios de computao. As principais etapas de
construo desse instrumento foram:
1. identificaram, a partir da anlise de artigos publicados, 36 fatores que afetam a satisfao
do usurio de sistemas de informao;
2. validaram e expandiram essa lista para 38 fatores, atravs de crticas formuladas por
especialistas;
3. validaram a lista ampliada usando a tcnica de anlise de incidente crticos; nesse
processo, aumentaram a lista para 39 fatores;
4. para cada fator, construram 6 pares de adjetivos, baseados na tcnica de diferencial
semntico, dos quais, o quinto tinha por objetivo checar a consistncia interna e o sexto,
dar um peso a cada fator. O diagrama a seguir, ilustra esse processo;

4
 Completo I-------I---------I---------I----------I--------I--------I-------I Incompleto
Suficiente I-------I---------I---------I----------I--------I--------I-------I Insuficiente
Alto I-------I---------I---------I----------I--------I--------I-------I Baixo
Superior I-------I---------I---------I----------I--------I--------I-------I Inferior
Satisfatrio I-------I---------I---------I----------I--------I--------I-------I Insatisfatrio
Importante I-------I---------I---------I----------I--------I--------I-------I No importante
5. pediram a 32 gerentes que preenchessem o questionrio. Das respostas obtidas, 29
respostas foram aproveitados;
6. mediram a confiabilidade de cada fator, obtendo mdia de 0,93 e o mnimo de 0,75;
7. verificaram a validade discriminante separando, para cada fator, as respostas dos
indivduos satisfeitos e insatisfeitos, e calculando a mdia dos dois grupos para os 156
pares de adjetivos; a diferena mnima foi de 1,67 intervalos, o que foi considerado
evidncia suficiente de que o instrumento tinha validade discriminante;
8. a validade de critrio, ou preditiva, foi avaliada pedindo a cada um dos 29 respondentes,
que atribusse uma nota, dentre 1 e 7, em entrevista, a seu nvel de satisfao com o
sistema. A correlao entre a satisfao medida pelo instrumento e pela entrevista foi
0,79;
9. a validade preditiva tambm foi medida correlacionando as respostas aos pares semnticos
com a questo satisfatrio/insatisfatrio;
O instrumento de autoria de Bailey e Pearson foi posteriormente simplificado e melhorado por
Ives, Olson e Barouldi (1983). Usando uma amostra de 200 gerentes de produo, os autores
puderam fazer a anlise fatorial das variveis. Interpretaram os fatores como sendo servios e
pessoal de processamento eletrnico de dados, os sistemas de informao e o envolvimento e
do usurio no desenvolvimento do sistema. Eliminando os itens que apresentaram load
abaixo de 0,50, os que apresentaram baixa correlao com a medida total do instrumento e
com uma outra escala de 4 itens, ficaram com 13 fatores, sendo 5 correlacionados com o
produto sistema de informao, 5 com qualidade e servio da funo MIS e 3 ao
envolvimento do usurio.O instrumento simplificado proposto tambm tinha apenas 2 pares
de adjetivos para cada item.
O instrumento simplificado teve o seu total correlacionado com os itens da escala original e
com o instrumento de 4 itens. A correlao foi 0,90 para o primeiro teste, e 0,54 com o
segundo. Ambos resultados foram significativos ao nvel de p= 0,001.
Vrios pesquisadores buscaram validar o instrumento de Ives, Olson e Barouldi (1983).
Treacy (1985) concluiu que o instrumento era uma grande contribuio, mas que tinha
diversos problemas de clareza e validade. Galleta e Lederer (1989) e Doll e Torkzadeh
(1988) o consideraram, poca, o melhor instrumento disponvel para medir satisfao de
usurios de informao.

O Instrumento de Medida de Satisfao de Usurio Final de Doll e Torkzadeh

Doll e Torkzadeh (1988), dois pesquisadores vinculados Universidade de Toledo, Ohio,

divulgam um instrumento que representa uma evoluo significativa aos anteriores, em
diversos sentidos. Primeiro, ele d conta da mudana da tecnologia de informao em curso
poca, de sistemas centralizados, predominantemente em lotes, para distribudos, com parte
significativa on-line. Segundo, o tamanho das amostras, os cuidados nos levantamentos e as

5
tcnicas estatsticas tambm refletem um cuidado e um investimento significativamente
maior.
Doll e Tokzadeh definem como objeto do seu instrumento a satisfao do usurio que interage
diretamente com um sistema com esse sistema. Essa definio se aplica tanto ao usurio que
alimenta dados como o que usa o sistema para tomada de decises, mas exclui o que se vale
dos dados apenas indiretamente. Os autores tambm se preocuparam, principalmente na
seleo de itens, em fazer com que o instrumento fosse adequado a um ambiente de
computao, onde o usurio final interage diretamente com o sistema e assume muitas das
responsabilidades, que antes eram do profissional da informtica, como processamento,
modificao e mesmo desenho e implementao de aplicaes.
No processo de desenvolvimento do instrumento, os autores geraram 38 itens, principalmente
a partir da literatura. A principal inovao foi a incluso de 7 itens relativos facilidade de
uso. Duas medidas de satisfao percebida global foram acrescidas.
Na fase de piloto, 96 usurios finais de 5 empresas foram entrevistados por assistentes de
pesquisa, e preencheram o questionrio. Esse procedimento, repetido na pesquisa que se
seguiu, permite aos pesquisadores um controle grande sobre a qualidade dos dados fornecidos
pelos respondentes. Ainda na fase piloto, 20 dos 38 itens originais foram eliminados, parte
porque eram repetitivos com outros itens, parte porque apresentaram baixa correlao com o
os itens-critrio ou com o total dos itens.
O questionrio foi aplicado a 618 indivduos de 44 empresas. Essa amostra representava 250
aplicaes diferentes, com uma mdia de 2,5 respondentes por aplicao.
A anlise dos componentes principais e rotao com o mtodo Varimax com 5 fatores levou a
uma estrutura, cuja possibilidade de interpretao satisfez os autores. Os fatores foram
postulados como sendo contedo dos sistemas, acurcia, formato, facilidade de uso e
pontualidade. Seis itens foram eliminados do instrumento final nessa fase pois, como tinham
correlao com dois ou mais fatores, complicavam a interpretao.
O instrumento, no seu formato final, com 12 itens, apresentou uma confiabilidade de 92% e
uma correlao com os critrios de 0,76. A anlise discriminante usando o enfoque MTMM
sugeriu fortemente que essa condio era satisfeita. A confiabilidade foi consistentemente
superior a 0,90 e mostrou pouca variao com o tipo de aplicao.
Torkzadeh e Doll (1991) verificaram a estabilidade de curto e longo perodo do instrumento.
Usando estudantes de MBA, primeiro aplicaram e reaplicaram o instrumento a uma mostra de
41 respondentes, com intervalo de 2 horas. Depois, voltaram a aplicar o instrumento (1998)
mesma amostra, duas semanas aps. As correlaes para os itens individualmente oscilaram
entre 0,715 e 0,960 para o re-teste de curto perodo e entre 0,513 a 0,794 para o de longo. Para
a escala de 12 itens a correlao foi de 0,964 e 0,852 respectivamente.
Doll, Xia e Torkzadeh (1994) geraram novos dados e submeteram o instrumento nova
validao, dessa vez usando anlise fatorial confirmatria. A amostra constitui-se de 409
respondentes, correspondendo a 139 aplicaes de 18 organizaes. Foram testados vrios
modelos. O que apresentou melhor ndice goodness-of-fit (GFI) e ndice de adequao
normalizado (NFI) foi o modelo que hipotetizava que os fatores de primeira ordem estavam
correlacionados entre si. , com ndices NFI entre 0,826 e 0,957 e a relao entre chi-quadrado
e degraus de liberdade entre 10,45 e 3,14, o que significa que a soluo mais do que
satisfatria.

6
McHaney e Cronan (1998) verificaram se o instrumento era confivel e vlido quando usado
com usurios de sistemas de simulao (GPSS, Simscript e Siman). Encontraram alfas de
Cronbach, para os fatores, entre 0,72 3 0,91. Os ndices de adequao, na anlise fatorial
confirmatria, foram superiores aos relatados no estudo de Doll, Xia e Torkzadeh (1994).

O Instrumento de Medida da Utilidade e Facilidade de Uso Percebida de Fred Davis

Mais recentemente, Davis (1989) divulgou um instrumento baseado nos constructos facilidade
de uso e utilidade percebida, cuja validade e confiabilidade foi confirmada em vrios estudos
na dcada seguinte. Baseado na hiptese de que esses dois constructos estavam fortemente
correlacionados com a aceitao de novas tecnologias, ele desenvolveu um instrumento com
apenas esses dois fatores e 6 itens por fator que, exaustivamente re-testado, quase sempre
exibiu resultados confirmatrios.
A importncia dos dois constructos tinha sido indicada em vrios estudos anteriores. Schultz e
Slevin (1975) encontraram uma alta correlao entre utilidade de uso e uso auto-predito.
Larcker e Lessig (1980) encontraram correlao entre importncia percebida e uso de
relatrios. As pesquisas de Bandura (1982) e Hill, Smith e Mann (1987), entre outras,
tambm apontaram na direo daqueles constructos como preditores de uso.
Um dos pontos em que o procedimento de Davis se distingue dos anteriores o cuidado na
elaborao da lista de itens candidatos, o que, segundo j vimos, fundamental para a
validade do instrumento. Baseado na reviso de 37 artigos, ele gerou uma lista de 14 itens
para cada constructo. Reduziu essa lista para 10 itens por constructo, usando um elaborado
procedimento, em que 15 usurios experientes inicialmente classificaram os itens com relao
quo bem eles se adaptavam a definio do constructo e posteriormente classificaram os
mesmos em subcategorias. Esse procedimento de agrupamento e priorizao permitiu
conhecer a estrutura dos substratos de cada fator e uma adequada cobertura de cada um deles.
Para verificar a validade e confiabilidade e refinar o instrumento, Davis conduziu um estudo
com 112 usurios de um laboratrio da IBM. Eles avaliaram a facilidade de uso e a utilidade
de um sistema de correio eletrnico e de um editor de arquivos, disponveis naquele ambiente
poca. Nesse estudo, as duas escalas, mostraram confiabilidade, validade discriminante e
convergente, e fatorial. Mostraram tambm que a quantidade de itens poderia ser reduzida
para 6 por fator. Foram eliminados itens expressos em forma negativa, e outros com baixa
correlao com os totais de itens.
Davis conduziu, ento, um segundo estudo, em que 40 alunos de um curso de MBA avaliaram
dois sistemas grficos para IBM-PC. Os respondentes experimentaram os dois sistemas por
uma hora e depois preencheram o questionrio. O coeficiente alfa de Crombach para utilidade
percebida foi 0,98 e para facilidade de uso 0,94. A validade preditiva foi medida
correlacionando as medidas com a resposta a uma pergunta sobre o uso auto-predito para os
sistemas. O resultado foi significativo ao nvel de p=0,001 para os dois sistemas, para
utilidade, mas s para um, quanto facilidade de uso. A validade fatorial foi avaliada com
extrao de componentes principais e rotao obliqua e foi muito consistente. A validade
convergente foi avaliada com o mtodo MTMM e tambm se mostrou significativa. Para
quase todos os parmetros de validao e confiabilidade, a escala utilidade teve ndices
maiores que a facilidade de uso.
Adams, Nelson e Todd (1992) replicaram o trabalho de Davis em dois estudos. No primeiro,
118 usurios de diferentes sistemas de correio eletrnico e correio de voz preencheram o

7
questionrio e indicaram o nmero mensagens que trocavam por dia. Isso permitiu a
validao preditiva baseada num ndice mais forte que auto-predio de uso. No segundo, 73
estudantes de MBA avaliaram o uso que faziam de 3 softwares de automao de escritrio,
em termos de horas por semana, e preencheram o questionrio. As escalas saram-se bastante
bem quanto confiabilidade, validade discriminante e convergente, e fatorial. Alm disso, os
dados foram submetidos anlise fatorial confirmatria, com resultados animadores,
considerando o pequeno tamanho da amostra.
Segars e Grover (1993) trabalharam novamente os dados obtidos por Adams, Nelson, e Todd.
Supuseram um modelo de trs fatores e oito indicadores e obtiveram um a melhoria
significativa dos ndices obtidos pela anlise fatorial confirmatria, especialmente uma
reduo do chi-quadrado e uma melhoria Critrio de Informao de Akaike.
Hendrickson, Massey e Cronan (1993) testaram a estabilidade do instrumento aplicando-o,
com 3 dias de intervalo, a duas mostras de estudantes de graduao, a primeira com 51
indivduos, usando uma planilha eletrnica e outra com 72 e um software de gerncia de
banco de dados. As correlaes entre os itens das escalas variaram entre 0,54 e 0,73, e foram
todas significativas ao nvel de 0,01.
Subramanian (1994) examinou novamente a confiabilidade do instrumento com modelagem
estrutural de equaes. Usando uma amostra de 75 respondentes de um sistema de correio de
voz e 104 de um sistema de atendimento a cliente, encontrou evidncia de que a utilidade
percebida era preditora do uso futuro, mas no a facilidade de uso.
Szanja (1996) correlacionou os resultados das medidas obtidas com o instrumento de Davis e
o uso efetivo de um sistema de correio eletrnico, 15 semanas aps, para uma amostra de 61
estudantes graduandos de administrao. O uso efetivo do sistema foi obtido a partir dos
registros automticos (logs) do sistema de correio eletrnico. Mais uma vez, os resultados
confirmaram as qualidades do instrumento como preditor de uso.
Finalmente, Doll, Hendrickson e Deng (1998), usando uma mostra de 902 respondentes,
mostraram a invarincia do instrumento com relao a gnero, tipo de aplicao e nvel de
experincia dos usurios.

O Questionrio de Adequao Tarefa-Tecnologia de Dale Goodhue

Goodhue (1998) apresenta um instrumento que, apesar de no ter ainda estudos

comprobatrios (ao menos que pudessem ser localizados poca de finalizao deste artigo),
merece ser includo aqui, pela solidez conceitual e qualidade da validao.
O instrumento baseia-se conceitualmente na teoria de que a correspondncia entre a
funcionalidade dos sistemas de informao e os requisitos da tarefa, leva a avaliaes
positivas dos usurios e impactos positivos na performance. Mais especificamente, o autor
desenvolve um modelo da tomada de deciso gerencial usando informao organizacional
registrada. O desenvolvimento e validao so baseados no protocolo proposto por Bagozzi
(1980), que comparado por Goodhue a outros, e se mostra mais rigoroso.
Goodhue, baseado em reviso da literatura sobre processo de tomada de deciso gerencial,
postula que esse processo tem 3 rotinas: Identificao da necessidade, aquisio e
interpretao da informao. A partir da desenvolve 2 a 4 perguntas, para as 15 dimenses
em que os sistemas e servios de informao precisariam apoiar os usurios: Dados certos,
nvel certo de detalhe, significado dos elementos de dados, ausncia de confuso,

8
acessibilidade, facilidade de uso do hardware e software, treinamento, assistncia,
confiabilidade dos sistemas, flexibilidade, custos, compatibilidade, acurcia, apresentao e
atualizao.
O questionrio foi pr-testado com 360 indivduos de 9 organizaes e mais de 100
entrevistas foram conduzidas para identificar problemas e omisses. Aps correes, o
questionrio ficou com 47 perguntas e 16 dimenses.
Para testar a validade e confiabilidade do instrumento, Goodhue usou uma amostra de 357
questionrios, respondidos por usurios de 9 empresas.
Com relao confiabilidade, duas dimenses apresentaram baixo alfa de Crombach e foram
abandonadas. Outras duas apresentaram valores marginais para esse coeficiente e para 12 ele
superou 0,80, valor considerado apropriado para um instrumento de uso geral.
Na anlise MTMM, para verificar validade discriminante, duas outras dimenses foram
responsveis pela grande maioria das violaes da regra emprica de Campbell e Fiske (1959)
e tambm foram abandonadas.
O questionrio resultante aps o abandono das 4 dimenses, e de algumas perguntas, foi
submetido anlise fatorial confirmatria. O modelo, que assume 12 dimenses separadas,
mostrou-se significativamente mais discriminante do que um assumindo uma dimenso nica.
Todos os parmetros foram significativos ao nvel de 0,05, a maioria deles ao nvel de 0,01.

Instrumentos de Medida da Satisfao dos Usurios Com A Qualidade da Funo

Servios de Informao

Kettinger e Lee (1994) e Pitt, Watson e Kavan (1995), trabalhando separadamente,

desenvolveram adaptaes de um instrumento da rea de marketing, o SERVQUAL, para
medir satisfao de usurios com a funo sistemas de informao nas empresas. O
SERVQUAL se baseia na idia de que, a satisfao do cliente funo da expectativa que ele
traz para a transao, bem como da qualidade que ele percebe que oferecida. O instrumento,
desenvolvido por Parasuraman e Zeithaml (1988), mede a qualidade percebida atravs de um
questionrio muti-itens, fazendo a subtrao de dois conjuntos de medidas, um para as
expectativas priori do cliente, e outro para a percepo da qualidade do servio oferecido de
22 itens. Os fatores que esses itens se propem a medir so: tangveis, confiabilidade,
responsividade, segurana e empatia.
A validao de Kettinger e Lee (1994) de um instrumento baseado no SERVQUAL e
adaptado a SI utilizou 342 questionrios, preenchidos por estudantes de graduao e
graduandos de uma faculdade de administrao. A verso SI do questionrio foi pr-testada,
atravs de entrevistas com profissionais e estudantes de TI. A diferena de escores, para os
dois conjuntos de medidas (expectativa e percepo) dos 22 itens, foi submetida anlise
fatorial confirmatria. Os resultados levaram os autores a abandonar a dimenso tangveis,
com quatro questes. O instrumento resultante mostrou evidncia de confiabilidade, validade
convergente e discriminante.
Pitt, Watson e Kavan (1995) testaram uma adaptao para SI do SERVQUAL, apenas
alterando o vocabulrio, para adapt-lo ao ambiente. Usaram uma amostra de 273
questionrios, obtidos em 3 empresas. A confiabilidade variou entre 0,62 e 0,96 e a da
combinao linear dos itens foi superior a 0,90. A validade convergente foi avaliada,
correlacionando um ndice de satisfao com a qualidade global dos servios, e foi

9
significativa ao nvel de 0,0001, para as 3 empresas. A anlise fatorial confirmatria
encontrou evidncias de validade nomolgica.
Dyke, Kappelman e Prybutok (1997) apontaram vrios problemas conceituais e empricos
com o uso do SERVQUAL, em geral, e sua verso SI, em particular. Entre eles: (a) a
operacionalizao da medida de comparao entre servio esperado e servio recebido por
subtrao de duas medidas excessivamente simplista; (b) o constructo expectativa
ambguo; e (c) o instrumento apresenta instabilidade dimensional toda uma dimenso ou
fator teve que ser abandonada na validao feita por Kettinger e Lee (1994).
Kettinger e Lee (1997) e Pitt, Watson e Kavan (1997), embora concordando que a verso IS
do SERVQUAL precisa ser refinada antes de poder ser recomendada como um instrumento
prescritivo, rebateram detalhadamente as crticas.Alguns dos argumentos usados na resposta
foram, primeiro, que o SERVQUAL foi desenvolvido com base em uma pesquisa extensiva,
usando grupos de foco, e amplamente validado empiricamente em mltiplos estudos, em um
largo espectro de setores de servios. Segundo, que o problema emprico trazido pela
subtrao das medidas pouco significativo, pois as medidas de qualidade esperada e
percebida tendem as ser pouco correlacionadas. E terceiro, que o uso do constructo
expectativas tem justificativas pragmticas e gerenciais importantes.
Kettinger e Lee (1995) buscaram ainda validar a sua verso do SERVQUAL, para servios de
informtica, em outras culturas. Encontraram evidncia de que 4 das 5 dimenses originais
eram vlidas na Holanda, mas no para Hong-Kong e Coria. Concluram que verses
localizadas do instrumento precisam ser desenvolvidas, que capturem a natureza particular
das percepes da qualidade de servios oferecidos pela funo de sistemas de informao em
diferentes pases e culturas.

COMPARAO E COMENTRIOS SOBRE OS INSTRUMENTOS

A Tabela 1 resume e compara as principais caractersticas dos instrumentos vistos at aqui.

10
 TABELA 1 - Caractersticas e dos principais instrumentos de medida de satisfao de
usurio de informao
Bailey e Doll e
Caracterstica Pearson Tordzadeh Davis Goodhue SERVQUAL
Nvel de Todos os Sistema ou Sistema ou Todos os Todos os sistemas
Anlise servios e aplicativo de aplicativo de sistemas e e servios
sistemas; computao de usurio final servios ligados oferecidos pela
voltado para usurio final ao uso gerencial funo servios de
mainframe da informao. informao
Base conceitual Satisfao no Satisfao no Modelo de Adequao Qualidade
trabalho trabalho aceitao de tarefa- percebida
tecnologia tecnologia
Nmero de 39 no original. 12 12 32 44
questes 13 no
simplificado
Nmero de 3 (descobertos 5 (descobertos 2 (postulados) 12 (postulados) 5 (descobertos
constructos empiricamente) empiricamente) empiricamente)
vlidos
Constructos Pessoal e Contedo, Utilidade e Nvel certo de Confiabilidade,
especficos servios de acurcia, facilidade de detalhe, responsividade,
PED, Sistema pontualidade, uso percebida acurcia, Segurana,empatia
de informao e facilidade de atualizao, e tangveis
Envolvimento e uso e formato facilidade uso,
conhecimento do HW e SW,
do usurio apresentao,
compatibilidade,
significado,
confuso,
localizao,
acesso,
assistncia e
confiabilidade
do sistema

Como se pode ver, h instrumentos que cobrem uma gama de necessidades: Para avaliar a
satisfao dos usurios com a funo sistemas de informao ou com um sistema em
particular; curtos, para apenas medir a satisfao ou longos, para subsidiar um diagnstico, e
baseados em diferentes modelos conceituais. Com exceo do de Bailey e Pearson, o mais
antigo e voltado para um ambiente tecnolgico pouco encontrvel atualmente, os outros 4 so
atuais, relevantes e potencialmente teis para pesquisadores e profissionais.
A Tabela 2 sintetiza e permite visualizar as principais validaes a que foram submetidos os
instrumentos.

11
 TABELA 2 - Sntese das validaes a que os instrumentos foram submetidos
Bailey e Doll e
Validade Pearson Tordzadeh Davis Goodhue SERVQUAL
Consistncia Alfa > 0,75 para 92% para o 98% para Em torno de 80% Sim, para 4
interna (ou todos os itens. instrumento utilidade e para as 12 dimenses. No
confiabilidade) Mdia de 0,93 94% para dimenses para 1.
facilidade
Estabilidade No testado De curto e Por No No
(teste reteste) longo prazo Hendrickson,
Massey e
Cronan
Validade No Significativa Sim. Segars Sim. Pelo prprio Sim.)
convergente ao nvel de e Grover (1998)
p=0,000 (1993)
Validade No Zero violaes Sim. Segars Sim. Significativo Sim. Por
discriminante em 112 e Grover no nvel 0,001 Kettinger e Lee
comparaes (1993) (1994)
Validade Correlao com Correlao Com uso No Por Pitt, Watson
preditiva (ou avaliao do com avaliao efetivo, por e Kavan (1995),
de critrio) usurio do usurio Szajna com avaliao
(1996) pelo usurio.
Amostra No no trabalho Sim. 34 Sim. Vrias Sim. Mais de 10 Sim. Mais de 10
suficiente original. S respondentes replicaes respondentes por respondentes por
29questionrios. por item sendo a Doll, item item.
Sim em Ives, Hendrickson,
Olson e Deng (1998),
Barouldi 908 pessoas
Escala Sim, para a Sim. Vrias Sim. Em No No
validada aps escala original. replicaes vrias
eliminao de No para a replicaes.
itens simplificada
Anlise No Sim Sim Sim Sim
fatorial
confirmatria

A comparao estruturada dos mtodos revistos acima mostra que, apesar de como ensinam
Nunnaly e Bernstein (1994), uma medida nunca estar validada, pois o que se valida so as
suas aplicaes e no a prpria, fica aparente da tabela 2 que, 3 dos instrumentos, Dool e
Tordzadeh, Davis e Goodhue, foram exaustivamente testados e que, mesmo o SERVQUAL,
que requer novas validaes e refinamentos, tm demonstradas significativas propriedades
psicomtricas.

CONCLUSES E DIREES PARA PESQUISA FUTURA

O histrico e comparao dos instrumentos de medida de satisfao de usurios de sistemas

de informao sugerem algumas concluses. A primeira que desenvolver instrumentos e
medir seja atitudes, sejam crenas, uma tarefa complexa, sujeita a percalos e retrocessos,
que requer um esforo continuado e intenso, em geral de mais de um pesquisador. A segunda
que o pesquisador anglo-fnico, principalmente trabalhando nos Estados Unidos, tem hoje a
seu dispor uma gama razovel de instrumentos validados, para medida de satisfao de

12
usurios de informao, o que no acontece com os de outras partes do mundo ou com outros
idiomas.
Com relao ao desenvolvimento de novas pesquisas, o histrico e anlise acima
empreendidos neste artigo sugerem alguns direcionamentos para a pesquisa futura.
A primeira implicao para pesquisa que, dado ao esforo necessrio para desenvolver um
instrumento confivel, e face ao fato de j existirem alguns com boa qualidade, o pesquisador
deve refletir bastante antes de se lanar no desenvolvimento de outros. provavelmente um
melhor uso dos esforos de pesquisadores interessados nesse campo, quando trabalhando
isolados, ou pequenos grupos, completar o trabalho de verificao, aonde ele ainda falho.
Uma segunda implicao para pesquisa que, dada existncia de vrios instrumentos para
medir satisfao de usurios de informao, mas pouca ou nenhuma pesquisa, pelo menos que
seja de conhecimento desse autor, vinculando esse constructo ao impacto sobre desempenho
individual ou grupal, impe-se claramente a necessidade de verificar a existncia dessa
relao.
Por fim, para o pesquisador brasileiro, uma oportunidade e obrigao verificar a validade
desses instrumentos em lngua portuguesa e na nossa cultura. Afinal, como mostra a pesquisa
de Kettinger e Lee (1995), em que uma medida foi vlida na Europa, mas no no oriente, a
validade de um instrumento no assegurada uma vez transpostas as fronteiras do pas ou da
cultura onde ele foi demonstrado.

REFERNCIAS BIBLIOGRFICAS

ADAMS, D. A., NELSON, R. R. TODD, P. A. Perceived usefulness, ease of use and usage
of information technology: a replication. MIS Quarterly,, p. 227-247, Jun. 1992.
BAGOZZI, R. P. Causal models in marketing. New York, John Wiley, 1980.
BAILEY, J. E. PEARSON, S. W. Development of a tool for measuring and analyzing
computer user satisfaction. Management Science, v.29, n. 5, p. 530-545, 1983.
BANDURA, A. Self-efficacy mechanism in human agency. American Psychologist, p. 122-
147, v. 37, n. 2 Feb.,1982.
CAMPBELL, D. T. FISKE, D. W. Convergent and discriminant validation by mutitrit-
multimethod matrix. Psychological Bulletin, v. 56, n. 2, p. 81-105, 1959.
DAVIS, F. D. Perceived usefullness, perceived ease of use and user acceptance of
information technology. MIS Quarterly,V. 13, n. 3, p. 319-340, 1989.
DELONE, W. H. McLEAN, E. R. Information systems success: the quest for the dependent
variable. Information Research, v. 3, n. 1, p. 60-95, Mar. 1992.
DOLL, W. J., HENDRICKSON, A. DENG, X. Using Davis's perceived usefulness and
ease-of-use instruments for decision-making: a confirmatory and multigroup invariance
analysis. Decision Sciences, v. 29, n. 4, p. 839-869, Fall 1998.
DOLL, W. J., XIA, W.,TORKZADEH, G. A confirmatory factor analysis of end-user
computing satisfaction instrument. MIS Quarterly, p. 453-460, Dec. 1994.

13
DOLL, W. J. TORKZADEH, G. The measurement of end-user computing satisfaction.
MIS Quarterly, p. 259-274, Jun. 1988.
DYKE, T. V., KAPPELMAN, L. A. PRYBUTOK, V. R. Measuring information systems
service quality: concerns on the use of the SERVQUAL questionaire. MIS Quarterly, Jun.,
p. 195-207, 1997.
GALLETTA, D. F., LEDERER, A. L. Some cautions of the measurement of user
information satisfaction. Decison Sciences, v. 20, n. 3, p. 419-438, 1989.
GOODHUE, D. L. Development and measurement validity of a task-technology fit
instrument for user evaluations of information systems.Decision Sciences, v. 29, p. 105-138,
Winter 1998.
GROVER, V. A tutorial on survey research: from construct to theory. 1999. Disponvel na
URL http://theweb.badm.sc.edu/grover/MIS-SUVY.htm
HENDICKSON, A. R., MASSEY, P. D. CRONAN, T. P. On the test-retest reliability of
perceived usefulness and perceived ease of use scale. MIS Quarterly, p. 227-230, Jun. 1993.
HILL, T., SMITH, N. D. MANN, M. F. Role of efficacy expectations in predicting the
decison to use advanced technologies. Journal of Applied Psychology, v. 72, n. 2, p. 307-
313, May 1987.
IVES, B., OLSON , M. H. BAROULDI, J. J. The measurement of user information
satisfaction. Communications of the ACM, v. 26, n. 10, p. 785-793, Oct. 1983.
KETTINGER, W. J. LEE, C. C. Perceived service quality and user satisfaction with
information services function. Decision Sciences, v. 25, n. 5/6, p. 737-766, 1994.
KETTINGER, W. J. LEE, C. C. Global measures of information service quality: a cross-
national study. Decision Sciences, v. 26/ n. 5, p. 569-588, Set/Out 1995.
KETTINGER, W. J. LEE, C. C. Pragmatic perspectives on the measurement of information
service quality. MIS Quarterly, p. 223-240, Jun. 1997.
LARCKER, D. F., LESSIG, V. P. Perceived usefulness of information. Decision Science,
v. 11, n. 1, p. 121-134, Jan. 1980.
McHANEY,R., CRONAN, T. P. Computer simulation success: on the use of the end-user
computing satisfaction instrument: a comment. Decision Sciences, v.29, n. 2, p. 525-536,
Spring 1998.
MUKHOPADHYAY, T., KERKE, S., KALATHUR, S. Business value of information
technology: a study of electronic data interchange. MIS Quarterly, Jun. 1995.
NUNNALY, J. C. BERNSTEIN, I. H. Psychometric Theory. New York, McGraw Hill. 1994.
PITT, L. F., WATSON, R. T. KAVAN, C. B. Service quality: a measure of information
systems effectiveness. MIS Quarterly, p. 173-187, Jun. 1995.
PITT, L. F., WATSON, R. T. KAVAN, C. B. Measuring information systems service
quality: concerns for a complete canvas. MIS Quarterly, p. 209-221, Jun. 1997.
SEGARS, A. H. GROVER, V. Re-examining perceived ease of use and usefulnes: a
confirmatory factor analysis. MIS Quarterly, p. 517-525, Dec. 1993.

14
SCHULTZ, R. L. SLEVIN, D. P. Implementation and organizational validity.
Implementing Operations Research/Management Science. In: R. L. SCHULTZ and D. P.
SLEVIN (Eds.). New York, American Elsevier: 153-182. 1975.
STRAUB, D. W. Validating instruments in MIS research. MIS Quarterly, p. 147-169, Jun.
1989.
SUBRAMANIAN, G. H. A replication of perceived usefulness and perceived ease of use
measurement. Decision Sciences, v. 25, n. 5/6, p. 863-580, Sep/Dec 1994.
SZAJNA, B. Empirical evaluation of the revised technology acceptance model.
Management Science, v. 42, n. 1, p. 85-92, Jan. 1996.
TREACY, M. E. An empirical examination of a causal model of user information
satisfaction. Center for Information Systems Research, Sloan School of management,
Massachusetts Institute of Technology, 1985.
TORKZADEH, G., DOLL, W.J. Test-retest reliability of the end user computing satisfaction
instrument.Decison Sciences, v.22, n. 1, p. 26-38, Winter 1991.

i
Nunnaly e Bernstein (1994) explicam face validity como sendo a extenso que a pessoa em quem se aplica o
teste ou outra (geralmente algum, que no treinado na busca de evidncias formais da validade), sente que o
instrumento mede o que ele deve medir (traduo do autor).
ii
A apresentao dos conceitos de validade e confiabilidade, que se segue, baseada nesse mesmo livro e em
Grove (1999) e Straub (1989).

15