Documente Academic
Documente Profesional
Documente Cultură
www.fnac.pt
www.worten.pt
www.shoppingdirect.pt
:: Índice
1. Introdução ............................................................................................4
2. Objectivos do trabalho...........................................................................7
4. Metodologias ....................................................................................... 18
4.1. Instrumentos de análise ................................................................ 19
4.1. Contextualização do estudo............................................................ 20
4.3. Caracterização da amostra............................................................. 20
4.3.1. Dados demográficos ........................................................... 20
4.3.2. Definir a experiência do utilizador ......................................... 22
4.4. Testes de usabilidade .................................................................... 23
4.4.1. Método utilizado ................................................................. 23
4.4.2. Protocolo........................................................................... 25
4.4.3. As tarefas.......................................................................... 25
4.5. Breve questionário após o teste para cada site.................................. 27
4.6. Entrevista após a realização do teste ............................................... 28
2
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
5. Resultados .......................................................................................... 29
5.1. Resultados da caracterização da amostra ......................................... 29
5.2. Resultados das Tarefas.................................................................. 36
5.2.1. Tarefa 1 – procurar o produto escolhido pelo utilizador ............ 36
5.2.2. Tarefa 2 – comprar o produto encontrado na tarefa anterior ..... 39
5.2.3. Tarefa 3 – procurar o PDA Fujitsu-Siemens Pocket Loox ........... 44
5.2.4. Tarefa 4 – comprar o PDA Fujitsu-Siemens Pocket Loox ........... 47
5.3. Breve questionário após a realização das tarefas............................... 51
5.4. Comentários dos utilizadores.......................................................... 57
5.4.1. Comentários positivos ......................................................... 57
5.4.2. Comentários negativos ........................................................ 60
5.5. Resultados da entrevista após o teste.............................................. 63
5.6. Duração dos testes ....................................................................... 69
7. Conclusão............................................................................................ 81
8. Bibliografia.......................................................................................... 83
3
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
:: 1. Introdução
Neste trabalho, foi feito um estudo de usabilidade com utilizadores reais a três sites
de comércio electrónico nacionais: Fnac.pt, Worten.pt e ShoppingDirect.pt, com o
objectivo de conhecer quais as dificuldades sentidas pelos utilizadores durante o
processo de compra.
Comprar on-line permite ter acesso a todo um mundo de bens e serviços. Com um
simples clique do rato, podemos encomendar túlipas directamente da Holanda,
especiarias exóticas da Turquia, ou artesanato do México ou Marrocos.
4
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
A rede mundial (World Wide Web) expandiu o mercado internacional de uma forma
nunca antes possível, dando aos consumidores opções ilimitadas.
No entanto, nem tudo são rosas. Num estudo realizado pela Vividence em
Novembro de 2001, 75% dos utilizadores abandonam o carrinho de compras antes
de chegarem ao pagamento.
De acordo com este estudo, as maiores razões para o abandono dos carrinhos de
compras são as seguintes:
5
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
6
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
:: 2. Objectivos do Trabalho
Irá ser feito um teste de usabilidade igual para cada um dos sites, de modo a
identificar os aspectos que causam mais dificuldades aos utilizadores e que fazem
com que eles não consigam completar a compra on-line.
No final será feita uma comparação entre os resultados obtidos para cada um dos
sites e serão dadas algumas recomendações para a correcção dos aspectos mais
negativos.
Com base nestes objectivos iremos desenvolver este estudo com utilizadores reais
de modo a saber quais os problemas existentes nestes sites que fazem com que os
utilizadores não consigam completar com sucesso uma simples compra on-line.
7
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
:: 3. Enquadramento Teórico
8
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Hoje existem menos sites de comércio electrónico do que há dois anos atrás. No
entanto, os que existem são mais fáceis de utilizar e são produzidos de uma
maneira mais profissional. De acordo com um estudo realizado pelo Nielsen Norman
Group (NN/g), houve um aumento de 4% na usabilidade dos sites de e-commerce
desde o último estudo realizado em 2000. No ano 2000, os sites de e-commerce
seguiam 45% das recomendações de usabilidade sugeridas pelo NN/g. Hoje, esse
valor subiu para 49%. Em relação às recomendações relativas à eliminação de
problemas técnicos, o valor sobe para 78% dos sites.
Ainda segundo este estudo, as 5 áreas em que houve uma maior melhoria nos sites
de e-commerce de 2000 a 2002 mostram um aumento da usabilidade entre 15% a
23%. Os maiores melhoramentos foram:
9
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
!" Utilização de um motor de busca simples – por exemplo, usar uma caixa de
texto com um botão, e fazer um link para uma pesquisa mais avançada;
!" Conceber formulários para registo – por exemplo, pedir apenas dados que
sejam estritamente necessários e explicar o porquê;
!" Motor de busca – por exemplo, permitir que os utilizadores façam pesquisas
por termos que não sejam apenas de produtos tais como a assistência
técnica, e dar uma maior tolerância em relação aos erros ortográficos;
Se isto acontecesse na sua loja habitual, o mais provável era que você deixasse o
carrinho e saísse da loja o mais rapidamente possível. No entanto, estes são
apenas alguns dos problemas que os compradores têm que passar para fazer uma
compra on-line. Desta forma, não nos surpreende que 60% a 75% dos carrinhos de
compras sejam abandonados nos sites de e-commerce (Thumlert, 2001; Gordon,
2000). Será que os designers se esqueceram que a terminologia “carrinho de
compras” é utilizada de modo a que os utilizadores assimilem o comportamento de
um “verdadeiro” carrinho de compras e o passem para um carrinho “virtual”?
Normalmente quando as pessoas fazem compras numa loja, raramente têm noção
do seu carrinho de compras, a não ser que haja uma roda que faça barulho ou que
seja difícil de guiar. Se isto acontece, pode-se ao menos trocar o carrinho por outro
que ande mais suavemente. Os utilizadores das lojas on-line, infelizmente, não têm
esta possibilidade.
10
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
A Tabela 1 mostra o processo da compra numa loja física versus o mesmo processo
numa loja on-line.
Não nos surpreende que, dada a natureza das compras on-line, seja necessário dar
alguns passos extra para chegar ao processo de pagamento das compras (é claro
que, ao adicionar ofertas especiais ou a possibilidade de entrega em múltiplas
moradas vem complicar muito mais o processo on-line). Apesar de tudo, a
conveniência de não ter que entrar no carro e conduzir até à loja mais próxima,
merece que sejam dados alguns cliques extra... Alguns sites continuam a tentar
diminuir o número de passos que os utilizadores têm que dar até comprar o
produto. Um bom exemplo disso a nível nacional é o pingodoce.pt em que é
possível completar a compra com um único clique.
11
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
3.5.1. Chamar Carrinho de Compras a uma coisa que se parece com tudo
menos um carrinho de compras.
Chamar carrinho de compras a uma coisa que não se pareça com um carrinho de
compras só causa confusão. Os utilizadores estão acostumados à terminologia do
carrinho e enquanto que em certos sites os designers acham “engraçado” utilizar
uma metáfora relacionada com os seus produtos (ex: saco de compras, cesto de
compras) o melhor é manter a consistência e usar o “carrinho”. Adicionando um
gráfico de um carrinho de compras também ajuda a que o acesso seja mais rápido.
12
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
|Figura 2| – E se o utilizador ainda não quiser comprar o produto – como é que ele o adiciona ao
carrinho de compras?
Desde que haja um feedback visual adequado sobre o conteúdo do carrinho, não há
necessidade de levar o utilizador a ver o seu carrinho de compras de cada vez que
adiciona um produto. De facto, isto torna-se aborrecido para aqueles utilizadores
que querem comprar mais do que um produto, requer que sejam dados mais
cliques extra, e limita potencialmente o número de produtos que a pessoa quer
comprar (ao chegar ao carrinho de compras, a tendência é finalizar a compra).
13
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
14
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
|Figura 5| – “Para remover o produto, altere a sua quantidade para zero.” E porque é que não posso
apenas apagá-lo?
15
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
A maior parte dos carrinhos de compras têm um botão para actualizar as alterações
efectuadas nos produtos (tais como a quantidade). Esta função deve estar
localizada de forma a que seja sempre visível e se distinga do resto das áreas do
carrinho de compras, independentemente do número de itens existentes no
carrinho de compras.
|Figura 6| – O link para “Actualizar o Carrinho” (direita) é menos evidente e destaca-se menos do que
o botão para “Actualizar as Quantidades” (esquerda).
|Figura 7| – Os utilizadores preferem saber quanto vão custar as despesas de envio antes de
preencherem os dados para o pagamento.
16
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Nos testes de usabilidade que iremos realizar neste trabalho, tentaremos identificar
se os sites de e-commerce nacionais testados apresentam os mesmos erros
demonstrados anteriormente, e se a existência desses mesmos erros prejudica ou
não a interacção do utilizador com o site.
17
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
:: 4. Metodologias
Foram concebidas quatro tarefas para testar a eficácia de cada um dos sites em
estudo. Cada tarefa tinha um objectivo específico e os critérios de sucesso para
cada uma delas foram definidos como:
A segunda parte é relativa às tarefas propriamente ditas que o utilizador tem que
realizar em cada um dos sites. Nesta fase serão feitos os testes de usabilidade aos
sites.
18
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
19
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Este estudo foi realizado durante o período de Natal, época em que se regista um
aumento do número de vendas nos sites de comércio electrónico.
Segundo dados da ACEP (Associação de Comércio Electrónico em Portugal) as
vendas duplicaram no Natal de 2002. Os produtos mais vendidos neste Natal
foram:
Dado que a área de informática é uma das que apresentam maior volume de
vendas quisemos saber se os sites nacionais de comércio electrónico de produtos
informáticos proporcionam uma boa usabilidade e facilidade de uso aos utilizadores,
mais particularmente no aspecto da pesquisa e compra dos produtos.
Para este estudo foi utilizada uma amostra de 30 utilizadores. A justificação dada
para esta escolha é que para amostras de tamanho N > 30, denominadas grandes
amostras, as distribuições amostrais da maioria das estatísticas são
aproximadamente normais, tornando-se a aproximação melhor com o crescimento
de N. No entanto, para efeitos deste estudo, considerámos que uma amostra de
N=30 seria o suficiente para obter os resultados pretendidos.
20
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
A amostra utilizada foi uma amostra de circunstância, visto que o teste foi feito nas
instalações da Faculdade de Motricidade Humana e a grande maioria (83%) dos
utilizadores testados são alunos do Ensino Superior. Os utilizadores da amostra
tinham uma idade compreendida entre os 18 e os 60 anos.
17%
Estudante
Trabalhador
84%
Em relação ao sexo dos utilizadores, 53% são do sexo feminino e 47% do sexo
masculino.
21
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
3. Caso optasse por fazer realmente a compra, qual o método de pagamento que
preferiria?
De seguida, foi explicado o contexto do teste que iria ser realizado, indicando os
sites que iam ser analisados e o tipo de produtos que contêm. Foi também
explicado ao utilizador que o teste iria ser realizado ao sistema e não a ele próprio.
O questionário continuou com as seguintes questões:
7. Que tipo de produtos acha que teria mais apetência para comprar on-line numa
destas lojas?
8. Que tipo de produtos acha que nunca compraria neste tipo de lojas, mesmo que
estejam disponíveis?
22
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
O objectivo desta questão era ter uma ideia das preferências dos utilizadores
relativamente aos sites em estudo, antes da interacção. No final do teste iria ser
perguntada novamente a ordem de preferência para se poder fazer uma
comparação entre as expectativas iniciais dos utilizadores e aquilo que realmente
obtiveram do site.
23
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Para aplicar este método, começa-se por avaliar o sistema em termos das tarefas
que os utilizadores realizarão com o próprio sistema. Deve-se identificar as metas e
objectivos para cada tarefa. O método pode ser dividido em quatro partes (Rieman,
John et all, 1995):
Estes quatro passos podem ser repetidos várias vezes de modo a alcançar uma
série de sub-objectivos que definem a tarefa. O método de Cognitive Walkthrough
examina as acções correctas necessárias para completar a tarefa e avalia se o
utilizador efectuou os passos correctos.
24
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
4.4.2. Protocolo.
Cada utilizador começava sempre com uma ordem de sites diferentes, Ou seja, se o
utilizador “x” começou com a Worten / Fnac / ShoppingDirect o utilizador “y”
começará por ShoppingDirect / Worten / Fnac e o “z” por Fnac / ShoppingDirect /
Worten.
Referenciar ainda que não foi dito ao utilizador a ordem dos sites que iriam ser
testados.
Para cada tarefa, era pedido ao utilizador para fazer verbalizações sobre aquilo que
estava a fazer com o objectivo de conhecer quais os processos cognitivos inerentes
à realização da tarefa. Esta técnica é chamada “think aloud” (pensar alto).
Foi explicado também que os dados bancários e de crédito não iriam ser utilizados
nem de alguma forma gravados. Foi ainda referido que o teste era anónimo e não
seria guardada nenhuma informação pessoal além da que lhe foi pedida na
entrevista inicial.
Os utilizadores não eram obrigados a executar a tarefa até ao fim, podendo desistir
a qualquer momento se achassem que não conseguiam completar a tarefa por
qualquer motivo. Também não existia tempo limite para completar a tarefa.
4.4.3. As Tarefas
Durante esta tarefa era necessário verificar se a informação era suficiente para uma
compra em segurança, ou seja em que o utilizador estivesse certo que o produto
que estava a comprar tinha as características desejadas.
25
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Para a segunda tarefa, era pedido ao utilizador que efectuasse a compra do referido
produto, seguindo todos os passos até ao final (altura em que são pedidos os dados
de pagamento), incluindo o processo de registo de utilizador requerido pelo site.
Para a obtenção de resultados objectivos foi aplicada uma fórmula para calcular a
taxa de sucesso para cada tarefa em cada um dos sites. A fórmula utilizada foi a
seguinte:
26
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Após a conclusão das tarefas, eram feitas algumas questões relativas ao site
visitado. Pretendia-se com este breve questionário conhecer as impressões do
utilizador inerentes ao processo de pesquisa e compra dos produtos on-line.
Este processo foi repetido para os 3 sites em estudo, sendo que cada indivíduo
começava com uma ordem diferente, evitando assim que o último site obtivesse
melhores resultados de performance devido ao processo de aprendizagem através
da interacção com os sites anteriores.
27
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Após a interacção do utilizador com os 3 sites, foi realizada uma entrevista final
para saber a opinião final do utilizador relativamente aos sites de comércio
electrónico.
A primeira questão servia para fazer uma comparação entre a preferência inicial do
utilizador relativa aos sites e como ela muda após a interacção com os mesmos:
Pretendia-se com a segunda questão saber se após a interacção com este tipo de
sites o utilizador sentiu alguma mudança na sua atitude relativamente ao processo
de compra on-line.
28
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Para concluir, foram feitas duas questões para saber aspectos que os utilizadores
querem neste tipo de sites e saber como os usam:
a. Facilidade de uso
b. Quantidade de produtos
c. Preços
d. Design
e. Marca
f. Métodos de compra
a. Compra
b. Pesquisa de características de produtos
c. Ambos
d. Nada
29
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
:: 5. Resultados.
16
14
12
10
8
6
4
2
0
1 2 3 4 5 6 7
Nº de dias por semana
Pode-se ver na figura 11 que mais de 50% dos inquiridos utiliza a Internet todos os
dias, podendo-se considerar que são utilizadores com uma certa experiência na
utilização da Internet.
30
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
7%
Comprou on-line
Nunca comprou on-line
93%
3. Caso optasse por fazer realmente a compra, qual o método de pagamento que
preferiria?
13%
à cobrança
44%
multibanco
23%
cartão crédito
transf. Bancária
20%
31
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
3% 3%
Não
Sim
No futuro, provavelmente
94%
A questão número 6, revelou que a maior parte dos utilizadores prefere fazer a
pesquisa e comparação de preços dos produtos nas lojas on-line, e depois comprar
em lojas físicas. Daqui deduz-se que os sites funcionam mais como catálogo de
produtos on-line, do que realmente como loja virtual.
32
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
37% 17%
Sim
Não
Às vezes
46%
As duas seguintes questões, dão uma ideia do tipo de produtos que os utilizadores
têm mais apetência para comprar na Internet, bem como aqueles que eles nunca
comprariam mesmo que estivessem disponíveis.
7. Que tipo de produtos acha que teria mais apetência para comprar on-line neste
tipo de lojas?
16% 13%
hardware
9% consumíveis
22% software
tudo
9% nada
hardware leve
31%
33
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
8. Que tipo de produtos acha que nunca compraria neste tipo de sites, mesmo que
estivessem disponíveis?
20%
3% 7%
7% hardware
3%
consumíveis
hardware leve
nada
tudo
produtos com pouca descrição
60%
A maior parte dos inquiridos (80%) nunca experimentou nenhuma destas lojas on-
line, sendo que o site mais conhecido é o da Fnac.pt (17%). Sublinhar ainda que
apenas 3% dos utilizadores visitaram o site da Worten.pt e nenhum dos inquiridos
tinha visitado o ShoppingDirect.pt.
3% 0%
17%
Nenhum
Fnac.pt
Worten.pt
ShoppingDirect.pt
80%
34
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Dentro desta questão pediu-se aos inquiridos que ordenassem os sites segundo a
sua preferência. Os resultados obtidos foram os seguintes:
90
80
70
60
50
40
30
20
10
0
Fnac Worten Shopping Direct
3%
7%
Não
Sim - Portuguesas
Sim - Estrangeiras
53%
37% Indiferente
35
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Fnac.pt
100,0%
80,0%
Nº Indivíduos
60,0%
40,0%
20,0%
0,0%
Sucesso Insucesso
|Figura 21| Sucessos / Insucessos para a Tarefa 1 (encontrar um produto no site). Fnac.pt
Worten.pt
100,0%
80,0%
Nº Indivíduos
60,0%
40,0%
20,0%
0,0%
Sucesso Inucesso
|Figura 22| Sucessos / Insucessos para a Tarefa 1 (encontrar um produto no site). Worten.pt
36
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
ShoppingDirect.pt
100,0%
Nº Indivíduos 80,0%
60,0%
40,0%
20,0%
0,0%
Sucesso Insucesso
|Figura 23| Sucessos / Insucessos para a Tarefa 1 (encontrar um produto no site). ShoppingDirect.pt
Os resultados mostram uma maior taxa de insucesso no site da Fnac.pt, sendo que
dos 30 utilizadores, 10 não conseguiram completar a tarefa, revelando uma taxa de
sucesso de 67%.
Relativamente aos outros dois sites, Worten.pt e ShoppingDirect.pt, é de referir que
ambos obtiveram uma taxa de sucesso superior a 80%.
Taxa de Sucesso
100,00%
80,00%
60,00%
40,00%
20,00%
0,00%
Fnac.pt Worten.pt ShoppingDirect.pt
|Figura 24| Taxas de sucesso para os 3 sites relativamente à Tarefa 1 (encontrar um produto no site).
37
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Taxa de Insucesso
100,00%
80,00%
60,00%
40,00%
20,00%
0,00%
Fnac.pt Worten.pt ShoppingDirect.pt
|Figura 25| Taxas de insucesso para os 3 sites relativamente à Tarefa 1 (encontrar um produto no
site).
Fnac.pt: Neste site uma das causas para os casos de insucesso foi que o produto
escolhido pelos utilizadores não existia no site. Mesmo quando os produtos
existiam, muitos utilizadores não os conseguiram encontrar devido a uma má
categorização dos produtos, um motor de pesquisa pouco eficiente ou falta de
imagens e informações sobre o produto. Finalmente, houve também um caso em
que o insucesso foi provocado por um erro do site.
Worten.pt: Tal como aconteceu no site da Fnac.pt, uma das maiores causas de
insucesso foi a não existência do produto escolhido pelos utilizadores no site. É de
sublinhar ainda que houve um erro do site que provocou mais um caso de
insucesso para esta tarefa.
ShoppingDirect.pt: Neste site, o único problema encontrado foi que o produto que
os utilizadores escolheram comprar não existia no site, o que ocorreu em 4
ocasiões.
38
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Fnac.pt
100,0%
80,0%
Nº Indivíduos
60,0%
40,0%
20,0%
0,0%
Sucesso Insucesso
|Figura 26| Resultados obtidos na tarefa 2 (comprar o produto encontrado na tarefa anterior). Fnac.pt
Worten.pt
100,0%
80,0%
Nº Indivíduos
60,0%
40,0%
20,0%
0,0%
Sucesso Inucesso
|Figura 27| Resultados obtidos na tarefa 2 (comprar o produto encontrado na tarefa anterior).
Worten.pt
39
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
ShoppingDirect.pt
100,0%
Nº Indivíduos 80,0%
60,0%
40,0%
20,0%
0,0%
Sucesso Insucesso
|Figura 28| Resultados obtidos na tarefa 2 (comprar o produto encontrado na tarefa anterior).
ShoppingDirect.pt
Nesta segunda tarefa, nota-se um aumento da taxa de insucesso nos 3 sites, o que
demonstra que um importante número de utilizadores não conseguiram acabar o
processo de compra. A maioria dos casos de insucesso nesta tarefa 2, ocorreram
durante o processo de registo do utilizador no site.
A leitura do gráfico da figura 29, mostra a diferença das taxas de sucesso nos três
sites de comércio electrónico em estudo. Sendo que o objectivo principal destes
sites é vender, os resultados mostram que acontece o contrário, ou seja, os
utilizadores não conseguem comprar ou têm taxas de sucesso muito baixas.
Taxa de Sucesso
100,00%
90,00%
80,00%
70,00%
60,00%
50,00%
40,00%
30,00%
20,00%
10,00%
0,00%
Fnac.pt Worten.pt ShoppingDirect.pt
|Figura 29| Taxas de sucesso para os 3 sites relativamente à Tarefa 2 (comprar o produto encontrado
na tarefa anterior).
40
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Taxa de Insucesso
100,00%
80,00%
60,00%
40,00%
20,00%
0,00%
Fnac.pt Worten.pt ShoppingDirect.pt
|Figura 30| Taxas de insucesso para os 3 sites relativamente à Tarefa 2 (comprar o produto
encontrado na tarefa anterior).
Fnac.pt: Durante o processo de registo, houve várias dificuldades por parte dos
utilizadores, entre as quais, destacamos: morosidade do processo de registo devido
ao facto de obrigar o utilizador a fornecer uma password com oito caracteres
alfanuméricos sendo que destes oito, quatro teriam que ser letras e os outros
quatro teriam que ser algarismos. As mensagens de erro não ajudavam à
recuperação do erro, visto que, se o utilizador fornecesse uma password com
menos de oito caracteres, a mensagem de erro indicava simplesmente que a
palavra passe teria de ter oito caracteres, sem indicar que teriam obrigatoriamente
de ser quatro letras e quatro algarismos. Isto provocava que o utilizador tivesse de
preencher pelo menos 3 vezes o mesmo formulário.
Também no processo de registo, quando o utilizador clicava no botão “concluir
compra” aparecia no ecrã o seguinte esquema:
41
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
“botão” seguinte para avançar, sem qualquer resposta por parte do sistema.
Finalmente, quando se apercebiam que os “botões” não funcionavam, clicavam no
link “adicionar um novo endereço”. O sistema continuou a fornecer instruções
pouco claras quando pedia para se dar um nome ao endereço. A maioria dos
utilizadores não sabia o que escrever neste campo e ficavam confusos. Ainda na
mesma página, a utilização da expressão “linha 1 do endereço” criou também
grande confusão aos utilizadores porque não sabiam o que isso significava.
Worten.pt: A causa mais frequente de erros neste site foi a falta de clareza no
processo de registo. Os campos não obrigatórios eram marcados com um asterisco,
no entanto, os campos de preenchimento do número de telemóvel e telefone
tinham um asterisco e eram de preenchimento alternativo. Após validação do
registo, o sistema respondia que era necessário preencher pelo menos um dos
números quando inicialmente os campos eram considerados como não obrigatórios.
Outro factor, também no registo, era quando o nome de utilizador já existia e a
mensagem de erro do site era a seguinte: “o id de utilizador já existe”. Perante
esta mensagem, a maior parte dos utilizadores alterou a palavra passe em vez de
alterar o nome de utilizador, voltando a cometer o mesmo erro, em alguns casos,
vezes sem conta.
Um outro aspecto muito importante é a falta de feedback do carrinho de compras
no momento em que se adiciona um produto. Na grande maioria dos casos, os
utilizadores clicaram mais do que uma vez no botão de compra desconhecendo que
estavam a acumular o mesmo produto várias vezes no seu carrinho de compras.
Isto levou a que se perdesse bastante tempo até os utilizadores repararem no
carrinho de compras do lado direito do ecrã cuja visibilidade era ainda dificultada
pelo facto do mesmo desaparecer do ecrã sempre que se fazia scroll vertical da
página.
Há ainda a acrescentar a dificuldade do processo de remoção do produto do
carrinho de compras, uma vez que os utilizadores clicavam várias vezes no mesmo
produto, este era adicionado o mesmo número de vezes ao carrinho.
42
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
43
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
O objectivo desta tarefa era encontrar o produto PDA Fujitsu-Siemens Pocket Loox
e referir quais as suas principais características.
Fnac.pt
100,0%
80,0%
Nº Indivíduos
60,0%
40,0%
20,0%
0,0%
Sucesso Insucesso
|Figura 33| Resultados obtidos na tarefa 3 (encontrar o produto PDA Fujitsu-Siemens Pocket Loox).
Fnac.pt
Worten.pt
100,0%
80,0%
Nº Indivíduos
60,0%
40,0%
20,0%
0,0%
Sucesso Inucesso
|Figura 34| Resultados obtidos na tarefa 3 (encontrar o produto PDA Fujitsu-Siemens Pocket Loox).
Worten.pt
44
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
ShoppingDirect.pt
100,0%
80,0%
Nº Indivíduos
60,0%
40,0%
20,0%
0,0%
Sucesso Insucesso
|Figura 35| Resultados obtidos na tarefa 3 (encontrar o produto PDA Fujitsu-Siemens Pocket Loox).
ShoppingDirect.pt
Os dados obtidos nos gráficos revelam uma grande disparidade de resultados entre
o site da Fnac.pt e os sites da Worten.pt e da ShoppingDirect.pt. No caso da
Fnac.pt houve 20 casos de insucesso em 30 testes, o que demonstra que os
utilizadores tiveram bastantes dificuldades em conseguir encontrar o produto. O
mesmo já não aconteceu nos outros dois sites, tendo a ShoppingDirect.pt obtido os
melhores resultados, com uma taxa de sucesso de quase 100%.
Taxa de Sucesso
100,00%
90,00%
80,00%
70,00%
60,00%
50,00%
40,00%
30,00%
20,00%
10,00%
0,00%
Fnac.pt Worten.pt ShoppingDirect.pt
|Figura 36| Taxas de sucesso para os 3 sites relativamente à Tarefa 3 (encontrar o produto PDA
Fujitsu-Siemens Pocket Loox).
45
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Taxa de Insucesso
100,00%
80,00%
60,00%
40,00%
20,00%
0,00%
Fnac.pt Worten.pt ShoppingDirect.pt
|Figura 37| Taxas de insucesso para os 3 sites relativamente à Tarefa 3 (encontrar o produto PDA
Fujitsu-Siemens Pocket Loox).
46
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Fnac.pt
100,0%
80,0%
Nº Indivíduos
60,0%
40,0%
20,0%
0,0%
Sucesso Insucesso
|Figura 38| Resultados obtidos na tarefa 4 (comprar o PDA Fujitsu-Siemens Pocket Loox). Fnac.pt
Worten.pt
100,0%
80,0%
Nº Indivíduos
60,0%
40,0%
20,0%
0,0%
Sucesso Inucesso
|Figura 39| Resultados obtidos na tarefa 4 (comprar o PDA Fujitsu-Siemens Pocket Loox). Worten.pt
47
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
ShoppingDirect.pt
100,0%
80,0%
Nº Indivíduos
60,0%
40,0%
20,0%
0,0%
Sucesso Insucesso
|Figura 40| Resultados obtidos na tarefa 4 (comprar o PDA Fujitsu-Siemens Pocket Loox).
ShoppingDirect.pt
Taxa de Sucesso
100,00%
80,00%
60,00%
40,00%
20,00%
0,00%
Fnac.pt Worten.pt ShoppingDirect.pt
|Figura 41| Taxas de sucesso para os 3 sites relativamente à Tarefa 4 (comprar o PDA Fujitsu-Siemens
Pocket Loox).
48
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
A figura 41, volta a mostrar a tendência para haver melhores resultados no site da
ShoppingDirect.pt e piores no site da Fnac.pt. Mais uma vez, o site da Worten.pt
mantém-se com valores médios atingindo ainda uma considerável taxa de sucesso.
Taxa de Insucesso
100,00%
80,00%
60,00%
40,00%
20,00%
0,00%
Fnac.pt Worten.pt ShoppingDirect.pt
|Figura 42| Taxas de insucesso para os 3 sites relativamente à Tarefa 4 (comprar o PDA Fujitsu-
Siemens Pocket Loox).
Fnac.pt: “Muito complicado. Não sei o que deve ser feito no registo”. Esta foi
apenas uma das afirmações feitas pelos utilizadores durante o processo do registo
no site da Fnac.pt. Isto demonstra as dificuldades sentidas nesta fase do processo
de compra, o que tornou este facto como a principal causa de insucesso para esta
tarefa.
Worten.pt: Neste site, o principal problema voltou a ser o registo do utilizador, tal
como já tinha acontecido para a tarefa 2.
É de salientar que houve um caso em que ocorreu um erro no site, o que fez com
que o utilizador não conseguisse completar a compra.
49
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
50
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
No final da última tarefa em cada site, foi feito um breve questionário para
conhecer a opinião final do utilizador em relação a alguns aspectos do site. O
método escolhido para a recolha de respostas foi uma escala de Lickert com um
intervalo de opções de 1 a 6.
Para uma melhor comparação dos resultados, as respostas são mostradas de forma
agrupada para os três sites. Podendo-se assim fazer uma melhor comparação dos
valores obtidos.
0
Pouco visível 2 3 4 5 Bem visível
3,85
3,8
Média
3,75
3,7
3,65
Fnac.pt Worten.pt ShoppingDirect.pt
51
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
2. Facilidade de registo.
0
Muito difícil 2 3 4 5 Muito fácil
3,41
3,4
3,39
3,38
3,37
3,36
Média
3,35
3,34
3,33
3,32
3,31
3,3
Fnac.pt Worten.pt ShoppingDirect.pt
Os utilizadores consideraram que era mais fácil fazer o registo no site da Fnac.pt do
que nos outros dois sites.
52
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
3. Opções de pagamento.
0
Poucas opções 2 3 4 5 Muitas opções
2,88
2,86
2,84
2,82
2,8
Média
2,78
2,76
2,74
2,72
2,7
2,68
Fnac.pt Worten.pt ShoppingDirect.pt
53
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
0
Pouco 2 3 4 5 Bem
perceptível perceptível
|Figura 49| Percepção da fase do processo de compra em que se encontra nos três sites.
3,85
3,8
3,75
Média
3,7
3,65
3,6
Fnac.pt Worten.pt ShoppingDirect.pt
|Figura 50| Média da percepção da fase do processo de compra sentida pelos utilizadores.
54
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
14
12
10
0
Muito difícil 2 3 4 5 Muito fácil
4,5
4,45
4,4
Média
4,35
4,3
4,25
Fnac.pt Worten.pt ShoppingDirect.pt
Nesta questão os utilizadores indicaram que era fácil pesquisar os produtos nos
sites. A Fnac.pt obteve os melhores resultados, mas a diferença não é grande em
relação aos outros dois sites.
55
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
0
Nada seguro 2 3 4 5 Muito seguro
3,66
3,65
3,64
Média
3,63
3,62
3,61
3,6
Fnac.pt Worten.pt ShoppingDirect.pt
|Figura 54| Média do sentimento de segurança dos utilizadores a comprar nos três sites.
56
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Após a interacção com cada um dos sites, foi feita uma questão aos utilizadores
sobre quais os pontos positivos e negativos do site. Os comentários dos utilizadores
serviram para nos indicar quais foram os aspectos que mais dificultaram a
interacção com os sites e aqueles que a facilitaram. As respostas eram totalmente
abertas pois o objectivo era recolher o máximo de informação possível sobre as
opiniões dos utilizadores.
Fnac.pt
5%
5%
5% 25%
Aspecto gráfico
Estruturação do processo de compra
5% Boa pesquisa
Variedade
10% 20%
15%
57
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Worten.pt
2% 2%
5%
5%
Organização dos produtos
31% Aspecto gráfico
5%
Menus de navegação
Imagens dos menus de navegação
Fácil pesquisa
10%
Informação sobre os produtos
Cores
Variedade
Imagens dos produtos
10% Registo fácil
15%
15%
58
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
ShoppingDirect.pt
3% 3%
3%
3%
5%
Navegação
5%
Aspecto gráfico
40%
Organização da informação
Fácil encontrar o produto
Variedade de produtos
Datas de entrega e opções de pagamento
11%
Registo fácil
Passos da compra
Informação sobre os produtos
Carrinho de compras
14%
13%
59
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Fnac.pt
5%
5%
22%
8%
Motor de busca pouco eficiente
Botões do menu pouco perceptíveis
Pouca informação sobre os produtos
8%
Registo complicado
Site muito confuso
Pouca variedade de produtos
Má organização de conteúdos
Difícil navegação
13%
19%
20%
60
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Worten.pt
5%
5%
5%
28% Registo comlicado
5%
Não há feedback na compra
Cores
5%
Processo de compra é aborrecido
Confuso
Motor de busca
24%
Informação relevante misturada com o resto da
informação
23%
61
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
ShoppingDirect.pt
4%
4%
16%
8%
8%
17%
Motor de busca
Registo complicado
13%
Aspecto gráfico
Muita informação
Pouca informação dos produtos no início
Carrinho de compras pouco visível
17%
13% Processo de encomenda é complicado
Pouca variedade de produtos
"scroll" para poder encomendar
62
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
100
80
60
40
20
0
Fnac Worten Shopping Direct
100
90
80
70
60
50
40
30
20
10
0
Fnac Worten Shopping Direct
|Figura 62| Comparação entre as preferências dos utilizadores antes e depois do teste.
63
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
2. Depois deste teste a sua atitude para comprar on-line modificou-se de alguma
forma?
37%
Sim
Não
63%
A figura 63 mostra que a maior parte dos utilizadores mantém a mesma atitude em
relação às compras através da Internet, no entanto, uma percentagem importante
(37%) afirmou que tinha mudado de atitude e que no futuro iria olhar com mais
atenção para o comércio electrónico.
As seguintes duas questões foram feitas de forma aberta e tinham como objectivo
saber o que os utilizadores consideravam ser mais importante ou menos importante
num site de comércio electrónico, pelo que o maior ou menor número de votos num
determinado aspecto, indica que houve um consenso por parte dos inquiridos em
relação àquilo que mais ou menos valorizavam. Não foi, portanto, oferecida
nenhuma listagem em que os utilizadores pudessem escolher os itens que achavam
que teriam maior ou menor valor. As questões efectuadas foram as seguintes:
64
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
3%
3% 3%
3% ver as características dos produtos
3% Facilidade de pesquisa
3%
31% variedade de produtos
5% orientação dos passos da compra / saber onde estou
facilidade de navegação
organização dos produtos
8%
facilidade de registo
aspecto gráfico
eficácia do sistema
8%
facilidade de compra
acessibilidade da informação
7%
23% marca da empresa
|Figura 64| Características que os utilizadores valorizam mais neste tipo de sites.
Na figura 64, são mostrados os aspectos mais valorizados neste tipo de sites pelos
indivíduos entrevistados. Assim, aquilo que é considerado mais importante num site
de e-commerce é fornecer as características detalhadas dos produtos associado
também a uma maior facilidade de pesquisa dos mesmos. Outros aspectos
importantes são também a orientação dos passos da compra, ou seja, informar
sempre o utilizador sobre a sua localização no site e dar indicações de como
progredir no sentido de completar a compra; a variedade de produtos e a sua
organização e a facilidade de navegação no site.
65
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
3%
3%
3%
7%
32% publicidade a outros produtos
registo (dar os dados pessoais)
nada
10% insegurança
aspecto gráfico
processo de compra
excesso de informação
navegabilidade
10%
preços elevados
18%
14%
|Figura 65| Características que os utilizadores valorizam menos neste tipo de sites.
As seguintes três questões revelam as opiniões gerais dos utilizadores para os três
sites sobre a facilidade de pesquisa dos produtos, a facilidade da compra e o
sentimento de segurança na compra sentido após a interacção com o sistema.
66
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
18
16
14
12
10
0
Muito difícil 2 3 4 5 Muito fácil
10
9
8
7
6
5
4
3
2
1
0
Muito difícil 2 3 4 5 Muito fácil
67
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
12
10
0
Nada seguro 2 3 4 5 Muito
seguro
Na questão número 8 era pedido aos utilizadores para ordenarem uma série de
itens relacionados com o comércio electrónico. A ordenação deveria ser feita do
item de mais valor para o que consideravam ser menos importante.
Métodos de
compra Facilidade de
15% uso
26%
Marca
10%
Design
13% Quantidade de
produtos
19%
Preços
17%
68
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
A última questão pretendia saber como é que os utilizadores usam este tipo de
sites. Os resultados foram:
0%
10% 0%
Compra
Pesquisa de características
Ambos
Nada
90%
|Figura 70| Tipo de uso que os utilizadores dão a este tipo de sites.
69
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
De um modo geral, a maioria dos utilizadores usa a Internet todos os dias, o que
revela uma certa experiência no uso deste meio.
No entanto, apesar de usarem bastante a Internet, os sites de comércio electrónico
não são dos mais visitados. De facto, apenas uma pequena percentagem (7%) dos
utilizadores já efectuou compras on-line.
A maior parte dos utilizadores visita os sites de comércio electrónico apenas para
pesquisa de características de produtos e comparação de preços. A característica
que os utilizadores consideram ser mais importante neste tipo de sites é poderem
ver as características detalhadas dos produtos, e 90% dos mesmos utiliza estes
sites apenas com essa finalidade.
No final dos testes, a atitude dos utilizadores para não comprar on-line manteve-se,
no entanto 37% dos utilizadores afirmou ter mudado de opinião em relação ao
comércio electrónico.
70
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
100
90
80
70
60
50
40
30
20
10
0
Fnac Worten Shopping Direct
|Figura 71| Comparação entre as preferências dos utilizadores antes e depois do teste.
71
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Com base nos resultados da interacção dos utilizadores com os sites, foi possível
identificar os principais factores que levaram a que os utilizadores não
conseguissem completar as suas tarefas com êxito.
72
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
|Figura 73| O utilizador tem que percorrer várias páginas de produtos para encontrar aquilo que
procura.
73
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
74
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
|Figura 76| Os campos com * não são obrigatórios, ao contrário do que é normal na maioria dos sites.
75
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
76
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
|Figura 79| Campos de preenchimento não obrigatório marcados com *. A informação que indica que
esses campos não são obrigatórios só aparece no final do formulário.
- Tal como acontece para os outros dois sites, foi referenciado pelos
utilizadores que o motor de busca é pouco eficiente não ajudando a
encontrar aquilo que se procura.
|Figura 80| O botão “Encomendar” está escondido e é necessário fazer scroll para o ver.
77
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
A visibilidade do carrinho de compras dos três sites era razoavelmente boa o que
não é mau, mas no site da Worten.pt o carrinho desaparecia sempre que se fazia
scroll vertical. No entanto, são usados termos diferentes para identificar o mesmo
objecto, o que confunde os utilizadores quando confrontados com a pergunta sobre
a visibilidade do carrinho de compras (ver página 51). De facto, alguns utilizadores
nem sequer sabiam o que era o carrinho de compras, porque para cada site era
utilizado um termo diferente – Na Fnac.pt era utilizado o termo “Cesto de compras”
enquanto que no ShoppingDirect.pt era utilizado o termo “Saco de compras”.
6.6. Localização
Um bom exemplo de orientação dos passos a seguir pelo utilizador, é aquele usado
pelo ShoppingDirect.pt que além de indicar a fase do processo de compra em que o
78
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
indivíduo se encontra, indica também o que será feito na fase seguinte, em vez de
mostrar apenas o botão “Continuar”.
|Figura 81| Descrição do que vai ser feito no próximo passo por baixo do botão.
79
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Os resultados deste estudo demonstram que existem alguns aspectos que devem
ser tidos em conta durante a fase de concepção de um site de comércio electrónico,
nomeadamente o conhecimento das necessidades dos utilizadores e as dificuldades
sentidas pelos mesmos durante o processo de compra. Deste modo, é necessário
ter um conhecimento da actividade real do utilizador durante a interacção com o
sistema, identificando assim os pontos nos quais existe uma maior dificuldade, para
assim poder desenvolver soluções centradas no utilizador.
80
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
:: 7. Conclusão
Apesar dos utilizadores testados terem uma relativa experiência no uso da Internet,
notou-se que foram sentidas algumas dificuldades na interacção com os sites,
especialmente com o carrinho de compras e durante o preenchimento do formulário
de registo.
Os utilizadores navegam mais por este tipo de sites apenas para ver as
características dos produtos e para comparar os preços entre as lojas, ou seja, eles
não usam estes sites para comprar, mas sim para comparar produtos.
O registo não deveria ser obrigatório para completar a compra. Nos três sites
testados, os maiores problemas ocorreram durante o processo de registo e a maior
parte dos casos de insucesso ocorreram durante esta fase. Deste modo, propomos
que devem ser pedidos apenas os dados estritamente necessários para a
concretização da compra, ou seja, nome, morada, telefone e dados de pagamento.
Deste modo não era necessário que o utilizador se registasse no site e o processo
seria muito mais simples e eficaz.
81
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
Deste modo, concluímos que basta fazer um pequeno esforço ao nível da concepção
destes sites de forma a torná-los mais simples de utilizar e consequentemente
aumentar as receitas das vendas dos produtos on-line. Um utilizador satisfeito volta
sempre a comprar no mesmo sítio.
82
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
:: 8. Bibliografia
!" Bernard, Michael. (2001). “Usability News – Developing Schemas for the
Location of Common Web Objects”. March 1, 2001
(http://psychology.wichita.edu/surl/usabilitynews/3W/web_object.htm)
!" Bernard, Michael. (2002). “Usability News – Examining User Expectations for
the Location of Common E-Commerce Web Objects”. July 23, 2002
(http://psychology.wichita.edu/surl/usabilitynews/41/web_object-
ecom.htm)
!" Chaparro, Barbara. (2002). “Usability News – Top Ten Mistakes of Shopping
Cart Design”. July 23, 2002
(http://psychology.wichita.edu/surl/usabilitynews/42/shoppingcart.htm)
!" CNET Builder.com – “10 Questions on E-Commerce. What are the biggest
barriers to e-commerce?”
(http://builder.cnet.com/webbuilding/pages/Business/Ecommerce20/ss08.ht
ml)
!" Hackos, JoAnn; Redish, Janice. (1998). “User and Task Analysis for Interface
Design”. 1998. Wiley Computer Publishing. ISBN 0-471-17831-4.
83
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
!" Lash, Jeff. (2002). “Why We Buy: The Science of Shopping”. Boxes And
Arrows. May 20, 2002
(http://www.boxesandarrows.com/archives/002638.php)
!" Rosenfeld, Louis; Morville, Peter. (1998). “Information Architecture for the
World Wide Web”. February 1998. O’Reilly & Associates. ISBN 1-56592-282-
4
84
Análise da Usabilidade de 3 Sites de E-Commerce Nacionais
!" Rieman, John et all. (1995). “Usability Evaluation with the Cognitive
Walkthrough”.
(http://www.acm.org/sigchi/chi95/proceedings/tutors/jr_bdy.htm)
!" Waldal, Leanne et all. (2002). “OTIVO – Do-It-Yourself Usability Testing: it’s
a good thing”. Seybold, San Francisco. September 10, 2002
(http://www.otivo.com/projects/seyboldsf)
!" Waldal, Leanne et all. (2002). “OTIVO – Just Pound On The Thing: Nuts And
Bolts Of User Testing”.
85