Specificarea si evaluarea utilizabilitatii in

aplicatiile interactive
Bugnaru Gelu Alexandru
Curs Sisteme Interacive, 2013-2014
Universitatea Tehnica din Cluj-Napoca
bugnaru.gelu@yahoo.com

Rezumat
In prezent exista putine abordari in specificarea si evaluarea utilizabilitatii in aplicatiile interactive. Lucrarea de
fata isi propune sa prezinte conceptul de utilizabilitate , dupa care sa prezinte evaluarea utilizabilitatii in sistemele
interactive , iar apoi sa prezinte cateva abordari in automatizarea evaluarii utilizabilitatii. In partea de final se va
realiza un studiu de caz pentru a analiza utilizabilitatea unui site webal unei primarii. Utilizabilitatea aplicatiilor
informatice din unitatile administrativ teritoriale este o cerinta prioritarapentru implemntarea cu succes a societatii
informationale. Din pacate, pe plan national un exista inca o practica curenta de evaluare a produselor informatice
inainte de a fi instalate la utilizator.Acest articol se concentreaza pe prezentarea unei metodologii si a unui studiu
de caz in evaluarea formativa a utilizabilitatii siturilor web dintr-o primarie .

1. Introducere
Importanta utilizabilitatii in sistemele informatice a crescut in ultima decada. Utilizabilitatea are un rol
esential in succesul sau esecul unui produs informatic. Acest fapt a determinat numeroase companii sa relizeze
unele sesiuni de evaluare pentru utilizabilitate. Cu timpul s-au format numeroase definitii ale utilizabilitatii, cateva
dintre ele fiind enuntate in cele ce urmeaza.
Standardul ISO (ISO 9241-11, 1990) defineste utilizabilitatea ca fiind masura n care un produs poate fi
folosit de utilizatori specifici pentru a atinge scopuri specifice cu eficienta, eficacitate si satisfactie ntr-un context
specific de utilizare. Eficienta se refera la raportul dintre resursele consumate si acuratetea si completitudinea cu
care utilizatorii ndeplinesc scopuri. Eficacitatea se refera la acuratetea si completitudinea cu care utilizatorii
ndeplinesc sarcini specificate. Satisfactia este o masura subiectiva referitoare la confortul si acceptarea produsului
de catre utilizatorii finali. [1]
Shakel a definit utilizabilitatea ca fiind capacitatea unui sistem de a fi folosit eficient si usor de o categorie
specifica de utilizatori, care au avut parte de o instruire specifica si de asistenta in vederea utilizarii unui produs,
pentru a indeplini un domeniu specific intr-un cadru specific. Definitia contine patru criteria de baza : eficienta,
usurinta de invatare, flexibilitate si atitudine. [2]
Evaluarea formativa a utilizabilitatii se efectueaza iterativ, pe parcursul ciclului de dezvoltare in scopul
identificarii si eliminarii unor probleme de utilizabilitate cat mai devreme.[3]. Daca aceste probleme vor fi
identificate devreme, cu atat va fi mai putin costisitor efortul de rezolvare. Evaluarea este denumita formativa,
pentru a o distinge de evaluarea sumativa, care este efectuata, dupa ce un sistem sau o componenta fost dezvoltata.
[4] Evaluarea sumativa se efectueaza prin testarea cu un numar mare de utilizatori reprezentativi si are ca scop
identificarea punctelor tari sau slabe precum si compararea unor solutii de proiectare alternative sau a unor sisteme
similare.
In ultimii ani utilizabilitatea siturilor web a devenit o preocupare majora a dezvoltatorilor de aplicatii si
situri web deoarece acesta este un factor cheie in succesul unui site.Powell [5] pornind de la definitia data de
standardul ISO 9241-11 definiste ca un site web este utilizabil daca poate fi folosit de catre oameni pentru a

indeplini anumite obiective intr-o maniera eficienta si cu satisfactie. Krug[6] spune ca utilizabilitatea este
certitudinea ca ceva functioneaza bine si poate fi folosit fara discomfort.
Diferite metode si tehnici au fost propuse pentru evaluarea utilizabilitatii, unele fiind adaptate pentru
utilizabilitatea siturilor web: inspectii facute de experti, revizuiri cognitive, evaluari euristice, focus-groupul,
inspectarea respectarii sabloanelor de proiectare a interfetelor utilizator, testarea cu utilizatori si calculul valorilor
pentru diferite metrici. Dintre acestea, cea mai eficienta ramne testarea cu utilizatori reali, nsa este si cea mai
costisitoare. n fiecare an, siturile universitatilor sunt accesate de mii de persoane n cautarea anumitor informatii.
n Romnia, viitorii studenti folosesc siturile universitatilor n cautarea diferitor date despre admiterea la facultate,
la diferite nivele (licenta, master sau doctorat) precum: specializari oferite, numar de locuri disponibile, criterii de
selectie, taxe, cazare
Ingineria utilizabilitatii reprezinta un process care se desfasoara de-a lungul ciclului de viata al unui
program. Fiecare proiect este diferit si fiecare interfata va arata altfel. Se presupune o abordare in dezvoltarea
sistemelor informatice care implica participarea utilizatorilor inca de al inceput, care garanteaza eficacitatea
produsului prin intermediul unor metrici ale utilizabilitatii si a unor specificatii legate de utilizabilitate. Are ca
scop principal identificarea de metode de implemntare a nevoilor utilizatorilor si asigurarea eficientei,
operativitatii si satisfactiei. Metricile utilizabilitatii reprezinta una din modalitatile de a masura utilizabilitatea. Ele
permit urmarirea progresului de la o versiune la alta pentru a evalua progresul pe piata, pentru a decide daca este
momentul ideal pentru lansarea unui nou produs pe piata.

2.Evaluarea utilizabilitatii in aplicatiile interactive

Evaluarea utilizabilitaii unei aplicatii poate avea loc in doua moduri posibile: pe parcursul proiectarii unui
sistem sau dupa dezvoltarea acestuia. Se poate reliza prin testari cu utilizatorii, iar rezultatele acestor testari sunt
cele mai relevante dar in acelasi timp si cele mai costisitoare. Prin folosirea scenariilor se pot obtine date privind
viteza de executie si numarul de erori care sunt indicatori ai utilizabilitatii. Chestionarele de utilizabilitate sau
QUIS ne ofera informatii standardizate despre utilizabilitatea sistemelor si aplicatiilor.Metodele care ofera estimari
ale utilizabilitatii sistemelor inca din faza de proiectare reprezinta alegerea preferata de dezvoltatorii de sisteme.[7]
Astfel de metode sunt cele care asigura inspectarea utilizabilitatii sau evaluarea respectarii sabloanelor de
proiectare a interfetelor utilizator. Inspectarea utilizabilitatii reprezinta o revizuire a sistemului pe baza unui set de
recomandari. Revizuirea este condusa de un grup de experti familiarizati cu conceptele utilizabilitatii n proiectare.
Aspectele evaluate pot fi: limbajul folosit n interactiune, masura n care se apeleaza la aducerea aminte a
utilizatorului si modul n care sistemul ofera feedback utilizatorilor. Inspectarea utilizabilitatii poate fi realizata
prin diverse metode precum:
Revizuiri cognitive: pot fi efectuate in orice etapa a dezvoltarii unui produs, folosind un document
apartinand proiectarii conceptuale, un produs final sau de asemenea un prototip. Un grup de evaluatori
parcurg sarcina pas cu pas pe baza scopurilor utilizatorilor. Scopul reprezinta o stare care se doreste a fi
atinsa folosind sistemul interactiv. Revizuirile cognitive iau n considerare procesul de gndire care
determina luarea deciziilor, precum ncarcarea memoriei si abilitatea de a rationa.
Revizuiri pluralistice - foloseste ntlniri de grupuri n care dezvoltatori, utilizatori si specialisti n factori
umani parcurg un scenariu si discuta fiecare element pentru un dialog;
Inspectarea consistentei - un grup de proiectanti care participa la realizarea unor produse similare
inspecteaza interfata pentru a vedea daca permite realizarea functionalitatii n acelasi mod ca si produsele
proprii;
inspectarea caracteristicilor sistemului - se listeaza secventele folosite n realizarea unei sarcini, se cauta
secventele prea lungi, pasii confuzi, actiunile care nu sunt selectate natural de catre utilizator, pasii care
necesita cunostinte extensive sau expertiza pentru a realiza un scop
Evaluarea euristica - este o tehnica de determinare a problemelor de utilizabilitate cu o interfata. Un
numar mic de evaluatori inspecteaza separat o interfata folosind euristici. Apoi, combina rezultatele
evaluarilor si fac o clasificare a problemelor. Sunt general acceptate cele 10 euristici ale lui Nielsen:
vizibilitatea starii sistemului, potrivirea dintre sistem si lumea reala, controlul utilizatorului si libertatea,
consistenta si standarde, prevenirea erorilor, recunoastere ,flexibilitate si eficienta n utilizare, design
minimalist si estetic, ajutorul utilizatorilor sa recunoasca, diagnosticheze si sa recupereze erorile, help si
documentare [8]

focus groups - focus grupurile reprezinta o metoda foarte eficienta de a culege reactii de la utilizatori si de
a aprecia reactiile initiale la proiectare, dar si pentru a identifica diferentele dintre asteptarile utilizatorilor
si implementarea actuala .

Aceste metode presupun existent unor experti in utilizabilitate, iar acest lucru poate fi costisitor. Privind acest
context automatizarea procesului de evaluare a utilizabilitatii poate deveni o solutie mai buna.

3. Abordari in automatizarea evaluarii utilizabilitatii

Pentru a evalua un sistem informatic trebuie parcursi urmatorii pasi :
colectarea de date ;
analiza datelor : metode statistice de grupare a datelor ;
propunerea unor imbunatatiri asupra sistemului software .
In timpul unui test evaluatorul propune un scenariu de utilizare a sistemului informatic. Acest scenariu are
ca scop testarea unor aspect din interfata utilizator. n timpul testului de utilizabilitate specialistul n utilizabilitate
observa modul n care utilizatorul executa sarcinile, comportamentul sau si comentariile pe care le face. La
sfrsitul testului are loc o discutie privind modul de realizare a sarcinilor si gradul de satisfactie a utilizatorului n
raport cu sistemul folosit. Avantajele pe care le aduce automatizarea evaluarii utilizabilitatii sunt: reducerea
necesarului de resurse umane, reducerea necesarului de expertiza umana, completitudine si posibilitatea compararii
rezultatelor testelor de utilizabilitate.
Analiza si jurnalizarea evenimentelor reprezinta surse valoroase de determinare a problemelor de
utilizabilitate. Prin jurnalizare se pot obtine informatii precise despre ce face utilizatorul, ce date foloseste si in ce
ordine executa actiuni. Rezulta ca frecventa de folosire a unei functionalitati sau numarul de erori pot fi calculate
din fisierele de jurnalizare. Exista si alte modalitati de evaluare a acestor metrici (nregistrarea video a sesiunii de
testare, notarea manuala), dar folosind jurnalizarea evenimentelor acest lucru se poate realiza automat.
Jurnalizarea automata are si neajunsuri: unul din acestea fiind imposibilitatea surprinderii reactiilor utilizatorului.
Jurnalizarea necesita o foarte buna cunoastere a structurii aplicatiei deoarece presupune inserarea unor linii de cod
in cadrul aplicatiei.
3.1 Utilizarea AOP pentru captarea evenimentelor din interactiunea utilizator sistem
AOP (Aspect Oriented Programming ) este o paradigma recent dezvoltata pentru jurnalizarea
evenimentelor din interfata utilizator. Aceasta paradigma este recomandata in situatii in care trebuie sa se trateze
situatii in functionalitati transversal. O functionalitate transversal reprezinta o caracterista a sistemului a carei
inplementare este impartasita prin codul sursa al aplicatiei, spre exemplu jurnalizarea. AOP a introdus patru
notiuni noi : : join-point, pointcut, advice, aspect.
Exista extensii AOP pentru diverse limbaje de programare cum ar fi : Java, C++ sau C#. In aceasta
abordare s-au scris diverse metrici pentru a fi evaluate. Avantajul pe care l aduce abordarea propusa este acela ca
modulele care realizeaza procesele de evaluare a utilizabilitatii sunt separate de codul sursa al aplicatiei. n plus,
atasarea acestor module la aplicatie sau modificarile aparute n modulele de evaluare a utilizabilitatii nu necesita
modificarea codului aplicatiei, ci doar modificarea aspectelor si
recompilarea sistemului .

3.2 Utilizarea bibliotecilor pentru aplicatii de tip suport pentru captarea evenimentelor din interactiunea
utilizator-sistem
O metoda alternativa pentru jurnalizarea informatiilor presupune utilizarea Java Accesibility API. Acest
API este destinat dezvoltarii unor aplicatii pentru persoane cu dizabilitati. Clasa SwingEventMonitor din Java

Accessibility API va fi adaugata ca listener la toate evenimentele de interes. Masina virtuala Java trebuie
configurata nainte de rularea aplicatiei aflata n evaluare pentru a notifica clasa noastra asupra evenimentelor de
interes. Aceasta configurare trebuie facuta o singura data si este disponibila pentru toate aplicatiile aflate n
evaluare .
3.1 O abordare bazata pe agenti
Un agent reprezinta o entitate care isi percepe mediul prin intermediul unor senzori si actioneaza asupra
mediului sau prin actiuni [8]. Un agent inteligent are un set de cunostinte initiale si capacitatea de a invata. El are
sarcina de a asista utilizatorul, de a realiza unele sarcini in locul lui si de a-l invata. Agentul este caracterizat prin :
comportament actiuni efectuate dupa o secventa
program reprezinta functionalitatea interna a agentului
Modelul conceptual al utilizatorului se construieste pe baza interactiunii cu sistemul si pe baza unor
experiente cu alte sisteme.Rolul agentului este de a monitoriza interactiunea agentului cu sistemul si de a
reconstrui modelul sarcinilor apartinand utilizatorului. Agentul care evalueaza utilizabilitatea, denumit
TAMO, este situat astfel ntr-un mediu software. Acesta foloseste AOP pentru a culege informatii despre mediul
sau. Arhitectura generala a acestui sistem este prezentata n Figura 1.

Figure 1. Arhitectura sistemului bazat pe agenti

Principalele componente ale sistemului:

Aplicatia software (SA) - e un sistem interactiv caruia i se evalueaza utilizabilitatea
Utilizatorul (U) - o persoana care foloseste SA pentru a realiza un set stabilit de sarcini
Agentul (TAMO) - este un agent software care are rolul de a monitoriza actiunile utilizatorului si de a
compara actiunile efectuate de utilizator
Modulul de nvatare (LM) - este un modul software care nvata comportamentul utilizatorului si transmite
feedback evaluatorului interfetei utilizator [9]

4. Metodologie
4.1 Componentele metodologiei si activitati de evaluare
Metodologia din acest proiect tine seama de prevederile standardului ISO/IEC 14598-5:1998 cu privire la structura
unui proces de evaluare si implica

Stabilirea cerintelor de evaluare, a scopului de evaluare, a produsului tinta precum si specificarea

modelului utilizabilitatii;
Specificarea evaluarii implica specificarea unui produs tinta, a contextului si scenariilor de utilizare,
alegerea metodelor si tehnicilor, selectarea unor metrici, stabilirea nivelurilor de apreciere pentru acestea,
precum si stabilirea cerintelor de masurare;
Proiectarea evaluarii : implica elaborarea unui plan de evaluare;
Executarea evaluarii: masurarea caracteristicilor, colectarea datelor si analiza preliminara a rezultatelor;
Concluzia evaluarii: presupune finalizarea analizei precum si raportarea rezultatelor.

Metodologia integrata in acest proiect cuprinde trei metode de evaluare formative : evaluare empirica, evaluare
euristica precum si testarea cu utilizatori.
Aplicarea mai multor metode de evaluare este benefica din urmatoarele motive :
Cresterea gradului de incredere si validitatii
Complementaritatea metodelor
Imbunatatirea expertizei de utilizare a fiecarei metode in parte
Pregatirea pentru o evaluare sumativa .
Metodele sunt complementare deoarece se bazeaza pe testarea de catre doua categorii de utilizatori : experti in
utilizabilitate si utilizatori reprezentativi. In cazul testarii cu utilizatori se pot colecta si alte tipuri de masurari :
masurari ale eficacitatii, ale eficientei si ale satisfactiei. In acest fel se obtin date suplimentare fata de cele obtinute
prin evaluare euristica.
Repetarea evaluarii cu o alta metoda, dar utilizand acelasi set de sarcini relevante va mari increderea in
rezultatele obtinute. Fiecare metoda necesita competente specifice. Compararea rezultatelor obtinute permite
analiza procedurii, identificarea greselilor de evaluare precum si imbunatatirea unei practici de evaluare. Validarea
rezultatelor evaluarii euristice prin testare cu utilizatori permite si o comparatie corecta a rezultatelor obtinute, fapt
care imbunatateste expertiza individuala.
Metodologia integrata de evaluare a utilizabilitatii cuprinde mai multe activitati printre care :
Specificarea evaluarii: analiza cerintelor, planificarea si pregatirea evaluarii, specificarea
modelului utilizabilitatii ;
Evaluare euristica in care se va utiliza setul extins de criterii ergonomice prin verificarea
indeplinirii recomandarilor de utilizabilitate.
Evaluarea prin testare cu utilizatori. Comportamentul utilizatorilor este inregistrat atat audio cat
si prin observare. Se va utiliza protocolul gandire cu voce tare. Inregistrarile vor fi apoi
analizate de evaluator care extrag si documenteaza problemele de utilizabilitate.
Analiza comparativa a rezultatelor obtinute prin cele trei metode
Rezultatele obtinute se vor analiza din doua perspective :
1.A dezvoltatorului, care trebuie sa remedieze deficientele constatate la evaluare
2.A evaluatorului, care va analiza eficienta si eficacitatea activitatii de evaluare

Evaluarea euristica este efectuata cu un set de 24 de euristici, structurate in 6 categorii si sunt prezentate in
Tabelul1

Acest set de euristici este compus din combinarea setului de criterii ergonomice a lui Bastien si Scapin
[10] cu setul de euristici ale lui Jakob Nielsen[11]. Intre aceste doua seturi exista o suprapunere destul de mare.
Stiind ca cele doua seturi de euristici au fost validate, putem considera ca gradul de acoperire al setului integrat de
euristici este suficient de mare atat in ceea ce priveste puterea explicativa cat si identificarea problemelor de
utilizabilitate. Descrierea problemelor de utilizabilitate urmeaza formatul propus in [12] cu precizarea ca dupa
descrierea cauzelor se vor include si unele sugestii de remediere.

5. Studiu de caz

Obiectivul evaluarii a fost situl Primariei municipiului Bistrita avand adresa de web :
http://www.primariabistrita.ro/ . Acest site a suferit de curand modificari dar cu toate acestea inca nu se ridica la
nevoile utilizatorilor. Asa cum se estimeaza acest site este accesat de aproximativ 5000 de oameni lunar, dorind sa
afle diferite informatii. Aceste informatii cuprind : hotarari ale consiliului local, proiecte si hotarari cu caracter
normativ, regulamente de interes public, obligatii ale cetatenilor, un ziar tiparit, precum si alte panuri si informatii
ce trebuie sa contina o unitate administrative-teritoriala.
Evaluarea utilizabilitatii presupune identificarea utilizatorilor tinta, identificarea nevoilor acestor
utilizatori tinta, compararea informatiei obtinute cu ceea ce ofera prin contrast alte situri ale primariilor din diverse
orase ale tarii. Cetatenii care au testat situ-ul au remarcat un aspect neatragator, prea multa informatie concentrata
pe pagina principala, existand un amalgam de informatie nestructurata, care pentru un numar mare de utilizatori
nu prezinta interes. Informatii cu privire la isortia si geografia orasului lipsesc cu desavarsire de pe site, iar aceste
aspecte sunt printre punctele forte ale orasului Bistrita.
Am ales sa fac acest studiu pentru acest site deoarece am rude care lucreaza la primariei nu de putine ori
au fost discutii cu privire la aspectul sitului, la ceea ce ofera si la modul de utilizare. Pentru o parte de cetateni este
foarte greu sa gasesca o anumita informatie deoarce nu sunt structurate corespunzator. Pentru colectarea
informatiilor de la potentialii utilizatori se vor folosi metode calitative si cantitative precum interviul, focus-grupul
si chestionarele online.

6. Evaluare si rezultate
6.1 Evaluare Empirica
In prima faza am realizat o evaluare empirica a sitului primariei. In continuare voi descrie principalele
aspecte in contextul acestei evaluari :
Aspectul
Siturile primariilor nu trebuie sa urmeze un anumit format sau anumite standarde sau sabloane specific
primariilor. Fiecare Site are propriul format insa exista informatii care trebuie sa apara pe orice site al unei
primarii cum ar fi : componenta departamentelor de conducere, regulamente de interes public, hotarari cu
character normativ.
In cazul nostru avem un site neatragator cu elemente foarte importante ale unui site web care se afla in
conflict. Spre exemplu portiunea de login se afla in partea stanga jos foarte greu de observat. Printre problemele
legate de aspect mai enumeram: folosirea unor nuante de culori asemnatoare, meniuri prea stufoase si incarcate,
folosirea ineficienta a spatiului disponibil, scrisul este mult prea mic pentru un utilizator normal si asta in cazul in
care vizulizarea a fost facuta la rezolutia 1366 x 768 . Aceste lucruri ar putea fi imbunatatite cu efortul minim in
studierea principaleleor reguli ale dezvoltarii unui site professional.
Informatia prezentata si structurarea ei
Situl contine informatii minime cu privire la istorie, geografie precum si populatia orasului. In plus
localizarea lor este greu de facut deoarece se afla in meniul descrierea Bistritei, Meniul Servicii online este pus
doar de decor, in urma accesarii lui nu va aparea nimic. Sectiunea imagini live necesita instalarea browserului
Internet Explorer si Quick Time. Cand vede aceste lucruri automat orice utilizator isi pierde interesul de a
vizualiza.
Un alt meniu cu probleme este cel care solicita schimbarea limbii in limba engleza. Consider ca acest
lucru se putea face mult mai simpu cu un buton amplasat in partea dreapta sus decat sa ocupe loc cu un meniu
principal. Meniul Link-uri contine putina informatie, iar de cele mai multe ori aceste linkuri nu functioneaza sau
serverul este ocupat.
De asemenea lipsesc informatii cu privire la institutiile culturale locale in afara de numele si adresa lor nu
este precizat nimic altceva. In partea de sus a ecranului este afisata adresa primariei dar este foarte greu de citit din
cauza neglijentei culorilor.
Informatia afisata in doua limbi
Informatiile prezentate pe acest site sunt afisate doar in doua limbi : romana si engleza . Consider ca s-ar
impune afisarea acestor informatii in mai multe limbi deoarece Bistrita a fost un oras sasesc lucru care impune si
folosirea limbii germane. De asemenea populatia orasului are un numar semnificativ de maghiari, si ar fi util sa se
adauge si acesta limba din respect pentru minoritati.
In urma studiului mai multor situri cu primarii am constatat ca multe din ele permit afisarea informatiilor
in patru limbi : romana , engleza, germana si maghiara.

Informatii legate de turism

In ciuda marimii impresionante a siturilor nu apar lucruri utile pentru turisti sau cetateni din afara tarii.
De asemnea sitului ii lipseste o harta care sa indice principalele obiective, institutii, centre culturale. In afara de
adresa specificata adica strada si numar nu apar alte informatii despre locurile care ar putea fi vizitate. O harta este
cel mai bun lucru de a localiza un obiectiv, in epoca noastra specificarea adresei si numarului nu are o suficienta
relevanta tinand cont ca exista orase cu mii de strazi.

Modalitate interactiva de orientare

Situl nu prezinta o modalitate interactiva de orientare si localizare gen Google Maps.In urma unei cautari
avansate am observat ca multe situri de primarii inclusiv ale unor comune ofera serviciul Google Map care este
gratuit. Consider ca acest lucru ar limina multe din criticile acestui site.
Facilitate de cautare
Serviciul de cautare este foarte bine pus la punct si ofera mai multe posibilitati de cautare. Pe langa tipul
cautarii, ofera posibilitatea de a alege in ce domeniu dorim cautarea, posibilitatea sortarii rezultatelor (dupa data
precum si in ordine alfabetica) si posibilitatea sa specificam cate rezultate ale cautarii vor fi afisate intr-o pagina .
[14]
Tabelul 2 Sinteza rezultatelor evaluarii

Criteriu
1.Aspectul
2.Informatia prezentata si structurarea ei
3.Informatia afisata in doua limbi
4. Informatii legate de turism
5. Modalitate interactiva de orientare
6. Facilitate de cautare

Bun

Satisfacator
X
X
X

Nesatiscator
X
X
X

6.2 Evaluare Euristica

Sarcinile stabilite pentru evaluare sunt prezentate in Tabelul 3
Tabelul 3. Sarcini de Testare
1. (T1) Disponibilitatea documentelor
2. Consultare formulare acte
3. Accesare documente
4. Completare formulare
5. (T2) Inregistrare client nou pentru plata online
6. Inregistrare client
7. Accesare cont
8. Solicitare ajutor
Evaluarea a fost realizata in perioada decembrie mai 2013 de catre o echipa formata din 5 evaluatori, 2 evaluatori
superiori si 3 intermediari.
Rezultatele obtinute dupa identificarea individuala a problemelor de utilizabilitate cu care se confrunta situl
Primariei sunt prezentate in Tabelul 4.
Tabelul 4. Probleme de utilizabilitate identificate pe evaluator

Total

Sarcina
T1
T2
Total

Din care majore

Ev1

Ev2

Ev3

Ev4

Ev5

Ev1

Ev2

Ev3

Ev4

Ev5

5
3
8

4
2
6

3
1
4

5
1
6

4
2
6

3
3
6

2
2
4

1
1
2

3
1
4

2
2
4

Analizand datele din tabelul de mai sus se observa ca primul evaluator a identificat in total 14 probleme
de utilizabilitate (6 majore), al doilea evaluator a identificat 10 probleme (4 majore), al treilea evaluator a
identificat 6 probleme (2 majore), al patrulea evaluator a identificat 10 probleme (4 majore), iar al cincilea
evaluator a identificat tot 10 probleme (4 majore).
Listele individuale de probleme au fost consolidate pe sarcina, pe baza criteriului modificari similare. In
total lista consolidata de probleme de utilizabilitate cuprinde 22 de probleme de utilizabilitate dintre care 6
probleme majore. Lista este prezentata in Tabelul 5.
Tabelul 5. Lista consolidata de probleme unice de utilizabilitate

Sarcina

Total

majore

moderate

minore

T1
T2
TOTAL

15
7
22

4
2
6

7
3
10

4
2
6

Din punctul de vedere al criteriilor ergonomice care nu au fost respectate, majoritatea problemelor de
utilizabilitate anticipate de evaluarea euristica, respective 15 (65%), se datoreaza ghidarii necorespunzatoare a
utilizatorului.
Rata de detectie individuala, calculata dupa consolidarea colaborativa, a variat intre 20% si 40% cu o
medie de 32.25%. Este o rata destul de mica intrucat pentru 5 evaluatori, rata medie de detective este de cel putin
28%. Coeficientul de agregare mediu a fost de 14,45%.

6.3 Evaluare prin testare cu utilizatori

Testarea cu utilizatori s-a facut pentru aceleasi sarcini prezentate in tabelul de mai sus deoarece studiul
nostru are character experimental .
La testare au participat 4 utilizatori, 2 de sex feminin si 2 de sex masculin, cu varste cuprinse intre 30-48
de ani ( Media varstelor = 39,5 ani). Toti utilizatorii au experienta anterioara in utilizarea calculatorului, doi dintre
ei avand chiar studii tehnice. Cu toate acestea niciun utilizator nu a fost familiarizat cu siturile evaluate.
Evaluarea a fost realizata in februarie 2014 de o echipa alcatuita din 3 evaluatori. Sarcinile de indeplinit
au fost prezentate atat in scris cat si oral utilizatorilor pe parcursul sesiunilor de testare. De-a lungul sesiunior de
testare cei 3 evaluatori au fost alternativ facilitatori pe parcursul sesiunilor de testare.
In prima etapa primul evaluator a identificat in total 22 de probleme de utilizabilitate dintre care 6 au fost
majore, al doilea a identificat 18 probleme dintre care 5 au fost majore, in timp ce al treilea a identificat 20 de
probleme dintre care 6 au fost majore. Dupa consolidarea rezultatelor pe sarcina de catre fiecare evaluator s-a
intocmit urmatorul tabel.
Tabelul 6. Probleme dupa consolidarea individuala

Sarcina

Total

Din care majore

T1

Ev1
5

Ev2
4

Ev3
6

Ev1
2

Ev2
2

Ev3
1

T2

Dupa consolidarea rezultatelor au ramas in total 10 probleme de utilizabilitate dintre care 2 majore, 7
moderate si una minora. Lista este prezentata in Tabelul 7 .
Tabelul 7. Lista consolidata de probleme unice

Sarcina
T1
T2
TOTAL

Total
5
5
10

majore
1
1
2

moderate
3
4
7

minore
1
0
1

O analiza a criteriilor ergonomice nerespectate arata ca cele mai multe probleme de utilizabilitate se datoreaza
efortului de operare (42,24%) si a lipsei de ghidare (28,42%). Rata de detective individuala a fost ridicata
variind intre 70,24% si 86,50% . Rata de detective medie a fost de 78.25%, in timp ce coeficientul de agreere
a fost de 71,25 %. Atat rata de detective cat si coeficientul de agreere au valori foarte ridicate, mai ales in
comparatie cu evaluarea euristica. O explicatie ar fi faptul ca s-au testat doar doua sarcini destul de simple,
iar numarul de utilizatori au fost destul de mic 4 ( fiind numarul minim de utilizatori acceptati pentru testare)
rezulta ca acest fapt a dus la identificarea unui numar redus de probleme de utilizabilitate.

7. Analiza comparativa a rezultatelor

La sarcina T1 din cele 15 probleme de utilizabilitate anticipate , au fost confirmate doar doua de catre
utilizatori. Un numar de 4 probleme reale ale utilizabilitatii nu au fost desoperite in evaluarea euristica La sarcina
T2 din cele 5 probleme de utilizabilitate anticipate, au fost confirmate doar doua de catre utilizatori, iar un numar
de 3 probleme reale ale utilizabilitatii nu au fost identificate in evaluarea euristica.
S-a constatat o diferenta intre problemele de utilizabilitate anticipate si cele reale. Aceasta diferenta este
destul de mare in ciuda testarii riguroase. Pe de o parte, numarul de probleme de utilizabilitate omise arata limitele
evaluarii euristice si utilitatea testarii cu utilizatori. Pe de alta parte tendinta evaluatorilor este de a identifica mai
multe probleme minore, in timp ce la utilizatori tendinta este de a identifica probleme majore.[13]
Numarul problemelor anticipate, a celor confirmate si a celor reale depind atat de numarul si experiza
evaluatorilor cat si de numarul de utilizatori. In fapt atat gradul de incredere cat si validitatea trebuie sa fie privite
cu prudenta.
Acest studiu reprezinta una din primele experimentari sistematice in Romania a unei metodologii de
utilizabilitate. In mod firesc exista o serie de limitari ale studiului. O prima limita ar fi numarul redus de utilizatori
care au testat numai doua sarcini, precum si numarul mic de evluatori ceea ce a condus la identificarea unui numar
mic de probleme de utilizabilitate. O alta limita este reprezentata de experienta minimala a evaluatorilor. In
cloncluzie un numar de 3 evaluatori incepatori pot detecta aproximativ 40% din problemele existente intr-o
interfata.

8. Concluzii
In acest articol mai intai a fost prezentat conceptul de utilizabilitate, definitie si principalele caracteristici.
Apoi s-a vorbit despre evaluarea utilizabilitatii in aplicatii interactive, intre care am prezentat cateva abordari in
automatizarea evaluarii utilizabilitatii. In partea finala a fost prezentat un studiu de caz in care a fost evaluat situl
Primariei municipiului Bistrita, evaluarea fiind impartita in trei : empirica, euristica si prin testare cu utilizatori.
In urma evaluarii empirice problemele majore cu care se confrunta situl sunt urmatoarele: structurarea
deficitara a informatiei oferite, lipsa unor informatii de interes, informatii afisate doar in doua limbi precum si
lipsa unor facilitati de orientare atat pentru cetateni cat si pentru turisti. Pe viitor ne propunem sa extindem
evaluarea efectuata pentru a include teste cu diferiti utilizatori precum si luarea in considerare a altor caracteristici
cum ar fi accesibilitatea. De asemnea ne propunem pe baza altor exemple de situri sa elaboram un set de reguli , un
sablon despre cum ar trebui sa arate un site al unei unitati administrative teritoriale.
In ceea ce priveste evaluarea euristica, respectiv testarea cu utilizatori, ambele produc descrieri ale
problemelor pe baza unui format unic. Din acest motiv efortul de descriere este redus, intrucat o mare parte din
probleme, respectiv cele anticipate si confirmate sunt prezentate in evaluarea euristica. Analiza rezultatelor fiecarei
metode are si scopul de a furniza un feedback util asupra performantelor fiecarui evaluator, raportat la
performantele echipei de evaluare. Analiza comparativa a rezultatelor obtinute de cele doua metode permite
calcularea indicatorilor de eficacitate si eficienta a evaluarii euristice si ofera o confirmare privind validitatea
problemelor de utilizabilitate identificate in evaluarea euristica.
Pe viitor se intentioneaza efectuarea unui nou studiu de caz in aplicarea metodologiei integrate in care sa
fie prezenti un numar mai mare de utilizatori.

9. Referinte bibliografice
[1] ISO 9214-11 (1991). Ergonomic Requirements for Office Work with VDTs Guidance on Usability

[2] Jones, C.D., A.B. Smith, and E.F. Roberts, Book Title, Publisher, Location, Date.
[3] Theofanos, M. & Quesenbery, W., 2005. Towards the Design of Effective Formative Test Reports. In Journal of
Usability Studies, Issue 1, Vol.1. pp. 27-45
[4] Scriven, M., 1991. Evaluation thesaurus. 4th ed. Newbury Park, CA: Sage Publications
[5] Powell, P. (2000). Web Design: The Complete Reference. New York: McGraw-Hill
[6] Krug, S. (2006). Don't Make Me Think!: A Common Sense Approach to Web Usability.
Berkeley: New Riders
[7] SUMI Softwareware Usability Measurement Inventory, 1996.
http://www.ucc.ie/hfrg/questionnaires/sumi/
[8] Russell, S. and Norvig, P., Artificial Intelligence - A Modern Approach. Prentice-Hall,Inc., 2003
[9] Maes, P., Social Interface Agents: Acquiring Competence by Learning from Users and Other Agents. SS-94-03,
pages 7178. AAAI Press, 1994
[10] Bastien, C. & Scapin, D.L. (1993) Evaluating a User Interface with Ergonomic Criteria. INRIA Report,
Roquencourt.
[11] Nielsen, J. (1992). Finding usability problems through heuristic evaluation. P. Bauersfeld, J. Bennett & G.
Lynch (Eds.), ACM Press..
[12] Hvannberg, E.T. and Law, E.L.-C., Larusdotir, M.C. (2007) Heuristic Evaluation: Comparing ways of finding
an reporting usability problems Interacting with Computers 19, 255-240.
[13] Cockton, G., Woolrych, A. (2001). Understanding inspection methods: lessons from an assessment of
heuristic evaluation. Blandford, A., Vanderdonckt, J., Gray, P.D. (Eds.), Proceedings of People and
Computers XV. Springer-Verlag, 171182
[14] Grigoreta-Sofia Cojocar, Adriana-Mihaela Guran (2012) Aspecte specifice privind utilizabilitatea siturilor

web pentru admiterea la facultate , Revista Romna de Interactiune Om-Calculator .