Documente Academic
Documente Profesional
Documente Cultură
Specificarea Si Evaluarea Utilizabilitatii in Aplicatiile Interactive
Specificarea Si Evaluarea Utilizabilitatii in Aplicatiile Interactive
aplicatiile interactive
Bugnaru Gelu Alexandru
Curs Sisteme Interacive, 2013-2014
Universitatea Tehnica din Cluj-Napoca
bugnaru.gelu@yahoo.com
Rezumat
In prezent exista putine abordari in specificarea si evaluarea utilizabilitatii in aplicatiile interactive. Lucrarea de
fata isi propune sa prezinte conceptul de utilizabilitate , dupa care sa prezinte evaluarea utilizabilitatii in sistemele
interactive , iar apoi sa prezinte cateva abordari in automatizarea evaluarii utilizabilitatii. In partea de final se va
realiza un studiu de caz pentru a analiza utilizabilitatea unui site webal unei primarii. Utilizabilitatea aplicatiilor
informatice din unitatile administrativ teritoriale este o cerinta prioritarapentru implemntarea cu succes a societatii
informationale. Din pacate, pe plan national un exista inca o practica curenta de evaluare a produselor informatice
inainte de a fi instalate la utilizator.Acest articol se concentreaza pe prezentarea unei metodologii si a unui studiu
de caz in evaluarea formativa a utilizabilitatii siturilor web dintr-o primarie .
1. Introducere
Importanta utilizabilitatii in sistemele informatice a crescut in ultima decada. Utilizabilitatea are un rol
esential in succesul sau esecul unui produs informatic. Acest fapt a determinat numeroase companii sa relizeze
unele sesiuni de evaluare pentru utilizabilitate. Cu timpul s-au format numeroase definitii ale utilizabilitatii, cateva
dintre ele fiind enuntate in cele ce urmeaza.
Standardul ISO (ISO 9241-11, 1990) defineste utilizabilitatea ca fiind masura n care un produs poate fi
folosit de utilizatori specifici pentru a atinge scopuri specifice cu eficienta, eficacitate si satisfactie ntr-un context
specific de utilizare. Eficienta se refera la raportul dintre resursele consumate si acuratetea si completitudinea cu
care utilizatorii ndeplinesc scopuri. Eficacitatea se refera la acuratetea si completitudinea cu care utilizatorii
ndeplinesc sarcini specificate. Satisfactia este o masura subiectiva referitoare la confortul si acceptarea produsului
de catre utilizatorii finali. [1]
Shakel a definit utilizabilitatea ca fiind capacitatea unui sistem de a fi folosit eficient si usor de o categorie
specifica de utilizatori, care au avut parte de o instruire specifica si de asistenta in vederea utilizarii unui produs,
pentru a indeplini un domeniu specific intr-un cadru specific. Definitia contine patru criteria de baza : eficienta,
usurinta de invatare, flexibilitate si atitudine. [2]
Evaluarea formativa a utilizabilitatii se efectueaza iterativ, pe parcursul ciclului de dezvoltare in scopul
identificarii si eliminarii unor probleme de utilizabilitate cat mai devreme.[3]. Daca aceste probleme vor fi
identificate devreme, cu atat va fi mai putin costisitor efortul de rezolvare. Evaluarea este denumita formativa,
pentru a o distinge de evaluarea sumativa, care este efectuata, dupa ce un sistem sau o componenta fost dezvoltata.
[4] Evaluarea sumativa se efectueaza prin testarea cu un numar mare de utilizatori reprezentativi si are ca scop
identificarea punctelor tari sau slabe precum si compararea unor solutii de proiectare alternative sau a unor sisteme
similare.
In ultimii ani utilizabilitatea siturilor web a devenit o preocupare majora a dezvoltatorilor de aplicatii si
situri web deoarece acesta este un factor cheie in succesul unui site.Powell [5] pornind de la definitia data de
standardul ISO 9241-11 definiste ca un site web este utilizabil daca poate fi folosit de catre oameni pentru a
indeplini anumite obiective intr-o maniera eficienta si cu satisfactie. Krug[6] spune ca utilizabilitatea este
certitudinea ca ceva functioneaza bine si poate fi folosit fara discomfort.
Diferite metode si tehnici au fost propuse pentru evaluarea utilizabilitatii, unele fiind adaptate pentru
utilizabilitatea siturilor web: inspectii facute de experti, revizuiri cognitive, evaluari euristice, focus-groupul,
inspectarea respectarii sabloanelor de proiectare a interfetelor utilizator, testarea cu utilizatori si calculul valorilor
pentru diferite metrici. Dintre acestea, cea mai eficienta ramne testarea cu utilizatori reali, nsa este si cea mai
costisitoare. n fiecare an, siturile universitatilor sunt accesate de mii de persoane n cautarea anumitor informatii.
n Romnia, viitorii studenti folosesc siturile universitatilor n cautarea diferitor date despre admiterea la facultate,
la diferite nivele (licenta, master sau doctorat) precum: specializari oferite, numar de locuri disponibile, criterii de
selectie, taxe, cazare
Ingineria utilizabilitatii reprezinta un process care se desfasoara de-a lungul ciclului de viata al unui
program. Fiecare proiect este diferit si fiecare interfata va arata altfel. Se presupune o abordare in dezvoltarea
sistemelor informatice care implica participarea utilizatorilor inca de al inceput, care garanteaza eficacitatea
produsului prin intermediul unor metrici ale utilizabilitatii si a unor specificatii legate de utilizabilitate. Are ca
scop principal identificarea de metode de implemntare a nevoilor utilizatorilor si asigurarea eficientei,
operativitatii si satisfactiei. Metricile utilizabilitatii reprezinta una din modalitatile de a masura utilizabilitatea. Ele
permit urmarirea progresului de la o versiune la alta pentru a evalua progresul pe piata, pentru a decide daca este
momentul ideal pentru lansarea unui nou produs pe piata.
focus groups - focus grupurile reprezinta o metoda foarte eficienta de a culege reactii de la utilizatori si de
a aprecia reactiile initiale la proiectare, dar si pentru a identifica diferentele dintre asteptarile utilizatorilor
si implementarea actuala .
Aceste metode presupun existent unor experti in utilizabilitate, iar acest lucru poate fi costisitor. Privind acest
context automatizarea procesului de evaluare a utilizabilitatii poate deveni o solutie mai buna.
3.2 Utilizarea bibliotecilor pentru aplicatii de tip suport pentru captarea evenimentelor din interactiunea
utilizator-sistem
O metoda alternativa pentru jurnalizarea informatiilor presupune utilizarea Java Accesibility API. Acest
API este destinat dezvoltarii unor aplicatii pentru persoane cu dizabilitati. Clasa SwingEventMonitor din Java
Accessibility API va fi adaugata ca listener la toate evenimentele de interes. Masina virtuala Java trebuie
configurata nainte de rularea aplicatiei aflata n evaluare pentru a notifica clasa noastra asupra evenimentelor de
interes. Aceasta configurare trebuie facuta o singura data si este disponibila pentru toate aplicatiile aflate n
evaluare .
3.1 O abordare bazata pe agenti
Un agent reprezinta o entitate care isi percepe mediul prin intermediul unor senzori si actioneaza asupra
mediului sau prin actiuni [8]. Un agent inteligent are un set de cunostinte initiale si capacitatea de a invata. El are
sarcina de a asista utilizatorul, de a realiza unele sarcini in locul lui si de a-l invata. Agentul este caracterizat prin :
comportament actiuni efectuate dupa o secventa
program reprezinta functionalitatea interna a agentului
Modelul conceptual al utilizatorului se construieste pe baza interactiunii cu sistemul si pe baza unor
experiente cu alte sisteme.Rolul agentului este de a monitoriza interactiunea agentului cu sistemul si de a
reconstrui modelul sarcinilor apartinand utilizatorului. Agentul care evalueaza utilizabilitatea, denumit
TAMO, este situat astfel ntr-un mediu software. Acesta foloseste AOP pentru a culege informatii despre mediul
sau. Arhitectura generala a acestui sistem este prezentata n Figura 1.
4. Metodologie
4.1 Componentele metodologiei si activitati de evaluare
Metodologia din acest proiect tine seama de prevederile standardului ISO/IEC 14598-5:1998 cu privire la structura
unui proces de evaluare si implica
Metodologia integrata in acest proiect cuprinde trei metode de evaluare formative : evaluare empirica, evaluare
euristica precum si testarea cu utilizatori.
Aplicarea mai multor metode de evaluare este benefica din urmatoarele motive :
Cresterea gradului de incredere si validitatii
Complementaritatea metodelor
Imbunatatirea expertizei de utilizare a fiecarei metode in parte
Pregatirea pentru o evaluare sumativa .
Metodele sunt complementare deoarece se bazeaza pe testarea de catre doua categorii de utilizatori : experti in
utilizabilitate si utilizatori reprezentativi. In cazul testarii cu utilizatori se pot colecta si alte tipuri de masurari :
masurari ale eficacitatii, ale eficientei si ale satisfactiei. In acest fel se obtin date suplimentare fata de cele obtinute
prin evaluare euristica.
Repetarea evaluarii cu o alta metoda, dar utilizand acelasi set de sarcini relevante va mari increderea in
rezultatele obtinute. Fiecare metoda necesita competente specifice. Compararea rezultatelor obtinute permite
analiza procedurii, identificarea greselilor de evaluare precum si imbunatatirea unei practici de evaluare. Validarea
rezultatelor evaluarii euristice prin testare cu utilizatori permite si o comparatie corecta a rezultatelor obtinute, fapt
care imbunatateste expertiza individuala.
Metodologia integrata de evaluare a utilizabilitatii cuprinde mai multe activitati printre care :
Specificarea evaluarii: analiza cerintelor, planificarea si pregatirea evaluarii, specificarea
modelului utilizabilitatii ;
Evaluare euristica in care se va utiliza setul extins de criterii ergonomice prin verificarea
indeplinirii recomandarilor de utilizabilitate.
Evaluarea prin testare cu utilizatori. Comportamentul utilizatorilor este inregistrat atat audio cat
si prin observare. Se va utiliza protocolul gandire cu voce tare. Inregistrarile vor fi apoi
analizate de evaluator care extrag si documenteaza problemele de utilizabilitate.
Analiza comparativa a rezultatelor obtinute prin cele trei metode
Rezultatele obtinute se vor analiza din doua perspective :
1.A dezvoltatorului, care trebuie sa remedieze deficientele constatate la evaluare
2.A evaluatorului, care va analiza eficienta si eficacitatea activitatii de evaluare
Evaluarea euristica este efectuata cu un set de 24 de euristici, structurate in 6 categorii si sunt prezentate in
Tabelul1
Acest set de euristici este compus din combinarea setului de criterii ergonomice a lui Bastien si Scapin
[10] cu setul de euristici ale lui Jakob Nielsen[11]. Intre aceste doua seturi exista o suprapunere destul de mare.
Stiind ca cele doua seturi de euristici au fost validate, putem considera ca gradul de acoperire al setului integrat de
euristici este suficient de mare atat in ceea ce priveste puterea explicativa cat si identificarea problemelor de
utilizabilitate. Descrierea problemelor de utilizabilitate urmeaza formatul propus in [12] cu precizarea ca dupa
descrierea cauzelor se vor include si unele sugestii de remediere.
5. Studiu de caz
Obiectivul evaluarii a fost situl Primariei municipiului Bistrita avand adresa de web :
http://www.primariabistrita.ro/ . Acest site a suferit de curand modificari dar cu toate acestea inca nu se ridica la
nevoile utilizatorilor. Asa cum se estimeaza acest site este accesat de aproximativ 5000 de oameni lunar, dorind sa
afle diferite informatii. Aceste informatii cuprind : hotarari ale consiliului local, proiecte si hotarari cu caracter
normativ, regulamente de interes public, obligatii ale cetatenilor, un ziar tiparit, precum si alte panuri si informatii
ce trebuie sa contina o unitate administrative-teritoriala.
Evaluarea utilizabilitatii presupune identificarea utilizatorilor tinta, identificarea nevoilor acestor
utilizatori tinta, compararea informatiei obtinute cu ceea ce ofera prin contrast alte situri ale primariilor din diverse
orase ale tarii. Cetatenii care au testat situ-ul au remarcat un aspect neatragator, prea multa informatie concentrata
pe pagina principala, existand un amalgam de informatie nestructurata, care pentru un numar mare de utilizatori
nu prezinta interes. Informatii cu privire la isortia si geografia orasului lipsesc cu desavarsire de pe site, iar aceste
aspecte sunt printre punctele forte ale orasului Bistrita.
Am ales sa fac acest studiu pentru acest site deoarece am rude care lucreaza la primariei nu de putine ori
au fost discutii cu privire la aspectul sitului, la ceea ce ofera si la modul de utilizare. Pentru o parte de cetateni este
foarte greu sa gasesca o anumita informatie deoarce nu sunt structurate corespunzator. Pentru colectarea
informatiilor de la potentialii utilizatori se vor folosi metode calitative si cantitative precum interviul, focus-grupul
si chestionarele online.
6. Evaluare si rezultate
6.1 Evaluare Empirica
In prima faza am realizat o evaluare empirica a sitului primariei. In continuare voi descrie principalele
aspecte in contextul acestei evaluari :
Aspectul
Siturile primariilor nu trebuie sa urmeze un anumit format sau anumite standarde sau sabloane specific
primariilor. Fiecare Site are propriul format insa exista informatii care trebuie sa apara pe orice site al unei
primarii cum ar fi : componenta departamentelor de conducere, regulamente de interes public, hotarari cu
character normativ.
In cazul nostru avem un site neatragator cu elemente foarte importante ale unui site web care se afla in
conflict. Spre exemplu portiunea de login se afla in partea stanga jos foarte greu de observat. Printre problemele
legate de aspect mai enumeram: folosirea unor nuante de culori asemnatoare, meniuri prea stufoase si incarcate,
folosirea ineficienta a spatiului disponibil, scrisul este mult prea mic pentru un utilizator normal si asta in cazul in
care vizulizarea a fost facuta la rezolutia 1366 x 768 . Aceste lucruri ar putea fi imbunatatite cu efortul minim in
studierea principaleleor reguli ale dezvoltarii unui site professional.
Informatia prezentata si structurarea ei
Situl contine informatii minime cu privire la istorie, geografie precum si populatia orasului. In plus
localizarea lor este greu de facut deoarece se afla in meniul descrierea Bistritei, Meniul Servicii online este pus
doar de decor, in urma accesarii lui nu va aparea nimic. Sectiunea imagini live necesita instalarea browserului
Internet Explorer si Quick Time. Cand vede aceste lucruri automat orice utilizator isi pierde interesul de a
vizualiza.
Un alt meniu cu probleme este cel care solicita schimbarea limbii in limba engleza. Consider ca acest
lucru se putea face mult mai simpu cu un buton amplasat in partea dreapta sus decat sa ocupe loc cu un meniu
principal. Meniul Link-uri contine putina informatie, iar de cele mai multe ori aceste linkuri nu functioneaza sau
serverul este ocupat.
De asemenea lipsesc informatii cu privire la institutiile culturale locale in afara de numele si adresa lor nu
este precizat nimic altceva. In partea de sus a ecranului este afisata adresa primariei dar este foarte greu de citit din
cauza neglijentei culorilor.
Informatia afisata in doua limbi
Informatiile prezentate pe acest site sunt afisate doar in doua limbi : romana si engleza . Consider ca s-ar
impune afisarea acestor informatii in mai multe limbi deoarece Bistrita a fost un oras sasesc lucru care impune si
folosirea limbii germane. De asemenea populatia orasului are un numar semnificativ de maghiari, si ar fi util sa se
adauge si acesta limba din respect pentru minoritati.
In urma studiului mai multor situri cu primarii am constatat ca multe din ele permit afisarea informatiilor
in patru limbi : romana , engleza, germana si maghiara.
Situl nu prezinta o modalitate interactiva de orientare si localizare gen Google Maps.In urma unei cautari
avansate am observat ca multe situri de primarii inclusiv ale unor comune ofera serviciul Google Map care este
gratuit. Consider ca acest lucru ar limina multe din criticile acestui site.
Facilitate de cautare
Serviciul de cautare este foarte bine pus la punct si ofera mai multe posibilitati de cautare. Pe langa tipul
cautarii, ofera posibilitatea de a alege in ce domeniu dorim cautarea, posibilitatea sortarii rezultatelor (dupa data
precum si in ordine alfabetica) si posibilitatea sa specificam cate rezultate ale cautarii vor fi afisate intr-o pagina .
[14]
Tabelul 2 Sinteza rezultatelor evaluarii
Criteriu
1.Aspectul
2.Informatia prezentata si structurarea ei
3.Informatia afisata in doua limbi
4. Informatii legate de turism
5. Modalitate interactiva de orientare
6. Facilitate de cautare
Bun
Satisfacator
X
X
X
Nesatiscator
X
X
X
Total
Sarcina
T1
T2
Total
Ev1
Ev2
Ev3
Ev4
Ev5
Ev1
Ev2
Ev3
Ev4
Ev5
5
3
8
4
2
6
3
1
4
5
1
6
4
2
6
3
3
6
2
2
4
1
1
2
3
1
4
2
2
4
Analizand datele din tabelul de mai sus se observa ca primul evaluator a identificat in total 14 probleme
de utilizabilitate (6 majore), al doilea evaluator a identificat 10 probleme (4 majore), al treilea evaluator a
identificat 6 probleme (2 majore), al patrulea evaluator a identificat 10 probleme (4 majore), iar al cincilea
evaluator a identificat tot 10 probleme (4 majore).
Listele individuale de probleme au fost consolidate pe sarcina, pe baza criteriului modificari similare. In
total lista consolidata de probleme de utilizabilitate cuprinde 22 de probleme de utilizabilitate dintre care 6
probleme majore. Lista este prezentata in Tabelul 5.
Tabelul 5. Lista consolidata de probleme unice de utilizabilitate
Sarcina
Total
majore
moderate
minore
T1
T2
TOTAL
15
7
22
4
2
6
7
3
10
4
2
6
Din punctul de vedere al criteriilor ergonomice care nu au fost respectate, majoritatea problemelor de
utilizabilitate anticipate de evaluarea euristica, respective 15 (65%), se datoreaza ghidarii necorespunzatoare a
utilizatorului.
Rata de detectie individuala, calculata dupa consolidarea colaborativa, a variat intre 20% si 40% cu o
medie de 32.25%. Este o rata destul de mica intrucat pentru 5 evaluatori, rata medie de detective este de cel putin
28%. Coeficientul de agregare mediu a fost de 14,45%.
Sarcina
Total
T1
Ev1
5
Ev2
4
Ev3
6
Ev1
2
Ev2
2
Ev3
1
T2
Dupa consolidarea rezultatelor au ramas in total 10 probleme de utilizabilitate dintre care 2 majore, 7
moderate si una minora. Lista este prezentata in Tabelul 7 .
Tabelul 7. Lista consolidata de probleme unice
Sarcina
T1
T2
TOTAL
Total
5
5
10
majore
1
1
2
moderate
3
4
7
minore
1
0
1
O analiza a criteriilor ergonomice nerespectate arata ca cele mai multe probleme de utilizabilitate se datoreaza
efortului de operare (42,24%) si a lipsei de ghidare (28,42%). Rata de detective individuala a fost ridicata
variind intre 70,24% si 86,50% . Rata de detective medie a fost de 78.25%, in timp ce coeficientul de agreere
a fost de 71,25 %. Atat rata de detective cat si coeficientul de agreere au valori foarte ridicate, mai ales in
comparatie cu evaluarea euristica. O explicatie ar fi faptul ca s-au testat doar doua sarcini destul de simple,
iar numarul de utilizatori au fost destul de mic 4 ( fiind numarul minim de utilizatori acceptati pentru testare)
rezulta ca acest fapt a dus la identificarea unui numar redus de probleme de utilizabilitate.
8. Concluzii
In acest articol mai intai a fost prezentat conceptul de utilizabilitate, definitie si principalele caracteristici.
Apoi s-a vorbit despre evaluarea utilizabilitatii in aplicatii interactive, intre care am prezentat cateva abordari in
automatizarea evaluarii utilizabilitatii. In partea finala a fost prezentat un studiu de caz in care a fost evaluat situl
Primariei municipiului Bistrita, evaluarea fiind impartita in trei : empirica, euristica si prin testare cu utilizatori.
In urma evaluarii empirice problemele majore cu care se confrunta situl sunt urmatoarele: structurarea
deficitara a informatiei oferite, lipsa unor informatii de interes, informatii afisate doar in doua limbi precum si
lipsa unor facilitati de orientare atat pentru cetateni cat si pentru turisti. Pe viitor ne propunem sa extindem
evaluarea efectuata pentru a include teste cu diferiti utilizatori precum si luarea in considerare a altor caracteristici
cum ar fi accesibilitatea. De asemnea ne propunem pe baza altor exemple de situri sa elaboram un set de reguli , un
sablon despre cum ar trebui sa arate un site al unei unitati administrative teritoriale.
In ceea ce priveste evaluarea euristica, respectiv testarea cu utilizatori, ambele produc descrieri ale
problemelor pe baza unui format unic. Din acest motiv efortul de descriere este redus, intrucat o mare parte din
probleme, respectiv cele anticipate si confirmate sunt prezentate in evaluarea euristica. Analiza rezultatelor fiecarei
metode are si scopul de a furniza un feedback util asupra performantelor fiecarui evaluator, raportat la
performantele echipei de evaluare. Analiza comparativa a rezultatelor obtinute de cele doua metode permite
calcularea indicatorilor de eficacitate si eficienta a evaluarii euristice si ofera o confirmare privind validitatea
problemelor de utilizabilitate identificate in evaluarea euristica.
Pe viitor se intentioneaza efectuarea unui nou studiu de caz in aplicarea metodologiei integrate in care sa
fie prezenti un numar mai mare de utilizatori.
9. Referinte bibliografice
[1] ISO 9214-11 (1991). Ergonomic Requirements for Office Work with VDTs Guidance on Usability
[2] Jones, C.D., A.B. Smith, and E.F. Roberts, Book Title, Publisher, Location, Date.
[3] Theofanos, M. & Quesenbery, W., 2005. Towards the Design of Effective Formative Test Reports. In Journal of
Usability Studies, Issue 1, Vol.1. pp. 27-45
[4] Scriven, M., 1991. Evaluation thesaurus. 4th ed. Newbury Park, CA: Sage Publications
[5] Powell, P. (2000). Web Design: The Complete Reference. New York: McGraw-Hill
[6] Krug, S. (2006). Don't Make Me Think!: A Common Sense Approach to Web Usability.
Berkeley: New Riders
[7] SUMI Softwareware Usability Measurement Inventory, 1996.
http://www.ucc.ie/hfrg/questionnaires/sumi/
[8] Russell, S. and Norvig, P., Artificial Intelligence - A Modern Approach. Prentice-Hall,Inc., 2003
[9] Maes, P., Social Interface Agents: Acquiring Competence by Learning from Users and Other Agents. SS-94-03,
pages 7178. AAAI Press, 1994
[10] Bastien, C. & Scapin, D.L. (1993) Evaluating a User Interface with Ergonomic Criteria. INRIA Report,
Roquencourt.
[11] Nielsen, J. (1992). Finding usability problems through heuristic evaluation. P. Bauersfeld, J. Bennett & G.
Lynch (Eds.), ACM Press..
[12] Hvannberg, E.T. and Law, E.L.-C., Larusdotir, M.C. (2007) Heuristic Evaluation: Comparing ways of finding
an reporting usability problems Interacting with Computers 19, 255-240.
[13] Cockton, G., Woolrych, A. (2001). Understanding inspection methods: lessons from an assessment of
heuristic evaluation. Blandford, A., Vanderdonckt, J., Gray, P.D. (Eds.), Proceedings of People and
Computers XV. Springer-Verlag, 171182
[14] Grigoreta-Sofia Cojocar, Adriana-Mihaela Guran (2012) Aspecte specifice privind utilizabilitatea siturilor