EVALUATION

Overview of the System 
The completion of the I­JIS prototype allowed the designers to conduct an user study of the 
proposed system. The study involved international students from caribbean and first world 
countries whom reside on the Univeristy of the West Indies, Mona, Campus. The method carried 
out to gain an insigthful overview is the Quick and Dirty evaulation method. The sample 
contained a mixture of male and female between the age group 19­27 yrs old. It is expected that 
the selection of these individuals will give an infomal feedback of I­JIS given the fact of their 
diverse cultural background and their novelty to the Jamaican environments to some extent. The 
Evaluation process involved the use of simple benchmark questions that were posed to the user 
and from these questions an analysis was made based on the group response. 

Benchmark tasks:

• Navigate to i­JIS site
• Navigate to a parish
• Find a beach
• Find a historic site
• Go back to previous screen

Benchmark Analysis

These benchmarch question task given to the participants were easily accomplished and each 
user had little or no delay in carry out the functions. The errors made were non­existent, it had 
also shown that the user had a mental idea of how the system worked without it being explained. 
Navigating to and from each section was easily grasped and the system satisfied the user goals, 
of being easy to use, easy to remember, quick to learn.  

Questionnaire
 1. Rate the colour scheme chosen
[] Excellent [] Fair [] Horrible Combination [] Pleasant
1. Rate the response time of the system
[] Slow [] Fair [] Unnoticeable [] Excellent
2. Tick all that apply
[] Easy to use [] Easy to remembe [] Provide sufficient feedback
3. By looking at the I-JIS system did you have a mental concept has to
how the system worked?
[] Yes [] No [] To some extent [] Definitely needed help
4. If, used the help functionality, did it addressed your question?
[] Yes [] No [] Limited [] Very adequate
5. How do you rate the content of the system?
[] Excellent [] Interesting [] Boring [] Lame
6. Would you recommend the system to a friend or family member?
[] Yes [] No [] Depends [] If I remember 
7. Rate the overall I­JIS 
[] Poor [] Fair [] Good Attempt [] Excellent
8. Do you have any recommendations for the system?
_____________________________________________________________________
_____________________________________________________________________

Results Analysis
Question 1

How do you rate the colour combination?

Excellent Fair Horrible
Combination
Chose
Something
else

10

9
8

7
6

3
2

1
0
Question 2

Rate the Response Time

Fair Un- Excellent
notice-
able
8
7
6
5
4
3
2
1
0
Question 3

Tick all that applied

User Goals
Easy to use Easy to
Remember
Provide Suf-
ficient
Feedback

0 2 4 6 8 10 12

Question 6

Would you recommend the system to a family or a friend

Yes No Depends If I Remember

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Question 7 

How would you rate the overall system

Poor Fair Good Attempt Excellent

0 1 2 3 4 5 6
Questionnaire Analysis

The tabulation of the results showed that users were generally satisified from the system and its 
functionalities, many users were pleased with the response time of the system, and 6 of the 10 respondent said 
that they would recommend this system to a friend or family member. However, it was noted that the system 
was a fair attempt and given more work and its full implementation they project it to be a success and a 
favourably idea not only for visitors to the island but also for locals for general knowledge. Several 
recommendations were made, one of which is a virtual tour over the computer of one of the landmarks. This 
is expected to increase the intrest of the user and the possibility of an intrest to travel just for curiosity. 

 Overview of Questionnaire and Benchmark analysis   

Based on the analysis of the system from the Quick and Dirty Evaluation method, the prototype could be 
improved by allowing more user interaction, the suggestion of a virtual tour for example of the Rose Hall 
Great House in Montego Bay, will presume to excite the user even more. Even though the system is easy to 
use which is ideally acceptable, it will loose some amount of intrest among expert user, hence the need for the 
upgrade of more interactive options. The colours chosen were acceptable and the music was deemed suitable 
and relaxing, which puts the user in the mood of traquility. The voice speech help is an added plus to the 
system, has it caters also to people with disabilities as well as it might spark intrest of someone who is just a 
passer by and hears the audio. 

Reasons for questions administered

 The Benchmark tasks were administered because they perform the functionalities of the system. These tasks 
gave an overview of all the possible options the system can perform, hence it was inevitable, so as to ensure 
the system does what its suppose to do. 

The issue of the questionnaire was geared towards the satisfaction of both the functional and non­functional 
requirements. The questions were non­biased and it gave the respondent room to provide accurate and clear 
feedback of their opinions of the systems. This assisted the design team about the limitations of the I­JIS, the 
recommendations and possible avenues to add or delete in the finished prototype of the system. 

Conclusion

I­JIS satisfiied the  specification even though the system wasn't fully funtional it satisfied the requirements set 
out and most importantly it did what it was proposed to do, it satisfied the usablity principles which was 
outlined: 

 Visibility of system status 

 Match between system and the real world

 User Control and Freedom

 Consistency and standards
  Error Prevention

 Recognition rather than recall

 Aesthetic and minimalistic design

 Help and Documentation

Given the limitation of the building of the system being time and the extensive delay of imformation from the 
relevant agencies, I­JIS has room for improvement and the recommendations would be taken into 
consideration and possible implementation in the near future. I­JIS is expected to achieve its goal of being a 
tourist handbook for travellers to Jamaica, and the ease of use regardless of the environment whether it be at 
home, hotels, airports or just in the library, the design team feel its achieved its purpose and is expected to 
give a boost to the nation's tourism sector.