ELICITACION DE REQUISITOS DE USABILIDAD: UN ESTUDIO SISTEMTICO

Yeshica Isela Ormeo, Jose Ignacio Panach, scar Pastor

Universitat Politcnica de Valncia {yormeno, jpanach, opastor}@pros.upv.es

CONTENIDO
1. Introduccin 2. Estado del Arte 3. Diseo del Estudio Sistemtico
Preguntas de Investigacin Estrategia de Bsqueda Criterios de Seleccin Evaluacin de la Calidad Estrategia de Extraccin de datos

4. Resultados 5. Discusin 6. Conclusiones

[2]

1. INTRODUCCIN

La usabilidad (IS e IPO) es considerada como factor clave para el desarrollo de un producto de calidad. La usabilidad, en fase final afecta la interfaz y la arquitectura del sistema (mayor esfuerzo). En general los mtodos son orientados a tratar Requisitos Funcionales (RF) dejando de lado los Requisitos No Funcionales (NFR) en etapas iniciales. El estudio identifica mtodos de elicitacin de requisitos de usabilidad existentes para su anlisis. Mayor inters en MDD - paradigma dirigido por modelos. En general los mtodos MDD no soportan el modelado de muchos requisitos de usabilidad.

[3]

1. INTRODUCCIN
Dedicar mayores esfuerzos en realizar la elicitacin de requisitos de usabilidad desde las primeras etapas de desarrollo software. Estudio Sistemtico - metodologa de Kitchenham. Mejorar las prcticas actuales. Enriquecer los mtodos MDD.

Identificar propuestas existentes para la elicitacin de requisitos de usabilidad en etapas iniciales del desarrollo software

[4]

1. Introduccin

2. Estado del Arte

3. 4. 5. 6. Diseo del Estudio Sistemtico Resultados Discusin Conclusiones

[5]

2. ESTADO DEL ARTE

Tcnicas de elicitacin
Dieste, actualizacin de tcnicas de elicitacin de requisitos. Carrizo, identifica un marco para seleccionar la mejor tcnica de elicitacin. Usabilidad como un NFR: Chung, Svensson, Nguyen, Sindgatta, Yi , y Ameller . Chung, estado del arte, elicitacin, trazabilidad, reutilizacin de requisitos. Svensson elicitacin de requisitos, mtricas, dependencias, estimacin de costos gestin de requisitos de calidad.

Revisiones sistemticas y estado del arte NFR

Estudios sistemticos

o Folmer, marco a nivel arquitectnico, explora la viabilidad de un enfoque de diseo que podra ser aplicado a la usabilidad. o Fernndez mtodos de evaluacin de usabilidad en las aplicaciones web.
[6]

1. Introduccin 2. Estado del Arte

3. Diseo del Estudio Sistemtico

Preguntas de Investigacin Estrategia de Bsqueda Criterios de Seleccin Evaluacin de la Calidad Estrategia de Extraccin de datos

4. Resultados 5. Discusin 6. Conclusiones

[7]

3. DISEO DEL ESTUDIO SISTEMTICO

Pasos del proceso seguido en el estudio sistemtico

2
PREGUNTA
DE INVESTIGACIN

ESTRATEGIA DE BSQUEDA
Cadena de Bsq. Fuentes de Bsq.

CRITERIOS DE SELECCIN
Leer ttulo y res. Leer toda la pub.

4
REVISIN DE REFERENCIAS EVALUACIN DE LA CALIDAD

6
ESTRATEGIA DE EXTRACCIN DE DATOS

RESULTADOS Anlisis de Pub. Grfica Comp. Frecuencias del E.S.

RESULTADOS

Usability, elicitation, Interaction , NFR, guideline, model driven, notation, tool, test AND - OR

Guas de Kitchenham - 3 revisores - Proc. Sistemtico - aplicacin herramienta y tcnicas. Nivel de concordancia (Factor H) Herramienta Publish and Perish.
[8]

3. DISEO DEL ESTUDIO SISTEMTICO: Pregunta de investigacin

PREGUNTA DE
INVESTIGACION 2
ESTRATEGIA DE BUSQUEDA Cadena de Bsq. Fuentes de Bsq.

CRITERIOS DE SELECCIN Leer Tt./Res. Leer Pub.

4
REVISIN DE REFERENCIAS EVALUACIN DE LA CALIDAD

6
ESTRATEGIA DE EXTRACCIN DE DATOS RESULTADOS

"Cules son las propuestas para elicitar los requisitos de usabilidad durante el proceso de desarrollo de software?"
Sub preguntas de investigacin:
SQ1. Cules son los mtodos para elicitar los requisitos de usabilidad? SQ2. Cules son los mtodos para elicitar los requisitos de interaccin? SQ3. Cules son las guas de usabilidad utilizadas para elicitar los requisitos de usabilidad? SQ4. Cules son las herramientas de apoyo a la elicitacin de los requisitos de usabilidad? SQ5. Cules son las notaciones para elicitar los requisitos de usabilidad? SQ6. Ha sido la propuesta validada empricamente?
[9]

3. DISEO DEL ESTUDIO SISTEMTICO: Estrategia de Bsqueda

2
PREGUNTA DE INVESTIGACIN

ESTRATEGIA DE BSQUEDA
Cadena de Bsqueda Fuentes de Bsqueda

CRITERIOS DE SELECCIN Leer Tt./Res. Leer toda Pub.

4
REVISIN DE REFERENCIAS EVALUACIN DE LA CALIDAD

6
ESTRATEGIA DE EXTRACCIN DE DATOS RESULTADOS

Cadena de bsqueda
REQUISITOS DE USABILIDAD

AND

INGENIERA DEL SOFTWARE

(usability requirement OR user requirement OR usability elicitation OR interaction requirement OR non functional OR usability guidelines)

(MDD OR model driven OR MDA OR notation OR tool OR interface OR engineering OR test)

Fuentes de bsqueda
I. II. III. IV. Periodo: 12 aos (2000 2011) BD: IEEExplore, ACM,Springer Herramienta: Sciverse Scopus rea: Computers Science

150 Pub.

[10]

3. DISEO DEL ESTUDIO SISTEMTICO: Criterios de Seleccin

2
PREGUNTA DE
INVESTIGACIN
ESTRATEGIA DE BUSQUEDA

CRITERIOS DE SELECCIN
Leer Ttulo y Resumen Leer toda la publicacin

4
REVISION DE REFERENCIA

Cad. Bsq. Fuentes de Bsqueda

EVALUACIN DE LA CALIDAD

6
ESTRATEGIA DE EXTRACCIN DE DATOS RESULTADOS

Pub. devueltas a partir de la cadena de bsqueda Publicaciones Potenciales Pub. seleccionadas

CRITERIOS DE INCLUSION IC1=El trabajo define cmo extraer los requisitos de usabilidad? IC2=La propuesta se aplica a un entorno basado en los modelos conceptuales (MDD)? IC3=El trabajo define la forma de representar los requisitos de usabilidad? CRITERIOS DE EXCLUSION

65 Pub. Potenciales
(ttulo y resumen)

27 Pub. Seleccionadas (total)

Fleiss`kappa estadstico Nivel de concordancia [0,1], 0= fuerte concordancia, 1= dbil concordancia 20/65 publicaciones al azar. 3 revisores. valor 0,63 que significa nivel considerable
[11]

EC1=Las publicaciones que estudian guas, notaciones y herramientas que no tratan la usabilidad. EC2=Las publicaciones que solo tratan los requisitos funcionales. EC3=Las publicaciones escritas en otro idioma diferente al Ingls.

3. DISEO DEL ESTUDIO SISTEMTICO: Revisin de Referencias

2
PREGUNTA DE
INVESTIGACIN ESTRATEGIA DE BSQUEDA

4
CRITERIOS DE SELECCIN Leer Tt./Res. Leer toda Pub.

Cad. Bsq. Fuentes

REVISIN DE REFERENCIAS

EVALUACIN DE LA CALIDAD

6
ESTRATEGIA DE EXTRACCIN DE DATOS
RESULTADOS

Estrategia que evita el descarte de importantes publicaciones. Publicaciones anteriores al 2000. Ejm. Nielsen. El no aparecer en la referencias significa que no son de inters para la comunidad. 27 Pub. Seleccionadas + 2 Pub. (Por Ref.) =

29 Publicaciones Seleccionadas

[12]

3. DISEO DEL ESTUDIO SISTEMTICO: Evaluacin de la Calidad

2
PREGUNTA DE
INVESTIGACIN ESTRATEGIA DE BUSQUEDA Cadena Bsq. Fuentes Bsq.

CRITERIOS DE SELECCIN Leer Tt/Res. Leer Pub.

4
REVISION DE
REFERENCIAS

EVALUACIN DE LA CALIDAD

6
ESTRATEGIA DE EXTRACCIN DE DATOS
RESULTADOS

Cuestionario Likert (3)

Preguntas Subjetivas 1 = Si 0 = Parcialmente -1 = No 1. El mtodo para elicitar los requisitos de usabilidad est definido de forma clara? 2. Las guas de elicitacin de requisitos son comprensibles? 3. Las guas de elicitacin de requisitos son tiles en otro contexto? 4. Las herramientas que soportan a las publicaciones son descargables? 5. Existe un caso de estudio o ejemplo claro de la propuesta? 6. La propuesta est validada empricamente? 7. Los resultados estn claramente explicados? 8. La notacin para la captura de requisitos es fcil de aprender? Preguntas Objetivas 9. La publicacin est en una revista o en un acta de congreso? 1 = Muy importante 0 = Importante -1 = No tan importante 10. La publicacin ha sido citada por otros autores? 1 = Ms de 4 0 = Entre 2 y 4 -1 = Menos de 2

Likert(3) 3 revisores 1,0,-1, valores preg. Subj./Obj. Preg. N 9 clasificacin CORE. 1 = (A,B), libro. 0 = (C) , workshop. -1 = no CORE, otro. JCR (incluida, otra lista, Ning. lista ) Preg. N10: # de citas que recibe H-factor con Publish or Perish. Resultado por cada revisor [-10,10]. Media aritmtica por cada publicacin.
18 16 14

16

12
12

Muy Buena > =3 Buena [-2,2.9] Mala < -2

10 8 6

4 2 0 MUY BUENA BUENA MALA

1

[13]

3. DISEO DEL ESTUDIO SISTEMTICO: Estrategia de

Extraccin de datos

2
PREGUNTA DE INVESTIGACIN

ESTRATEGIA DE BUSQUEDA Cadena Bsq. Fuentes de Bsqueda

CRITERIOS DE SELECCIN Leer Tt./Res. Leer toda la publicacin

4
REVISION DE
REFERENCIAS

6
EVALUACIN DE LA CALIDAD

ESTRATEGIA DE EXTRACCIN DE DATOS

RESULTADOS

SUB PREGUNTAS DE INVESTIGACIN SQ1 MTODOS DE ELICITACIN DE REQUISITOS DE USABILIDAD SQ2 MTODOS DE ELICITACIN DE REQUISITOS DE INTERACCIN SQ3 USO DE LAS GUAS DE USABILIDAD

POSIBLES RESPUESTAS SI NO NO CONCERNIENTE SI NO NO CONCERNIENTE EXISTENTES PROPUESTAS NO EXISTE

N 7 11 11 5 3 21 9 7 13 5 7 11 6 12 8 8 4 2 2 1 5 3 17 9

% 24.14 37.93 37.93 17.24 10.34 72.41 31.03 24.14 44.83 17.24 24.14 37.93 20.69 41.38 27.59 27.59 13.79 6.90 6.90 3.45 17.24 10.34 58.62 31.03

SQ4 HERRAMIENTAS DE APOYO PARA LA ELICITACIN DISEO DE INTERFAZ DE REQUISITOS DESARROLLO DE MODELO NO EXISTE NO CONCERNIENTE SQ5 TIPOS DE NOTACIN PARA LA ELICITACIN DE LOS REQUISITOS UML LENGUAJE NATURAL I* CTT FORMAL QOC BPMN NO CONCERNIENTE INDUSTRIAL ACADMICO NINGUNO

SQ6 ENTORNO DE VALIDACIN EMPRICA

[14]

1. Introduccin 2. Estado del Arte 3. Diseo del Estudio Sistemtico

4. Resultados
5. Discusin 6. Conclusiones

[15]

4. RESULTADOS: Anlisis de la Extraccin de datos

RESULTADOS 2
PREGUNTA DE INVESTIGACIN ESTRATEGIA DE BUSQUEDA Cadena Bsq. Fuentes de Bsqueda CRITERIOS DE SELECCIN Leer Tt./Res. Leer toda la publicacin

4
REVISION DE
REFERENCIAS

6
EVALUACIN DE LA CALIDAD
ESTRATEGIA DE EXTRACCIN DE DATOS

Anlisis de la Extraccin de datos Combinacin de sub preguntas. Frecuencias de E.S.

7 4.1. Mtodos de elicitacin de requisitos de usabilidad

- El proceso de elicitacin de los NFRs comienza con tcnicas tradicionales (entrevistas, cuestionarios, etc.) para la elicitacin de requisitos. - Los mtodos pueden ser personalizables para otros contextos diferentes si son adaptados. - Proporcionan slo soporte bsico a la gestin de requisitos por medio de extensiones para la captura de requisitos.
[16]

Si = 24.14 % No = 37.93 % NC = 37.93%

4. RESULTADOS: Estrategia de Extraccin de datos

4.2. Mtodos de elicitacin de requisitos de interaccin
- Realizar un anlisis exhaustivo de los requisitos para aliviar los problemas de interaccin. - Modelos basados en el anlisis sistemtico de un conjunto de propiedades de interfaces estndar, y/o patrones estructurales, potenciando la usabilidad y experiencia de usuario.

Si = 17.24 % No = 10.34 % NC = 72.41%

4.3. Uso de las guas de usabilidad

Existentes = 31.03 % Propuestas = 24.14 % No Existe = 44.83%

- Ayudan a superar en parte el obstculo de la

integracin de la usabilidad y su significado por los stakeholders. - No obstante la aplicacin de las guas requiere, en general, la interpretacin de un experto en usabilidad para su correcto uso.
[17]

4. RESULTADOS: Estrategia de Extraccin de datos

4.4. Herramientas de apoyo para la elicitacin de requisitos
- Herramientas son de apoyo con funcionalidad
limitada cuando es orientado a la elicitacin de req. -Interfaz usuario, se centran en la identificacin de requisitos para ser mas comprensibles por los usuarios. Desarrollo de modelo, se desempean mejor en cuanto a diseo de sistemas interactivos. - Su uso exige cierto grado de esfuerzo en la comprensin y aplicacin por parte del analista usuario.

Diseo de Interfaz = 17.24 % Desarrollo de Modelo = 24.14 % No Existe = 37.93% N.C. = 20.69

4.5. Tipo de notacin para la elicitacin de los requisitos

- Las notaciones son utilizadas por los mtodos en
UML = 41.38% Leng. Nat = 27.59% i* = 27.59% CTT = 13.79% Formal = 6.9% Q.O.C. = 6.9 % BPMN = 3.45 % N.C. = 17.24 %

sus diferentes fases de desarrollo. - Los modelos de notacin se representan patrones, escenarios y plantillas. - En algunos mtodos se ha utilizado ms de notacin en combinacin con mas de un artefacto. de gran uso para el analista, aunque no son comprendidos por el usuario final.
[18]

en una Son tan

4. RESULTADOS: Estrategia de Extraccin de datos

2
PREGUNTA DE INVESTIGACIN ESTRATEGIA DE BUSQUEDA Cadena Bsq. Fuentes de Bsqueda CRITERIOS DE SELECCIN Leer Tt./Res. Leer toda la publicacin

4
REVISION DE
REFERENCIAS

6
EVALUACIN DE LA CALIDAD
ESTRATEGIA DE EXTRACCIN DE DATOS

RESULTADOS
Anlisis de la Extraccin de datos Combinacin de sub preguntas. Frecuencias de E.S.

4.6. Entorno de validacin Emprica

- Casos de estudio, experimentos o ejemplos que se plantean (acadmicos e industriales), no muestran mtricas explcitas que determinen el nivel de usabilidad logrado por el sistema. - Los mtodos estn desarrollados para ciertas caractersticas de usabilidad consideradas de mayor impacto sobre la funcionalidad. Las listas de verificacin, sesiones y gestin de escenarios son artefactos para evaluar la usabilidad.
[19]

Industrial = 10.34 % Acadmico = 58.62 % Ninguno = 31.03%

4. RESULTADOS: Combinacin de Sub preguntas

RESULTADOS
Anlisis de la Extraccin Combinacin de sub preguntas. Frecuencias de E.S.

2
PREGUNTA DE INVESTIGACIN ESTRATEGIA DE BUSQUEDA Cadena Bsq. Fuentes de Bsqueda CRITERIOS DE SELECCIN Leer Tt./Res. Leer toda la publicacin

4
REVISION DE
REFERENCIAS

6
EVALUACIN DE LA CALIDAD
ESTRATEGIA DE EXTRACCIN DE DATOS

7
SQ1: MTODOS DE ELICITACIN DE REQUISITOS DE USABILIDAD

NO

SQ3 : USO DE GUAS DE USABILIDAD

SQ4: HERRAMIENTAS DE APOYO

SI

NO EXISTE

PROPUESTAS

EXISTENTES

DISEO DE INTERFAZ

DESARROLLO DE MODELOS

NO EXISTE

SI

NO

SQ2 : MTODOS DE ELICITACION DE REQUISITOS DE INTERACCIN

Figura 1. Resultado de la combinacin de categoras SQ1,SQ2,SQ3,SQ4

[20]

4. RESULTADOS: Frecuencias del Estudio Sistemtico

2
PREGUNTA DE INVESTIGACIN ESTRATEGIA DE BUSQUEDA Cadena Bsq. Fuentes de Bsqueda CRITERIOS DE SELECCIN Leer Tt./Res. Leer toda la publicacin

4
REVISION DE
REFERENCIAS

6
EVALUACIN DE LA CALIDAD
ESTRATEGIA DE EXTRACCIN DE DATOS

RESULTADOS
Anlisis de la Extraccin Combinacin de sub pregunta. Frecuencias de E.S.

7 65 Pub. Potenciales, 29 Pub. Selectas. Aos sin Pub. Selectas ( 2001, 2002, 2003, 2011). 2008 (> N de Pub. Selectas).
Fuentes Conferencias Revistas Libros Workshop Otros Total
Niveles de las Conferencias Nivel A Nivel B Nivel C

14 Public. Potenciales 12 10 8

Potenciales 31 16 4 4 10 65
Potenciales 12 10 9

Seleccionadas 14 9 3 1 2 29
Seleccionadas 6 4 4

13
Public. Seleccionadas

8
6

6
4 2

6
5

3 2 2 2
1

3 1

Figura 2. Nmero de las publicaciones clasificadas por ao

[21]

1. Introduccin 2. Estado del Arte 3. Diseo del Estudio Sistemtico

Preguntas de Investigacin Estrategia de Bsqueda Criterios de Seleccin Evaluacin de la Calidad Estrategia de Extraccin de datos

4. Resultados

5. Discusin
6. Conclusiones
[22]

DISCUSION
La elicitacin de requisitos de usabilidad se realiza en la fase del anlisis, es decir, una vez elicitados los RF, lo que puede implicar cambios en la arquitectura del sistema. La cantidad de publicaciones que indican cmo se realiza la extraccin de requisitos de usabilidad en etapas iniciales son mnimas. Utilizacin de artefactos (e.g. patrones, escenarios, plantillas). La mayora de las propuestas hacen uso de algn artefacto como apoyo al mtodo. Los mtodos propuestos son poco flexibles y requieren bastante esfuerzo para aplicarlos en contextos distintos.

[23]

DISCUSION

Las guas, notaciones y artefactos se encuentran ms cerca del modelado de requisitos de interaccin que del modelo de los requisitos de usabilidad. Los trabajos que presentan casos de estudio, experimentos y ejemplos, no muestran evidencias para verificar si los requisitos de usabilidad crearon un verdadero impacto positivo en el producto final.

Publicaciones que hacen referencia a otros muchos trabajos anteriores.

[24]

1. Introduccin 2. Estado del Arte 3. Diseo del Estudio Sistemtico

Preguntas de Investigacin Estrategia de Bsqueda Criterios de Seleccin Evaluacin de la Calidad Estrategia de Extraccin de datos

4. Resultados 5. Discusin

6. Conclusiones
[25]

CONCLUSIONES
En la IS se han analizado los mtodos de desarrollo que consideran la usabilidad como un requisito ms. IPO se han estudiado las guas y heursticos utilizados para el desarrollo de aplicaciones usables. El objetivo final es estudiar los trabajos existentes tanto de IS como de IPO que proponen optimizar las caractersticas de usabilidad dentro del proceso de desarrollo de software. El estudio basado propuesta por Kitchenham. Los resultados obtenidos si bien se ajustan al enfoque de la elicitacin de requisitos de usabilidad, no solucionan en gran medida los problemas que presentan las aplicaciones en el proceso de desarrollo.
[26]

CONCLUSIONES
El estudio sistemtico sirve en gran medida para detectar los problemas existentes e identificar trabajos futuros. En resumen, existe una lnea de investigacin clara en el mbito de los requisitos de usabilidad en entornos MDD. Los trabajos encontrados son especialmente atractivos porque se podran embeber en mtodos MDD a futuro. El estudio es punto de partida para futuras revisiones sistemticas en torno a la elicitacin de requisitos de usabilidad.

[27]

Gracias pro su atencin Preguntas?

[28]