Economia Del Testing

SERIES
Como alinear QA a los objetivos del negocio
I. CURSOS DISPONIBLES
PM - PROJECT MANAGEMENT
SE SOFTWARE ENGINEERING
UP SUPPORT ENGINEERING
QA QUALITY ASSURANCE
SD SOFTWARE DEVELOPMENT
SA STRATEGIC ADMINISTRATION
QM QUALITY METHODS
HR - HUMAN RESOURCES
Material de Alonso Carra S.A. en el marco del desayuno corporativo "Como alinear QA con los objetivos de negocio organizado por Cubika y Compuware.
SERIE: QA QUALITY MANAGEMENT
Definiciones
Donde estoy
Economa del test
Costo del error
Proceso de testing.
Necesidad de testear.
Riesgos.
Recursos Humanos.
Esquemas de proceso.
II. TEMARIO
Qu es testear software
I. CURSOS DISPONIBLES
IQA INTRODUCCIN A QUALITY ASSURANCE

NCO NO CONFORMIDADES
MCT MEJORA CONTINUA
ADD AUDITORA DE PRODUCTOS
ADC AUDITORA DE PROCESOS
TQM CALIDAD TOTAL
QAM ADMINISTRACIN DE CALIDAD
CDC CRCULOS DE CALIDAD
EMC ESTIMACIN Y MEDICIN EN CALIDAD
CGT QA Y OBJETIVOS DE NEGOCIO
CPT CASO DE PRUEBA Y TEST FUNCIONAL
OPF OTRAS PRUEBAS FUNCIONALES
PDU PRUEBA DE USABILIDAD
SCP PRUEBA DE STRESS, CARGA Y PERFORMANCE
PDI PRUEBAS DE INSPECCIN
PTS PROCESO DE TESTING
Temario.
Ejercicio 0
Que es TESTING? Definiciones
01.01 - QU ES TESTING?
Se ingresan cuatro pares de coordenadas de dos valores

cada par.
Se pueden ingresar la cantidad de conjuntos que se
deseen.
El programa determinar la cantidad de cuadrados que
quedaran dibujados en ese caso.
Cules seran los casos a probar?
Caso
Entonces, Porqu testear?
Si el programa a probar tuviera una lgica

aleatoria, probar 2 billones de milenios, sera bajar
la probabilidad de riesgo un 50%.
Como el programa no es aleatorio, testear pocos
casos puede llevarme al 99% de certeza.
3.833.478.626.378 milenios
(casi 4 billones de milenios).
120.892.581.961.462.917.470.618 segundos.
2.014.876.366.024.381.957.843 minutos.
33.581.272.767.073.032.630 horas.
1.399.219.698.628.043.026 das.
3.833.478.626.378.200 aos.
Un string de 10 caracteres.
256 posibilidades en el primer carcter.
256 * 256 posibilidades en los dos primeros.
25610 en total, como 256 es 28, es decir 280.
En total: 1.208.925.819.614.629.174.706.176 posibilidades.
Si se prueban 10 casos por segundo, son:
Terminologa de test
DEFINICIONES
Testear
ERROR.
Accin humana que produce un resultado
incorrecto (diferente al esperado).
FALLA.
Manifestacin del error en el objeto bajo
inspeccin (el software)
AVERA.
Proceso de ejecutar un programa con la

intencin de demostrar su calidad. Mills
Proceso de ejecutar un programa con la
intencin de encontrar errores. Myers
Proceso de ejecutar un software y detectar
bugs, verificando si satisface los requerimientos
(tanto funcionales como no funcionales).
BS7925-1
Desviacin del objeto bajo inspeccin (el

software) respecto al servicio esperado
Definiciones
DEFINICIONES
DEFECTO.
La probabilidad asociada a la aparicin de

defectos en un perodo de tiempo bajo ciertas
condiciones
CALIDAD.
Verificacin:
Estamos
haciendo
el
sistema
correctamente?
Validacin: Estamos haciendo el sistema correcto?
Debugging: diagnosticar la precisa naturaleza de
un error y corregirlo
La totalidad de las caractersticas o atributos

que refieren a la habilidad del producto de
satisfacer lo requerido
CONFIABILIDAD.
El desvo de un atributo de calidad que impide

lograr el servicio o producto requerido
Donde estoy?
Que es TESTING? Donde estoy
Existe un responsable de testing?

Se posee y usa un plan standard de testing?
Se usan test unitarios standard?
El proceso de testing empieza y termina con el proyecto de
desarrollo?
Se valida la implantacin de las especificaciones?
Se verifican los entregables intermedios?
Se reportan los errores a los responsables de desarrollo?
Se identifican los riesgos del negocio antes de planear los casos de
testing?
Se valida la satisfaccin del usuario?
Se posee y usa un reporte de testing standard?
Donde estoy?
Se establecen objetivos medibles de testing?

Los objetivos medibles estn de acuerdo a los riesgos del
negocio?
Los defectos no cubiertos, retroalimentan y mejoran el
proceso de testing?
Se pueden prever las expectativas de defectos de acuerdo a
experiencias anteriores?
Se posee un proceso de mejora del proceso de testing?
Se identifican y rotulan los defectos?
Se utilizan las fallas en produccin para mejorar el proceso
de testing?
Se usan mtricas para evaluar y mejorar el proceso de
testing?
Existe un proceso de entrenamiento para testers?
El uso de herramientas automticas es importante en el
proceso de testing?
Donde estoy?
17 a 20 no Test como arte

13-16 no Solo la actividad de testear
9-12 no Test administrado
5-8 no Organizacin madura en testing
0-4 no World-class testing
Adaptado de Effective methods for software testing William Perry
Valor agregado del testing
Verificar y mostrar la validez de lo construido.

Se debera validar y verificar:
Requerimientos
Arquitectura
Diseo
Cdigo
Todo producto del proceso de desarrollo
Test integral
Comnmente se titula testing como una etapa posterior al

desarrollo.
Esto suele implicar:
Que solo se testea el cdigo.
Que el proyecto de testing no se mantiene a lo largo de todo el
proyecto de desarrollo.
TEST ORGANIZACIONALMENTE
Test no es un rea de IT, es un rea organizacional.

Debe existir una poltica de testing
La organizacin debe determinar que nivel de cobertura es
aceptable, que expectativa de error es aceptable para liberar
software.
Test integral
Que testear est ligado a las expectativas de negocio.

Esto implica:
Que test hacer
Que tipos de test tendrn prioridad
Cuando dejar de testear
Cuanto cuesta testear
Que es TESTING? Economa del test
Economa del test
Testear poco es un crimen, testear mucho es un pecado.
Economa del test
Que es TESTING? Costo del error
COSTO DEL ERROR
Costos
Previos al test
El mayor costo previo al test es el armado del ambiente de
testing.
La mejor solucin es incorporar, como prctica a la corrida de
un test, la devolucin al estado original.
La forma ms barata de hacer esto es con una herramienta
automatizada.
Costos
De ejecucin
El mayor costo de ejecucin es el tiempo de tester dedicado, lo
que normalmente implica bajar la cobertura de testing
(seleccionar casos de regresin, por ejemplo).
La forma ms barata e ejecutar todos los casos es automatizar
el testing.
Costos
Posteriores a la ejecucin
El mayor costo es documentar correctamente la falla
encontrada y seguirla hasta su clausura.
La mejor forma de abaratar esto es tener una herramienta de
administracin de bugs.
Costo de mantenimiento
En
el proceso de testing, se debe:

Agregar un test para cada problema reportado.
Agregar test para cambios de especificaciones.
Revisar todos los casos periodicamente para asegurarse su
vigencia.
COSTO DEL ERROR
COSTO DEL ERROR
Los mdicos matan de a uno, el software de a millones.

Lo ANNIMO del error no implica poco efecto.
por
sus
01.03 COSTO DEL ERROR
Un error cuesta
consecuencias
Un error no cuesta por encontrarlo.

Un error no cuesta por sacarlo.
COSTO DEL ERROR
PROCESOS. NECESIDAD DE TESTEAR
El costo del error se incrementa proporcionalmente con el avance

de las fases en el desarrollo del sistema.
Se calcula 10 veces mas.
Es decir que en requerimientos cuesta 1, en diseo 10, en
desarrollo 100 y en produccin 1000.
PORQUE ES NECESARIO TESTEAR?
CUANDO TERMINAR DE TESTEAR?
NO ES OBLIGATORIO TERMINAR DE TESTEAR CUANDO EL PRODUCTO

EST EN PRODUCCIN.
Continuar testeando despus de poner en produccin puede ser
una buena estrategia.
Encontrar uno los errores es mejor a que los encuentre el usuario.
02.01 NECESIDAD DE TESTEAR
Si no se puede testear todo, cuando

terminar de testear y como saberlo?
Debo administrar el testing
Hacer anlisis de riesgo
Priorizar los test que focalizan las reas
de mayor riesgo.
Administrar el tiempo de acuerdo al
riesgo involucrado.
Entender el riesgo para el negocio si el
software no funciona.
Se puede testear todo (desde el punto de vista terico).

El tiempo requerido para testear todo lo vuelve imprctico.
Los recursos necesarios son imposibles de conseguir.
Identificar fallas
Reducir defectos
Indirectamente mejorar la calidad
Mejora la confiabilidad
Asegurar mejor rentabilidad
Asegurar que los requerimientos se satisfacen
Mejorar el mantenimiento
Provee mediciones de calidad
EL PROBLEMA
PROCESOS. Riesgos
Riesgos involucrados en el proceso

Esfuerzo de testing involucrado
Pruebas mitigantes
Costos de esas pruebas
02.03 RIESGOS
Qu va a testear?, le preguntaron.
Lo mas importante, respondi.
Y como sabe que es lo mas importante?.
...
Despus de pensar, la solucin pareci ser un anlisis
de riesgos. Determinar:
LOS RIESGOS
Requerimiento
Severidad
Probabilidad
Costo
Visibilidad
Tolerancia
Factor Humano
Cada uno de los factores sern de la misma

escala y permitirn el N/A.
02.03 RIESGOS
Factores de riesgo:
02.03 RIESGOS
No estamos hablando de riesgos del proyecto (por ejemplo:

entregar tarde, cambios de personal, etc.).
Estamos hablando de identificar los riesgos de no pasar un test.
Para cada caso se identifica un riesgo de falla, ejemplo:
Severa, falla crtica, Riesgo: el sistema no ser fiable o no
cumplir su SLA.
Alta, falla inaceptable, Riesgo: el sistema no ser predecible o
cumplir con muy baja performance su SLA.
Mediano, falla superable, Riesgo: Problemas operacionales o no
podrn excederse los lmites del SLA.
Bajo, fallas incmodas o triviales, no existen riesgos.
COMO ASIGNAR RIESGOS
COSTOS
MODELO DE DECISIN
Los casos efectivamente tomados sobre la cantidad

de casos previstos nos indica la cobertura de riesgo
que estamos tomando
Ejemplo:
Se tenan 17 casos previstos
Se ejecutarn 13 casos
Se tiene un 76% de cobertura de riesgo.
Suponiendo un costo: $ 9.300 (promedio de valores
pagados por la organizacin por juicios por
informacin no veraz). El costo del riesgo es de $
2188.Material de Alonso Carra S.A. en el marco del desayuno corporativo "Como alinear QA con los objetivos de negocio organizado por Cubika y Compuware.
02.03 RIESGOS
PROBABILIDAD Y COSTO
02.03 RIESGOS
El riesgo recibi un 1 en Visibilidad, 2 en Requerimiento, 1

en Costo y 1 en Tolerancia. El resto de los factores fue N/A.
El ranking es de (1+2+1+1)/4=1,25. Como se tienen 17 casos,
tendrn prioridad y se ejecutarn en primera instancia
17/1,25 casos, es decir 13.
Se deber emitir un listado de clientes morosos.

Caso: Se identifica a un cliente como moroso sin serlo.
Tipo de riesgo: 2. Alto, inaceptable
Cantidad de pruebas previstas para el caso: 17.
Pregunta: Se deben hacer todos los 17 casos, mas o

menos?
Se utiliza un modelo matemtico para determinar la

decisin.
Un modelo sera promediar los riesgos y dividir la
cantidad de casos por el mismo.
Ejemplo:
02.03 RIESGOS
Cul es el costo de un sitio por estar down 1

hora?
Cul es el costo de una mala imputacin en un
banco?
Cul es el costo de no llegar con informacin al
cliente?
Se asigna un riesgo a cada requerimiento a testear de

acuerdo a lo visto y se genera un ranking:
Ejemplo:
02.03 RIESGOS
Se debe calcular el costo de no servicio.

Se recomienda calcular un costo optimista y
pesimista, en forma estadstica.
Por ejemplo:
RIESGOS
LMITE DEL ANLISIS
02.03 RIESGOS
Debe recordarse que estamos trabajando sobre un

universo de 17 casos.
No son todos los casos posibles, son los casos
previstos en nuestro anlisis de testing.
El universo es un nmero enorme por la naturaleza de
la combinatoria exponencial.
(Recuerden los 4 billones de milenios)
PROCESOS. Recursos humanos
DOTACIN POR RATIO ORG.
Se calcula en un 15% del esfuerzo total del proyecto.

Sin embargo hay organizaciones que tienen desde un
27% a un 10% del esfuerzo en testing.
02.04 RECURSOS HUMANOS
El ratio se expresa en Programadores:Testers

Vara de 3:2 a 5:1 depende del tipo de sistema
desarrollado.
El standard para una organizacin que no tiene
testing previamente es de 4:1 y la media es 3:1.
DOTACIN POR ESFUERZO
AJUSTES DE DOTACIN
Existe una cultura en dividir al personal en:
PROCESOS. Esquema general del proceso
La experiencia indica que debido a la demanda

puntual, inevitablemente el diseador tambin
ejecutar y el tester tendr que disear.
Es preferible tener el cargo de tester y dividirlo por
expertise funcional (Sueldos, Contabilidad, etc) o no
funcional (Performance, Usabilidad, etc) y no de la
otra forma.
ORGANIGRAMA
Testing no debera depender de la misma persona

que el equipo de desarrollo.
Testing puede ser una unidad operativa que preste
servicios a varios proyectos.
Es muy til que testing, help desk y mantenimiento
compartan funciones y recursos.
Diseador de casos.
Tester o ejecutor de casos.
Cultura organizacional.
Madurez de procesos.
Alcance de test requerido.
Conocimientos de testing.
Uso de herramientas automticas.
Conocimiento del negocio.
Organizacin interna del team.
Momento de involucramiento de testing.
Tasa de liberacin de builds.
Procesos definidos.
Aplicaciones de alto riesgo.
ESPECIALIZACIN
IDENTIFICACIN
CICLO GENERAL
1
2
1.
2.
4.
5.
; Al correr la prueba
de validacin, si es
OK se informa a
calidad
con
la
aceptacin
del
cliente.
; Si no es OK se
vuelve sobre el ciclo
de testing.
02.05 ESQUEMA DE PROCESOS
3.
VALIDACIN
2.
De no pasar la prueba se devuelve y no

incrementa la revisin
De pasar la prueba de humo se testea.

Si tiene errores, se devuelve aumentando la
revisin y dejando los casos con errores
como casos a testear
El dueo del objeto a testear elimina los
errores y el ciclo vuelve a comenzar.
REGRESIN Y RETEST
Ante un build OK se decide si

amerita un retest o no, de
hacerse es equivalente a una
regresin sobre el mismo build.
De no hacerse el retest se
verifica si estoy en el primer
incremento
De no estar se toma el
incremento anterior y se ejecuta
un test de regresin.
Si
ya realic todas las
regresiones, se chequea si la
construccin es un entregable,
de serlo se ejecuta un test de
aceptacin.
Si no es un entregable, se
seguir el testing con la prueba
funcional
del
prximo
incremento.
1.
4.
5.
6.
1.
3.
El testeador recibe los requerimientos y

arma los caso de prueba
Por otro lado el dueo del objeto a testear
(desarrollo) arma y despliega el objeto a
testear. El build ser la versin X,
subversin Y, revisin 1.
Se realiza una prueba de humo (ciertos
casos triviales y sin estadstica para saber si
el build es testeable).
Versin: Un build debera tener tres nmeros y una letra que

identifiquen al mismo.
Versin, Primer nmero: Se cambia si el build fue programado
desde cero (o casi cero), es decir si en desarrollo decidieron
reconstruir el programa, en ese caso aplica un retest.
Subversin, Segundo nmero: Indica cambios de requerimientos,
por lo tanto puede forzar a un cambio de algn caso de prueba.
Revisin, Tercer nmero: Indica que se encontraron bugs.
Prueba, Letra: Indica tipos de test a lo que es sometido.
Ejemplo:
El build 3.5.12F indica que fue reprogramado en forma completa
tres veces, que recibi 5 cambios de requerimientos y que ha
estado siendo testeado y devuelto a desarrollo sin cerrar el ciclo
sin defectos, 12 veces. La F indica que est en prueba funcional.
LOS PATTERN DE PROCESOS

PRESENTADOS SON MODELOS
TERICOS PARA COMPRENDER EL
PROCESO Y PUEDEN VARIAR AL
INSTANCIARSE EN CASOS REALES
Conclusiones
TESTING. EPLOGO
EPLOGO
Testear es un acto metodolgico y estadstico.

Existe un costo de testear, regulado por el
riesgo, que indica que y como testear.
No se puede testear sin planear y saber la
cobertura a obtener.
El proceso de testing no vara de acuerdo a
tipo de bug buscado, sino de acuerdo al costo
de hacerlo.
Palabras clave
The art of software testing

Glenford J. Myers, Revisado por Tom Badgett y Todd Thomas,
2da Ed., John Wiley & Sons, 2004
ISBN 0-471-46912-2, 234 pginas
Software verification and validation for practioners

and managers
Rakitin, Steven R., 2da. Ed., Artech House, 2001
ISBN: 1-58053-296-9, 387 pginas
Pragmatic Software Testing:

Becoming an Effective and Efficient Test Professional
Rex Black, John Wiley & Sons, 2007
ISBN:9780470127902, 384 pginas
EPLOGO
EPLOGO
TEST, DEFINICIONES, ERROR, FALLA, COSTO DEL ERROR, PROCESOS,

NECESIDAD DE TESTEAR, FIN DEL TEST, PLANEAR EL TEST, ESPECIFICAR
EL TEST, EJECUTAR EL TEST, REGISTRAR RESULTADOS, COMPLETAR EL
TEST, RIESGOS DE TESTEAR, RIESGO Y COSTO, ASIGNAR RIESGOS,
MODELOS DE DECISIN, RECURSOS DE TESTING, CLCULO DE
RECURSOS, RATIOS DE RR.HH., IDENTIFICACIN DE BUILDS, CICLO DE
TEST, REGRESIN, RETEST, VALIDACIN.
Bibliografa
Dudas, preguntas, angustias, llantos, crisis de

nervios, problemas existenciales, dramas o consultas?
Siguientes pasos
MUCHAS GRACIAS
CURSO BRINDADO POR:
EXPOSITOR
DANIEL E. ALONSO
daniel.alonso@alonsocarra.com
EPLOGO
ALONSO CARRA S.A.

LIBERTAD 450 5to. Piso
(C1012AAJ) - BUENOS AIRES
(+54) 011 4381 3650
www.alonsocarra.com
info@alonsocarra.com
ARGENTINA
EPLOGO
EPLOGO
CPT CASO DE PRUEBA Y TEST FUNCIONAL

OPF OTRAS PRUEBAS FUNCIONALES
PDU PRUEBA DE USABILIDAD
SCP PRUEBA DE STRESS, CARGA Y PERFORMANCE
PDI PRUEBAS DE INSPECCIN
PTS PROCESO DE TESTING

Economia Del Testing

Încărcat de

Informații document

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Economia Del Testing

Încărcat de

Drepturi de autor:

Formate disponibile

SERIES

Como alinear QA a los objetivos del negocio

SERIE: QA QUALITY MANAGEMENT

IQA INTRODUCCIN A QUALITY ASSURANCE

Que es TESTING? Definiciones

Se ingresan cuatro pares de coordenadas de dos valores

Entonces, Porqu testear?

Si el programa a probar tuviera una lgica

Proceso de ejecutar un programa con la

Desviacin del objeto bajo inspeccin (el

La probabilidad asociada a la aparicin de

La totalidad de las caractersticas o atributos

El desvo de un atributo de calidad que impide

Que es TESTING? Donde estoy

Existe un responsable de testing?

Se establecen objetivos medibles de testing?

17 a 20 no Test como arte

Adaptado de Effective methods for software testing William Perry

Valor agregado del testing

Verificar y mostrar la validez de lo construido.

Comnmente se titula testing como una etapa posterior al

Test no es un rea de IT, es un rea organizacional.

Que testear est ligado a las expectativas de negocio.

Que es TESTING? Economa del test

Economa del test

Testear poco es un crimen, testear mucho es un pecado.

Economa del test

Que es TESTING? Costo del error

COSTO DEL ERROR

el proceso de testing, se debe:

COSTO DEL ERROR

COSTO DEL ERROR

Los mdicos matan de a uno, el software de a millones.

01.03 COSTO DEL ERROR

01.03 COSTO DEL ERROR

Un error no cuesta por encontrarlo.

COSTO DEL ERROR

PROCESOS. NECESIDAD DE TESTEAR

01.03 COSTO DEL ERROR

El costo del error se incrementa proporcionalmente con el avance

PORQUE ES NECESARIO TESTEAR?

CUANDO TERMINAR DE TESTEAR?

NO ES OBLIGATORIO TERMINAR DE TESTEAR CUANDO EL PRODUCTO

02.01 NECESIDAD DE TESTEAR

CUANDO TERMINAR DE TESTEAR?

02.01 NECESIDAD DE TESTEAR

Si no se puede testear todo, cuando

Se puede testear todo (desde el punto de vista terico).

02.01 NECESIDAD DE TESTEAR

02.01 NECESIDAD DE TESTEAR

CUANDO TERMINAR DE TESTEAR?

Riesgos involucrados en el proceso

Cada uno de los factores sern de la misma

No estamos hablando de riesgos del proyecto (por ejemplo:

COMO ASIGNAR RIESGOS

Los casos efectivamente tomados sobre la cantidad

El riesgo recibi un 1 en Visibilidad, 2 en Requerimiento, 1

Se deber emitir un listado de clientes morosos.

Pregunta: Se deben hacer todos los 17 casos, mas o

Se utiliza un modelo matemtico para determinar la

Cul es el costo de un sitio por estar down 1

Se asigna un riesgo a cada requerimiento a testear de

Se debe calcular el costo de no servicio.

LMITE DEL ANLISIS