Vericacin y Validacin

Introduccin
Una de las tareas ms importantes y difciles a las que se debe enfrentar un desarrollador de modelos de simulacin es la validacin y vericacin de los mismos. Se debe trabajar lo ms prximo posible a los usuarios nales durante el periodo de desarrollo y validacin para reducir (o eliminar, si es posible) el excepticismo de los mismos respecto a los resultados obtenibles mediante el proceso de modelado y simulacin. Los objetivos fundamentales del proceso de validacin son: - producir un modelo que represente el comportamiento de sistema real lo sucientemente prximo como para que el modelo pueda sustituir al sistema con el objetivo de experimentar determinados aspectos del mismo. - aumentar a un nivel aceptable la credibilidad del modelo, para que sea aceptado por los gestores y usuarios nales a nivel de toma de decisiones sobre los resultados proporcionados por dicho modelo. En general, la vericacin enfoca el tema de la consistencia interna de un modelo, mientras que la validacin est relacionada con la correspondencia entre el modelo y la realidad. El termino validacin se aplica a aquellos procesos que buscan determinar si una simulacin es correcta o no respecto al sistema real. De forma ms sencilla, la validacin trata sobre la cuestin "Se est construyendo el sistema correcto?", mientras que la vericacin responde a "Se est construyendo correctamente el sistema?". La vericacin compueba que la implementacin del modelo de simulacin (programa) corresponde al modelo, mientras que la validacin comprueba que el modelo corresponde con la realidad. La calibracin comprueba que los datos generados por la simulacin coinciden con los datos reales observados. Deniciones Validacin: El proceso de comparar la salida del modelo con el comportamiento del fenmeno. En otras palabras: comparar la ejecucin del modelo con la realidad (fsica 1

o otra cualquiera). Schlesinger1 lo dene como sustanciacin de que un modelo para computadora, con su dominio de aplicacin, posee un rango satisfactorio de precisin consistente con la aplicacin para la que se desea el modelo. Vericacin: 2 El proceso de comparar el cdigo del programa con el modelo para garantizar que el cdigo es una implementacin correcta del modelo. Calibracin: 3 El proceso de estimar los parmetros de un modelo. La calibracin es una forma de prueba y ajuste de los parmetros existentes y generalmente no incluye la introduccin de otros nuevos, cambiando la estructura del modelo. En el contexto de optimizacin, calibracin es un procedimiento de optimizacin implicado en la identicacin del sistema durante el diseo experimental. Dicultades de la validacin Est fuera de toda duda que existe un cierto nmero de problemas cuando se intenta llevar a cabo el proceo de validacin. 1. No existe la Validacin General. Cada modelo se valida con respecto a sus objetivos. No se puede decir que un modelo vlido para un propsito lo tenga que ser necesariamente para otros. Por otro lado, la idea de la simulacin es construir modelos sencillos para objetivos concretos, lo que aleja de la idea de validez general. La realidad es el nico modelo vlido de forma general. Puede no existir mundo real con el que comparar. En muchos casos se desarrollan, a partir de sistemas del mundo real, nuevas funcionalidades o servicios. Por lo tanto, en estos casos no se tiene la referencia del mundo real para comparar. Se puede producir el caso de un modelo vlido para funcionalidades conocidas del sistema, pero esto no garantiza la validez del mismo para representar cambios sobre el sistema inicial. Cul es el mundo real?. Diferentes personas pueden tener apreciaciones diferentes del mundo real, conocidas como visiones del mundo. Un empleado del banco puede verlo como un medio para ganar dinero, mientras que un usuario de dicho banco puede considerarlo como un medio de depositar o pedir prestado dinero. Dependiendo del interlocutor se pueden encontrar diferentes apreciaciones del propsito y operacin del banco. Cada da se puede apreciar como una misma noticia es contada de diferente forma por distintos peridicos. El acontecimiento es el mismo, pero la interpretacin de los periodistas es distinta.

2.

3.

Schlesinger et all, Terminology for Model Credibility, Simulation, Vol 32, 3, pag. 103-104, 1979 El diccionario de la RAE tiene como primera acepcin: 1. tr. Comprobar o examinar la verdad de algo. 3 El diccionario de la RAE tiene como quinta acepcin: 5. tr. Fs. Ajustar, con la mayor exactitud posible, las indicaciones de un instrumento de medida con los valores de la magnitud que ha de medir.
2

Esto es un problema cuando se intenta validar modelos. Si la gente tiene diferentes interpretaciones del mundo real, qu interpretacin es la adecuada para desarrollar y validar el modelo?. Un modelo para una persona puede no serlo para otra. 4. A veces los datos obtenidos del mundo real no son precisos. La validacin supone, a menudo, una comparacin del mismo aspecto del modelo frente a los datos del mundo real. El modelo se ejecuta sobre las mismas condiciones que el mundo real para ver si funciona de forma similar. Pero existen dos dicultades en este procedimiento. Una, los datos del mundo real no tienen por qu ser precisos. Si no existe certeza sobre si los datos son buenos no existen garantas para indicar que los resultados del modelo son correctos. La otra dicultad es que, incluso existiendo datos ables del mundo real, se debe recordar que son solo una muestra, lo que crea una cierta imprecisin. Por ejemplo se pueden haber recogido datos de una variable durante dos semanas, pero el comportamiento de dicha variable sobre ese periodo es el mismo que siempre o hay cambios en sus valores dependiendo de la fecha?. Por otro lado los resultados de la simulacin son, a su vez, una muestra. Esto indica que la comparacin con los datos del mundo real es, en realidad, la comparacin de dos muestras. Aunque existen procedimientos estadsticos para determinar si dos muestras son semejantes esto solo proporciona una respuesta probabilstica pero no denitiva. 5. No hay suciente tiempo para vericar y validar cualquier cosa. En el marco de un estudio de simulacin hay plazos que cumplir, lo que implica que no hay suciente tiempo para vericar y validar cada aspecto de un modelo. Este problema afecta tanto a la validacin como a la vericacin. La tarea de un modelador es garantizar que el modelo se ha validado y vericado tanto como sea posible. Conanza no es validez. La conclusin es que, aunque en teora, un modelo puede ser vlido o no, probar esto en la prctica en un tema muy diferente. No es posible probar de manera absoluta que un modelo es vlido, en su lugar, se habla de la conanza que se puede tener en le modelo. En realidad, ms que intentar demostrar que un modelo es correcto lo que se hace es probar si el modelo es incorrecto. Cuanto ms pruebas estadsticas se realizan sin poder probar que el modelo es incorrecto ms conanza se tendr en el mismo. Por lo que el objetivo de la Validacin (y de la Vericacin) es aumentar la conanza en el modelo y sus resultados.

6.

Aspectos relacionados con la vericacin Durante el proceso de codicacin del modelo deben tenerse en cuanta una serie de aspectos como: 3

Temporizaciones, por ejemplo tiempos de ciclo, tiempos de reparacin de mquinas sin funcionar, tiempos de paso entre etapas, etc. Control de elementos, por ejemplo, frecuencia de rotura de mquinas, etc. Control de ujos. Lgica de control, como planicacin o criterios de pedido en gestin de almacenes, etc. Distribucin de las muestras. Algunos mtodos de vericacin, no excluyentes los unos de los otros, son: 1. Comprobacin del cdigo. El modelador necesita leer el cdigo para comprobar que se han introducido adecuadamente los datos y la lgica. Cuando la lgica es compleja esta tarea es fundamental. Una idea es conseguir que otra persona revise el cdigo, conociendo las especicaciones. Otra forma sera la utilizacin de un formato no tcnico para especicar y permitir, de este modo, que una persona sin conocimiento del lenguaje de progamacin compruebe los datos y la lgica. Esto es importante cuando se dispone de personas con un profundo conocimiento del sistema objetivo pero sin conocimiento del lenguaje de simulacin utilizado. Comprobaciones visuales. Ejecutando el modelo y viendo cmo se comporta cada elemento se puede comprobar su comportamiento tanto desde el punto de vista de lgica como de resultados frente al sistema real. Algunas ideas a considerar pueden ser: Ejecucin evento a evento. Detencin del modelo, predecir que ocurrir a continuacin, ejecutarlo y ver qu ocurre. Colocar interactivamente determinadas condiciones para forzar que se produzcan ciertos eventos. Crear condiciones extremas, como una tasa de llegadas muy elevada, para comprobar si el modelo se comporta de la forma esperada. Aislar determinadas reas del modelo para que se puedan ejecutar ms rpidamente, reduciendo el tiempo de realizacin de la vericacin. Explicar el modelo implementado a los expertos para conseguir su opinin respecto al funcionamiento. Realizar una traza del progreso de un elemento a travs del proceso. Habitualmente esto se realiza durante un periodo limitado de tiempo, pero con ello se aprende mucho sobre el comportamiento del modelo. La implicacin de los expertos tambin durante esta fase aumenta la credibilidad de dicho modelo. 4

2.

3.

Inspeccin de los informes de salida. Se comparan los resultados obtenidos con los esperados. A veces tambin se utiliza para mejorar las prestaciones de determinados elementos utilizados. A veces un informe se puede utilizar como una traza de una ejecucin de la simulacin, lo que ayudar en el diagnstico y correccin de muchos problemas.

Referencias
Las referencias bsicas para este punto son: Jerry Banks, John S. Carson, Barry L. Nelson Discrete-Event System Simulation. Prentice-Hall, 1996. En esta edicin el captulo 11 est dedicado a vericacin y validacin. Averill M. Law, W. David Kelton Simulation Modeling and Analysis. McGraw-Hill, 1991. En esta edicin, el captulo 5 trata de el tema de vericacin y validacin aunque el ttulo del captulo es Building Valid and Credible Simulation Models. Osman Balci Vericaction, Validation and Testing. Captulo incluido en el Hadbook of Simulation, John Wiley Sons, 1998. Este Handbook est coordinado por Jerry Banks, el autor de uno de los libros citados anteriormente. En algunas revistas y en congresos se trata permanentemente el tema de vericacin y validacin. Entre las numerosas referencias de este tipo hemos seleccionado las dos siguientes: Stewart Robinson Simulation Verication, Validation and Condence: A Tutorial. Transactions of the Society for Computer Simulation International, Vol 16, 2, pag. 63-69, 1999 Robert G. Sargent Validation and Verication of Simulation Models. Proceedings of the 1999 Winter Simulation Conference, pag. 39-48