1.

INTRODUCCION AL DATWAREHOUSING
UNIVALLE 2011-BMCN

1.2 SISTEMAS DE INFORMACION

Los sistemas de informacin se han dividido de acuerdo al siguiente esquema:

DW-UNIVALLE

05/04/2011

Sistemas Estratgicos
Orientados a soportar la toma de decisiones, facilitan la labor de la direccin, proporcionndole un soporte bsico, en forma de mejor informacin, para la toma de decisiones. Se caracterizan porque son sistemas sin carga peridica de trabajo, es decir, su utilizacin no es predecible, al contrario de los casos anteriores, cuya utilizacin es peridica.

DW-UNIVALLE

05/04/2011

Sistemas Estratgicoscont

Destacan entre estos sistemas: los Sistemas de Informacin Gerencial (MIS), Sistemas de Informacin Ejecutivos (EIS), Sistemas de Informacin Georeferencial (GIS), Sistemas de Simulacin de Negocios que en la prctica son sistemas expertos o de Inteligencia Artificial - AI.

DW-UNIVALLE

05/04/2011

Sistemas Tcticos

Diseados para soportar las actividades de coordinacin de actividades y manejo de documentacin, definidos para facilitar consultas sobre informacin almacenada en el sistema, proporcionar informes y, en resumen, facilitar la gestin independiente de la informacin por parte de los niveles intermedios de la organizacin.

DW-UNIVALLE

05/04/2011

Sistemas Tcticos ..cont.

Por ejemplo los Sistemas Ofimticos (OA), Sistemas de Transmisin de Mensajera (E-mail y Fax Server), coordinacin y control de tareas (Work Flow) y tratamiento de documentos (Imagen, Trmite y Bases de Datos Documentales).

DW-UNIVALLE

05/04/2011

Sistemas Tcnico-Operativos

Que cubren el ncleo de operaciones tradicionales de captura masiva de datos (Data Entry) y servicios bsicos de tratamiento de datos, con tareas predefinidas (contabilidad, facturacin, almacn, presupuesto, personal y otros sistemas administrativos). Estos sistemas estn evolucionando con la irrupcin de censores, autmatas, sistemas multimedia, bases de datos relacionales ms avanzadas y data warehousing.

DW-UNIVALLE

05/04/2011

Sistemas Interinstitucionales

Este ltimo nivel de sistemas de informacin recin est surgiendo, es consecuencia del desarrollo organizacional orientado a un mercado de carcter global, el cual obliga a pensar e implementar estructuras de comunicacin ms estrechas entre la organizacin y el mercado (Empresa Extendida, Organizacin Inteligente e Integracin Organizacional),

DW-UNIVALLE

05/04/2011

Sistemas Interinstitucionales..cont

Como ejemplo se puede decir que la INTERNET es la base de este tipo de sistemas, y es que se convierten en vehculo de comunicacin entre la organizacin y el mercado, no importa dnde est la organizacin (INTRANET), el mercado de la institucin (EXTRANET) y el mercado (Red Global).

DW-UNIVALLE

05/04/2011

Sistemas Interinstitucionales..cont

Sin embargo, la tecnologa data warehouse basa sus conceptos y diferencias entre dos tipos fundamentales de sistemas de informacin en todas las organizaciones: los sistemas tcnico-operacionales y los sistemas de soporte de decisiones. Este ltimo es la base de un data warehouse.

10

DW-UNIVALLE

05/04/2011

1.2.1 Sistemas tcnico-operacionales

Como indica su nombre, son los sistemas que ayudan a manejar la empresa con sus operaciones cotidianas. Estos son los sistemas que operan sobre el "backbone" (columna vertebral) de cualquier empresa o institucin, entre las que se tiene sistemas de ingreso de rdenes, inventario, fabricacin, planilla y contabilidad, entre otros. Debido a su volumen e importancia en la organizacin, los sistemas operacionales siempre han sido las primeras partes de la empresa a ser computarizados. A travs de los aos, estos sistemas operacionales se han extendido, revisado, mejorado y mantenido al punto que hoy, ellos son completamente integrados en la organizacin.
11 DW-UNIVALLE 05/04/2011

1.2.1 Sistemas tcnico-operacionales..cont

Desde luego, la mayora de las organizaciones grandes de todo el mundo, actualmente no podran operar sin sus sistemas operacionales y los datos que estos sistemas mantienen.

12

DW-UNIVALLE

05/04/2011

1.2.2 Sistemas de Soporte de Decisiones

Por otra parte, hay otras funciones dentro de la empresa que tienen que ver con el planeamiento, previsin y administracin de la organizacin. Estas funciones son tambin crticas para la supervivencia de la organizacin, especialmente en nuestro mundo de rpidos cambios. Las funciones como "planificacin de marketing", "planeamiento de ingeniera" y "anlisis financiero", requieren, adems, de sistemas de informacin que los soporte. Pero estas funciones son diferentes de las operacionales y los tipos de sistemas y la informacin requerida son tambin diferentes. Las funciones basadas en el conocimiento son los sistemas de soporte de decisiones.
13 DW-UNIVALLE 05/04/2011

1.2.2 Sistemas de Soporte de Decisiones..cont

Estos sistemas estn relacionados con el anlisis de los datos y la toma de decisiones, frecuentemente, decisiones importantes sobre cmo operar la empresa, ahora y en el futuro. Estos sistemas no slo tienen un enfoque diferente al de los operacionales, sino que, por lo general, tienen un alcance diferente.

14

DW-UNIVALLE

05/04/2011

1.2.2 Sistemas de Soporte de Decisiones..cont

Mientras las necesidades de los datos operacionales se enfocan normalmente hacia una sola rea, los datos para el soporte de decisiones, con frecuencia, toma un nmero de reas diferentes y necesita cantidades grandes de datos operacionales relacionadas. Son estos sistemas sobre los se basa la tecnologa data warehousing.

15

DW-UNIVALLE

05/04/2011

Definicin Formal de Data warehouse

Un DW es una base de datos: orientada al sujeto integrada variante en el tiempo no voltil fsica diseada para soporte de decisiones.

Bill Inmon

16

DW-2010

1.3 Caractersticas de un Data warehouse - Orientada al Sujeto

Operacional Ahorros Cliente Prstamos Vendedor Tarjetas Bancarias Producto Actividad Data Warehouse

Confiabilidad

17

Orientacin a la Aplicacin

DW-2010

Orientacin al Sujeto

Integrada
INTEGRACION Operacional Data Warehouse

Aplicacin A - m,f Aplicacin B - 1,0 Aplicacin C - x,y Aplicacin D -masculino,femenino

m, f

Aplicacin A - fecha(juliana) Aplicacin B - fecha(aa/mmm/dd) Aplicacin C - fecha(mm/dd/aa) Aplicacin D - fecha(absoluta)

18 DW-2010

fecha(juliana)

Variante en el tiempo

Operacional

Data Warehouse

Datos actuales: Horizonte de tiempo: en

minutos, horas, das La llave podr o no tener un elemento de tiempo Los datos pueden ser actualizados
19

Snapshot de datos:
Horizonte de tiempo: en
aos La llave contiene un elemento de tiempo Una vez hecho el snapshot, el registro no puede ser actualizado.
DW-2010

No voltil
Operacional
Cambiar Insertar

Data Warehouse

Insertar Reemplazar Reemplazar Cargar Acceder

Cambiar

Los datos son actualizados con regularidad

20

Una vez que se ha hecho un snapshot, los datos no podrn cambiar

No ex isten las Actualizaciones

DW-2010

1.4 ESTRUCTURA DEL DATA WAREHOUSE

Los data warehouses tienen una estructura distinta. Hay niveles diferentes de esquematizacin y detalle que delimitan el data warehouse. En la figura siguiente, se muestran los diferentes componentes del data warehouse y son:

Detalle de datos actuales Detalle de datos antiguos Datos ligeramente resumidos Datos completamente resumidos Meta data

21

DW-UNIVALLE

05/04/2011

1.4 ESTRUCTURA DEL DATA WAREHOUSE

22

DW-UNIVALLE

05/04/2011

1.4 ESTRUCTURA DEL DATA WAREHOUSE

Detalle de datos actuales En gran parte, el inters ms importante radica en el detalle de los datos actuales, debido a que:

Refleja las ocurrencias ms recientes, las cuales son de gran inters Es voluminoso, ya que se almacena al ms bajo nivel de granularidad. Casi siempre se almacena en disco, el cual es de fcil acceso, aunque su administracin sea costosa y compleja.

Detalle de datos antiguos La data antigua es aquella que se almacena sobre alguna forma de almacenamiento masivo. No es frecuentemente accesada y se almacena a un nivel de detalle, consistente con los datos detallados actuales.
DW-UNIVALLE 05/04/2011

23

Datos ligeramente resumidos La data ligeramente resumida es aquella que proviene desde un bajo nivel de detalle encontrado al nivel de detalle actual. Este nivel del data warehouse casi siempre se almacena en disco. Datos completamente resumidos El siguiente nivel de datos encontrado en el data warehouse es el de los datos completamente resumidos. Estos datos son compactos y fcilmente accesibles.

24

DW-UNIVALLE

05/04/2011

1.4 ESTRUCTURA DEL DATA WAREHOUSE

Metadata

El componente final del data warehouse es el de la metadata.

La metadata juega un rol especial y muy importante en el data warehouse y es usada como:

Un directorio para ayudar al analista a ubicar los contenidos del data warehouse. Una gua para el mapping de datos de cmo se transforma, del ambiente operacional al de data warehouse. Una gua de los algoritmos usados para la esquematizacin entre el detalle de datos actual, con los datos ligeramente resumidos y stos, con los datos completamente resumidos, etc.
DW-UNIVALLE 05/04/2011

25

1.4 ESTRUCTURA DEL DATA WAREHOUSE

26

DW-UNIVALLE

05/04/2011

1.5 ARQUITECTURA DE UN DATA WAREHOUSE

27

DW-UNIVALLE

05/04/2011

1.5.1 Elementos constituyentes de una Arquitectura Data Warehouse

Una Arquitectura Data Warehouse (Data Warehouse Architecture DWA) es una forma de representar la estructura total de datos, comunicacin, procesamiento y presentacin, que existe para los usuarios finales que disponen de una computadora dentro de la empresa.

La arquitectura se constituye de un nmero de partes interconectadas:

Base de datos operacional / Nivel de base de datos externo Nivel de acceso a la informacin Nivel de acceso a los datos Nivel de directorio de datos (Metadata) Nivel de gestin de proceso Nivel de mensaje de la aplicacin Nivel de data warehouse Nivel de organizacin de datos
DW-UNIVALLE 05/04/2011

28

1.5.2 Operaciones en un Data Warehouse

29

DW-UNIVALLE

05/04/2011

1.5.2 Operaciones en un Data Warehouse

a)Sistemas Operacionales

Los datos administrados por los sistemas de aplicacin operacionales son la fuente principal de datos para el data warehouse.

b) Extraccin,Transformacin y Carga de los Datos

Se requieren herramientas de gestin de datos para extraer datos desde bases de datos y/o archivos operacionales, luego es necesario manipular o transformar los datos antes de cargar los resultados en el data warehouse.

30

DW-UNIVALLE

05/04/2011

1.5.2 Operaciones en un Data Warehouse

c) Metadata

Otro paso necesario es crear la metadata. La metadata (es decir, datos acerca de datos) describe los contenidos del data warehouse. La metadata consiste de definiciones de los elementos de datos en el depsito, sistema(s) del (os) elemento(s) fuente. Los usuarios accesan al data warehouse por medio de herramientas de productividad basadas en GUI (Graphical User Interface - Interfase grfica de usuario). Pueden proveerse a los usuarios del data warehouse muchos de estos tipos de herramientas
DW-UNIVALLE 05/04/2011

d) Acceso de usuario final

31

1.5.2 Operaciones en un Data Warehouse

e) Plataforma del data warehouse

La plataforma para el data warehouse es casi siempre un servidor de base de datos relacional. Cuando se manipulan volmenes muy grandes de datos puede requerirse una configuracin en bloque de servidores UNIX con multiprocesador simtrico (SMP) o un servidor con procesador paralelo masivo (MPP) especializado.

f) Datos Externos

Dependiendo de la aplicacin, el alcance del data warehouse puede extenderse por la capacidad de accesar a la data externa. Por ejemplo, los datos accesibles por medio de servicios de computadora en lnea (tales como CompuServe y America On Line) y/o va Internet, pueden estar disponibles a los usuarios del data warehouse.

32

DW-UNIVALLE

05/04/2011

1.6 TRANSFORMACION DE DATOS Y METADATA

1.6.1 Transformacin de Datos

Uno de los desafos de cualquier implementacin de data warehouse, es el problema de transformar los datos. La transformacin se encarga de las inconsistencias en los formatos de datos y la codificacin, que pueden existir dentro de una base de datos nica y que casi siempre existen cuando mltiples bases de datos contribuyen al data warehouse.

33

DW-UNIVALLE

05/04/2011

1.6 TRANSFORMACION DE DATOS Y METADATA, ejemplo

34

DW-UNIVALLE

05/04/2011

1.7 FLUJO DE DATOS

Existe un flujo de datos normal y predecible dentro del data warehouse. La Figura siguiente muestra ese flujo. Los datos ingresan al data warehouse desde el ambiente operacional. (Hay pocas excepciones a esta regla). Al ingresar al data warehouse, la informacin va al nivel de detalle actual, tal como se muestra. Se queda all y se usa hasta que ocurra uno de los tres eventos siguientes:

Sea eliminado Sea resumido Sea archivado

35

DW-UNIVALLE

05/04/2011

1.7 FLUJO DE DATOS

36

DW-UNIVALLE

05/04/2011

1.8 MEDIOS DE ALMACENAMIENTO PARA INFORMACION ANTIGUA

Dependiendo del volumen de informacin, la frecuencia de acceso, el costo de los medios y el tipo de acceso, es probable que otros medios de almacenamiento sirvan a las necesidades del nivel de detalle ms antiguo en el data warehouse. Por ejemplo:

37

DW-UNIVALLE

05/04/2011

1.9 USOS DEL DATA WAREHOUSE

Uso de Base de Datos Operacionales

Uso de Data Warehouse

Muchos usuarios concurrentes

Pocos usuarios concurrentes

Consultas predefinidas y actualizables

Consultas complejas, frecuentemente no anticipadas.

Cantidades pequeas de datos detallados

Cantidades grandes de datos detallados

Requerimientos de respuesta inmediata

Requerimientos de respuesta no crticos

38

DW-UNIVALLE

05/04/2011

1.10 CONSIDERACIONES ADICIONALES

Hay algunas consideraciones adicionales que deben tenerse en cuenta al construir y administrar el data warehouse.

ndice. La informacin de niveles de esquematizacin altos pueden ser libremente indexados niveles ms bajos de detalle, por ser tan voluminosa, pueden ser indexados moderadamente. particin de la informacin en el data warehouse. El nivel de detalle actual es casi siempre particionado. La particin puede hacerse de dos maneras:

al nivel de DBMS y al nivel de la aplicacin.

En la particin DBMS, se conoce las particiones y se administra por consiguiente. En el caso de la particin de las aplicaciones, slo los programadores de las mismas conocen las particiones y la responsabilidad de su administracin es asignada a ellos.
DW-UNIVALLE 05/04/2011

39

1.11 EJEMPLO DE UN DATA WAREHOUSE

40

DW-UNIVALLE

05/04/2011

1.11 EJEMPLO DE UN DATA WAREHOUSE

El ejemplo anterior hipottico de un data warehouse estructurado es para un centro de produccin industrial. Se muestra slo el detalle actual, no as los niveles de esquematizacin ni los archivos de detalle ms antiguos. Adems, se observa que hay tablas del mismo tipo divididas a travs del tiempo.

Por ejemplo, para el histrico de la fabricacin de las piezas, hay muchas tablas separadas fsicamente, representando cada una un trimestre diferente. La estructura de los datos es consistente con la tabla de la elaboracin de las piezas, aunque fsicamente hay muchas tablas que lgicamente incluyen el histrico.
DW-UNIVALLE 05/04/2011

41

1.11 EJEMPLO DE UN DATA WAREHOUSE

Para los diferentes tipos de tablas hay diferentes unidades de tiempo que fsicamente dividen las unidades de informacin.

El histrico de fabricacin est dividido por trimestres, el histrico de la orden de piezas est dividido por aos y el histrico de cliente es un archivo nico, no dividido por el tiempo. As tambin, las diferentes tablas son vinculadas por medio de un identificador comn, piezas u rdenes de piezas (la representacin de la interrelacin en el ambiente de depsito toma una forma muy diferente al de otros ambientes, tal como el ambiente operacional).
DW-UNIVALLE 05/04/2011

42

1.12 EXCEPCIONES EN EL DATA WAREHOUSE

Los componentes del data warehouse trabajan de acuerdo al modelo descrito para casi todos los datos, hay pocas excepciones tiles que necesitan ser discutidas.

Una de ellas es la data resumida pblica, que es la data que ha sido calculada fuera del data warehouse pero es usada a travs de la corporacin. La data resumida pblica se almacena y administra en el data warehouse, aunque su clculo se haya hecho fuera de l.

43

DW-UNIVALLE

05/04/2011