MODELO DE DATOS

Modelo de datos. Teoría y Práctica.

Ejemplo sobre Empresa de Distribución
 MODELO DE DATOS

Información
Información
de puntos
de catálogo
Información de
proveedores

Información
de clientes
Información de
Información incidencias
de ventas

Información de
tiendas
Información
de productos

Información Información
de campañas de segmentos

Información de
comunicaciones
 MODELO DE DATOS

Información
Información
de puntos
de catálogo
Información de
proveedores

Información
de clientes
Información de
Información incidencias
de ventas

Información de
tiendas
Información
de productos

Información Información
de campañas de segmentos

Información de
comunicaciones
 MODELO DE DATOS

Nombre
Apellido 1 Información
de clientes
Apellido 2
Tipo Vía
Nombre Vía
Nº Vía
Resto Vía
Código Postal
Localidad
Provincia
Fecha nacimiento
Estado Civil
Fecha Alta
Centro Alta
Email
...
 MODELO DE DATOS

Información
Información
de puntos
de catálogo
Información de
proveedores

Información
de clientes
Información de
Información incidencias
de ventas

Información de
tiendas
Información
de productos

Información Información
de campañas de segmentos

Información de
comunicaciones
 MODELO DE DATOS

Fecha venta
Información
de ventas Cliente
Producto
Tienda
Coste unitario
Nº unidades
...
 MODELO DE DATOS

Información
Información
de puntos
de catálogo
Información de
proveedores

Información
de clientes
Información de
Información incidencias
de ventas

Información de
tiendas
Información
de productos

Información Información
de campañas de segmentos

Información de
comunicaciones
 MODELO DE DATOS

Información de Nombre
proveedores Domicilio Social
Teléfono 1
Teléfono 2
...
 MODELO DE DATOS

Información
Información
de puntos
de catálogo
Información de
proveedores

Información
de clientes
Información de
Información incidencias
de ventas

Información de
tiendas
Información
de productos

Información Información
de campañas de segmentos

Información de
comunicaciones
 MODELO DE DATOS

Código Producto
Información Referencia
de productos
Descripción
Fecha alta
Fecha baja
Subfamilia
Familia
Sección
Departamento
...
 MODELO DE DATOS

Información
Información
de puntos
de catálogo
Información de
proveedores

Información
de clientes
Información de
Información incidencias
de ventas

Información de
tiendas
Información
de productos

Información Información
de campañas de segmentos

Información de
comunicaciones
MODELO DE DATOS

Código Tienda
Información de Descripción
tiendas
Dirección
Localidad
Regional
...
 MODELO DE DATOS

Información
Información
de puntos
de catálogo
Información de
proveedores

Información
de clientes
Información de
Información incidencias
de ventas

Información de
tiendas
Información
de productos

Información Información
de campañas de segmentos

Información de
comunicaciones
MODELO DE DATOS

Código Campaña
Descripción
Información Fecha alta
de campañas
Fecha baja
Segmento
...
 MODELO DE DATOS

Información
Información
de puntos
de catálogo
Información de
proveedores

Información
de clientes
Información de
Información incidencias
de ventas

Información de
tiendas
Información
de productos

Información Información
de campañas de segmentos

Información de
comunicaciones
MODELO DE DATOS

Descripción
Cliente
Fecha alta
Información
Fecha baja de segmentos
...
 MODELO DE DATOS

Información
Información
de puntos
de catálogo
Información de
proveedores

Información
de clientes
Información de
Información incidencias
de ventas

Información de
tiendas
Información
de productos

Información Información
de campañas de segmentos

Información de
comunicaciones
 MODELO DE DATOS

Cliente
Tipo comunicación
Fecha envío

Información de Respuesta
comunicaciones ...
 MODELO DE DATOS

Información
Información
de puntos
de catálogo
Información de
proveedores

Información
de clientes
Información de
Información incidencias
de ventas

Información de
tiendas
Información
de productos

Información Información
de campañas de segmentos

Información de
comunicaciones
MODELO DE DATOS

Cliente
Ticket
Fecha Información de
Clasificación incidencias

...
 MODELO DE DATOS

Información
Información
de puntos
de catálogo
Información de
proveedores

Información
de clientes
Información de
Información incidencias
de ventas

Información de
tiendas
Información
de productos

Información Información
de campañas de segmentos

Información de
comunicaciones
MODELO DE DATOS

Información
Cliente
de puntos
Puntos obtenidos
Puntos canjeados
Fecha movimiento
Saldo
...
 MODELO DE DATOS

Información
Información
de puntos
de catálogo
Información de
proveedores

Información
de clientes
Información de
Información incidencias
de ventas

Información de
tiendas
Información
de productos

Información Información
de campañas de segmentos

Información de
comunicaciones
MODELO DE DATOS

Código Producto
Información
de catálogo Referencia
Descripción
Fecha alta
Fecha baja
Puntos asociados
...
 MODELO DE DATOS

Objetivo: Analizar y extraer información útil de los datos

Necesidad: disponer de los datos.

Proceso de recopilación
Archivo simple .- Diversidad de fuentes
.- Tamaño de las fuentes

Qué fuentes Cómo se van a

.- Internas mantener en el
.- Externas tiempo

Cómo se van Cómo se va a poder extraer

a organizar .- Total / parcialmente
.- Agregados / en detalle

Los almacenes de datos no son estrictamente necesarios para realizar minería de

datos pero sí son muy útiles si se trabaja con grandes volúmenes de datos, que
varían en el tiempo y donde se desea realizar tareas de minería de datos variadas,
abiertas y cambiantes.
 MODELO DE DATOS
Identificación + recolección de datos

· Para una tarea puntual · Diferentes fuentes

· Poca cantidad .- Externas
· Poca variedad .- Internas
· Datos complejos y variados
· Cambiantes

Metodología y técnica para

“lógica” recopilación e integración de datos
para el análisis y obtención de
informes

Almacenes de datos
Base de datos
Data Warehouse

Analizar
 MODELO DE DATOS

BBDD Transaccional

Operan todas las aplicaciones de la empresa:

· Producción · Proveedores
· Ventas · Nóminas...

Ejemplo: ¿Puedo calcular cuota

Se registra cada venta: de bolsillo?
.- La fecha Identificar la
.- Las unidades información válida
.- El comprador para el análisis: qué
.- El país de origen del fuentes externas
comprador serán necesarias

Identificar la información válida para el análisis: qué fuentes externas serán necesarias

Datos socioeconómicos,
demográficos…
BBDD
Transaccional

Información necesaria
 MODELO DE DATOS

Usos del sistema de información

.- Procesamiento transaccional: OLTP (On-line transactional processing)

.- Aplicaciones del día a día

.- Trabajo “primario” de un sistema de información Objetivo:
.- Actualizaciones y consultas a la base de datos Operacional

.- Procesamiento analítico: OLAP (On-line analytical processing)

.- Exclusivamente de consulta Objetivo:

.- Agregaciones y cruces de mucha información Apoyo en toma
.- Informes / resúmenes de decisiones
 MODELO DE DATOS
Procesamiento transaccional vs procesamiento analítico
Base de datos
Transaccional
Propósito Operaciones diarias.
Soporta aplicaciones
Tipo de datos Datos de funcionamiento
de la organización
Características de los Datos de funcionamiento,
datos internos, incompletos
Modelo de datos Datos normalizados
Acceso SQL. Lectura y escritura
Procesos de volcado y
mantenimiento
Base de datos
Transaccional
Almacén de Datos
Recuperación de información,
informes, análisis y minería de datos
Datos útiles para el análisis, el
“reporting”
Datos históricos, datos internos y
externos, datos descriptivos
Datos en estrella, en copo de nieve,
multidimensionales
SQL y herramientas propias. Lectura
Almacenes
de datos
 MODELO DE DATOS

Estructura jerárquica

Copo de nieve

Depto.

Estrella
Sección

Lugar
Producto
Familia
Ventas Color
Lugar

Producto
Tiempo Talla
Región CCAA

Tiempo Colección

Rebajas Rebajas
Mes Semana
verano invierno

Trimestre
 MODELO DE DATOS

Estructura jerárquica
 MODELO DE DATOS

Estructura jerárquica
 MODELO DE DATOS

Tipos de tablas en los almacenes de datos

Hay tres tipos fundamentales de tablas en un data warehouse:

· Tablas base: (Tablas de datos primarios o tablas de hechos).

Contienen tanto métricas como atributos y almacenan los datos “objetivo”.
VENTAS

ID_producto

ID_Tienda

Ventas

· Tablas Lookup: (Tablas de descripción)

Se utilizan cuando los datos en una tabla base vienen referenciados mediante un
identificador.
Estas tablas almacenan la descripción de los identificadores.
L_Producto L_Tienda

ID_producto ID_Tienda

DESC_producto DESC_Tienda

· Tablas de relaciones:
Almacenan relaciones padres-hijos entre atributos. También relaciones muchos a muchos
Producto_Color

ID_producto

ID_Color

DESC_Color
 MODELO DE DATOS
Relaciones. (Ejemplo: Atributo Cliente)

Uno a uno: ID cliente - DNI Muchos a uno: ID cliente – código postal (padres)
Un cliente tiene un único dni Un código postal tiene uno / muchos clientes
Un dni pertenece a un único cliente Un cliente pertenece a un único código postal

Uno a muchos: ID cliente – ID ticket (hijos) Muchos a muchos: ID cliente – segmento

Un cliente puede tener uno / muchos ticket Un segmento tiene uno / muchos clientes
Un ticket corresponde a uno y sólo uno cliente Un cliente puede pertenecer a uno / muchos segmentos
 MODELO DE DATOS

Explotación de los almacenes de datos

Los operadores permiten modificar la consulta realizada sin ejecutar otra:

.- Drill (down / across): Aumentar el nivel de detalle. Mayor desglose de la información
.- Roll (up / across): Disminuir el nivel de detalle. Menor desglose de la información.
.- Slice & Dice: Seleccionar y mostrar
.- Pivot: Invertir las dimensiones

Implementación del almacén de datos

2 Tipos esquemas físicos

ROLAP: físicamente el almacén MOLAP: el almacén se construye

de datos se construye sobre una sobre estructuras basadas en
base de datos relacional matrices multidimensionales

Microstrategy, Informix Oracle Express, Hyperion

Metacube, Oracle Discoverer Enterprise
 MODELO DE DATOS

Principales pasos para el diseño de un almacén de datos

· Elegir el proceso de la empresa sobre el que se desean generar

informes complejos frecuentemente

· Decidir el hecho central y el nivel de detalle

· Identificar dimensiones y jerarquías de agregación y los atributos

básicos de cada nivel

· Especificar las relaciones entre atributos.

· Tablas Agregadas

· Tablas Particionadas

· Creación de índices.
 MODELO DE DATOS

Proceso ETL

Proceso de carga y mantenimiento

.- Extraction
.- Transformation
.- Load

Lectura datos
Pruebas de calidad transaccionales

Indización Incorporación de
datos externos
ETL
Planificación de la carga
y mantenimiento Creación de claves

Integración de datos
Limpieza y
Transformación Agregaciones
 MODELO DE DATOS

Información
Información
de puntos
de catálogo
Información de
proveedores

Información
de clientes
Información de
Información incidencias
de ventas

Información de
tiendas
Información
de productos

Información Información
de campañas de segmentos

Información de
comunicaciones
 MODELO DE DATOS

Necesidad

Analizar la información

Objetivo

Mejorar la gestión del negocio

 MODELO DE DATOS
Objetivos del Modelo de Datos

• Consolidación de la Información. Una base de datos única.

• Cliente único: No duplicidad de información

• Puntos de vista del análisis: la información deberá ser analizable desde todas
las jerarquías consideradas. Esto incluye cruces entre cualquiera de ellas:
• Cliente
• Producto
• Centro
• ...
• Agregaciones. Siempre será posible obtener distintos niveles de agregación
generando un roll up / drill down, pero la información almacenada será al
máximo detalle disponible.
 MODELO DE DATOS
Usuarios de la información

¿Qué información para quién?

 MODELO DE DATOS
Proceso de Implantación

1. Análisis
· Conocimiento del negocio
· Analizar el sistema informático
· Definición de los requerimientos del
usuario (informes)
· Documentación Planificación
· Definición del modelo lógico
· Definición del proceso de ETL
2. Desarrollo
· Definición del modelo físico
· Implementación modelo físico
· Desarrollo procesos de ETL

3. Implantación · Implementación del modelo lógico

· Generación de objetos básicos

para generación de informes
· Creación de informes
· Configuración de perfiles de
usuario y seguridad
· Diseño y visualización
 MODELO DE DATOS
1. Análisis
Conocer el Sistema de Información existente.

Fuentes de Información Modelo de Datos

o BBDD disponibles o Contenido del Modelo

o Ubicación Física o Desglose de la Información
o Entorno Tecnológico o Grado de Normalización

Explotación de los Datos Necesidades de Información

o Herramientas para la Explotación o Usuarios de la Información

o Dimensión de BBDD o Informes estándar
o Visualización de la Información
 MODELO DE DATOS
1. Análisis
Grado de Normalización

Tratamiento de
•Asignación población y vía según INE
domicilios
•Corrección y actualización de nombre de
Variables de
vías y poblaciones erróneos u obsoletos
partida
•Asignación del código postal (en función
población, vía y número)
•Nombre
•Apellido 1
•Apellido 2 Tratamiento de •Separación de nombre de pila y apellidos
•Tipo de Vía nombres
•Asignación de sexo
•Nombre de Vía
•Corrección de errores
•Nº
•Expansión de abreviaturas
•Resto Vía
•Detección de nombres no identificables
•Código Postal
•Población
•Provincia •Asignación clave en función nombre y
Duplicados
•Fecha dirección
Nacimiento •Identificación de duplicados
•DNI
•Teléfono 1
•Teléfono 2 Normalización de •Eliminación caracteres no numéricos
teléfonos •Asignación del prefijo
•Comprobación de los 5 primeros dígitos en
función de población y vía.
 MODELO DE DATOS
2. Desarrollo
Definición del modelo de datos.

DEPARTAMENTO
ID departam ento
CAMPAÑA REGIÓN Descripción
ID cam paña ID región iddepartamento = iddepartamento
Descripción Descripción SECCIÓN
idscampaña = idcampaña idregión = idregión
ID sección
Descripción
SEGMENTO idtienda=idtienda TIENDA ID departam ento
ID segm ento ID tienda idsección = idsección
Descripción CLIENTE Descripción FAMILIA
ID cam paña ID cliente Localidad ID fam ilia
idsegmento = idsegmento
Sexo ID región Descripción
Dirección Postal idtienda=idtienda
ID sección
SEGCLIENTE Municipio idproducto = idproducto idfamilia = idfamilia
ID segm ento Provincia TICKET PRODUCTO SUBFAMILIA
ID cliente Código Postal ID ticket ID producto ID subfam ilia
ID cam paña Fecha Alta ID producto Referencia Descripción
Fecha Alta ID tienda ID cliente Descripción ID fam ilia
Fecha Baja Lortad Fecha Pedido ID subfam ilia
idsubfamilia = idsubfamilia
idcliente = idcliente em ail Num Unidades Fecha Alta
idcliente = idcliente
Im porte Unidad Fecha Baja
ID tienda idproducto = idproducto
PUNTOS Entrega idproveedor = idproveedor
ID cliente Fecha Entrega PDTO_PROV PROVEEDOR
Nº Tarjeta Hora Inicio Entrega ID producto ID proveedor
Fecha Hora Fin Entrega ID proveedor Descripción
Oferta idticket = idticket CIF
Puntos Debe
Puntos Haber INCIDENCIA SUBCAT_INCID
ID incidencia ID subcategoría CATE_INCID
nº tarjeta = nº tarjeta
ID ticket Descripción ID categoría
SALDO ID subcategoría ID categoría Descripción
Nº Tarjeta idsubcategoría = idcategoría =
Fecha actualiz. idsubcategoría idcategoría
Saldo
 MODELO DE DATOS
2. Desarrollo
Alimentación del modelo de datos.

SEGTO-CLIENTE CENTRO MOVIMIENTOS PUNTOS

Centro en el que Quién compra Asignación de los

Qué cliente
se da de alta qué, cuándo y puntos por
pertenece a qué
dónde. compra o por
segmento
Quién canjea oferta
qué cupón
SEGMENTO
SALDO
Cliente Oro, Plata.. CLIENTE PRODUCTO
Cl. Zona influencia
Cl. Frecuente.. Actualización
automática
Datos de Descripción
registro de alta productos
CAMPAÑA

Agrupación de
ofertas dentro de
una misma
campaña
Origen: Se genera en el
Origen: Se genera en el proceso de compra o de
proceso de análisis en Origen: Se genera en el carga con cumplimiento
el Sistema de proceso de alta. Origen: Se genera en el condiciones
Información Formulario solicitud proceso compra
 MODELO DE DATOS
2. Desarrollo
Comprobaciones del modelo de datos

Verificación de carga correcta en todas las tablas del modelo

Comprobación de igualdad de datos almacenados en origen (cliente) y en el modelo.

Coherencia resultados generados

Revisión, contrastación y repetición

Diseño de informes específicos

 MODELO DE DATOS
3. Implantación
Jerarquías

Jerarquía de Tiempo Jerarquía de Producto

MODELO DE DATOS

FIN