Data warehouse

Motivations et architecture
Conception de la BD support
Alimentation du DW
Exploitation OLAP
Conclusion

1. OLTP et OLAP
Appli.
Appli.
Appli.

OLTP

OLAP

ETL

DW

DM

Introduction DW

Reports
&
Analysis

Aides
la dcision

Explosion de l OLAP
Facteurs conomiques & technologiques
18

CA en Milliards de $

16
14
12
10
8
6
4
2
0
1994

1995

1996

1997

1998

Annes

Introduction DW

1999

2000

2001

Motivations des entreprises

Besoin des entreprises

accder toutes les donnes de lentreprise

regrouper les informations dissmines
analyser et prendre des dcisions rapidement (OLAP)

Exemples d'applications concernes

Grande distribution : marketing, maintenance, ...

Bancaire : suivi des clients, gestion de portefeuilles

produits succs, modes, habitudes dachat

prfrences par secteurs gographiques
mailing cibls pour le marketing

Tlcommunications : pannes, fraudes, mobiles, ...

Introduction DW

classification des clients, dtection fraudes, fuites de clients

Datawarehouse : dfinition
Entrept de donnes

Ensemble de donnes historises variant dans le temps,

organis par sujets, consolid dans une base de donnes
unique, gr dans un environnement de stockage
particulier, aidant la prise de dcision dans lentreprise.

Trois fonctions essentielles :

collecte de donnes de bases existantes et chargement

gestion des donnes dans lentrept
analyse de donnes pour la prise de dcision

Introduction DW

Architecture type

Introduction DW

2. Concevoir le DW
Export de donnes des sources

Htrognes et varies
Fichiers, BD patrimoniales, Web,
Dfinition des vues exportes

Dfinition d'un schma global

Intgre les donnes utiles

S'appuie sur le modle relationnel

Ncessit d'une gestion de mta-donnes

Conception DW

Description des sources

Description des vues exportes
Description du schma global

Organisation par sujet

Les donnes sont organises par sujets majeurs:

Clients, produits, ventes,

Sujet = faits + dimensions

Collecte les donnes utiles sur un sujet

Synthtise une vue simple des vnements analyser

Exemple: Ventes (N, produit, priode, magasin, )

Dtaille la vue selon les dimensions

Conception DW

Exemple: ventes

Exemple: Produits(IDprod, description, couleur, taille, )

Magasins(IDmag, nom, ville, dept, pays)
Periodes(IDper, anne, trimestre, mois, jour)

Schmas en toile
Une table de faits encadres par N tables de dimensions
Produits
Periodes
IDper
anne
trimestre
mois
jour

Table de faits ventes

periode
produit
magasin
units_vendues
montant_ventes
taxes_ventes

Conception DW

IDprod
description
couleur
taille
fournisseur

Magasins
IDmag
nom
ville
dpartement
pays

Schmas en flocons
Raffinement du schma toile avec des tables normalises par
dimensions
Produits
Fournisseurs

Ventes

IDprod
description
couleur
taille
IDfour

IDfour
description
type
Adresse

Avantages

Conception DW

vite les redondances

Conduit aux constellations (plusieurs tables de faits dimensions
partages)

Conception du schma intgr

Isoler les faits tudier

Schma des tables de faits

Dfinir les dimensions

Axes d'analyse

Normaliser les dimensions

clater en plusieurs tables lis par contraintes rfrentielles

Intgrer l'ensemble

Plusieurs tables de faits partagent quelques tables de dimension

(constellation dtoiles)

Conception DW

Bilan conception
Le datawarehouse regroupe,
historise, rsume les donnes
de l'entreprise
Le concepteur dfinit schma
exports et intgrs

des choix fondamentaux !

Ciblage essentiel !

Le datamart cest plus cibl et

plus petit.
Questions ?

Conception DW

Peut-on ajouter des donnes au

niveau de l entrept ?

3. Alimenter le DW
ETL = Extracteur+Intgrateur

Extract + Transform + Load

Extraction

Depuis les bases sources ou les journaux

Diffrentes techniques
Push = rgles (triggers)
Pull = requtes (queries)

Priodique et rpte

Difficult

L'alimentation

Dater ou marquer les donnes envoyes

Ne pas perturber les applications OLTP

Transformation
Accs unifis aux donnes

Unification des modles

Traduction de fichiers, BD rseaux, annuaires en tables

Evolution vers XML (modle d'change) plus riche

Unification des accs

Rowset, SQL limit, SQL complet,

Mapping plus ou moins sophistiqu

Unification des noms

Appeler pareil les mmes choses et diffremment les choses diffrentes

Application des "business rules"

Elimination des doubles

Jointure, projection, agrgation (SUM, AVG)

Cleaning des donnes

L'alimentation

Data Cleaning
Valeurs manquantes (nulles)

Ignorer le tuple
Remplacer par une valeur fixe ou par la moyenne

Valeurs errones ou inconsistantes

Gnres en prsence de bruits

Dtecter par une analyse de voisinage
cart par rapport la moyenne
Factorisation en groupes (outliers)

Remplacer par une valeur fixe ou par la moyenne

Inspection manuelle de certaines donnes possible

L'alimentation

Chargement
Pas de mise jour

Insertion de nouvelles donnes

Archivage de donnes anciennes

De gros volumes

Priodicit parfois longue

Chargement en blocs (bulk load)
Mise jour des index et rsums

Problmes

L'alimentation

Cohabitation avec l'OLAP ?

Procdures de reprises ?

4. Grer l'entrept
Base relationnelle

Support de larges volumes (qq 100 gigas qq tras)

Historisation des donnes (fentres)
Importance des agrgats et chargements en blocs

Base spcialise

Base multidimensionnelle
Combinaison des deux

Machine support parallle

Multiprocesseurs
Mmoire partage, cluster, bus partag, etc.

Le multidimensionnel

Le multidimensionnel
Dimensions:

Temps
Gographie
Produits
Clients
Canaux de ventes.....

Le multidimensionnel

Indicateurs:

Nombre dunits
vendues
CA
Cot
Marge.....

300

15

NumFou

2002 350 600

12

2001 300 500 400

Date

10

Cube de donnes

NumPro

2000 250

200

F2
F1

P1
Le multidimensionnel

P2

P3

Le data cube et les dimensions

Axe d'analyse: La gographie
(Pays - rgion - ville)

Variables analyses:
Nb units, CA, marge...

Axe d'analyse: Les produits

(classe, produit)

Axes d'analyse: dimensions

Axe d'analyse: Le temps
Variables analyses: indicateu
(Anne, trimestre, mois, semaine)
Le multidimensionnel

La granularit des dimensions

Temps

Jours

Gographie

Produits
Le multidimensionnel

Villes

Numros

Mois

Trimestres

Rgions

Types

Annes

Pays

Gammes

Marques

Exemple
Montant des ventes fonction de (Mois, rgion, Produit)
R
gi
on

Granularit des dimensions :

Produit

Type

Rgion

Anne

Catgorie Pays

Trimestre

Produit

Mois

Ville

Magasin

Mois

Le multidimensionnel

Semaine
Jour

La navigation multidimensionnelle
Projection en 2 dimensions
Produits

Coupe d un cube
Produits
pour une rgion donne

CA

CA
Rgion
Temps en semaines

Rduction selon 1 dimension

Zoom selon une dimension
Produits
France

CA
Temps en mois

Le multidimensionnel

Est
Lyon

Sud

Ouest

Marseille

Nice

L'algbre des cubes

Roll up :

Agrger selon une dimension

Semaine Mois

Drill down :

Dtailler selon une dimension

Mois Semaine

Slice et Dice:

Slection et projection selon 1 axe

Mois = 04-2003 ; Projeter(Rgion, Produit)

Pivot :

Tourne le cube pour visualiser une face

(Rgion,Produit)(Rgion, Mois)

Le multidimensionnel

Les vues d'un cube

Partant d'un cube 3D, il est possible d'agrger selon une
dimension tournante
On obtient un treillis de vues (calculable en SQL)
NumPro, NumFou, Date
NumPro, NumFouNumPro, DateNumFou, Date
NumPro
Le multidimensionnel

NumFou

Date

Extension de SQL
ROLLUP:

SELECT <column list>

FROM <table>
GROUP BY
ROLLUP(column_list);

Cre des agrgats

n+1 niveaux, n tant le
nombre de colonne de
groupage

Implmentation

CUBE:

SELECT <column list>

FROM <table>
GROUP BY
CUBE(column_list);

Cre 2n combinaisons
d'agrgats, n tant le
nombre de colonne de
groupage
n, n-1, n-2,0 colonnes

Exemple CUBE
Animal
Chien
Chat
Tortue
Chien
Chat
Chien
Tortue

Lieu
Paris
Paris
Rome
Rome
Naples
Naples
Naples

Quantite
12
18
4
14
9
5
1

SELECT Animal, Lieu,

SUM(Quantite) as Quantite
FROM Animaux
GROUP BY Animal, Magasin
WITH CUBE
Implmentation

Animal
Chat
Chat
Chat
Chien
Chien
Chien
Chien
Tortue
Tortue
Tortue

Lieu
Paris
Naples

Paris
Naples
Rome

Naples
Rome

Paris
Naples
Rome

Quantite
18
9
27
12
5
14
31
1
4
5
63
30
15
18

Exemple ROLLUP
Animal
Chien
Chat
Tortue
Chien
Chat
Chien
Tortue

Lieu
Paris
Paris
Rome
Rome
Naples
Naples
Naples

Quantite
12
18
4
14
9
5
1

SELECT Animal, Lieu,

SUM(Quantite) as Quantite
FROM Animaux
GROUP BY Animal,Magasin
WITH ROLLUP
Implmentation

Animal
Chat
Chat
Chat
Chien
Chien
Chien
Chien
Tortue
Tortue
Tortue

Lieu
Paris
Naples

Paris
Naples
Rome

Naples
Rome

Quantite
18
9
27
12
5
14
31
1
4
5
63

Quelques outils OLAP

Oracle

OLAP API = Datacube

Express = Analyse
Report = Reporting

Business Object

Implmentation

BusinessQuery = Requtage
BusinessObject = Requtage
+ Analyse + Reporting
WebIntelligence = Datacube

Cognos

Impromptu = Reporting
Powerplay = Datacube
Query = Requtage

Hyperion

ESS Base = Base MOLAP

ESS Analysis= Analyse +
Datacube

6. Le march du BI
BI= Business Intelligence

Data PRO Users Survey

Conclusion

Les Data Trucs

Datawarehouse

entrept des donnes historises de l'entreprise

Datamart

magasin de donnes cibl sur un sujet prcis

Datamining

exploration des donnes afin de dcouvrir des connaissances

Datacube

cube de prsentation d'units selon 3 dimensions

Datawebhouse

Conclusion

entrept des donnes collectes sur le web