PUBLICATION API04

RACHID ADOUL
UNIVERSIT DE TECHNOLOGIE DE COMPIGNE

lication:

Oracle data integrat

Table des matires

Table des matires.......................................................................................................1

Introduction...................................................................................................................2

Prrequis......................................................................................................................3
Cration du rfrentiel matre.......................................................................................5
Cration du rfrentiel de travail................................................................................12
Cration dun processus ETL avec Oracle Data Integrator........................................15

Pour aller plus loin......................................................................................................46

Table des figures........................................................................................................47

2013 - 2014

Introduction
Ce document a t ralis dans le cadre dune formation dIngnieur par apprentissage
lUniversit de Technologie de Compigne. Lobjectif de cette publication est de prsenter une
application de loutil Oracle Data Integrator.
Oracle Data Integrator est une plateforme complte dintgration de donnes qui couvre de
multiples besoins dintgration exprims par les entreprises. Cest un outil dETL (Extract, Transform
and Load) pour Data Warehouse qui permet notamment deffectuer des transformations partir de
sources multiples (structurs ou non) vers des cibles htrognes.
ODI offre la possibilit de faire des chargements en masse avec une performance leve de
Data Warehouses, de Datamarts, de cubes et dapplications analytiques. De plus, il traite facilement
les chargements incrmentiels, la gestion des dimensions volution lente, lintgrit et la cohrence
des donnes ainsi que lanalyse dimpact.
Lune des particularits de cet outil est son style dETL innovant. En effet, Oracle Data
Integrator utilise une architecture nouvelle gnration : lE-LT (Extract, Load and Transform). Cette
architecture permet de raliser des transformations en utilisant les moteurs de SGBDR, avec une
efficacit et une performance trs importante. Les spcificits des bases de donnes sont ainsi
pleinement exploites. En outre, un serveur spar et conventionnel nest plus ncessaire, ce qui
permet de raliser un gain financier considrable.
Cette publication a pour objectif de prsenter un tutoriel pour raliser un processus ETL avec
Oracle Data Integrator. Elle se compose de trois parties. Dans un premier temps, nous verrons
comment crer le rfrentiel matre sur ODI, ensuite nous implmenterons un rfrentiel de travail.
Enfin, nous raliserons un processus ETL avec une dimension reprsentant des clients.

2013 - 2014

Prrequis
1. Installer Java JDK.
Voici un lien pour installer Java JDK :
http://www.oracle.com/technetwork/java/javase/downloads/index.html
2. Installer Oracle Database (11g ou autre version).
Voici un lien pour installer Oracle Database :
http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html
Pour installer Oracle, il vous suffit de dzipper dans un dossier les fichiers tlchargs et de
lancer le fichier database/setup.exe .
3. Installer Oracle Data Integrator (11gR1 ou autre version).
Voici un lien pour installer Oracle Data Integrator :
http://www.oracle.com/technetwork/middleware/data-integrator/downloads/index.html
Pour installer Oracle Data Integrator il vous suffit e dzipper les deux fichiers tlchargs
dans un mme dossier et de lancer le fichier Disk1/setup.exe .
Remarque : Ignorer linstallation du rfrentiel durant linstallation dOracle Data Integrator.
4. Vrifier que les services dOracle sont bien dmarrs sur votre machine.
Pour vrifier cela, vous pouvez taper Services.msc dans la barre de recherche du menu Dmarrer
de Windows et vrifier que les services Oracle sont bien dmarrs.

Figure 1: Fentre des services Windows

2013 - 2014

5. Dbloquer lutilisateur SYSTEM dOracle et modifier son mot de passe afin dtre capable de
sy connecter pour crer de nouveaux schmas.
Il vous suffit douvrir SQLPLUS, de vous connecter en tant que sysdba, et de modifier le mot de
passe. Pour cela, ouvrez linvite de commandes et entrez les commandes suivantes:
sqlplus /nolog
connect / as sysdba
alter user SYSTEM account UNLOCK;
alter user SYSTEM identified by oracle1;

Figure 2: Dblocage de l'utilisateur SYSTEM sous SQL Plus

Remarque : Le mot de passe de lutilisateur SYSTEM par dfaut devrait correspondre au mot de
passe que vous avez entrez lors de linstallation dOracle database. Si vous le connaissez, vous
naurez qu dbloquer lutilisateur.
6. Vrifier que vous avez le dossier ODI_Sources de la publication.

2013 - 2014

Cration du rfrentiel matre

1. Lancer SQL Developer et crer une nouvelle connexion pour lutilisateur SYSTEM. Le mot de
passe sera oracle1 si vous avez excut les commandes de la partie Prrequis . Le port
est le 1521 et le service est ORCL.

Figure 3: Cration d'une nouvelle connexion sur SQL Developer

Figure 4: Fentre de cration d'une nouvelle connexion sur SQL Developer

2. Crer un nouveau schma/utilisateur avec les droits connect et resource pour le rfrentiel
matre que lon va crer dans Oracle Data Integrator. Utiliser la connexion ADMIN cr juste
avant pour le faire.

2013 - 2014

Le schma peut tre cre en utilisant les commandes SQL suivantes :

create user <MY_SCHEMA> identified by <MY_PASS>
default tablespace <MY_TBS> temporary tablespace <MY_TEMP>;
grant connect, resource to <MY_SCHEMA>;
Avec:
<MY_SCHEMA> correspond au nom du schma que vous voulez crer
<MY_PASS> correspond au mot de passe
<MY_TBS> correspond au tablespace dOracle o les donnes seront stockes
<MY_TEMP> correspond au tablespace par dfaut temporaire
Pour crer un utilisateur snpm1 avec les droits connect et resource pour le rfrentiel matre,
excutez les commandes suivantes :
create user snpm1 identified by oracle1
default tablespace users temporary tablespace temp;
grant connect, resource to snpm1;

Figure 5: Cration du schma snpw1 (pour le rfrentiel matre) sur SQL Developer

2013 - 2014

3. Lancer Oracle Data Integrator via le menu Dmarrer de Windows et crer un nouveau
rfrentiel.

Figure 6: Cration d'un nouveau rfrentiel matre

Figure 7: Cration d'un nouveau rfrentiel matre (2)

Le mot de passe de lutilisateur snpm1 est oracle1 .

2013 - 2014

Le mot de passe de lutilisateur SYSTEM est oracle1 .

Figure 8: Fentre de cration d'un nouveau rfrentiel matre

Tester la connexion et appuyer sur Suivant .

Figure 9: Fentre de cration d'un nouveau rfrentiel matre (2)

Entrez le mot de passe SUNOPSIS .

2013 - 2014

Figure 10: Fentre de cration d'un nouveau rfrentiel matre (3)

Choisissez Stockage de mot de passe interne et cliquez sur Fin .

4. Crer une nouvelle connexion pour se connecter au rfrentiel matre.
Cliquez de nouveau sur Fichier Nouveau.

Figure 11: Cration d'une nouvelle connexion pour le rfrentiel matre

2013 - 2014

Entrez les paramtres de connexion comme sur limage suivante :

Figure 12: Fentre de cration d'une nouvelle connexion

Le mot de passe de lutilisateur SUPERVISOR est SUNOPSIS .

Le mot de passe de lutilisateur snpm1 est oracle1 .
Puis, testez la connexion en cliquant sur le bouton Tester .

"
Figure 13: Test de cration d'une nouvelle connexion

2013 - 2014

10

5. Se connecter au rfrentiel matre qui vient dtre cre.

Figure 14: Connexion un rfrentiel

Figure 15: Fentre de connexion un rfrentiel existant

Figure 16: Onglet topologie

Nous venons de crer le rfrentiel matre. Afin de travailler sur Oracle Data Integrator, il va
maintenant falloir crer un rfrentiel de travail.

2013 - 2014

11

Cration du rfrentiel de travail

1. De la mme manire que pour le rfrentiel matre, crer un nouveau schma/utilisateur
snpw1 sur SQLDeveloper en utilisant la connexion ADMIN.
Voici les commandes excuter :
create user snpw1 identified by oracle1
default tablespace users temporary tablespace temp;
grant connect, resource to snpw1;
2. Aller sur Oracle Data Integrator, se connecter au rfrentiel matre si cela nest pas encore
fait, cliquer sur longlet Topologie , pour ensuite crer un nouveau rfrentiel de travail.

Figure 17: Cration d'un nouveau rfrentiel de travail

Entrez les paramtres suivants :

Technologie : Oracle
Pilote JDBC : oracle.jdbc.OracleDriver
URL JDBC: jdbc :oracle :thin@localhost :1521 :orcl
Utilisateur: snpw1
Mot de passe : oracle1
Faites attention aux copier-coller qui peuvent gnrer parfois des erreurs.

2013 - 2014

12

Vous pouvez alors tester la connexion.

Figure 18: Test de cration d'un nouveau rfrentiel de travail

Cliquez sur Suivant > et indiquez les proprits du rfrentiel comme cela :

Figure 19: Fentre de cration d'un nouveau rfrentiel de travail

Puis, cliquez sur Fin.

2013 - 2014

13

Une fentre vous proposera alors de crer une connexion (login) pour le rfrentiel venant dtre
cre. Cliquez sur Oui et entrez le login WORKREP1.

Figure 20: arborescence des rfrentiels existants

3. Dconnectez-vous du rfrentiel matre et connectez-vous au rfrentiel de travail

WORKREP1.

Figure 21 : Dconnexion au rfrentiel courant

Figure 22: Fentre de connexion un nouveau rfrentiel existant (WORKREP1)

Cliquez sur OK et vrifiez que la connexion fonctionne bien.

En somme vous avez russi crer le rfrentiel matre qui correspond au rfrentiel qui va
contenir les donnes ncessaires linfrastructure du projet (schma physique et gestion des
utilisateurs). Cest le rfrentiel des mtas donns du systme dinformation dcisionnel sur lequel est
ralis votre projet ODI.
De plus, vous avez galement cre un rfrentiel de travail pour le rfrentiel matre. Pour un
rfrentiel matre, il est possible de crer plusieurs rfrentiels de travail. Par exemple, pour chaque
environnement de travail (Dveloppement, Production, etc.).

2013 - 2014

14

Cration dun processus ETL avec

Oracle Data Integrator
1. Prrequis
Nous allons dans cette partie raliser un processus ETL avec Oracle Data Integrator.
Le but est de crer une table cible TRG_CUSTOMER dans un schma oracle (que je
nommerai ODI_STAGE) partir de 3 sources : 2 fichiers (file/SRC_AGE_GROUP.txt et
file/SRC_SALES_PERSON.txt) et 1 table relationnelle (SRC_CUSTOMER) dfinie dans un schma
diffrent de celui utilis pour la source (je nommerai ce schma ODI_STAGE_SRC).
Ainsi, Vous pouvez soit utiliser vos deux schma de lUV API04 (initial et celui du projet), soit
en crer des nouveaux en excutant ces commandes SQL sur SQLDeveloper en utilisant la
connexion ADMIN (utilisateur SYSTEM).
create user ODI_STAGE identified by ODI_STAGE
default tablespace users temporary tablespace temp;
grant connect, resource, create trigger, create view to ODI_STAGE;
create user ODI_STAGE_SRC identified by ODI_STAGE
default tablespace users temporary tablespace temp;
grant connect, resource, create trigger, create view to ODI_STAGE_SRC;
Vous pouvez maintenant crer les connexions sur SQLDeveloper correspondantes et excuter les
scripts fournis.
Dans ODI_STAGE_SRC, excuter CREATE_SRC_DATABASE.sql et LOAD_SRC_DATABASE.sql.
Dans ODI_STAGE, excuter CREATE_TRG_DATABASE.sql.

Figure 23: Schma ODI_STAGE sur SQL Developer

Figure 24: Schma ODI_STAGE_SRC sur SQL Developer

2013 - 2014

15

Figure 25: Aperu des donnes de la table SRC_CUSTOMER

2. Cration dun nouveau projet sur Oracle Data Integrator

Crer un nouveau projet, entrer un nom de projet et sauvegarder le projet. Celui-ci apparatra droite.

Figure 26: Cration d'un nouveau projet ODI

Figure 27: Fentre de cration d'un nouveau projet ODI

3. Importer les modules de connaissances requis

Les modules importer sont CKM SQL, IKM SQL Incremental Update, LKM File to SQL et LKM SQL
to SQL.

2013 - 2014

16

Figure 28: Import des modules de connaissances un projet ODI

Cochez les modules importer et cliquez sur OK .

Figure 29: Liste des modules de connaissances par dfaut

2013 - 2014

17

Figure 30: Arborescence des modules de connaissance du projet

4. Crer les architectures logiques et physiques requises.

a. Architecture File
Cliquez sur longlet Topologie , ouvrez la section Architecture Physique et larchitecture
File . Vous devez trouver le serveur de donnes FILE_GENERIC (si ce nest pas le cas crer
le).
Crer un nouveau schma physique attach au serveur de donnes FILE_GENERIC et entrez un
chemin de rpertoire (schma et schma de travail). Personnellement jai utilis le chemin :
C:\Users\Administrateur\Documents\ODI\demo\file.

Figure 31: Cration d'un nouveau schma physique pour le serveur FILE_GENERIC

2013 - 2014

18

Figure 32: Cration d'un nouveau schma physique pour le serveur FILE_GENERIC

Ensuite Sauvegarder . Puis crer larchitecture logique correspondante de cette manire :

Cliquez sur la section Architecture Logique , cliquez avec le click-droit sur File et faites Nouveau
schma logique . Entrez le nom FILE_DEMO_SRC et sauvegarder pour le contexte Global (par
dfaut vous naurez que le contexte Global).

Figure 33: Cration d'un nouveau schma logique pour larchitecture FILE_GENERIC

2013 - 2014

19

Retourner dans le schma physique FILE_GENERIC que lon a cr et vrifier que le schma
logique est bien dfini pour le contexte Global .

Figure 34: Onglet contexte d'un schma physique

b. Architecture Oracle
Dans la section Architecture physique , crer un nouveau serveur de donnes pour larchitecture
Oracle avec le nom ODI_STAGE.

Figure 35: Cration d'un nouveau serveur de donnes pour ODI_STAGE

2013 - 2014

20

Figure 36: Fentre de cration d'un nouveau serveur de donnes

Le mot de passe est ODI_STAGE.

Dans longlet JDBC entre lURL JDBC et le pilote dORACLE.

Figure 37: Fentre de cration d'un nouveau serveur de donnes (onglet JDBC)

Tester la connexion laide du bouton en haut gauche et sauvegarder votre serveur.

Crer un nouveau schma physique pour votre serveur ODI_STAGE.

Figure 38: Cration d'un nouveau schma physique pour le serveur ODI_STAGE

Entrez le nom de schma (schma et schma de travail) ODI_STAGE et sauvegarder.

2013 - 2014

21

Figure 39: Fentre de cration d'un nouveau schma physique pour le serveur ODI_STAGE

Faites de mme avec ODI_STAGE_SRC en utilisant les paramtres correspondant dans longlet
JDBC du serveur de donnes ODI_STAGE_SRC.
Ensuite nous allons crer les architectures logiques correspondantes.
Pour cela allez dans la section Architecture logique , crer un nouveau schma logique pour
Oracle et nommez le ODI_STAGE.

Figure 40: Cration d'un nouveau schma logique pour le serveur ODI_STAGE

Entrer pour le contexte Global le nom de larchitecture physique correspondante et sauvegarder.

5.

2013 - 2014

22

5. Crer les modles reprsentant les sources et cibles du processus ETL.

Retourner dans longlet Designer ( gauche de linterface dODI).
Ouvrir la section Modles , crer un nouveau dossier de modles Files et un autre
RDBMS . Puis sauvegarder pour faire apparatre vos dossiers dans le navigateur gauche.

Figure 41: Cration d'un nouveau dossier de modles

Crer un modle Flat_file_1 pour le dossier Files et remplir les paramtres suivants :

Figure 42: Cration d'un nouveau modle

2013 - 2014

23

Figure 43: Fentre de cration du modle de fichiers

Figure 44: Fentre de cration du modle de fichiers

2013 - 2014

24

Crer un modle Oracle_RDBMS_SRC avec les paramtres suivants :

Figure 45: Fentre de cration du modle Oracle source

Figure 46: Fentre de cration du modle Oracle source

2013 - 2014

25

Faites de mme avec Oracle_RDBMS_TRG .

Figure 47: Fentre de cration du modle Oracle cibles

a. Charger les datastores des modles RDBMS.

Afin de crer les datastores des modles Oracle_RDBMS_SRC et Oracle_RDBMS_TRG , il
suffit de faire un click-droit sur les modles et cliquer sur Effectuer un Reverse Engineering .
Les datastores seront alors automatiquement cres.

Figure 48: Rtro-ingnierie des modles Oracle

2013 - 2014

26

Ils apparaissent alors dans larborescence de votre modle :

Figure 49: Arborescence des modles Oracle avec les datastores gnrs

a.

2013 - 2014

27

b. Charger les datastores du modle Flat_File_1.

i. La source SRC_AGE_GROUP
Commencer par crer un Nouveau datastore en faisant un clic-droit sur le modle Flat_File_1.

Figure 50: Cration du datastore du fichier SRC_AGE_GROUP

Entrez les paramtres suivants dans longlet Dfinitions :

Figure 51: Fentre de cration du datastore SRC_AGE_GROUP

2013 - 2014

28

Puis, cliquez sur longlet Fichiers , slectionner le type de fichier Dlimit avec le caractre ;,
entrez le chiffre 1 dans le champ En-tte .

Figure 52: Fentre de cration du datastore SRC_AGE_GROUP (onglet Fichiers)

Cliquez ensuite sur longlet Colonnes et Effectuer un reverse-engineering .

Figure 53: Fentre de cration du datastore SRC_AGE_GROUP (onglet Colonnes)

Les colonnes sont alors automatiquement dfinies (type, taille, nom). Vous pouvez alors visualiser les
donnes :

2013 - 2014

29

Figure 54: Visualisation des donnes d'un datastore

Figure 55: Fentre de visualisation des donnes d'un datastore

ii.

2013 - 2014

30

iii. La source SRC_SALES_PERSON

Ce fichier est diffrent du prcdent. En effet, il nest pas construit avec des dlimiter mais est
organis selon modle Fixe .
Crer un nouveau datastore au modle Flat_File_1 et entrez les paramtres suivants :

Figure 56: Fentre de cration du datastore SRC_SALES_PERSON

Dans longlet Fichier , Slectionnez le format Fixe et un nombre de ligne den-tte gal 0.

Figure 57: Fentre de cration du datastore SRC_SALES_PERSON (onglet Fichiers)

Puis, dans longlet Colonnes Effectuer un reverse-engineering .

2013 - 2014

31

Figure 58: Fentre de cration du datastore SRC_SALES_PERSON (onglet Colonnes)

Une fentre souvre alors en vous prsentant un aperu de votre fichier. Il faut maintenant dfinir les
colonnes en effectuant un clic chaque dbut de colonne. Une fois les dbuts de colonnes identifis,
vous devez dfinir le type de donnes de chaque colonne en cliquant sur chacune dentre-elles.

Figure 59: Gnration des colonnes du datastore SRC_SALES_PERSON

Vous pouvez alors visualiser vos donnes :

2013 - 2014

32

Figure 60: Fentre de visualisation des donnes du datastore SRC_SALES_PERSON

Crer une nouvelle interface pour modliser le processus ETL de SRC_CUSTOMER,

SRC_AGE_GROUP et SRC_SALES_PERSON vers TRG_CUSTOMER.

Cest dans cette partie que lon va modliser le processus ETL via linterface dODI.
Commencez par crer une Nouvelle interface au projet et entrez les paramtres suivants :

Figure 61: Cration d'une nouvelle interface

Puis, cliquez sur longlet Mapping . Longlet Mapping est le principal onglet dune interface il
permet de dfinir les objets sources, cibles et les rgles de transformation.
Le principe est de Mapper les champs sources et ceux de la cible. Longlet Mapping est divis
horizontalement en deux partie. A gauche vous devez faire un Drag and Drop de vos sources en
2013 - 2014

33

autorisant le Mapping automatique lorsquODI vous le proposera. La partie droite quant elle
contient la table cible (TRG_CUSTOMER dans notre cas). Faites de la mme manire un Drag and
Drop du datastore TRG_CUSTOMER.

Figure 62: Fentre de cration de l'interface TRG_CUSTOMER

Nous allons maintenant crer une table de lookup afin de faire le mapping entre lge dun client et la
catgorie correspondante (table SRC_AGE_GROUP). Cliquez sur Ajouter un nouveau lookup .

Figure 63: Cration d'un nouveau lookup

Slectionner la table de lookup (SRC_AGE_GROUP) puis cliquez sur Suivant .

Figure 64: Fentre de cration d'un nouveau lookup

2013 - 2014

34

Vous devez maintenant slectionner la source et la condition de lookup :

Figure 65: Fentre de cration d'un nouveau lookup (2)

Si vous cliquez sur licne reprsentant un crayon vous pourrez dfinir la condition en effectuant des
Drag and Drop des colonnes utilises.

Figure 66: Fentre de cration d'un nouveau lookup (Editeur d'expressions)

Cliquez enfin sur OK .

2013 - 2014

35

Il faut maintenant faire la jointure entre le datastore SRC_CUSTOMER et le datastore

SRC_SALES_PERSON afin dobtenir pour chaque client le vendeur qui lui est associ. Pour cela,
il suffit de cliquer sur SRC_CUSTOMER.SALES_PERS_ID et de glisser la slection sur la colonne
SRC_SALES_PERSON.SALES_PERSON_ID. Une petite icne reprsentant la jointure apparat
alors entre les tables.

Figure 67: Mapping de l'interface TRG_CUSTOMER

Il faut dfinir pour chaque colonne de la table source les proprits de mapping souhaites. Pour
cela, il suffit de cliquer sur une colonne (dans la table cible de la partie droite) et de modifier ces
proprits.

Figure 68: Mapping de la colonne CUSTID

2013 - 2014

36

Figure 69: Mapping de la colonne DEAR

Figure 70: Mapping de la colonne CUST_NAME

2013 - 2014

37

Figure 71: Mapping de la colonne ADDRESS

Figure 72: Mapping de la colonne CITY_ID

2013 - 2014

38

Figure 73: Mapping de la colonne PHONE

Figure 74: Mapping de la colonne AGE

2013 - 2014

39

Figure 75: Mapping de la colonne AGE_RANGE

Figure 76: Mapping de la colonne SALES_PERS

Vous pouvez maintenant visualiser les flux de donnes en cliquant sur longlet Flux .

2013 - 2014

40

Figure 77: Visualisation des flux de donnes de l'interface TRG_CUSTOMER

Vous pouvez vrifier que les modules de connaissances utiliss sont justes en cliquant sur les objets
sources et en regardant la valeur du champ Slecteur LKM en bas droite de linterface.

Figure 78: Proprits de la source SRC_SALES_PERSON

2013 - 2014

41

Figure 79: Proprits de la source SRC_AGE_GROUP

Longlet Contrle permet dactiver/de dsactiver les contraintes vrifier durant lintgration des
donnes.

Figure 80: Visualisation des contrles de l'interface TRG_CUSTOMER

Longlet Excution permet de voir directement les excutions de linterface.

2013 - 2014

42

Figure 81: Visualisation des excutions de l'interface TRG_CUSTOMER

Vous pouvez galement voir lexcution de linterface dans longlet Oprateur dODI. Il rassemble
toutes les excutions du rfrentiel.

Figure 82: Visualisation de l'onglet Oprateur

2013 - 2014

43

Excutez maintenant linterface en cliquant ouvrant linterface et en cliquant sur le bouton vert
Play en haut gauche de linterface. Puis vrifier que le processus ETL sest bien excut sans
erreur grce longlet Oprateur .

Figure 83: Visualisation des donnes de la table cible

2013 - 2014

44

Vous pouvez visualiser vos donnes grce ODI :

Figure 84: Fentre de visualisation des donnes de TRG_CUSTOMER sur ODI

Mais galement via le client SQL Developer :

Figure 85: Visualisation des donnes de TRG_CUSTOMER sur SQL Developer

Aprs lexcution de linterface vous pouvez trouver de nouvelles tables dans la zone cible qui
contiennent les lignes sources qui nont pas t intgres ( cause dune contrainte de check,
dintgrit rfrentielle, etc.).
c.

2013 - 2014

45

Pour aller plus loin

La cration de procdures est possible. Par exemple, en voici une qui permet de vider toutes les
tables cibles du Data Warehouse :

Figure 86: Fentre de cration d'une procdure

Vous pouvez aussi crer des scnarios pouvant sexcuter automatiquement (programmation de
scnarios). En voici un exemple qui permet de charger les tables TRG_CUSTOMER,
TRG_PRODUCT et TRG_SALES. Lors dune erreur un mail sera envoy automatiquement.

2013 - 2014

46

Figure 87: Fentre de cration d'un scnario

Conclusion
En somme Oracle Data Integrator est un outil dETL trs puissant qui offre de multiples
possibilits. Hormis son style dETL innovant il possde deux particularits qui font de lui un outil
remarquable : les modules de connaissances et son interface dclarative.
Les modules de connaissances sont des modles de gnration de code pour les multiples
systmes impliqus dans chaque processus. Ils sont la fois gnriques (indpendance par rapport
aux rgles de transformation) et spcialiss (optimisation pour chaque technologie).
De plus, linterface dclarative permet une meilleure productivit grce lintuitivit de la prise
en main (dveloppement en glisser/dplacer) et la simplification/acclration du processus
dintgration des donnes (gnration de code SQL adapt).
Nous avons vu comment raliser un processus ETL partir de sources de natures diffrentes
(fichier plat de format fixe, fichier plat de format dlimit et table sous Oracle) vers un serveur Oracle.
De la mme manire, vous tes maintenant libre de reproduire ce processus avec dautres sources
afin de charger un Data Warehouse complet.

2013 - 2014

47

Table des figures

Figure 1: Fentre des services Windows............................................................................................... 3
Figure 2: Dblocage de l'utilisateur SYSTEM sous SQL Plus...............................................................4
Figure 3: Cration d'une nouvelle connexion sur SQL Developer.........................................................5
Figure 4: Fentre de cration d'une nouvelle connexion sur SQL Developer........................................5
Figure 5: Cration du schma snpw1 (pour le rfrentiel matre) sur SQL Developer...........................6
Figure 6: Cration d'un nouveau rfrentiel matre................................................................................7
Figure 7: Cration d'un nouveau rfrentiel matre (2)..........................................................................7
Figure 8: Fentre de cration d'un nouveau rfrentiel matre..............................................................8
Figure 9: Fentre de cration d'un nouveau rfrentiel matre (2).........................................................8
Figure 10: Fentre de cration d'un nouveau rfrentiel matre (3).......................................................9
Figure 11: Cration d'une nouvelle connexion pour le rfrentiel matre...............................................9
Figure 12: Fentre de cration d'une nouvelle connexion...................................................................10
Figure 13: Test de cration d'une nouvelle connexion.........................................................................10
Figure 14: Connexion un rfrentiel.................................................................................................. 11
Figure 15: Fentre de connexion un rfrentiel existant...................................................................11
Figure 16: Onglet topologie.................................................................................................................. 11
Figure 17: Cration d'un nouveau rfrentiel de travail.......................................................................12
Figure 18: Test de cration d'un nouveau rfrentiel de travail............................................................13
Figure 19: Fentre de cration d'un nouveau rfrentiel de travail......................................................13
Figure 20: arborescence des rfrentiels existants.............................................................................14
Figure 21 : Dconnexion au rfrentiel courant...................................................................................14
Figure 22: Fentre de connexion un nouveau rfrentiel existant (WORKREP1)............................14
Figure 23: Schma ODI_STAGE sur SQL Developer..........................................................................15
Figure 24: Schma ODI_STAGE_SRC sur SQL Developer................................................................15
Figure 25: Aperu des donnes de la table SRC_CUSTOMER..........................................................16
Figure 26: Cration d'un nouveau projet ODI......................................................................................16
Figure 27: Fentre de cration d'un nouveau projet ODI.....................................................................16
Figure 28: Import des modules de connaissances un projet ODI.....................................................17
Figure 29: Liste des modules de connaissances par dfaut................................................................17
Figure 30: Arborescence des modules de connaissance du projet......................................................18
2013 - 2014

48

Figure 31: Cration d'un nouveau schma physique pour le serveur FILE_GENERIC.......................18
Figure 32: Cration d'un nouveau schma physique pour le serveur FILE_GENERIC.......................19
Figure 33: Cration d'un nouveau schma logique pour larchitecture FILE_GENERIC.....................19
Figure 34: Onglet contexte d'un schma physique..............................................................................20
Figure 35: Cration d'un nouveau serveur de donnes pour ODI_STAGE..........................................20
Figure 36: Fentre de cration d'un nouveau serveur de donnes......................................................21
Figure 37: Fentre de cration d'un nouveau serveur de donnes (onglet JDBC)..............................21
Figure 38: Cration d'un nouveau schma physique pour le serveur ODI_STAGE.............................21
Figure 39: Fentre de cration d'un nouveau schma physique pour le serveur ODI_STAGE...........22
Figure 40: Cration d'un nouveau schma logique pour le serveur ODI_STAGE................................22
Figure 41: Cration d'un nouveau dossier de modles........................................................................23
Figure 42: Cration d'un nouveau modle...........................................................................................23
Figure 43: Fentre de cration du modle de fichiers.........................................................................24
Figure 44: Fentre de cration du modle de fichiers.........................................................................24
Figure 45: Fentre de cration du modle Oracle source....................................................................25
Figure 46: Fentre de cration du modle Oracle source....................................................................25
Figure 47: Fentre de cration du modle Oracle cibles.....................................................................26
Figure 48: Rtro-ingnierie des modles Oracle.................................................................................26
Figure 49: Arborescence des modles Oracle avec les datastores gnrs.......................................27
Figure 50: Cration du datastore du fichier SRC_AGE_GROUP........................................................28
Figure 51: Fentre de cration du datastore SRC_AGE_GROUP......................................................28
Figure 52: Fentre de cration du datastore SRC_AGE_GROUP (onglet Fichiers)............................29
Figure 53: Fentre de cration du datastore SRC_AGE_GROUP (onglet Colonnes).........................29
Figure 54: Visualisation des donnes d'un datastore..........................................................................30
Figure 55: Fentre de visualisation des donnes d'un datastore.........................................................30
Figure 56: Fentre de cration du datastore SRC_SALES_PERSON................................................31
Figure 57: Fentre de cration du datastore SRC_SALES_PERSON (onglet Fichiers)......................31
Figure 58: Fentre de cration du datastore SRC_SALES_PERSON (onglet Colonnes)...................32
Figure 59: Gnration des colonnes du datastore SRC_SALES_PERSON........................................32
Figure 60: Fentre de visualisation des donnes du datastore SRC_SALES_PERSON....................33
Figure 61: Cration d'une nouvelle interface.......................................................................................33
Figure 62: Fentre de cration de l'interface TRG_CUSTOMER........................................................34

2013 - 2014

49

Figure 63: Cration d'un nouveau lookup............................................................................................ 34

Figure 64: Fentre de cration d'un nouveau lookup...........................................................................34
Figure 65: Fentre de cration d'un nouveau lookup (2).....................................................................35
Figure 66: Fentre de cration d'un nouveau lookup (Editeur d'expressions).....................................35
Figure 67: Mapping de l'interface TRG_CUSTOMER..........................................................................36
Figure 68: Mapping de la colonne CUSTID......................................................................................... 36
Figure 69: Mapping de la colonne DEAR.............................................................................................37
Figure 70: Mapping de la colonne CUST_NAME................................................................................37
Figure 71: Mapping de la colonne ADDRESS.....................................................................................38
Figure 72: Mapping de la colonne CITY_ID......................................................................................... 38
Figure 73: Mapping de la colonne PHONE.......................................................................................... 39
Figure 74: Mapping de la colonne AGE............................................................................................... 39
Figure 75: Mapping de la colonne AGE_RANGE................................................................................40
Figure 76: Mapping de la colonne SALES_PERS...............................................................................40
Figure 77: Visualisation des flux de donnes de l'interface TRG_CUSTOMER...................................41
Figure 78: Proprits de la source SRC_SALES_PERSON................................................................41
Figure 79: Proprits de la source SRC_AGE_GROUP......................................................................42
Figure 80: Visualisation des contrles de l'interface TRG_CUSTOMER.............................................42
Figure 81: Visualisation des excutions de l'interface TRG_CUSTOMER...........................................43
Figure 82: Visualisation de l'onglet Oprateur.....................................................................................43
Figure 83: Visualisation des donnes de la table cible........................................................................44
Figure 84: Fentre de visualisation des donnes de TRG_CUSTOMER sur ODI...............................45
Figure 85: Visualisation des donnes de TRG_CUSTOMER sur SQL Developer...............................45
Figure 86: Fentre de cration d'une procdure..................................................................................46
Figure 87: Fentre de cration d'un scnario......................................................................................46

2013 - 2014

50