TP Talend M2

ETL
TALEND
A U T E U R : J O N AT H A N F O N TA N E L
D AT E : 2 0 / 1 0 / 2 0 2 0
TP ISIMA ZZ3 F3 BUSINESS INTELLIGENCE
BUT DE CES TP S
• But des TP  Acquérir des compétences dans plusieurs outils de BI :
– Talend Open Studio
– Suite Microsoft SQL Server
– Tableau
– MicroStrategy
2
BUT DE CES TP S
• Comment ça va être noté ?

– Présence et implication en TP (… %)
– Rapport final de 10/15 pages max en PDF qui résumera ce que vous avez
compris
3
DE L’ETL À LA RESTITUTION
4
LES DONNÉES SOURCES
• Des données provenant du SI de l’entreprise ou de l’extérieur
– Interne : ERP, fichiers XLS, Systèmes Legacy, BDD spécifiques, …
– Externe : Flux EDI Fournisseurs, clients, ..
5
BUT DES 14 HEURES DE TP
• TP1 sur Talend Open Studio Data Integration :
– 1er job pour lire une table et ajouter un champ
– 2ème job pour lire un fichier CSV et enregistrer les données en BDD
– 3ème job : récupération d’un fichier CSV sur Google Drive et écriture du
fichier CSV sur le disque en local
• TP2 sur Microsoft SQL Server :

– Integration Services : Tests des deux premiers jobs sur un deuxième ETL
– Analysis Services : Création, publication et utilisation d’un cube
• TP3 Etude de cas :

– Talend : Etude de cas avec la création de 3 flux de données avec contrôle
des données, lancement des jobs et variabilisation de jobs
ETL ET
PRÉSENTATION
DES OUTILS
ETL : EXTRACT, TRANSFORM
LOAD
• Extraction de données de tous types (Excel, fichier plat ou CSV,
BDD, etc…)
• Transformation de données (Création de colonnes, changement

de type, Jointure de tables)
• Chargement de données (Chargement dans l’entrepôt de

données ou des fichiers)
8
PRÉSENTATION DE TALEND OPEN
STUDIO
• But d’un ETL : l’intégration de données
– Intégration opérationnelle :
• Partage de données entre applications
avec transformation ou non
• Flux temps réels entre applications ;
• Réplication de base de données ;
• Migration de données ;
• Lien avec des partenaires (fournisseurs
clients, …)
• …
– Intégration décisionnelle :
• Charger des schémas du datawarehouse
• Charger des datalakes
• Transformation des données entre les
différentes couches du datawarehouse
• …
9
MAGIC QUADRANT FOR DATA
INTEGRATION TOOLS
10
PRÉSENTATION DE TALEND OPEN
STUDIO
• Talend Open Studio for Data Integration : Outil Open Source pour
l’intégration de données
11
PRÉSENTATION DE MICROSOFT BI
• La Suite Microsoft BI : Outil tout-en-un pour gérer un projet de BI : SQL
Server Data Tools (SSDT)
SSIS SSAS RS
• Intégration de • Réalisation de • Création de

données cubes rapports
(ETL)
• Un outil pour manipuler les BDD : Microsoft SQL Server Management

Studio
12
PL ACE À L A
PRATIQUE
TP1
TA L E N D O P E N S T U D I O
TO DO
• 1er job pour lire une table et ajouter un champ
– Création d’un projet
– Création d’une connexion à une base MySQL
– Création d’un premier job
– Ajout du composant tMap
– Ajout d’un champ calculé à partir d’un champ présent
– Exécution du job avec un champ supplémentaire
15
PRÉREQUIS
• Installer MySQL Workbench + MySQL Community Server
– Lien de téléchargement : https://dev.mysql.com/downloads/
– Paramétrage en mode « Use Legacy Password Encryption » pour les mots de passe lors de
l’installation de MySQL Community Server
• Installation de la base « gestion_livres »

– https://perso.isima.fr/~jofontan/BI/TP1/AtelierTalend/
– Exécuter les deux scripts SQL dans le schéma « gestion_livres » que vous aurez créé
préalablement
• Récupération des paramètres de connexion à la base (IP, PORT, nom de la base de

onnées, mot de passe d’accès pour le compte ROOT)
• Vérification avec une requête
• Installation de Talend à partir du fichier suivant : https://perso.isima.fr/~jofontan/Install/

16
PRÉREQUIS
• Vérification de MySQL Workbench
• Installation de la base « gestion_livres »
• Récupération des paramètres de connexion à la base
• Vérification avec une requête
17
ATELIERS SUR TALEND OPEN STUDIO
• Création d’un projet :
18
• Création d’une connexion à une base MySQL :
19
20
– Récupération du schéma des tables
21
• Création d’un premier job :
22
• Création d’un premier job : ajout de la connexion
– Faire glisser le tDBInput (MySQL) dans la partie Design
23
• Création d’un premier job : ajout d’un composant de log
24
• Création d’un premier job : configuration du composant de log
25
• Création d’un premier job : liaison des composants
26
• Création d’un premier job : exécution du job
27
• Modification de ce job : ajout d’un composant d’aiguillage  tMap
28
• Modification de ce job : liaison avec les autres composants
29
• Modification de ce job :
– Ouvrir le tMap
– Puis appuyer sur mapping auto en haut à droite
– Exécuter le job à nouveau (normalement il n’y a pas de changement)
30
• Modification de ce job :
– Ouvrer à nouveau le tMap
– Créer le champ var1 dans la partie droite.
– Cocher que celui-ci peut être null et qu’il peut avoir une taille de 200 (cf.
partie en bas à droite).
31
• Créer un nouveau champ dans la colonne du milieu puis cliquer sur les
« … » pour éditer l’expression :
– Ajouter le test ternaire dans le nouveau champ :
(row1.NUMERO_A>100000)?"Auteur récent":"Auteur ancien"
32
• Faire glisser le nouveau champ de la colonne du milieu vers la colonne de

droite
33
• Exécuter à nouveau le job, vous devriez obtenir ce type de résultat
34
TO DO
• 2ème job pour lire un fichier CSV et enregistrer les données en BDD
– Création d’un deuxième job
– Lecture d’un fichier CSV
– Création d’une routine
– Ajout d’un composant tMap
– Création d’un nouveau champ
– Ajout d’un composant pour écrire dans une BDD
– Exécution du job
35
• Création d’une connexion à un fichier CSV
36
– Lire le fichier test_CSV.csv
37
– Définir les lignes d’en-tête comme nom de colonnes
38
• Glisser la connexion au fichier CSV dans la partie Designer, Talend
proposera la lecture via le composant « tFileInputDelimited »
39
• Création d’une routine :
– Une routine permet d’exécuter du code spécifique
40
public static String Concat (String message1,

String message2)
{
String resultat = new String("");
resultat = message1 + " / " + message2;
return resultat;
}
41
42
• Ajout du composant tMap à la suite du composant « tFileInputDelimited »
43
• Création d’une nouveau champ (cf. ci-dessous)
• Puis modification de l’expression :
testRoutine.Concat(row1.NOM,row1.PRENOM)
44
• Chargement dans une base :
45
• Chargement dans une base :
– Vérifier que les mêmes paramètres soient bien positionnés
46
• Liaison avec le tMap entre les composants d’entrée et de sortie
– Vérifier les paramètres
– Rajouter le nouveau champ dans la sortie
47
• Exécution du job
• Vérifier dans la BDD
48
TO DO
• 3ème job : récupération d’un fichier CSV sur Google Drive et écriture du
fichier CSV sur le disque en local
– Ajout du composant GoogleDriveConnection
– Installation des trois bibliothèques
– Configuration du composant GoogleDriveConnection
– Ajout du composant tGoogleDriveGet et configuration
– Exécution du job avec validation via le navigateur pour s’authentifier
correctement
– Ajout d’un composant tFileOutputDelimited
– Exécution du job
– Comparaison des fichiers
– Lien possible avec le job 2
– Exporter le job pour programmer son lancement
49
• Connexion à Google Drive
– Glisser le composant suivant dans un nouveau job
– Cliquer sur « installer »
50
• Télécharger et installer les trois bibliothèques les unes après les autres
51
TO DO
• Connexion à Google Drive
Auparavant, nous pouvions utiliser une connexion via
OAuth mais dernièrement Google a renforcé son
niveau de sécurité pour l’accès à des données sur les
drives.
Nous allons utiliser une méthode plus manuelle pour
obtenir un token temporairement.
• Rentrer les paramètres suivants :

– Nom de l’application : « TalendApp »
– Jeton d’accès : cf. page suivante
52
TO DO
• Pour obtenir un token, ouvrer la page
suivante :
https://developers.google.com/oauthplaygr
ound/
• Puis cocher sur Drive API v3 et enfin sur la
première API :
https://www.googleapis.com/authdrive
• Puis cliquer sur Authorize APIs
• Vous allez être redirigé vers une page

d’authentification :
– Adresse mail : tpisimaetl@gmail.com
– Mot de passe : recopier le tableau 53
TO DO
• Appuyer sur autoriser
• Puis cliquer sur le bouton « Exchange

Authorization code for tokens »
• Récupérer l’access_token et recopier le

dans le champs jeton d’accès du
composant Talend
54
• Glisser le composant suivant dans un nouveau job
– tGoogleDriveGet_1
• Rentrer les paramètres suivants :
– Fichier : TP/test_csv.csv
– Sauvegarder dans : lien où vous souhaitez que le fichier soit déposé
55
• Rajouter un tLogRow à la suite du composant tGoogleDriveGet_1 pour
lire le résultat
• Connecter les composants avec les conditions suivantes (bouton droit
« trigger »)
56
• Exécuter le job
• Il se peut qu’il vous demande de vous authentifier
– Adresse mail : tpisimaetl@gmail.com
– Mot de passe : au tableau
57
Cliquer sur les paramètres avancés :
58
• Autoriser TalendProduct à accéder à GoogleDrive
59
• Autoriser TalendProduct à accéder à GoogleDrive et confirmer votre
choix
60
• Trace de l’exécution
• Vous devriez avoir deux fichiers CSV strictement identiques.
• Si les répertoires entre le job 2 et le job 3 correspondent, vous avez créé

une chaîne d’intégration
61
• Pour aller plus loin
– Glisser le composant tGoogleDriveList
– Configurer ce composant comme la capture ci-dessous :
– Brancher un tLogRow pour regarder le résultat
62
• Pour aller plus loin
– Trace de l’exécution :
– Que permet de faire ce composant ?

63
• Exporter le job pour programmer son lancement :
– Configurer votre studio pour inclure toutes les jars dans un fichier
64
– Faire un clic droit sur le job que vous voulez construire :
65
– Positionner les mêmes paramètres que ci-dessous
66
– Exécuter le .bat via invite de commande
67
– Créer via le planificateur de tâches, une tâche pour lancer votre script
68
– Créer via le planificateur de tâches, une tâche pour lancer votre script
69
– On peut voir l’exécution de la tâche
70

TP Talend M2

Încărcat de

Informații document

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

TP Talend M2

Încărcat de

Drepturi de autor:

Formate disponibile

ETL

– Suite Microsoft SQL Server

• Comment ça va être noté ?

• TP2 sur Microsoft SQL Server :

• TP3 Etude de cas :

• Transformation de données (Création de colonnes, changement

• Chargement de données (Chargement dans l’entrepôt de

• Intégration de • Réalisation de • Création de

• Un outil pour manipuler les BDD : Microsoft SQL Server Management

• Installation de la base « gestion_livres »

• Récupération des paramètres de connexion à la base (IP, PORT, nom de la base de

• Vérification avec une requête

• Installation de Talend à partir du fichier suivant : https://perso.isima.fr/~jofontan/Install/

• Vérification de MySQL Workbench

• Installation de la base « gestion_livres »

• Récupération des paramètres de connexion à la base

• Vérification avec une requête

• Création d’un projet :

• Création d’une connexion à une base MySQL :

• Création d’une connexion à une base MySQL :

• Création d’un premier job :

• Création d’un premier job : configuration du composant de log

• Création d’un premier job : liaison des composants

• Création d’un premier job : exécution du job

• Modification de ce job : ajout d’un composant d’aiguillage  tMap

• Modification de ce job : liaison avec les autres composants

• Faire glisser le nouveau champ de la colonne du milieu vers la colonne de

• Création d’une routine :

public static String Concat (String message1,

• Ajout du composant tMap à la suite du composant « tFileInputDelimited »

• Rentrer les paramètres suivants :

• Puis cliquer sur Authorize APIs

• Vous allez être redirigé vers une page

• Puis cliquer sur le bouton « Exchange

• Récupérer l’access_token et recopier le

• Rentrer les paramètres suivants :

• Vous devriez avoir deux fichiers CSV strictement identiques.

• Si les répertoires entre le job 2 et le job 3 correspondent, vous avez créé

– Brancher un tLogRow pour regarder le résultat

– Que permet de faire ce composant ?

S-ar putea să vă placă și