guide talend

Guide Talend Open Studio

1


Dans le présent guide nous détaillons les étapes de création d’un datamart ; le logiciel utilisé est Talend open studio qui offre une gamme de fonctionnalités facilitent cette tâche. La création d’un datamart passe par trois étapes primordiales:

� La création des métas sdonnés,

� La création du job designer

� Le mapping entre la base source (input) et la base cible (output).

En ce qui suit, une description détaillée du processus de création du méta data, la création des jobs et le mapping entre les deux bases source et cible.

I. Créer/importer un projet

Dans Talend Open Studio, le “projet” correspond au nœud racine stockant les différents types de Jobs, Business model, métas données, …etc.

A partir de la fenêtre principale nous pouvons soit créer un nouveau projet soit importer un projet existant.

1- Créer un projet

Figure 1: Ecran principale de Talend Studio

Pour afficher cet écran il suffit de lancer Talend Open Studio. Lorsqu’on se connecte pour la première fois aucun projet n’apparaît dans la liste, nous devons donc créer un. Dans la liste


2

Select de la zone Project de la fenêtre login du Studio, on clique sur le bouton créer. Une boite de dialogue apparaît en nous demandant de spécifier le nom du projet

Figure 2: Créer un nouveau projet Talend

Il suffit donc de remplir le champ « Nom du projet » et cliquer sur le bouton « Termier » afin de créer notre projet. Une fois créé il suffit de le lancer.

Figure 3 : Ouvrir un projet


3

Une fois que le projet est ouvert on obtient l’écran suivant

Figure 4: Ecran d'accueil Talend Open Studio

Figure 5: Référentiel Talend Open Studio

Notre projet est maintenant ouvert on commence donc la création des métas données.

Le référentiel

Palette


4

2- Création des métas donnés

Dans Talend Open Studio, les métas donnés permettent de définir, de décrire ou de documenter les données traitées par le logiciel.

Dans le dossier méta données du référentiel de Talend nous pouvons stoker les informations de connexion aux fichiers (fichier délimité, fichier XML,..) et les connexions vers les bases de données (Oracle, MySQL,…).

Nous allons commencer dans un premier lieu par la création de la connexion à la base de données source

2.1- Créer la connexion vers la base de données source

Figure 6: Créer une connexion vers la base de données source

Avec un simple clic droit sur le menu data, une liste d’option est affichée, on sélectionne donc l’option « créer une connexion »


5

Figure 7: Spécifier le nom de la connexion

Une boite de dialogue est alors affichée en nous demandant de taper le nom de la connexion. Il suffit juste de donner un nom quelconque à cette connexion (de préférence un nom significatif)


6

Figure 8: Choisir un SGBD

A ce stade nous devons sélectionnez le type de base de données à laquelle nous souhaitons nous connecter.

Figure 9: Préciser les identifiants de connexions


7

Nous devons renseigner les informations requises pour la connexion et vérifier notre connexion à l’aide de la fonction « Vérifier ».

Figure 10: Tester la connexion

La connexion à notre base de données est maintenant créée et accessible depuis le Référentiel qui contient quatre sous-dossiers :

- le sous dossier Requêtes pour les requêtes SQL,

- le sous dossier Schémas des tables qui regroupe tous les schémas des tables relatifs à cette connexion.

- Le sous dossier Schémas des vues qui regroupe l’ensemble des vues de la connexion

- Le sous dossier Schémas de synonymes qui regroupe l’ensemble des synonymes présent au niveau de la connexion


8

Figure 11: Source de données

Figure 12: Récupérer le schéma de la base de données


9

A présent un simple clic avec le bouton droit de la souris sur la connexion précédemment créé et on sélectionne « Récupérer le schéma » dans le menu contextuel permet de récupérer la listes des objets de notre base (tables, vues, index,..)

Figure 13: Préciser les types d'objet à récupérer

Dans la zone texte « Name Filter » nous pouvons filtrer les objets de notre base de données

Figure 14: Sélectionner les tables utiles pour notre datamart

Pour sélectionner les objets dont nous avons besoin pour la création de notre datamart il suffit de cocher les objets dans la liste présente dans l’interface précédente.


10

Figure 15: Ajouter/modifier les contraintes ou les types de données

Modifiez les schémas (contrainte d’intégrité, type des champs,…) si nécessaire, puis cliquez sur le bouton « Terminer » pour fermer l’assistant.

Figure 16: Schéma de notre base de données source


11

2.2- Créer connexion à la base de données cible

Même principe que la création de la connexion à la base de données source déjà présenté précédemment.

Figure 17: Schéma de la base de données cible

3- Créer le job designer

Le job designer est un composant essentiel de Talend Open Studio, il permet de faire la correspondance et la transformation entre la base de données source (base transactionnelle) et la base de données cible (datamart). En d’autre terme il permet la mise en place des flux de données d’une manière graphique et c’est Talend qui sera chargé de générer le code de transformation (mapping).


12

Figure 18: Créer un job designer

Pour créer un job designer il suffit de cliquer avec le bouton droit sur Jobs dans le référentiel de Talend et de choisir Créer un job


13

Figure 19: Assistant de création

Un assistant nous guide dans les étapes de définition des propriétés de notre nouveau Job.


14

Figure 20: Ouvrir le job designer

Figure 21: Préparer les données


15

Figure 22: Déposer la table catégorie

Pour commencer, il suffit de cliquer sur la table et avec un simple « drag and drop », ajouter cette dernière dans l’espace de modélisation du Job design.

Figure 23: Choisir le type du composant (table catégorie)


16

Figure 24: Déposer la table marque

Figure 25: Choisir le type du composant (table marque)


17

Figure 26: Déposer la table produit

Figure 27: Choisir le type du composant (table produit)


18

Figure 28: Tables source (input)

Figure 29: Préparer les tables cibles


19

s

Figure 30: Déposer la table produit (output)

Figure 31: Choisir le type du composant (table produit output)


20

Figure 32: Données sources vs données cible

4- Faire la mapping

Pour faire le mapping (transformation) des données rien de complexe ; En effet TMAP, un composant de Talend, nous permet de gérer les flux de données d’une manière aisée.

Ce composant permet de faire la liaison entre les données sources et les données cibles et il est capable de faire toutes les transformations

Figure 33: TMAP Talend Open Studio


21

Figure 34: Déposer le composant TMAP dans l’espace de modélisation

De la même manière que les métas donnés un simple « drag and drop » permet de déposer le composant TMAP dans notre espace de modélisation. La création des liaisons entre le TMAP et les différentes sources de données se fait par clic droit sur notre source de données (table) et suivit par le choix de l’option main dans le menu ligne.

Figure 35: Liaison entre la table catégorie et TMAP


22

Figure 36: Liaison établi entre la table catégorie et TMAP

Figure 37: Créer liaison entre la table marque et TMAP


23

Figure 38: Liaison établi entre la table marque et TMAP

Figure 39: Créer liaison entre la table produit et TMAP


24

Figure 40: Liaison établi entre la table produit et TMAP

Figure 41: Créer liaison entre TMAP et la table produit


25

Figure 42: Liaison établi entre TMAP et la table produit

Figure 43: Choisir le nom de sortie


26

Figure 44: Récupérer le schéma du composant cible

Par un double clic sur le composant TMAP, une fenêtre offrant la possibilité d’assurer la liaison entre la base de données source et celle cible

Figure 45: Fenêtre de mapping


27

Figure 46: Migrer la clé primaire de la table catégorie vers la table produit


28

Figure 47: Migration de la clé établie

Figure 48: Migrer la clé primaire de la table marque vers la table produit


29

Figure 49: Migration de la clé établie

Figure 50: Faire le mapping entre les noms de colonnes des tables


30

Figure 51: Mapping entre les deux colonnes établies

Figure 52: Mapping entre la source et la cible établie

Figure 53: Base de données cible vide


31

Figure 54: Préparer l'exécution du job

Figure 55: Exécuter le job


32

Figure 56: Déboguer le job

Figure 57: Base de données cible remplie

II- Exporter un projet Talend


33

Figure 58: Exporter le projet

Figure 59: Choisir le filtre d'exportation


34

Figure 60: Choisir le projet à exporter

guide talend

Technology