alphorm.com formation etl talend open studio (1/2) - les fondamentaux
Post on 21-Jan-2018
4.985 Views
Preview:
TRANSCRIPT
Une formation
FormationTalend Open Studio for Data Integration
Les fondamentaux
Aimad TAHI
Une formation
Talend est un éditeur de logicielCréé le 2006 à Suresnes (France)Plus de 500 salariés10 paysDeux types de logiciels :
1. Produits commerciaux2. Produits Open Source gratuits
Introduction
Une formation
Talend Produits
Une formation
ETL
900 composants et connecteurs
Interface intuitive
Concepteur de tâches
Modélisateur métier
Open Source
TOS for Data Integration
Une formation
Cursus TOS DI
Les fonctionnalités avancéesLes fondamentaux
Une formation
Plan de la formationIntroduction
1. Présentation ETL
2. Présentation et installation de Talend Open Studio
3. Définir un projet
4. Présentation de l'environnement Talend Open Studio
5. Modélisation et documentation
6. Conception d’un Job
7. Gestion des métadonnées
8. Gestion des Jobs
9. Les routines
Conclusion
Une formation
Public concerné
Développeur DBA Chef de projet
Une formation
Connaissances en SQL et Java
Prérequis
Une formation
Talend DI v6 Certified Developer
60 questions
1 heure 30
Résultat minimum : 80%
Certification
Merci
Une formation
Aimad TAHI
Projet de la formation
Une formation
Sujet Migration de données
En entréeFichiers csv, xml
En sortie1. Fichier csv, xml
2. Table (sgbdr)
Plan
Une formation
Fonctionnement
Merci
Une formation
Présentation ETL
Aimad TAHI
Une formation
Plan
Présentation
Problématique
Solution
ETL Commercial vs Opensource
Une formation
ETL : Extract TransformLoad
Présentation
Une formation
Problématique
Une formation
Faciliter : • les études d’impact• la maintenance• transfert de connaissance
Centraliser les traitements et les métadonnéesRéduire le coût
Solution
Une formation
Simplicité avec un ETL
Une formation
Type d’ETL
1. ETL propriétaire
2. ETL Open Source
Une formation
Mise en œuvre rapide
Interface généralement complète
Achat des licences et formations
Coût élevé dès le début du projet
ETL Propriétaire
Une formation
Coût
Temps
Coût ETL Propriétaire
Une formation
Pas de licence
Coût de la formation et souscriptionhotline technique
Coût constant tout au long du projet
Partage des travaux
ETL Open Source
Une formation
Coût
Temps
Coût ETL Open Source
Merci
Une formation
Intégration opérationnelle et décisionnelle
Aimad TAHI
Une formation
Plan
Comment réussir son intégration?
Intégration décisionnelle
Intégration opérationnelle
Une formation
Comment réussir son intégration?
Une formation
Progiciels (ERP, CRM, etc.)Bases de donnéesEntrepôts de données Magasins de donnéesApplications OLAP
Intégration décisionnelle
Une formation
ChargementMigration de donnéesSynchronisationRéplication de données
Intégration opérationnelle
Merci
Une formation
Prérequis à l'utilisation des produits Talend
Aimad TAHI
Une formation
Prérequis
Recommandations relatives à la mémoire
Recommandations logicielles
Installation de Java
Une formation
Recommandations mémoire
3 Go
Une formation
Recommandations logicielles
Une formation
Installation de Java
Une formation
Installation de Java
Java SE Runtime Environment 8
Merci
Une formation
Téléchargement et installation de TOS DI
Aimad TAHI
Une formation
Plan
Télécharger https://fr.talend.com/download/talend-open-studio#t4
Installer
Démarrer
Merci
Une formation
Les concepts dans TOS DI
Aimad TAHI
Une formation
Plan
Référentiel
Projet
Workspace
Job
Composant
Élément
Merci
Une formation
Créer et Exporter un projet
Aimad TAHI
Une formation
Créer un projet
Projet 1
Projet 2
Projet n
Une formation
Exporter un projet
Projet 1
Projet 2
Projet n
Merci
Une formation
Supprimer et importer etun projet
Aimad TAHI
Une formation
Supprimer un projet
Projet 1
Projet 2
Projet n
Une formation
Importer un projet
Projet 1
Projet 2
Projet n
Merci
Une formation
Créer un workspace
Aimad TAHI
Une formation
Création d’un workspace
Workspace 1
Workspace 2
Workspace n
Projet 2
Projet n
Projet 1
Projet 2
Projet n
Projet 1
Projet 2
Projet n
Projet 1
Merci
Une formation
Présentation de la barre d'outils et des menus
Aimad TAHI
Merci
Une formation
Présentation du Repository (le référentiel)
Aimad TAHI
Une formation
Plan
Business Models
Job Designs
Contexts
Code
SQL Templates
Metadata
Documentation
Recycle bin
Merci
Une formation
Designer (éditeur graphique) et Palette des composants
Aimad TAHI
Merci
Une formation
Utilisation du Business Model
Aimad TAHI
Une formation
Plan
Objectifs
Création ou ouverture d’un BM
Modélisation
Merci
Une formation
Gérer la documentation et l'assigner
Aimad TAHI
Une formation
Plan
Commenter et réarranger un BM
Propriétés
Assigner un document
Modification d’un BM
Merci
Une formation
Conception d’un Job
Aimad TAHI
Une formation
Plan
Objectifs
Créer ou Ouvrir un Job
Conception d’un Job
Merci
Une formation
Les entrées et les sorties
Aimad TAHI
Une formation
Plan
Définition d’une entrée (source)
Définition d’une sortie (cible)
Merci
Une formation
Exemple d’entrée et sortie
Aimad TAHI
Merci
Une formation
Connexion des composantsRow 1/2
Aimad TAHI
Une formation
Plan
Connexion Main
Connexion Lookup
Connexion OutPut
Connexion Filter
Merci
Une formation
Connexion des composantsRow 2/2
Aimad TAHI
Une formation
Plan
Connexion Unique
Connexion Duplicate
Merci
Une formation
Connexion des composantsIterate
Aimad TAHI
Une formation
Plan
Connexion Iterate
Exemple
Merci
Une formation
Connexion des composantsTrigger
Aimad TAHI
Une formation
Plan
Connexion Trigger
Exemple
Merci
Une formation
Exécution d’un job
Aimad TAHI
Une formation
Plan
Exécuter en mode normal
Exécuter un Job dans un contexte défini
Exécuter en mode debug
Merci
Une formation
Entrées/sorties multiples
Aimad TAHI
Une formation
Plan
Composant à multiples sources
Composant à multiples cibles
Composant à multiples s/c
Merci
Une formation
Exemple des Entrées/sorties multiples
Aimad TAHI
Merci
Une formation
Personnaliser les sous-jobs
Aimad TAHI
Une formation
Plan
Surlignage des sous-jobs
Affichage du titre du SJ
Modifier les couleurs
Format du libellé des composants
Merci
Une formation
Pré-job/Post-job et composant Start
Aimad TAHI
Merci
Une formation
Définition des propriétés d’un composant
Aimad TAHI
Une formation
Plan
Paramètre simple (Basic Settings)
Advanced settings
Paramètres dynamiques (AdvencedContext)
View
Documentation
Merci
Une formation
Les schémas de métadonnées
Aimad TAHI
Une formation
Plan
Connexion aux bases de données
Fichiers métadonnées
Merci
Une formation
Mapping de flux de données1/3
Définition
Aimad TAHI
Une formation
Plan
Flux en entrée et sortie du tMap
Mapping de variables
Expression editor
Schema editor
Merci
Une formation
Mapping de flux de données2/3
Jointure & Optimisation
Aimad TAHI
Une formation
Plan
Modifier les types des jointures
Optimisation tMap avec les filtres
Utiliser les variables
Merci
Une formation
Mapping de flux de donnéesAlimentation de Table
3/3
Aimad TAHI
Une formation
Plan
Alimentation d’une Table BD
Les actions sur la table
Les actions sur les données
Merci
Une formation
La connexion à la base de données
Aimad TAHI
Une formation
Plan
Configurer une connexion BD
Partager une connexion
Merci
Une formation
Les contextes et les variables
Aimad TAHI
Une formation
Plan
Utiliser les variables dans un Job
Définir les variables à partir de la vue Contexts
Merci
Une formation
Centraliser les contextes dans le Repository
Aimad TAHI
Merci
Une formation
Gérer les mises à jour des éléments du Repository
Aimad TAHI
Une formation
Plan
Modifier un élément du Repository
Mettre à jour automatiquement les Jobs impactés
Mettre à jour manuellement les Jobs impactés
Merci
Une formation
Activation et désactivation d’un Job ou d’un sous-Job
Aimad TAHI
Une formation
Plan
Désactiver un composant et sous-Job
Désactiver plusieurs composants et sous-Job
Merci
Une formation
Générer la documentation du Job
Aimad TAHI
Une formation
Plan
Générer la documentation HTML
Mettre la documentation à jour
Merci
Une formation
Configurer un schéma File Delimited
Aimad TAHI
Une formation
Plan
Chargement du fichier
Définition du schéma
Validation du schéma final
Merci
Une formation
Configurer un schéma DB
Aimad TAHI
Une formation
Plan
Configurer une connexion à une BD
Récupérer les schéma de table
Merci
Une formation
Configurer un schéma XML
Aimad TAHI
Une formation
Plan
Chargement du fichier
Définition du schéma
Validation du schéma final
Merci
Une formation
Configurer un schéma Excel
Aimad TAHI
Une formation
Plan
Chargement du fichier
Définition du schéma
Validation du schéma final
Merci
Une formation
Génération des scripts (sous Linux/Aix et Windows)
Aimad TAHI
Une formation
Plan
Exporter des Job scripts sous Windows
Exporter des Job scripts sous Linux
Merci
Une formation
Import et export d’un élément
Aimad TAHI
Une formation
Plan
Import d’un élément
Export d’un élément
Merci
Une formation
Accéder aux routines système
Aimad TAHI
Une formation
Plan
Définition des routines
Accéder aux routines système
Merci
Une formation
Créer vos routines
Aimad TAHI
Une formation
Plan
Création d’une routines
Tester une routine
Merci
Une formation
Appeler une routine à partir d'un Job
Aimad TAHI
Une formation
Plan
Personnaliser les routines système
Appeler une routine à partir d’un Job
Merci
Une formation
Conclusion
Aimad TAHI
Une formation
Bilan
Création de projet sous Talend
Utiliser les interfaces Talend
Modéliser avec Business Model
Création des Jobs (métadonnées, routine)
Une formation
Prochaine formation
Gestion des contextes avancés
Réalisation des jobs complexes
Implémentation en java
Manipulation des fichiers XML
Optimisation
Création et ajout de composant
Déploiement des jobs hors Talend
Merci
top related