une introduction à hadoop
DESCRIPTION
A l'occasion de Solution Linux 2013 nous présentons Hadoop à la communauté en France. Ici une introduction à Hadoop.TRANSCRIPT
![Page 1: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/1.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
HUG France SL2013 – Mai 2013
Une Introduction à Hadoop
Les Big Data ont déjà leur standard : Hadoop !
Charly CLAIRMONTAltic - http://[email protected]@egwada
![Page 2: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/2.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
On a un problème !
![Page 3: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/3.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Un problème de données !
1.2 Zettabytes
Attendu d'ici la fin 2013
Gigabyte -> Terabyte -> Petabyte -> Exabyte -> Zettabyte
![Page 4: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/4.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Tout le monde a ce problème !
![Page 5: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/5.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
DRH SAV
Achats
Marketing
Publicité
Vente
Sous-Traitant
Producteur de Machines
Fournisseurs
Supply Chain
Managt B to B
Web
Fournisseurs
Soc de Service
Push
Banque
Actionnaires
Sites de Recrutement
E-learning Télé-Tutoring
DistributeurMarchand
e-commerc
e
Sites d ’appel d ’offre
CONCURRENTS
Marketing one to one
Site Financier
e-mailing, bandeaux,site promotionnel...
trackingLogistique
CLIENTS
Back-up techniciens
SVP réclamations
Tutoring
Club utilisateur
Télémaintenance
B to B
Co-ingienerie
Extranet
Administr@tions
Sitede
crise
DG
Bureau d’Etude
Maintenance
EDI
Back-up commerciau
x
Partenaires
Veille Concurrentielle et Intelligence Economique
$
Gestion Trésorerie
Dématérialisationdes procédures
Télémaintenance machines
Veille Technologique
Recherche nouveaux Fournisseurs
Market-Place
Télétravail
ASP
Gestion
Source : Jean-Michel YOLINhttp://yolin.net/
![Page 6: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/6.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
DRH SAV
Achats
Marketing
Publicité
Vente
Sous-Traitant
Producteur de Machines
Fournisseurs
Supply Chain
Managt B to B
Web
Fournisseurs
Soc de Service
Push
Banque
Actionnaires
Sites de Recrutement
E-learning Télé-Tutoring
DistributeurMarchand
e-commerc
e
Sites d ’appel d ’offre
CONCURRENTS
Marketing one to one
Site Financier
e-mailing, bandeaux,site promotionnel...
trackingLogistique
CLIENTS
Back-up techniciens
SVP réclamations
Tutoring
Club utilisateur
Télémaintenance
B to B
Co-ingienerie
Extranet
Administr@tions
Sitede
crise
DG
Bureau d’Etude
Maintenance
EDI
Back-up commerciau
x
Partenaires
Veille Concurrentielle et Intelligence Economique
$
Gestion Trésorerie
Dématérialisationdes procédures
Télémaintenance machines
Veille Technologique
Recherche nouveaux Fournisseurs
Market-Place
Télétravail
ASP
GestionBig DATA
![Page 7: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/7.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Où est ce problème ?
![Page 8: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/8.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Mais où ? Là !!
![Page 9: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/9.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Heureusement il y a des solutions !
![Page 10: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/10.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Avec Hadoop... ça passe !
![Page 11: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/11.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Hadoop !
EDW
Applications d’Entreprise
ODS &Datamarts
Applications &Feuille de Calcul
Visualisation & BI
Découverte Exploration
DEV / IDE
Low LatencyNoSQL
Web
WebApplications
Opérations (API)
Custom Existing
Templeton SqoopWebHDFS Flume
HCatalog
PigHBase
Hive
Ambari HAOozie
ZooKeeper
MapReduce HDFS
Big Data Sources (transactions, observations, interactions)
CRM ERPExhaust
Datalogs files
financialsSocial Media
Nouvelle techno
Tableau
sources
![Page 12: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/12.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Hadoop
● WebHDFSFacilite l’accès au données, même depuis votre explorateur de fichiers
● HCatalogVision unifiée de la donnée
● PigLangage de très haut niveau, aussi simple que SQLTransformation, Filtre, Statistique, Scripting
● HiveImplémentation du langage SQL
● HbaseSystème de base de données orienté colonnes
● AmbariGestion & Surveillance plateforme Hadoop
● Map / ReduceFramework de calcul
● HDFSSystème de fichiers distribué
● ...
![Page 13: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/13.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Pourquoi faire ?
![Page 14: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/14.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Et pour quels besoins ?
Media Meilleur Contenu
Intelligence Meilleure Détection
Finance Meilleur Algorithme
Publicité Meilleure Performance
Fraude Meilleure Prévention
Distribution Meilleure Rotation des stocks
Production Meilleure Chaîne logistique
Santé Meilleur Soin
Education Meilleur Enseignement
Gouvernement Meilleur Service Citoyens
Source: Geoffrey Moore. Hadoop Summit 2012 keynote presentation.
sources
![Page 15: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/15.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Hadoop, de l'Open Source pour un vrai marché économique
![Page 16: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/16.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Au fait pourquoi Hadoop ?
FlexibilitéScalabilité
Économique
![Page 17: Une Introduction à Hadoop](https://reader034.vdocuments.site/reader034/viewer/2022042607/557cf45ad8b42a071b8b4703/html5/thumbnails/17.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
HUG France SL2013 – Mai 2013
Une Introduction à Hadoop
Merci !
Charly CLAIRMONTAltic - http://[email protected]@egwada