morning with mongodb paris 2012 - fast connect
TRANSCRIPT
Morning With 7 Novembre 2012
Novembre 2012
SOA - BRMS - ESB - BPM – CEP – BAM - High Performance – Compute & Data Grid - Cloud Computing - Big Data – NoSQL – Analytics - Mobile
Mathias Kluba Managing Consultant – Responsable offres NoSQL et Big Data
Présents sur tout le cycle de vie applicatif
• Conseil • Accompagnement à l’adoption technologique • Formations • Direction et Gestion de Projets • Animation des Centres de Compétences/Expertises • Gestion des indicateurs de Performance et Qualités (KPI, SLA…) • Architecture & Développement • Socle Documentaire • Méthodologie et Bonnes Pratiques suivant le domaine • Expertise • Support & TMA
3
Nos offres d’accompagnement autour du BigData et NoSQL
Formations § Formation générale BigData § Formation générale NoSQL § Formation Hadoop, MongoDB, Gigaspaces, ActivePivot, Spotfire Forma9ons
Conseil Architecture
Ingénierie
Infogérance et Support
Exploitation et Support § Mise en place d’une infrastructure middleware robuste et opérable § Intégration avec le SI existant § Mise en place de solutions de supervision de bout en bout
(SLAs, applications, système et réseaux) § Production 24x7 § Support 1er niveau et TMA
Conseil et architecture § Conseil en architecture et évolution SI § Accompagnement au choix des solutions § Audit pré ou post production § Propositions d’architectures cibles § Création, amélioration de frameworks § Revues d’architecture
Ingénierie § Mise en place d’une architecture d’analyse
et traitement des données BigData Hadoop/NoSQL § Expertise technique, usines logicielle, frameworks, bonnes pratiques,
développement itératif § Intégration avec les standards et technologies existants § Mise en place de solutions de visualisation
(dashboard/reporting/data navigation)
4
Cas d’usage: § Recherche dans des fichiers § Gros volume de fichiers § On souhaite garder le format d’origine § On veut faire des recherches « complexes » § On souhaite faire des « stats »
Cas d’usage
5
Première approche:
Première approche
SELECT * FROM table WHERE field LIKE ‘%toto%’
SQL
§ TROP LENT § TROP GROS VOLUME
6
Deuxième approche:
Deuxième approche
§ TROP LENT § TROP RIGIDE
programme
7
For(int i = 0; i < length; i++){ doSomeStuff(); }
Approche MongoDB / Hadoop :
MongoDB + Hadoop
1. Fichiers d’origines
2. Filtre un sous ensemble + meta-‐data
3. Affinage, recherche interac9ve
8
Approche MongoDB:
MongoDB en solo
MongoDB Map/Reduce
Report BIRT
9
En résumé: § L’utilisateur peut affiner sa recherche grâce à Excel § L’utilisateur va demander au développeur un meilleur
filtre MapReduce Hadoop (meilleur analyse du texte) § L’utilisateur peut générer un rapport (BIRT)
En résumé
10
Avantages: § On conserve le format d’origine des fichiers
sur HDFS § On bénéficie d’une analyse très fine du texte grâce à
Hadoop § On stocke un gros volume grâce à la scalabilité de
MongoDB § On peut affiner la recherche via Excel avec la
puissance des requêtes MongoDB § On peut générer des statistiques grâce à la rapidité et
la facilité du MapReduce MongoDB § On bénéficie du support de BIRT pour générer des
rapports
Approche MongoDB + Hadoop
11
Requêtes MongoDB dans Excel
Intégration MongoDB et Excel
12
Statistiques sur MongoDB
Statistiques MongoDB
13
Déploiement MongoDB
14
Conclusions: § Rapide à mettre en place § Souplesse du schéma (agilité) § Requêtes complexes plus rapide qu’en SQL § Scalabilité de l’infrastructure § BIRT: intégration mongoDB en « beta » § Besoin d’un outil de monitoring: à quand MMS
disponible en mode « hosted » ?
Approche MongoDB
15
§ Contactez nous § www.fastconnect.fr § blog.fastconnect.fr § [email protected]