business intelligence en finance de marche
TRANSCRIPT
-
8/13/2019 Business Intelligence en Finance de Marche
1/40
LaBusiness Intelligenceen finance de march
13 dcembre 2012 Document So@t. Diffusion interdite. 1
-
8/13/2019 Business Intelligence en Finance de Marche
2/40
Sommaire
Qui ?
Jean-Philippe QUEVAT
O ?
La finance de march
Quoi ?FO-MO-BO
Comment ?
La Business Intelligence
Et Alors ?
Architecte dcisionnel chez Natixis
13 dcembre 2012 Document So@t. Diffusion interdite. 2
-
8/13/2019 Business Intelligence en Finance de Marche
3/40
Qui ?
13 dcembre 2012 Document So@t. Diffusion interdite. 3
-
8/13/2019 Business Intelligence en Finance de Marche
4/40
Jean-Philippe QUEVAT
Consultant SO@T depuis 8 ans
Dveloppements .Net : 3 ans
Architecture BI Microsoft : 5 ansMissions chez SGCIB, SEDOC, CA-CIB, Natixis (IXIS-CIB),AVIS,
Architecte dcisionnel chez Natixis
13 dcembre 2012 Document So@t. Diffusion interdite. 4
-
8/13/2019 Business Intelligence en Finance de Marche
5/40
O ?
13 dcembre 2012 Document So@t. Diffusion interdite. 5
-
8/13/2019 Business Intelligence en Finance de Marche
6/40
La finance de march
Il sagit des filiales Corporate and Investment Banking desbanques (SGSGCIB,)
Elle existe afin de rpondre aux besoins de clients (prts, cuivre,
dollars,) et pour placer la trsorerie de la banque (fonds propres)
But :faire des marges en assumant les risques justes (valuation)avoir un meilleur rendement quun placement sans risque (stratgie)
2 marchs financiers distincts :March organis (MO)March de gr gr (OTC)
13 dcembre 2012 Document So@t. Diffusion interdite. 6
-
8/13/2019 Business Intelligence en Finance de Marche
7/40
La finance de march
Une salle de march est divise en Desk correspondant uneactivit:
Change (Fx)Taux (FI)
CrditActions et drives (Equity)Matires premires (Commo)Exotiques
Les produits drivs:Contrats (futures, forwards, swaps, )Options
13 dcembre 2012 Document So@t. Diffusion interdite. 7
-
8/13/2019 Business Intelligence en Finance de Marche
8/40
La finance de march
Progiciels de gestion, passage dordre,:SummitCalypsoMurex
InfinitySystme propritaire pour certains produits
Besoins IT qui dcoule du risquesAuditModlisation et calculs (P&L, Risk, )
ConsolidationReportingScuritRedondance / recoupement des informations
13 dcembre 2012
Document So@t. Diffusion interdite. 8
-
8/13/2019 Business Intelligence en Finance de Marche
9/40
La finance de march
13 dcembre 2012
Document So@t. Diffusion interdite. 9
Front Saisie des Traders Princing/ Modlisation (Quant) / CRM (Sales) Arbitrage
Middle P&L Risks BI (reporting et consolidation)
Back P&L Comptabilit Vrification finale
-
8/13/2019 Business Intelligence en Finance de Marche
10/40
Quoi ?
13 dcembre 2012
Document So@t. Diffusion interdite. 10
-
8/13/2019 Business Intelligence en Finance de Marche
11/40
Front-Office
Traders :Achat / Ventes de produits financiersPricing de produits pour Clients/Sales et reportingvaluation des risques
Quant :Modlisation de produitsConception/Dveloppement de nouveaux produits
Sales :Vente / dmarchage de clients
IT :Progiciel Front : paramtrage + pricers (C++)Commando (Excel, VBA,)
13 dcembre 2012
Document So@t. Diffusion interdite. 11
Front
-
8/13/2019 Business Intelligence en Finance de Marche
12/40
Middle Office
TrsoCalcul liquidit
MarketDataSDR
Consolidation du P&LRisk
Consolidation des Sensi (StressTest)Suivi des limites
ITApplication Lourdes/Web
Historisation sur BdD (gros volumes)Consolidation dans DWH via ETLReporting spcifique
13 dcembre 2012
Document So@t. Diffusion interdite. 12
Middle
-
8/13/2019 Business Intelligence en Finance de Marche
13/40
Back Office
ComptabilitRapprochement P&L Eco / P&L ComptaValidation des Deals
13 dcembre 2012
Document So@t. Diffusion interdite. 13
Back
-
8/13/2019 Business Intelligence en Finance de Marche
14/40
Comment ?
13 dcembre 2012
Document So@t. Diffusion interdite. 14
-
8/13/2019 Business Intelligence en Finance de Marche
15/40
Business Intelligence
13 dcembre 2012
Document So@t. Diffusion interdite. 15
Pourquoi le dcisionnel ?
Information dissmine dans des bases de gestion de plus enplus nombreuses
Htrognit des sources de donnes
Difficult croissante centraliser et recouper les donnes
Besoins de prises de dcisions de plus en plus rapide
Bases relationnelles inadaptes pour rpondre rapidement des requtes lourdes
-
8/13/2019 Business Intelligence en Finance de Marche
16/40
Schma gnrique
13 dcembre 2012
Document So@t. Diffusion interdite. 16
SQL :
Sybase,
Oracle
Fichiers :
XML,
CSV
ETLDWH
Data
Mart
Sources de
donnesETL Entrept de
donnes
Cubes
OLAP
Outils de
restitution
Progiciel
Summit,
Clarity,
WebServices
-
8/13/2019 Business Intelligence en Finance de Marche
17/40
Datawarehouse
13 dcembre 2012
Document So@t. Diffusion interdite. 17
Le datawarehouse :
rassemble toutes les informationsrcupres depuis les sources
Contient des informations de qualit :
Exhaustives
D doublonnes
Vrifies, cohrentes
Le schma relationnel est diffrent de celui des sources :Le besoin fonctionnel est diffrent
Le profil des requtes est compltement diffrent
Schma en toile / en flocon
-
8/13/2019 Business Intelligence en Finance de Marche
18/40
ETL
13 dcembre 2012
Document So@t. Diffusion interdite. 18
A quoi sert lETL ?
Cest un outil cr afin de rcuprer rgulirement des informations de
sources de sonnes htrognes et les dplacer vers dautres bases dedonnes. Pour cela, il combine 3 fonctions:
Extraction
Transformation
Chargement
-
8/13/2019 Business Intelligence en Finance de Marche
19/40
13 dcembre 2012
Document So@t. Diffusion interdite. 19
Les 3 fonctions de lETL
Extraction : utilise des connecteurs pour importer les donnes dedtail depuis les systmes de gestion
Transformation : nettoie, rejette et retravaille les donnes en leurappliquant des filtres, des conversions, des agrgations,
Chargement : importe les donnes dans les tables de la base du
DataWareHouse
ETL
-
8/13/2019 Business Intelligence en Finance de Marche
20/40
13 dcembre 2012
Document So@t. Diffusion interdite. 20
ETL
Conclusion
Cest un point critique du projet car cest ici que sont listes les sources,
construit le rfrenciel, conu lhistorisation, la volumtrie, mis en placedes sauvegardes :60-70% du projet
Il sagit ici de la version la plus complte dun ETL. En ralit, desversions dgrades sont gnralement utilises par les clients.
-
8/13/2019 Business Intelligence en Finance de Marche
21/40
OLAP
13 dcembre 2012
Document So@t. Diffusion interdite. 21
Prsentation dOLAP
OLAP : On Line Analytical Processing
Par opposition OLTP On Line Transaction Processing
Concept nonc par E.F Codd
Essentiellement attach la notion de multidimensionnel
12 rgles essentielles (transparence, accessibilit, consistance,etc)
-
8/13/2019 Business Intelligence en Finance de Marche
22/40
13 dcembre 2012
Document So@t. Diffusion interdite. 22
Concept de Cube
Cube : Entit multidimensionnelle contenant les donnesorganises suivant des dimensions
Dimension 2 :Produit
Dimension 3 :
ClientDimension 1 :
Temps
Vente dun ContratISIN 521523652
Le 29/10/2007
Au client N7042
OLAP
-
8/13/2019 Business Intelligence en Finance de Marche
23/40
13 dcembre 2012
Document So@t. Diffusion interdite. 23
Concept de Cube
Un cube peut avoir virtuellement un nombre illimit dedimensions
Il est toujours construit partir dun modle en flocon ou entoile :
Les tables de dimensions correspondent aux dimensions du cube
La table de fait correspond la donne mesure stocke dansle cube
Navigation dans le cube
OLAP
-
8/13/2019 Business Intelligence en Finance de Marche
24/40
13 dcembre 2012
Document So@t. Diffusion interdite. 24
Process et mode de stockageLaction de rcuprer les donnes depuis le Datawarehouse etde calculer les aggrgats sappelle le process du cube.
Plusieurs modes de stockage existent : MOLAP, ROLAP, HOLAP,etc La diffrence est le niveau de dtail de donnes stockes
dans le cubeAggrgations
Le moteur OLAP a la possibilit de pr-calculer desaggrgations pour chaque niveau hirarchique de chaquedimension
Ces pr-calculs rduisent considrablement le temps derponse des requtes
Le nombre dagrgats calculer augmente
exponentiellement avec le nombre de dimensions et de niveauxhirarchiques
OLAP
-
8/13/2019 Business Intelligence en Finance de Marche
25/40
Reporting
13 dcembre 2012
Document So@t. Diffusion interdite. 25
La restitution des donnes
Pour lutilisateur final, quelque soit la quantit de la solution, lesystme sera jug sur la capacit sintgrer sonenvironnement de travail et son utilisation.
La restitution doit tre multimdia et communicante
La restitution doit tre adapte lutilisateur
Tableau de bord visuel
Requtage sur le cube
Reporting agrg
-
8/13/2019 Business Intelligence en Finance de Marche
26/40
13 dcembre 2012
Document So@t. Diffusion interdite. 26
Reporting
Exemple de restitutions
Go-localisation
Connaitre la disponibilit des Autolib dans chaque station
DataMining
Analyser les flux , localiser les zones sur/sous-quipes
Analyse des donnes agrges
Dterminer lutilisation moyenne
KPI : Key Performance Indicator
Suivre une tendance (volution du nombre de nouveauxabonnements mensuels)
CRM
Analyser les habitudes des usagers pour les partenairescommerciaux
-
8/13/2019 Business Intelligence en Finance de Marche
27/40
13 dcembre 2012
Document So@t. Diffusion interdite. 27
Et Alors ?
-
8/13/2019 Business Intelligence en Finance de Marche
28/40
Architecte BI chez Natixis
Mission :Mettre en place un environnement BI pour permettre lintgration desdonnes des progiciels Front-Office (Summit, Murex, Calypso)
Problmatique :intgrer 300 millions de lignes par nuit dans une base de donnes et lesrestituer de manire rapide aux utilisateurs
Equipe :
1 chef de projet1 architecte3 dveloppeurs
13 dcembre 2012
Document So@t. Diffusion interdite. 28
-
8/13/2019 Business Intelligence en Finance de Marche
29/40
Encadrement :Chiffrage des diffrentes tapes de conception/dveloppementLotissement des dveloppements et planningFormation des dveloppeurs (.Net, Java) la BI
Dveloppement et Tuning
Fonctionnel :Dfinir les besoins avec les utilisateurs (pas de MOAs)
Dfinition du primtreComprhension fonctionnellePour le reporting (optimisation)Pour dfinir les axes danalysePour prvoir les volutions, les goulets dtranglement,
13 dcembre 2012
Document So@t. Diffusion interdite. 29
Architecte BI chez Natixis
-
8/13/2019 Business Intelligence en Finance de Marche
30/40
Architecture :Choix des technologies (ETL = SSIS, OLAP = SSAS, DB = Sybase IQ)Architecture technique :
Benchmark des mthodes : SQL, ETL, LoadTable,Dfinition du workflow
Conception / DveloppementFlux dinformation :
Connecteurs de liaisons avec extrieur (dpt de fichiers, SQL,WebServices,)change Unix Windows
Archivage/purge
Infrastructure :tude des machines (CPU, RAM, Stockage, Rseau,)
13 dcembre 2012 Document So@t. Diffusion interdite.30
Architecte BI chez Natixis
-
8/13/2019 Business Intelligence en Finance de Marche
31/40
Scurit :Audit , Log , Gestion des droitsReprise sur chec
Dfinition de normes de dveloppement :Mthode de livraisonUsine logiciel
Gestion de configurationAnalyseur de code
Tests UnitairesBest Practice
Veille Technologique / Benchmark des nouveauts (SQL Server 2012)
13 dcembre 2012 Document So@t. Diffusion interdite.31
Architecte BI chez Natixis
-
8/13/2019 Business Intelligence en Finance de Marche
32/40
13 dcembre 2012 Document So@t. Diffusion interdite.32
En Dtails
-
8/13/2019 Business Intelligence en Finance de Marche
33/40
DWH : en dtails
Modle physique de donnes dun DataWareHouseConception : schma en toile (3eme forme normale, Boyce-Codd)
Types de donnes (date/datetime,)Dimensions clates ou non
en fonction des besoins
Limitations techniquesTuning
IndexPartitionnementArchivage
Vues pour les accs des utilisateursScuritDcouplage
13 dcembre 2012 Document So@t. Diffusion interdite.33
-
8/13/2019 Business Intelligence en Finance de Marche
34/40
13 dcembre 2012 Document So@t. Diffusion interdite.34
DWH : en dtails
-
8/13/2019 Business Intelligence en Finance de Marche
35/40
ETL : En dtails
Archi SSIS dune alimentation :DataFlowControlFlowLogEventHandlersGestion XML
Parsing
LoadTable / Bulk CopyExecution SQL
Avec VisualStudio pour la BI : BIDS ou SSDT (depuis 2012)
13 dcembre 2012 Document So@t. Diffusion interdite.35
-
8/13/2019 Business Intelligence en Finance de Marche
36/40
13 dcembre 2012 Document So@t. Diffusion interdite.36
-
8/13/2019 Business Intelligence en Finance de Marche
37/40
SSAS : En dtails
Architecture serveur :Instances
BasesCubesDimensions
Scurit:RlesAssembly
Unified Dimensional Model (UDM) :Data SourceData Source View
13 dcembre 2012 Document So@t. Diffusion interdite.37
-
8/13/2019 Business Intelligence en Finance de Marche
38/40
13 dcembre 2012 Document So@t. Diffusion interdite.38
-
8/13/2019 Business Intelligence en Finance de Marche
39/40
Au Final
Intgralit du panel dcisionnel rencontr
Grande diversit des mtiers et technos dans le ple IT
Problmatiques intressantes et nombreuses
Recherche de solutions adaptes
Veille technologique permanente
Fonctionnellement trs riche
13 dcembre 2012 Document So@t. Diffusion interdite.
39
-
8/13/2019 Business Intelligence en Finance de Marche
40/40
13 dcembre 2012 Document So@t. Diffusion interdite.
Questions ?