bruno del-fabbro lifc besançon, france [email protected]
DESCRIPTION
Bruno DEL-FABBRO LIFC Besançon, France [email protected]. Data Tree Manager : Un service de gestion des données persistantes pour le calcul ASP sur la grille. Plan. Introduction: Le modèle GridRPC Motivation de la gestion des données Le modèle GridRPC et la gestion des données - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/1.jpg)
B. Del-Fabbro CFSE’05 LIFC p.1
Data Tree Manager : Un service de gestion des données persistantes pour le calcul ASP sur la grille
Bruno DEL-FABBRO
LIFCBesançon, France
![Page 2: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/2.jpg)
B. Del-Fabbro CFSE’05 LIFC p.2
Plan
● Introduction: Le modèle GridRPC● Motivation de la gestion des données● Le modèle GridRPC et la gestion des données● L’approche DIET de gestion des données ● Expériences● Conclusion
![Page 3: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/3.jpg)
B. Del-Fabbro CFSE’05 LIFC p.3
Introduction
● Calcul sur la grille = aggrégation de ressources hétérogènes Très grand potentiel Difficile pour les non spécialistes Pas ou peu de standards
● GridRPC: standard pour l’approche de calcul client-serveur (Global Grid Forum)– API basée sur le modèle RPC– Quelques Environnements ASP ; NetSolve, Ninf,
DIET…
![Page 4: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/4.jpg)
B. Del-Fabbro CFSE’05 LIFC p.4
Modèle GridRPC
AGENT(s)
S1 S2
S3 S4
Client
A, B, C
Réponse (C)
S2 !
Requête
Op(C, A, B)
![Page 5: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/5.jpg)
B. Del-Fabbro CFSE’05 LIFC p.5
Gestion des données
Pas de gestion des données dans le modèle GridRPC:● Un serveur de calcul ne peut pas conserver des
données localement et les réutiliser pour d’autres calculs (persistance).
● Un serveur ne peut pas émettre une donnée vers un autre serveur (redistribution).
![Page 6: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/6.jpg)
B. Del-Fabbro CFSE’05 LIFC p.6
Limitation du modèle actuel
AGENT(s)
S1 S2
S3 S4
Client
A, BC
S2 !
C=A*B
C=A*B
S1 !
D=C-1
C
C ???D=C-1
D
![Page 7: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/7.jpg)
B. Del-Fabbro CFSE’05 LIFC p.7
Données dans le GridRPC
Pourquoi:● Grandes à très grandes taille des
données● Eviter les transferts de données
inutiles● Localiser les données
● Mais...pas toujours utile
Client Serveur
Stockage de données
![Page 8: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/8.jpg)
B. Del-Fabbro CFSE’05 LIFC p.8
Extension du modèle GridRPC à la gestion des données
● Accès aux données● Localisation des
données:– Données Externes – Données Internes
● !! Ne pas modifier l’API standard
Client Service
Registre
handle enregistrement
résultats
call
lookup
Stockage des données
API de gestion des données
![Page 9: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/9.jpg)
B. Del-Fabbro CFSE’05 LIFC p.9
Gestion des données dans les plateformes GridRPC (existant)
Client ServeurClient Serveur
call
API GridRPC standard Données externes
Client Serveurresultats
call
Résultats intermédiaires
call
B=F(A)C=G(B)
A B
Client Serveur
Données externes résultats
call
![Page 10: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/10.jpg)
B. Del-Fabbro CFSE’05 LIFC p.10
Extension à la gestion des données
Client ServeurClient Serveur
call
API GridRPC standard Utilisation de données externes
Client Serveurretour
call
persistance des données
call
B=F(A)C=G(B)
A B
Client Serveur
Transfert vers des serveurs externes
call
![Page 11: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/11.jpg)
B. Del-Fabbro CFSE’05 LIFC p.11
Distributed Interactive Engineering Toolbox● Structure hiérarchique facilitant la mise à l’échelle● Informations distribuées le long des la hiérachie d’agents● Courtage / Ordonnancement● Persistance des données / Redistribution
MAMAMA
MAMA
LA
LALA
LA
Direct connection
Computational server (SeD)Master Agent
Local Agent
C, Fortran, Java
![Page 12: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/12.jpg)
B. Del-Fabbro CFSE’05 LIFC p.12
DIET Data Tree Manager
DTM
DIET
Agent
SeD DataMover
DataManager
LocManager
Motivations générales :Persistance et redistribution des donnéesAPI client simple : pas de modification de l’API standardDonnées accessibles dans d’autres sessions par d’autres clients Transparence d’accès aux données (identification)
FAST :PerformanceForecasting tool
![Page 13: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/13.jpg)
B. Del-Fabbro CFSE’05 LIFC p.13
Avantages
API simple à utiliser
Placement et mouvement des données transparents au client.
Données proches des serveurs de calcul
Inconvénients actuels
Pas de réelle politique de stockage
DIET Data Tree Manager
![Page 14: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/14.jpg)
B. Del-Fabbro CFSE’05 LIFC p.14
Platforme de tests
•Machines Linux 0.8 up to 1.5 Ghz
•LAN : 100 Mbytes
•WAN : 16 Mbytes
•Tests réalisés en conditions réelles
•Séquence d’appel : opérations sur des matricesC = A*BD = C+EA = tA
![Page 15: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/15.jpg)
B. Del-Fabbro CFSE’05 LIFC p.15
Résultats Experimentaux
DIET tests
0
200
400
600
800
1000
1200
1400
1600
1800
0.8 1.6 4 6 8 16 24 32 64 128Matrix size (Mbytes)
Com
puta
tion
time
without persistencewith DTM : local datawith DTM : remote Data
![Page 16: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/16.jpg)
B. Del-Fabbro CFSE’05 LIFC p.16
Quelques exemples d’applications cibles● Modélisation Numérique de Terrain:
– Calcul du modèle numérique de terrain– + rendu 3D ou + positionnement d’antennes
● Simulation de physique moléculaire:– Simulation Monte Carlo de la cinétique de déposition
d’atomes sur substrat– Visualisation Povray
● Dividing cube:– Extraction d’ISO surfaces– Reconstruction d’images– Visualisation
![Page 17: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/17.jpg)
B. Del-Fabbro CFSE’05 LIFC p.17
Client
Div Cube ?
MA
LA
SeD1 DM1
LM1
LM0
ID1, file, /../../file1.vox, …, ..
SeD1!
Ajout fichier vox
id1,
jpeg
_file Id1, DM1
Id1, LM1
Exemple d’utilisation : Dividing Cube
Algorithme d’extraction d’iso surfaces
Vox_file
Calcul
![Page 18: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/18.jpg)
B. Del-Fabbro CFSE’05 LIFC p.18
Use Case : Dividing Cube
Client
Div Cube ?
MA
LA
SeD1 DM1
LM1
LM0
ID1, file, /../../file1.vox, …, ..
Id1, DM1
Id1, LM1SeD1!
Solve(id1,..)
getData(id1)
Calcul
Jpeg file
Donnée déjà présente
![Page 19: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/19.jpg)
B. Del-Fabbro CFSE’05 LIFC p.19
Exemple d’utilisation : Dividing Cube
Temps d'exécution avec ou sans DTM
0
200
400
600
800
1000
1200
1400
1600
0,031 0,25 1 2 4 16 32 64 128 256 512File size (MBytes)
com
puta
tiona
l tim
e
without DTMwith DTMserver time 52%
![Page 20: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/20.jpg)
B. Del-Fabbro CFSE’05 LIFC p.20
Conclusion et Perspectives
Conclusion Intérêt de l’approche : gain en temps de calcul total, transparence
Proposition de normalisation en cours de discussion dans la cadre du GridRPC Working Group au GGF pour la gestion des données.
Perspectives Politique de conservation de la donnée :
Combien de temps ? Valeur de TTL, algorithme type LRU
Hétérogénéité : récupérer ou fournir des données externes à la plateforme.
Service de Réplication : API pour la réplication : fournie à l’ordonnanceur Evaluation de performances = FAST (meilleurs candidats pour les transferts) Cohérence des données ? Intérêt ?
![Page 21: Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr](https://reader036.vdocuments.site/reader036/viewer/2022062502/56814cdb550346895db9de5f/html5/thumbnails/21.jpg)
B. Del-Fabbro CFSE’05 LIFC p.21
Bruno DEL-FABBRO
LIFCBesançon, France
Data Tree Manager : Un service de gestion des données persistantes pour le calcul ASP sur la grille