Intégration du système de Intégration du système de production LHCb sur la DataGRID production LHCb sur la DataGRID

V. Garonne,V. Garonne,

CPPM, MarseilleCPPM, Marseille

RRééunion DataGRID France,union DataGRID France,

13 f13 fév. 2003v. 2003

ContentsContents

Contexte et motivationsContexte et motivations L’application de productionL’application de production Le passage Le passage àà la grille la grille Perspectives et conclusionsPerspectives et conclusions

Contexte:Contexte:

MotivationsMotivations

L’expérience LHCb: L’expérience LHCb: Etude précise de la violation de CP dans tous les couples Etude précise de la violation de CP dans tous les couples

"particule-antiparticule" contenant un quark beau "particule-antiparticule" contenant un quark beau (mésons beaux) lors des collisions proton-proton. (mésons beaux) lors des collisions proton-proton.

Ses caractéristiques :Ses caractéristiques : De gros volumes de données à analyser (de l’ordre de 1.3

petaoctets par an). Les utilisateurs sont répartis sur l’Europe (500 sur 20 sites). Les moyens de calculs et de stockages sont eux aussi répartis sur

l’Europe.

La simulation du détecteurLa simulation du détecteur La production de données

Job flowJob flow

Gauss - v5

GenTag v7

Gauss - v5

Brunel - v12

Gauss - v5Gauss - v5

Brunel - v12

Pythia – v2

Execution Flow (Jobs)

1) Generation

2) Simulation

3)Reconstruct

4) Analyze

Work Flow

Les contraintes de Les contraintes de l’application de productionl’application de production

Dépendances Dépendances àà des softwares des softwares Les versions évoluent rapidement

En sortie : En sortie : Fichiers de données de plusieurs types A stocker dans des endroits différents

Forte exigence en puissance CPU et mémoire Forte exigence en puissance CPU et mémoire virtuellevirtuelle

Architecture StandardArchitecture Standard

Edit

Prod.Mgr

Work flowEditor

ProductionEditor

InstantiateWorkflow

•Job request•Status updates

ProductionAgent

Productiondata

Scripts

Production DB

Production Server

Bookkeeping infoBookkeeping

Updates

Le passage Le passage àà la grille la grille

Principe : utiliser la grille comme un autre centre de Principe : utiliser la grille comme un autre centre de productionproduction

Application déjà orientée grilleApplication déjà orientée grille Utilisation de peu d’outils de la grille.Utilisation de peu d’outils de la grille.

L’environnement sécurisé Tolérances aux pannes et stabilité du système Service de soumission/contrôle de tâches

Génération du fichier de description de tâche

Sécuriser l’accès au serveur de productionSécuriser l’accès au serveur de production Installation de l’environnement LHCb «  Installation de l’environnement LHCb «  àà la volée » : la volée » :

Dans le Storage Element Dans le répertoire courant

Architecture de production avec la Architecture de production avec la DataGRIDDataGRID

Edit

Prod.Mgr

Work flowEditor

ProductionEditor

InstantiateWorkflow

•Job request•Status updates

DataGRIDCE

Productiondata

Scripts

Production DB

Production Server

Bookkeeping infoBookkeeping

Updates

Input sandbox:

Job+ProdAgentDataGRID

Agent

Production agentProduction agent

nJob

Batch farm

ProductionAgent

bbftp

Storage

Castor

Job request

Job status update

Bookkeeping info

Production center

Submit job

Log files

Histo filesData files

Transfer data

BK files

Checkdata

Softw

are i

nsta

llatio

n

Job

stat

us

upda

te

Comportement de l’agentComportement de l’agent

1.1. Extrait le script de la Extrait le script de la tâchetâche de « l’ Input Sandbox » de « l’ Input Sandbox »Ou :Ou :

2.2. Demande le(s) script(s) au serveur de production;Demande le(s) script(s) au serveur de production; Vérifie l’environnement:

installe les softwares manquants si nécessaire;

3.3. Exécute la production sur le nœud de travail, informe le serveur de Exécute la production sur le nœud de travail, informe le serveur de productionproduction

4.4. Effectue le « bookkeeping » pour la Effectue le « bookkeeping » pour la tâchetâche finie: finie: Mise à jour de la base de données « bookkeeping »; Transfère les fichiers de log et les histogrammes de monitoring; Transfère les fichiers de données vers un système de stockage; En cas de succès met à jour « bookkeeping »;

Utilisation de BBFTP

Plan de testPlan de test

Durée de la phase de test ~10 joursDurée de la phase de test ~10 jours ~10.000 jobs~10.000 jobs ~6 min. par événement (evts)~6 min. par événement (evts) 3 sortes de jobs : 50 evts, 150 evts, 500 evts3 sortes de jobs : 50 evts, 150 evts, 500 evts Paramètres de soumission (séquencement des Paramètres de soumission (séquencement des

soumissions, nombre de RB)soumissions, nombre de RB) Mesures et statistiques:Mesures et statistiques:

Nombre de jobs réussis Nombre de jobs échoués

Classification Pourcentage Statistique par site

Interface de productionInterface de production

PerspectivesPerspectives

Test des outils EDGTest des outils EDG Gestion des données (GDMP, Replica catalog, Gestion des données (GDMP, Replica catalog,

gridftp)gridftp) Rendre ces données disponibles en dehors du Rendre ces données disponibles en dehors du

contexte DataGRIDcontexte DataGRID Parallélisation d’un job (DAG Manager)Parallélisation d’un job (DAG Manager) Job monitoring services processes (WP3)Job monitoring services processes (WP3)

Certificat spécifique pour les jobs de production ?

Correction automatique et dynamique de Correction automatique et dynamique de l’ordonnanceurl’ordonnanceur

ConclusionConclusion

Incorporation de l’EDG dans le système de Incorporation de l’EDG dans le système de production LHCbproduction LHCb

Utilisation minimaliste des prestations de EDGUtilisation minimaliste des prestations de EDG Plans pour tester les autres outilsPlans pour tester les autres outils Les tests de tâche de production sont en Les tests de tâche de production sont en

cours…cours…