Sommario:

• il testbed CMS/LCG0 e la configurazione della farm di Bari

• sviluppo software/tool di produzione per CMS e GRID.

• eventi in produzione per il PCP

Nicola De Filippis

On behalf of:

T. Coviello, M. D’Amato, G. Donvito, R. Gervasoni, G. Maggi, M. Maggi, L. Silvestris

Produzione di pre-challenge per DC04

• Il Data Challenge verrà fatto su GRID (con LCG-1)• È necessario arrivare a febbraio 2004 con un sistema basato su tools di GRID ragionevolmente testato

• Una parte della produzione di PCP deve essere fatta su GRID per

poter sviluppare e testare in un ambiente in-production i tools indispensabili per il DC04

• CMS “peserà” il numero di eventi prodotti con la complessità del sistema usato per produrli…

• È necessario però basare la PCP sul sistema più efficiente che è al momento quello delle Produzioni Locali

Perchè fare PCP su GRID

CMS/LCG-0CMS/LCG-0 è un testbed ideato da CMS basato sulla distribuzione LCG-0.

È utile prima che sia disponibile LCG-1 per: - esercitarsi nell’uso dei tools di GRID prima di LCG-1 - sviluppare tools di analisi e produzione da usare su LCG-1 - test di nuovi tools GRID di potenziale interesse per CMS - soluzione di back-up per i prototipi di GRID su PCP se LCG-1 è in ritardo

Può costituire un ambiente comune per le produzioni da usare anche come base per le farm che fanno produzioni locali

È possibile far convivere le produzioni su farm locali e su GRID! Si può configurare la farm in modo ”ibrido”…

Il testbed CMS/LCG0

Il cluster CMS/LCG0 è composto da:

• 12 PIII doppio processore a 1/1.2 GHz di cui circa la metà ha 1GB di RAM:

1 User Interface

1 Computer Element

9 Worker Node

1 Storage Element con circa 0.8 TB di disco disponibili.

…tutti integrati con i servizi (Resource Broker) del CNAF.

3 UPS per evitare danni da bruschi cali di tensione

Il cluster CMS/LCG0 di Bari

Installazione INFN-GRID/LCG0

La procedura di installazione consiste nella:

• installazione S.O. Red Hat 7.3.2 del CERN con LCFGng (Modificando profili esistenti e creandone di nuovi per adattarli alla versione CERN)

• installazione LCG-0 dei vari elementi GRID con LCFGng e test di funzionalità.

Sono stati effettuati test delle applicazioni:• di CMS• di Chimica Computazionale

Software installato per PCP di CMS: • software di CMS (v. 4.0) + CMKIN_1_0_2 installati su tutti i WN

• PBS server (v. 2.3.16) installato sul CE

• BOSS/MySql server (v. 3.2) installato sulla UI

• McRunjob versione fin230503 installato sulla UI (in OCTOPUS)

• bbftp tool di trasferimento file

• SMTP o postfix server

La configurazione del cluster è “ibrida” in quanto esso può essere utilizzato sia come una farm CMS “standard” sia come un

nodo GRID accessibile dall’esterno per utenti certificati.

Il cluster CMS/LCG0 per il PCP

Per quanto riguarda i tool di produzione abbiamo:• installato un RefDB privato (reference database) per sviluppare

• una interfaccia web per produzioni private

• un parser per card di PYTHIA

• testato McRunjob e realizzato un configuratore per PBS

• realizzato una interfaccia grafica per la creazione e sottomissione dei job di una produzione di CMS (sia su farm locale che su Grid).

• realizzato una interfaccia grafica per la creazione, sottomissione e recupero dello stato e dell’output dei job su Grid per applicazioni general purpose.

• sviluppato un tool per l’upload di interi alberi di directory con bbftp, in modo programmato e automatico

• installato BODE (boss database explorer) che è uno strumento utile per navigare nel database BOSS/MySQL per produzioni.

Sviluppo software per CMS e GRID

Tool di produzione: RefDB privato

L’interfaccia web per fare una richiesta di produzioni private non è separata da quella standard:

L’ AssignmentID è dato automaticamente e tutte le informazioni relative alle produzioni private sono storate nel RefDB, come per le produzioni ufficiali.Problema: Come autenticare un utente per fare una richiesta? L’accesso al RefDB per un qualunque utente di un sito non specificato può essere pericoloso!

La richiesta può essere fatta come:

• un generico PrivateUser (la soluzione migliore per me!)

• un utente registrato per un PrivateGroup (ma questo può determinare una lista molto lunga!)

Tool di prod.: PYTHIA parser per RefDB

Il parser è accessibile dal link “Create a Pythia Card File” nella CMS Production page.

L’utente ha 3 possibilità:1. Riempire la web form con i valori delle datacard 2. Partire da un file esistente nel RefDB 3. Partire da un file esterno (NEW!)

Tool di prod.: PYTHIA parser per RefDB

1. Il parser salta le linee di commento

2. Salta anche alcune stringhe come:”LIST”, “EOF”, ecc..

3. Le altre linee sono interpretate come Datacards con i loro valori e descrizione.

descrizione della Datacard

Datacard + valoreKeyword

Tool di produzione: McRunjob • McRunjob è un framework che permette di gestire la creazione e

la sottomissione dei job:• I 3 componenti più importanti sono:

– Configurator: è un pacchetto di metadata che può gestire qualunque applicazione

– Script Generator: è un tipo di configuratore che implementa anche la creazione di script.

– Linker: è un container per configuratori. Esso si occupa la comunicazione tra i configuratori ed il framework di creazione dei job.

• Per le produzioni CMS: esistono specifici CMS Configurators (CMKIN, CMSIM, InputPluginRefDB, etc…) lo Script Generator usato è ImpalaLiteScriptGen esistono specifici CMS specific macro scripts: ImpalaOneStep.mcj, IMPLRunJob.mcj• Abbiamo realizzato un configuratore per la sottomissione dei job su un PBS scheduler

Tools: GUI per produzioni CMS

Input Choice

Output Choice

Beginner/Advanced User

Starts Chain

E’ una interfaccia grafica per la creazione e sottomissione dei job di una produzione di CMS (sia su farm locale che su GRID)

Number of Job to be submitted

Create and subm

it jdl script to the G

rid or L

ocal Farm

Tools: GUI per creazione di Job su GRID

E’ una interfaccia grafica per la creazione, sottomissione e recupero dello stato e dell’output dei job su Grid (scripts JDL).

gridba2.ba.infn.it:2119/jobmanager-pbs-shortgridba2.ba.infn.it:2119/jobmanager-pbs-mediumgridba2.ba.infn.it:2119/jobmanager-pbs-longgridba2.ba.infn.it:2119/jobmanager-pbs-infinitegrid002.na.infn.it:2119/jomanager-pbs-shortgrid002.na.infn.it:2119/jobmanager-pbs-mediumgrid002.na.infn.it:2119/jobmanager-pbs-longgrid002.na.infn.it:2119/jobmanager-pbs-infinitegrid002.ca.infn.it:2119/jobmanager-pbs-workq

https://grid009g.cnaf.infn.it:7846/193.206.1https://grid009g.cnaf.infn.it:7846/193.206.1https://grid009g.cnaf.infn.it:7846/193.206.1https://grid009g.cnaf.infn.it:7846/193.206.1https://grid009g.cnaf.infn.it:7846/193.206.1https://grid009g.cnaf.infn.it:7846/193.206.1https://grid009g.cnaf.infn.it:7846/193.206.1https://grid009g.cnaf.infn.it:7846/193.206.1https://grid009g.cnaf.infn.it:7846/193.206.1

GT_UPLOAD:• Tool basato su bbftp utile per trasferire un intero albero di directory, ricorsivamente e periodicamente nel tempo• Contiene un registro dei files trasferiti e della data dell'ultima modifica, in modo da trasferire solo quelli modificati. • Facile installazione e configurazione; minimo intervento dell'utente.• Gira in background come demone.

Sarà disponibile al link: http://roma1.infn.it/exp/cms/DC04

Sviluppo software per CMS e GRID

BODE (Boss database explorer) è uno strumento molto utile per navigare nel database Boss/mysql per produzioni MC.

• l’installazione e’ stata fatta con il file tar.gz. di Alexei

• i pochi problemi sono stati notificati ad Alexei e tenuti in conto per la release del 15 di Maggio.

Tool di produzione: BODE

Produzione CMKIN per il DC04

• Stiamo generando 340k eventi di fondo QCD per il canale ttH con H bb come richiesto dal btau (bt03_qcd170_tth).

• la selezione prevede la ricostruzione di almeno 3 b-jet con pthat > 170 GeV/c per le interazioni dure,

• Tempo: 43 sec/evento con circa 1 evento selezionato su 500. Le ntuple di 250 eventi occupano circa 15 MB di spazio disco.

• Continueremo con 180k eventi di MB ma non sono stati ancora richiesti dai PRS

• Stima totale dei tempi: 15 giorni su 19 CPU che comprende una efficienza del 75 % delle macchine.