[email protected] cresco enea portici: miur 22 aprile 2009 italian national agency for new tecnology,...

[email protected] ENEA Portici: MIUR 22 Aprile 2009

ITALIAN NATIONAL AGENCYFOR NEW TECNOLOGY, ENERGY

AND THE ENVIRONMENT


CRESCO – Centro Computazionale di

RicErca sui Sistemi Complessi

Programma Operativo Nazionale 2000-2006 “Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione”

Misura II.2 “Società dell’Informazione per il Sistema Scientifico Meridionale”Azione a – Sistemi di calcolo e simulazione ad alte prestazioni


Il Progetto CRESCOIl Progetto CRESCOCCentro computazionale di entro computazionale di RRicicEErca sui rca sui SSistemi istemi COCOmplessimplessi Obiettivi infrastrutturali

•Realizzazione di un Polo di calcolo di eccellenza presso il Centro ENEA di Portici•Sviluppo di una nuova classe di funzionalità innovative di GRID Computing

Obiettivi applicativi•Implementazione di soluzioni innovative di GRID computing per le attività di R&S di punta dell’ENEA che richiedano l’utilizzo di risorse computazionali estremamente importanti.•Studio di oggetti biologici dal punto di vista “sistemico” e di sistemi naturali secondo il paradigma dei sistemi complessi•Studio di sistemi tecnologici e sociali complessi e delle loro mutue interazioni, realizzazione di strumenti per il modelling, la simulazione e il controllo


Macrostruttura del progettoMacrostruttura del progetto

Silvio MIGLIORIResp. Scientifico

Comitato Scientifico

Sandro TAGLIENTIDirettore INFO

Andrea QUINTILIANIResp. Amministrativo

Silvio MIGLIORICoord. LA1

Vittorio ROSATO Coord. LA2

Sandro BOLOGNACoord. LA3

Comunicazione e Mktg(TBD)

Prof. Jack Dongarra

Prof. Umberto Ferrari

Prof. Agostino Mathis

Prof. Salvatore Tucci

Prof. Samuel Varnado

Direttore CAMO


Cronogramma1 aprile 2006 – 31 marzo 2009

Mesi 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 33 36

SP I.1 “Realizzazione del Polo di calcolo”

Progettazione degli interventi e definizione delle specifiche

Acquisizione ed installazione di sistemi HW/SW

Implementazione dei sistemi HW/SW, avvio sperimentazione

Collaudo finale dell’intera infrastruttura

Tutti gli altri Sottoprogetti

Progettazione delle attività di R&S nella tematica applicativa

Sviluppo di modelli e codici, realizzazione di Software applicativi

Implementazione di modelli, codici, ecc. per l’utilizzo sulla piattaforma

Produzione, elaborazione e pubblicazione dei risultati di R&S


Le tre linee di attività di CRESCOLe tre linee di attività di CRESCO

LA ILA I Realizzazione del Polo di calcolo e sviluppo di nuove funzionalità di GRID Computing

LA IILA II Sviluppo di tecnologie e modelli computazionali per la descrizione di sistemi complessi di origine biologica e di materiali innovativi

LA IIILA III Sviluppo di modelli di simulazione ed analisi delle reti tecnologiche complesse e delle loro interdipendenze


ENEA-GRID

Sensor nets

ENEA-GRID

• Born in 1998 with 6 Italian geographic clusters • Main aim

– Give to ENEA researchers a unified environment to use in an easy way heterogeneous computers and applications software

– Build an homogeneous ICT infrastructure but with a distributed and delegated control

– Integrate the ENEA-GRID with National and International GRIDS

www.afs.enea.it/project/eneagrid

Data archivesColleagues & 3D

Software

catalogs

ComputersApplication

Fabric

Connectivity

Resource

Collective

User


ENEA-GRID from the user point of viewMain feature:– Access from any kind of connection– Sharing data in world wide areas (geographical file system AFS) – Access to the data from any kind of digital device client – Running any kind of programs – Access to National and International GRIDS

Sensor nets

Data archives

Computers

Portici Roma-1

Bologna EU…Brindisi Roma-2

Trisaia

Software catalogs

ComputersComputersComputers

Computers

Sensor netsEN

EA

-GR

ID


ENEA-GRID from application point of viewPotentiality:– Running all Software Model for any kind of computer architecture – Only one installation for each software for all geographical computers– All authorized users can have access the software from local site – Any application can share the data in the common geographical file system– All sensors can share the data easily using the geographical file systems

Sensor nets

Computers

Portici Roma-1

Bologna EU…Brindisi Roma-2

Trisaia

Software catalogs

Computers

Computers

Sensor netsEN

EA

-GR

ID

Software Model 1

Software Model 2

Software Model 3

Software Model ..

Rules

Computers


AFS Geographical cross platform & File System

AIX SGI SUN HP Win

Linux

Linux Alpha

…

LSF

User programs and commercial codes

LSF multi-cluster as integrator

XTERM

Graphical User Interface

Application Portal (ICA-Protocol)

ICAWEB

Qu

ality

of

serv

ice

Mon

itori

ng

, A

uto

mati

c r

ecovery

Accau

nti

ng

ENEA GRID


Load Leveler LSF

Graphic User Interface LSF multi-cluster as integratorTelnet

User programs & commercial code

ICAWEB

Cluster 5° ( Portici)

& File System

Load Leveler LSF

Graphic User Interface

Telnet

ICAWEB

Cluster 6° ( Brindisi)

AFS Geographical cross platform& File System

Load Leveler LSF

Graphic User Interface LSF multi-cluster as integrator

Telnet


ICAWEB

Cluster 2° (Casaccia)


Load Leveler LSF


Telnet


ICAWEB

Cluster 4° (Trisaia )


Load Leveler LSF


Telnet


ICAWEB

Cluster 3° (Frascati)


Load Leveler LSF


Telnet


ICAWEB

Cluster 1° ( Bologna)

A Simple view of ENEA GRID

11


LA ILA I Realizzazione del Polo di calcolo e sviluppo Realizzazione del Polo di calcolo e sviluppo di nuove funzionalità di GRID Computing di nuove funzionalità di GRID Computing

SottoprogettiSottoprogetti

SP I.1SP I.1 Realizzazione dell’infrastruttura HPCN SP I.2SP I.2 Sviluppo ed integrazione dell’architettura GRID

e di grafica 3D SP I.3SP I.3 Sviluppo ed ottimizzazione di codici applicativi

in settori di R&S di punta SP I.4SP I.4 Progettazione e sviluppo di librerie per

l’implementazione efficiente e parallela di nuclei computazionali su dispositivi FPGA integrati in un ambiente GRID

SP I.5SP I.5 Web archives


HPC CRESCO INFRASTRUCTURE

Portici

LAN

Interconnections InfiniBand

4XDDRSERVERS GPFS

4 Nodi IBM 3650

IBFC

High speed disc

2 GByte/s

160 TByte IBM/DDN 9550

Backup system

300 TByte

IBM Tape Library TS3500 with 4 drives

SERVERS BACKUP

3 Nodi IBM 3650

FCIB

GARR(WAN)

Section 1

(Large memory)

42 Nodi SMP IBM x3850-M2 with 4 Xeon Quad-Core Tigerton E7330

(32/64 GByte RAM 2.4GHz/ 1066MHz/6MB L2) total 672 cores Intel

Tigerton

Section 3

(Special)

4 Nodi blades IBM QS21 con 2 Cell BE Processors 3.2 Ghz each.

6 Nodi IBM x3755, 8 Core AMD 8222 FPGA VIRTEX5

4 Nodi IBM x 3755, 8 core AMD 8222 with NVIDIA Quadro FX 4500 X2

4 Nodi windows 8 core 16 Byte RAMDouble interconnection at 1 Gbit

& 1 network at 1 Gbit for management

Section 2

(MPP)

256 Nodi blades IBM HS21 with 2 Xeon Quad-Core Clovertown E5345 (2.33GHz/1333MHz/8MB L2), 16 GB RAM total 2048 cores Intel Clovertown

4x10 Gbits 1000 Mbits

35 Node for services

Servers for :

•Front-end

•installations

•AFS

•…

CRESCO

17 TFlops

1000 Mbits


CRESCO HPC hall


CRESCO HPC details

Sections 1 & 3 Section 2 & DDN

Control room backup systemnetwork: IB/GB

Corridor hot

Sections 1 &2


CASACCIACASACCIA

FRASCATIFRASCATI

S.TeresaS.Teresa

SaluggiaSaluggia

IspraIspra

BOLOGNABOLOGNA

PORTICIPORTICI

TRISAIATRISAIA

BRINDISIBRINDISI

ManfredoniaManfredonia

ENEA-GRID Computational & 3D Centers

902750

400

140

30

#CPU/Core

45


ENEA-GRID Computational Resources

Computational resources of Portici (NA) , Brindisi e Trisaia (MT) have been financed by Ministry of Research PON TELEGRID (Avv. MIUR 68) CRESCO (Avv. MUR 1575)

Frascati(4), Portici(34),Trisaia(4), Brindisi(4)

10046Windows 32/64

Frascati(1), Trisaia(13)6014Mac OS X

Trisaia(4), Casaccia(2), Bologna(2)108Solaris

Frascati(8), Casaccia(4), Portici(1),Trisaia(8), Brindisi(1), Bologna(5)

4026IRIX

Casaccia30064Linux IA64 (Altix)

Frascati(140), Casaccia(54), Portici(2700),Trisaia(20), Brindisi(84)

25000>3000Linux x86 32/64

Frascati(258), Bologna(24), Portici(18),Brindisi(2)

3000>300AIX

Gflops#CPU/Core OS


Computational abilityENEA-GRID & CRESCO

An heterogeneous system with more than 3000 CPU/cores

Code Risorsa

Serial Section 1 & ENEA-GRID

Parallel hardly coupled Section 2

Embarrassing parallel Section 1, 2, ENEA-GRID

System with several parallel codes

Section 1, 2, Section 1+2

Special ( FPGA, GB, CELL) Section 3

windows (serial and parallel) Section 3

Not LINUX ENEA-GRID

Large date “Data Base” Section 1,2,3 e GPFS


Evoluzione nel tempo dei computer ad alte prestazioni

ENEA

ENEA (CRESCO 125°)

ICT – SCENARIO EVOLUTIVOICT – SCENARIO EVOLUTIVO

Previsione 500°


Jack Dongarra 2002

CRESCO in the Top500 List June 2008

Italy (06/2008)

90 CINECA

125 ENEA

131 ENI

135 CILEA

156 CINECA

226 Telecom


ENEA CRESCOENEA CRESCO SupercomputerSupercomputer

N° 125 Top500 June 2008N° 125 Top500 June 2008


DB_1

CPUSENEA GRID

WEB

ICA

SSH

DNA Sequence system

( ABI Prism 3700)

Trisaia

DB_3

DB_2

Electron Microscope (Brindisi)

300 KeV (sept. 2004)

ENEA GRID and experimental facilities

Controlled Nuclear Fusion:

FTU

Frascati Tokamak Upgrade

Video Acquisition


Stato reale di utilizzo


CRESCO for EUROPEAN FUSION

Cresco 25 Tflops peak System for development and test

of computational codes for

ITER (EFDA contract)

1 Tflops peak

IB


Accesso

Client

Accesso

WEB

sp5-1.frascati.enea.it

boquad.bologna.enea.it

dafne.casaccia.enea.it

2 0 0 8

GEANT

infocal.trisia.enea.it

Gateway

to

EGEE & GRISU

Portici

Brindisi

Kleos.portici.enea.it

ercules.brindisi.enea.it

Accesso

Diretto www.afs.enea.it/project/eneagrid


ENEA-GRID & CRESCO

CRESCO is totally integrate

in ENEA-GRID


Submissions optionsSubmissions options

Fluent optionsFluent options

Example of use of FLUENT on Example of use of FLUENT on ENEA-GRIDENEA-GRID

External Users

Sic

ure

zza

in

du

stri

ale

Sic

ure

zza

EN

EA


ENEA-GRID & Virtual Labarchitecture

Li

ENEA

University and research institute

Enterprise

New collaborations


Per lavorare con CRESCOwww.cresco.enea.it


SPI.2 SPI.2 Sviluppo ed integrazione dell’architetturaSviluppo ed integrazione dell’architetturaGRID e di grafica 3DGRID e di grafica 3D

• Compilazione multi-piattaformaCompilazione multi-piattaforma di programmi seriali e paralleli (MPI).

• LanciatoriLanciatori su GRID di programmi seriali e paralleli. • InterfacciaInterfaccia Java alla GRIDJava alla GRID per la personalizzazione

dell'ambiente di lavoro.

• Test RSHTest RSH:: E' stato realizzato un programma che permette di testare, sull’ENEA-GRID, il funzionamento del comando rsh.

• Network Monitoring:Network Monitoring: E' stato sviluppato un software (NeTWork RESPONSE TIME TEST) di supporto alle funzionalità di network dell'ENEA-GRID.

• Test HPLTest HPL per misurare la potenza di calcolo di una macchina in termini di numero di operazioni floating point che si possono fare in un secondo.


SPI.2SPI.2 Struttura generale dati CRESCO

(operativa)


WARC: amministratori “super” e di Sito

SPI.2SPI.2


AMACA (AFS Memorize And Check Application)

Strumento integrato di monitoraggio, controllo e storicizzazione di componenti ed eventi di Andrew File System (cardine dell’infrastruttura ENEA-Grid)

Realizzato nell’ambito del contratto CRESCO di ricerca tra ENEA e CASPUR per “analisi e realizzazione di tool innovativi a supporto delle funzionalità GRID” (SPI.2) Alessio Rocchi (CASPUR) Ludovico Giammarino (CASPUR)

Sicuro: protezione delle informazioni tramite due layer dedicati in cascata (openSSL e

libreria crittografica mcrypt) Esecuzione di operazioni critiche concessa solo agli appartenenti a gruppi

prestabiliti Integrato: accesso garantito tramite credenziali AFS. Accessibile: fornisce numerosi strumenti user-friendly di supporto ai task di

amministrazione Adattativo: consente di concentrare la visualizzazione dello stato sul solo dominio di

appartenenza dell’amministratore

SPI.2SPI.2


Software Tools for Monitoring ENEA GRID with Software Tools for Monitoring ENEA GRID with CRESCO Cluster IntegrationCRESCO Cluster Integration

Agostino Funel, Guido Guarnieri, Salvatore Raia, Silvio Migliori

ENEA - FIM DepartmentENEA - FIM Department

The purpose of a GRID network is to collect a large variety of computational resources to achieve high power computing. ENEA GRID is a heterogeneous environment with many architectures and operative systems. As the CRESCO supercomputer has been fully integrated in ENEA GRID it is essential to have tools for monitorning the status of the main functionalities. From each host is possible to test

the status of ENEA GRID.

CRESCO - SP I.2 CRESCO - SP I.2

NETWORKING

Tools for testing TCP/IP and UDP protocols.

JOB LAUNCHERS

Parallel and serial job launchers make the user comfortable with the many architecture present in ENEA GRID.

CRESCO MONITORING

Tool designed for a fast

and efficient diagnostic of the main funcionalities of the CRESCO HPC system: high speed interconnection, authentication protocols, memory, scheduler. Web archive for easy consulting.


Integrazione nella GRID ENEA di sistemi Windows

SPI.2SPI.2

LSF NON offre supporto per AFS in ambiente Windows

•Per integrare sono state sviluppate

•gettok_win (visualizza sullo standard output il token AFS)

•puttok_win (scrive nel kernel il token prelevato dalla standard input)

•E’ in corso di installazione litegrazione completa con ENEA GRID

•Principali risultati:•Interoperabilità delle routine prototipali con quelle fornite dal kit LSF per AFS•Accesso al volume AFS su sistema operativo Windows con token originato da sistema UNIX•Accesso al volume AFS su sistema operativo UNIX con token originato da sistema Windows


SPI.2.1SPI.2.1 Integrazione ENEA-GRID con altre Integrazione ENEA-GRID con altre GRIDGRID

Integrazione con •EGEE

•GRID.ITMiddleware LCG

Integrazione con BEinGRIDMiddleware UNICORE

Interoperabilità

4 PON 1575

attività in corso


GARR

PI2S2

GARR Others Entity

La ENEA-GRID interoperability with others GRID

ENEA has been developing the “shared proxy” solution

•Maintain the GRID internal architecture and autonomy

•Allow multiplatform impementations

•Under production on EGEE

•Under production on GRISU

•Required by EFDA for EGEE

EFDAEGEE ?


CASACCIACASACCIA

FRASCATIFRASCATI

S.TeresaS.Teresa

SaluggiaSaluggia

IspraIspra

BOLOGNABOLOGNA

PORTICIPORTICI BRINDISIBRINDISI

ManfredoniaManfredonia

ENEA-GRID & GRISU & IGI

ENEA-GRID

SPACI

TRISAIATRISAIA

GRISU

INFN-GRID

IGI

Italian GRID Infrastructure


SPI.2SPI.2 Sviluppo ed integrazione dell’architettura Sviluppo ed integrazione dell’architettura GRID e di grafica 3DGRID e di grafica 3D

• Tools per analisi immagineTools per analisi immagineSono stati sviluppati e sono in corso di sviluppo tools per l’analisi delle immagini dei plasmi termonucleari provenienti dalle telecamere FTU ( Frascati Tokamack Upgrade). L’insieme dei tools e la relativa documentazione è stata inserita nelle pagine web specifiche del sottoproggetto. Tutti gli applicativi sono stati sviluppati utilizzando il linguaggio ad alto livello IDL. Questi applicativi sono stati inseriti nella GRID ENEA e sono state sviluppate le procedure per sottometterli in modalità GRID ENEA.

• Integrazione librerie grafiche open-sourceIntegrazione librerie grafiche open-source• Integrazione di un modulo per il Distributed RenderingIntegrazione di un modulo per il Distributed Rendering

Il modulo di Distributed Rendering consente di sviluppare ed eseguire applicazioni “multiple channel” sincronizzate che utilizzino più piattaforme di calcolo connesse in rete per il rendering e display multipli contigui o non contigui per la restituzione di una scena virtuale. Allo stato attuale è in fase di test un applicativo della Multigen-Paradigm, integrato nell’ambiente di visualizzazione VegaPrime, in rete sia locale che geografica.

• RV Customizing toolsRV Customizing toolsE’ in corso l’integrazione in AFS dell’applicativo sviluppato, nell’ambito dell’attività di progettazione e sviluppo di Customizing tools per applicazioni di Realta’ Virtuale che basandosi su d una architettura Client-Server, è in grado di comunicare con una scena grafica a run-time e modificarne i parametri di navigazione (path e sincronismo con file audio), senza interrompere l’esecuzione della scena virtuale. Si dovrà procedere alla sua installazione nella GRID-ENEA, nell’area del progetto CRESCO, e quindi configurare e testare l’applicativo per la distribuzione agli utenti.

• Applicazioni per visualizzazione scientifica 3DApplicazioni per visualizzazione scientifica 3D• Film datiFilm dati

Le immagini e i filmati prodotti mediante applicazioni di visualizzazione scientifica saranno raccolti in un archivio visivo delle attivita’ svolte e saranno diffusi tramite pagine Web. L’obiettivo è quello di creare contenuti dimostrativi, delle applicazione e dei dati sviluppati, tramite filmati, anche in modalità stereoscopica, in modo da non utilizzare direttamente l’applicativo.


Conversion to OpenFlightFormat

The Open Flight format (.flt) is supported by both VegaPrime and OpenSceneGraph;

from the analysis of the 3D models proprietary file formats and the format conversion tools, it was possibile to define the following conversion methods:

Laser scanner technologies and 3D models integration: Laser scanner technologies and 3D models integration: analysis and methodological approachanalysis and methodological approach

Dante Abate, M.Cristina Baracca, Roberto Ciavarella, Graziano Furini, Silvio Migliori, Samuele Pierattini


3D models3D models

The objective: the “Virtual Museum”

The scanning laser systems available at ENEA allow to fullfil a wide range of diagnostic and monitoring requirements in the artistic and cultural heritage field and to produce 3D models. A test case was adopted, in order to define a methodology allowing to include 3D models in a Virtual Reality application.The objective was to develop a “Virtual Museum” in which to inser/remove 3D models produced by different laser scanner system and to navigate the 3D graphical scene by means of the VegaPrime environment orthe OpenSceneGraph toolkit available by means of the ENEA-Grid.

Laser Scanner Systems in ENEA

ITR (Imaging Topological Radar) developed by ArtVisLab-ENEA

HDS3000 by Leica-Geosystem

VIVID 900 by MINOLTA

Desktop 3D Scanner by NextEngine

Since each scanning device is provided with proper output file formats and software packages to integrate in a VR application, through format conversion, the 3D modelspreserving all the detected information.


Visualization of 3D laser scanner data from an Visualization of 3D laser scanner data from an archaeological site using OpenSceneGraph in ENEA archaeological site using OpenSceneGraph in ENEA

Grid environmentGrid environmentDante Abate, M.Cristina Baracca, Roberto Ciavarella, Graziano Furini, Silvio Migliori, Samuele Pierattini


Laser scanning Juvanum by HDS3000

•19 Scansioni

•16.589.664 punti

•Valori di XYZ riflettenza e colore

•Acquisizione di coord.GPS

Point cloud elaboration

After the post processing phase (manual elimination and filtering algorithms application), results a data set of 5.665.282 points

VISUALIZATION OF A SET OF MILLIONS OF POINTSVISUALIZATION OF A SET OF MILLIONS OF POINTS

Accordingly with the archaeologists needs, the final database requires a processing application capable to:

•display a large amount of data in a relatively short time;

•performe mathematical operations on the points coordinates (distances between points, plant views, sections, etc.)

OSG viewer: Currently there are commercial software capable to display a large amount of data in “near realtime”, but we were oriented to an “open source” solution using our ENEA-GRID, the OpenSceneGraph libraries and the powerful viewer.

Distances evaluation: Integrating the ANN library in the OSG viewer code, it was possible to impolement a tool for evaluating distances between points in the 3D scene.


SPI.2SPI.2 Analisi ed ottimizzazione di strumenti Analisi ed ottimizzazione di strumenti Software per l'utilizzo di IDL sulla GRID ENEASoftware per l'utilizzo di IDL sulla GRID ENEA

Sono stati sviluppati tools per l’analisi delle immagini dei plasmi termo-

nucleari provenienti dalle telecamere FTU (Frascati Tokamack Upgrade).

Tools• Applicazioni IDL realizzate in ENEA

(Falsecolor, Brightzone, Volume rendering, Database).

Tutorial• IDL: gestione di batch files e esecuzione di programmi in

modalità non interattiva

• IDL: gestione di programmi in broadcasting attraverso


SPI.2SPI.2 Analisi ed ottimizzazione di strumenti Analisi ed ottimizzazione di strumenti Software per l'utilizzo di IDL sulla GRID ENEASoftware per l'utilizzo di IDL sulla GRID ENEA


LA 1 - SP I.2.2: Tools per l’utilizzo di sistemi di Grafica Virtuale ed immersiva con sistemi di supercalcolo remoto e per il lavoro cooperativo a livello geografico.

Oggetto Studio e sviluppo di tools e tutorial per l’analisi delle immagini dei plasmi termonucleari provenienti dalle telecamere

FTU (Frascati Tokamack Upgrade) – sviluppo del SOFTWARE TOKAMAKObiettivo L’obiettivo del lavoro è quello di realizzare un tool installabile che crea un database per la gestione e l’elaborazione

delle immagini presenti su ENEA-GRID. L'elaborazione prevede in dettaglio: riduzione del rumore, bilanciamento dell’istogramma, identificazione dei contorni. La necessità di creare un database delle immagini di FTU nasce dall’esigenza di avere a disposizione tutte le immagini, nonché le informazioni ad esse relative, in modo da poter classificare gli scatti in base a specifici criteri. La classificazione è utile per eliminare classi di immagini che, nonostante operazioni di miglioramento (equalizzazione, restaurazione, segmentazione), non possono contribuire a ricostruire alcuni fenomeni del plasma.


Sopra viene riportata la struttura del data base utilizzando il DBMS MySQL. Le tabelle che rappresentano la struttura sono:

Tabelle relative alle immagini•Gli oggetti che sono compresi in cams sono i Port. Ogni Port è identificato univocamente dal nome della camera;•Gli oggetti che sono compresi in folders sono le cartelle distribuite all’interno dei diversi Port;•Gli oggetti che sono compresi in images sono le immagini su cui effettivamente vengono fatte le operazioni;

Tabelle relative alle operazioni effettuate sulle immagini•Gli oggetti compresi in tab_res sono le immagini restaurate;•Gli oggetti compresi in tab_gray sono le immagini in scala di grigi e le immagini equalizzate;•Gli oggetti compresi in tab_seg sono le immagini segmentate.

Struttura Data Base


Interfaccia utente (GUI) ed elaborazione delle immagini

• Software tokamak in esecuzione:

Il software è stato sviluppato attraverso il linguaggio C++ integrando il codice con le librerie open source di Qt, noto tool per la realizzazione di interfacce utente (GUI).

L’elaborazione delle immagini è stata gestita con MATLAB attraverso l’esecuzione di M-file creati appositamente per le operazioni richieste.


SPI.2.3SPI.2.3 Integrazione del controllo remotoIntegrazione del controllo remoto

di un microscopiodi un microscopio TEMTEM Realizzata l’integrazione di base, è in corso un’attività di ricerca e sviluppo per

realizzare un laboratorio virtuale per la microscopia TEM

Visualizzazione delle Immagini TEM

Tool di allineamento dati locali/dati AFS

Accesso remoto per il controllo

Visualizzazione Ambientale

Videocomunicazione


SPI.3SPI.3 Sviluppo ed ottimizzazione di codici Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di puntaapplicativi in settori di R&S di punta

• Realizzata un’analisi dei codici di massimo interesse di tipo commerciale

• Individuato come prioritari:– FLUENT** Fluidodinamica – ANSYS,ABACUS ** Strutturale– MpCCI ** Interazione fluido struttura– NASTRAN Strutturale– OpenFOAM Fluidodinamica

Codici tutti in Produzione


MpCCI (Mesh-based parallel Code Coupling Interface):Viene utilizzato per affrontare problemi di interazione fluido-struttura accoppiando diversi tipi di codici presenti in ENEA-GRID;I codici da accoppiare sono attualmente Fluent per l'analisi fluidodinamica e Ansys per l'analisi strutturale.

OpenFOAM: software opensource di analisi fluidodinamica.E' in corso uno studio di OpenFOAM ed in particolare:

• compatibilità di installazione sulle diverse macchine della GRID• confronto con Fluent (software commerciale generalmente impiegato sia nel settore industriale che di ricerca) in termini di accuratezza dei risultati.



SPI.3:SPI.3: Sviluppo ed ottimizzazione di codici Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di puntaapplicativi in settori di R&S di punta

• Simulazioni Fluidodinamiche:

– l'uso di Fluent è stato necessario per studiare l'evoluzione dei fenomeni di combustione di diversi combustibili. Viene portato avanti uno studio di ottimizzazione delle prestazioni dell’ENEA-GRID per condurre questo tipo di analisi

– E' in corso uno studio di condizionamento termico della configurazione finale della sala di calcolo CRESCO in Portici. Tale studio riguarda sia la modellistica geometrica della sala calcolo sia la fenomenologia di scambio termico nella stessa attraverso i sistemi di refrigerazione presenti


SP I.3SP I.3 Sviluppo ed ottimizzazione di codici applicativiSviluppo ed ottimizzazione di codici applicativiin settori di R&S di puntain settori di R&S di punta

Supercomputing makes feasible using powerful CFD approaches like LES (Large Eddy Simulations), which is able to meet demands for accurate models and advanced numerical methods

Turbulent combustion results obtained by means of the ENEA HeaRT code run on CRESCO. HeaRT (Heat Release and Turbulence) is a fully compressible, reactive, unsteady flow solver that implements an original LES subgrid scale model, named Fractal Model.

Numerical Simulation of Turbulent Combustion on CRESCO PlatformNumerical Simulation of Turbulent Combustion on CRESCO Platform

3D istantaneous field showing some

isosurfaces of temperature

Speed-up (right triangle) and efficency of the HeaRT code on CRESCO platform

Simulation details on different platforms


OpenFOAM and Fluent Features in CFD OpenFOAM and Fluent Features in CFD Simulations on CRESCO High Power Computing SystemSimulations on CRESCO High Power Computing System

Fiorenzo Ambrosino, Agostino Funel, Silvio Migliori


Fluent (top) and OpenFOAM (bottom) contour map of the static pressure field on a simple passenger sedan (Fluent Benchmark).

OpenFOAMParallel and scalable CFD Solver

It is available on CRESCO cluster with Infiniband interconnection. It solves CFD complex simulations using even more 1000 cores giving good scalability and efficiency performances.

Open source

It can simulate a lot of CFD problems and its implementation is growning.

It hasn’t any license cost.

It has a great support network composed of developers and users around the world.

OpenFOAM-Fluent speed-up comparison for the passenger sedan benchmark.

Elasis in automotive research and development.

Industrial collaborations:

Avio Group: OpenFOAM applications in supersonic CFD simulations.

CRESCO - SP I.3 CRESCO - SP I.3


SP I.3SP I.3 Sviluppo ed ottimizzazione di codici applicativi in settori di Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di puntaR&S di punta


Programmazione parallela in ambiente Matlab (Programmazione parallela in ambiente Matlab (Libreria MatlabMPI del M.I.T)• E’ stata installata su AFS per la versione 7.0.1 (R14) di Matlab.

• Permette l’attivazione parallella di diverse sessioni Matlab su più processori.

•I nodi coinvolti eseguono parallelamente lo stesso programma (SPMD).

•Lo scambio dei dati viene fatto tramite operazioni di lettura e scrittura da/su file.

• Per il funzionamento sulle macchine linux della griglia la modalità di lancio remoto (rsh/ssh) è stata sostituita con lsrun.

Di seguito sono riportati i risultati di un test effettuato con le funzioni della libreria MatlabMPI che misura

la velocità di comunicazione, al variare delle dimensioni dei pacchetti inviati, tra le macchine ‘Bw305-2’ e ‘Lin4p’.



Parallel programming in Matlab environment on Parallel programming in Matlab environment on CRESCO cluster,interactive and batch modeCRESCO cluster,interactive and batch mode

Authors: G. Guarnieri, S. Migliori, S. PoddaAuthors: G. Guarnieri, S. Migliori, S. Podda


Matlab (MATrix LABoratory) provides an environment for numeric elaboration and an interpreted programming language widely used in science and technology. Matlab (MATrix LABoratory) provides an environment for numeric elaboration and an interpreted programming language widely used in science and technology. The package is equipped with specialized libraries (toolboxes) which can solve problems in several fields. For some years the implementation of parallel The package is equipped with specialized libraries (toolboxes) which can solve problems in several fields. For some years the implementation of parallel programming in Matlab environment has been under study. Mathworks, the producer of Matlab, distributes toolboxes with this target, but there are also third party programming in Matlab environment has been under study. Mathworks, the producer of Matlab, distributes toolboxes with this target, but there are also third party projects with the same aim. Among them is the “MatlabMPI” library developed by Lincoln Laboratories of the Massachusetts Institute of Technology. ENEA GRID, projects with the same aim. Among them is the “MatlabMPI” library developed by Lincoln Laboratories of the Massachusetts Institute of Technology. ENEA GRID, by the introduction of CRESCO machines, has achieved a very high computational power. So, the possibility of parallel programming in Matlab on this structure by the introduction of CRESCO machines, has achieved a very high computational power. So, the possibility of parallel programming in Matlab on this structure becomes a meaningful aim. We have chosen to modify and install the “MatlabMPI” library for Linux machines of ENEA GRID and particularly for CRESCO cluster.becomes a meaningful aim. We have chosen to modify and install the “MatlabMPI” library for Linux machines of ENEA GRID and particularly for CRESCO cluster.

The MatlabMPI functions library, written in pure Matlab The MatlabMPI functions library, written in pure Matlab language, implements a subset of the functions defined in the language, implements a subset of the functions defined in the MPI standard and allows to run, at the same time, several MPI standard and allows to run, at the same time, several Matlab processes both on multicore machines and computer Matlab processes both on multicore machines and computer clusters. Data exchange among the processes does not happen clusters. Data exchange among the processes does not happen by real message sending and receiving, but via file system by real message sending and receiving, but via file system access operations. Some code changes were required to install access operations. Some code changes were required to install MatlabMPI on ENEA GRID and to adapt the use of the library to MatlabMPI on ENEA GRID and to adapt the use of the library to CRESCO submission mode. To enable the launching of Matlab CRESCO submission mode. To enable the launching of Matlab jobs on remote machines in interactive such as in batch mode jobs on remote machines in interactive such as in batch mode we have resorted to the ENEA GRID submission tool. we have resorted to the ENEA GRID submission tool.

Graphic description of a message Graphic description of a message exchange between two parallel Matlab exchange between two parallel Matlab processes using MatlabMPI functions processes using MatlabMPI functions “MPI_Send” and “MPI_Recv”. The use “MPI_Send” and “MPI_Recv”. The use of OpenAFS distributed file system, of OpenAFS distributed file system, which allows users to access their which allows users to access their home directory from every point of the home directory from every point of the grid, well supports the use of MatlabMPI grid, well supports the use of MatlabMPI because the parallel Matlab processes because the parallel Matlab processes can simply share a common working can simply share a common working directory. directory.

In order to adapt MatlabMPI library to submit jobs on CRESCO cluster in batch mode it was In order to adapt MatlabMPI library to submit jobs on CRESCO cluster in batch mode it was necessary to further modify the code. We have created some scripts to interface the library necessary to further modify the code. We have created some scripts to interface the library with the scheduler environment. Users can perform parallel Matlab jobs in batch using with the scheduler environment. Users can perform parallel Matlab jobs in batch using MatlabMPI submitting the script “matMPIlauncher.sh” by the LFS command “bsub” which MatlabMPI submitting the script “matMPIlauncher.sh” by the LFS command “bsub” which also allows full expression of the resource request. An example of batch submission on also allows full expression of the resource request. An example of batch submission on CRESCO cluster is the following:CRESCO cluster is the following:

bsub –q small_10m -o %J.out –e %J.err –R cresco1 –n 32 matMPIlauncher.shbsub –q small_10m -o %J.out –e %J.err –R cresco1 –n 32 matMPIlauncher.sh

The script “matMPIlauncher.sh” reads some LSF environmental variables in which the The script “matMPIlauncher.sh” reads some LSF environmental variables in which the scheduled resources for the request expressed in the previous command line are scheduled resources for the request expressed in the previous command line are contained and launch Matlab with the M-File “matMPIscript.m”. The latter passes the contained and launch Matlab with the M-File “matMPIscript.m”. The latter passes the scheduled resources and the Matlab script to be executed in parallel as arguments to scheduled resources and the Matlab script to be executed in parallel as arguments to MatlabMPI functions. In batch mode the launch of the parallel Matlab jobs happens by MatlabMPI functions. In batch mode the launch of the parallel Matlab jobs happens by means of “blaunch” command. means of “blaunch” command.

MatlabMPI in MatlabMPI in batch mode on batch mode on CRESCO cluster. CRESCO cluster. Software interface Software interface between LSF and between LSF and MatlabMPI MatlabMPI environment. environment.


SPI.4 SPI.4 Progettazione e sviluppo di librerie per l’implementazione efficiente e parallela di nuclei

computazionali su dispositivi , per la sezione speciale di CRESCO

• Sono stati effettuati porting di codici su CELL ed è stata definita una procedura per usarli in modalità parallela fa macchine cell, è un corso di sviluppo l’integrazione con il resto dell’architettura CRSCO. In particolare è stato fatto il porting di una componente del codice di climatologia usato da ENEA.

• Sono state integrate le schede CELL con l’architettura GRID-ENEA in particolare per quanto riguarda la rete IB, GPFS, AFS, LSF.

• Sono stati implementati e resi operative librerie grafiche in grado di fare rendering parallelo sulle schede grafiche della sezione speciale di CRESCO.


SPI.5 SPI.5 Web archiveWeb archive

Sono continuati i test di UbiCrawler sviluppato ed integrato in ENEA-GRID: è operativa un’ installazione definitiva integrata ed in grado di adoperare più sist ENEA


Ubi Crawler software architecture and its integration on ENEA Grid.

UbiCrawler is a scalable, fault-tolerant and fully distributed web crawler. UbiCrawler architecture is complex and to set a crawler session, we use a launcher that accepts a hosts list.

Web Archive in WARC format: web pages gathered during crawling are stored in WARC (Web ARChive) format. Each agent will write data in one store file. Large scale crawling, using 20-25 agents, generate few large file of 50-60 GigaB. We combine LSF framework utilities and LAW (Laboratory for Web Algorithmics) packages to manage and retrieve informations from WARC files.

High Performance of large scale crawling on ENEA Grid network: Network bandwidth is the main limit to improve performance. We let vary the number of agents and a parameter, called “URL delay”, that set the rate which any thread send http requests to web hosts. While the number of agents is arranged at bootstrap, http rate request parameter can be changed at run time. We can take snapshots of sizeable portions of the web, in reasonable time, using about 20 agents with the above mentioned requisites. Others snapshots of the web were taken spanning the agents across different hosts on ENEA Grid.

SP I.5 Web archivesSP I.5 Web archives


ITALIAN NATIONAL AGENCYFOR NEW TECNOLOGY, ENERGY

AND THE ENVIRONMENT

[email protected] cresco enea portici: miur 22 aprile 2009 italian national agency for new tecnology,...

Documents

enea portici

centro enea

portici sviluppo

sistemi di calcolo

grid sensor nets enea

sistemi naturali

punta dell enea

rs slide