il globus toolkit 4: architetturae ws gramsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf ·...
TRANSCRIPT
![Page 1: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/1.jpg)
Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Il Globus Toolkit 4:
Architettura e WS_GRAM
![Page 2: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/2.jpg)
2Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Sommario
� Architettura di GT4
� Componenti e servizi principali
� GRAM e Servizi di Gestione di processi e job
– Implementazione
– API del client GRAM
![Page 3: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/3.jpg)
3Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Convergenza tra Grid e Web
![Page 4: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/4.jpg)
4Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Uso della Grid per Obiettivi Diversi
Strategia A: ridurre il TCO (total cost of ownership)
Strategia B: aumentare le prestazioni di elaborazione
![Page 5: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/5.jpg)
5Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Grid Services, WSRF e GT4
� I Grid Services estendono i Web Service per gestire servizi con
stato e transienti.
� WSRF definisce una infrastruttura che specifica e fornisce i Grid
service (detti WS-resources) definiti da OGSA.
� Una WS-resource include un Web service e una o più risorse. Il servizio e la risorsa sono separate.
� Globus Toolkit 4 implementa WSRF e le sue WS-resource e tramite
il WS_GRAM esegue programmi distribuiti su Griglie.
![Page 6: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/6.jpg)
6Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Architettura Globus Toolkit 4
![Page 7: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/7.jpg)
7Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Architettura Globus Toolkit 4
Componenti principali di GT4
![Page 8: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/8.jpg)
8Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Gestione della Esecuzione di Job
� GT4 fornisce una serie di web service per eseguire, monitorare e
terminare l’esecuzione di job su una Griglia.
� Essi compongono il WS_GRAM che estende le funzionalità del
componente GRAM (Grid Resource Allocation and Management)
prima dell’uso dei web services.
� Interfacce a linee di comandi e API in Java, C e Python.
![Page 9: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/9.jpg)
9Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Strumenti per la Gestione di Job su Grid
![Page 10: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/10.jpg)
10Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Strumenti per la Gestione di Job su Grid
![Page 11: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/11.jpg)
11Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Esecuzione Remota di Programmi
� Il WS_GRAM permette la gestione dell’esecuzione remota diprogrammi in maniera affidabile, con meccanismi di monitoring, gestionedelle credenziali, staging dei file da usare, e interazione con gli scheduler locali.
� Gestisce:
– Gli eseguibili
– Lo stato del processo
– L’I/O
– Il controllo remoto
– Gli scheduler locali
– Il monitoraggio dei processi
![Page 12: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/12.jpg)
12Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Stato dei Job
� Il GRAM gestisce i job e le loro transizioni di stato
Job fallitoFailed
Job completato con successoDone
Rimozione delle risorse usateCleanUp
Esecuzione completata e file di output resi disponibiliStageOut
Job sospesoSuspended
In esecuzioneActive
In attesa che lo scheduler locale ne decida l’esecuzionePending
In attesa che i file vengano resi disponibili per l’esecuzioneStageIn
Di prossima esecuzioneUnsubmitted
DescrizioneStato
1
2
3 6
5
74
9
8
![Page 13: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/13.jpg)
13Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Le API del Client GRAM
� L’interfaccia client del GRAM è basata su 4 portTypes che
definiscono operazioni su 4 WS-Resources che rappresentano:
1. Lo stato del GRAM server,
2. Lo stato di un singolo job,
3. La catena dei certificati di una delegation factory,
4. Una credenziale.
![Page 14: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/14.jpg)
14Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Le API del Client GRAM
� La Managed Job Factory (MJF) portType gestisce lo stato del GRAM server (WS-ResourceProperties) e gestisce la creazione di job.
� La Managed Job (MJ) portType definisce operazioni sulla ManagedJobWS-Resource.
� La Delegation factory portType definisce operazioni sulla catena deicertificati associati alla delegation factory.
� La Delegation portType definisce operazioni sul lifetime di una WS-resource e l’acquisizione di nuove credenziali.
![Page 15: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/15.jpg)
15Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Le API del Client GRAM
Risorsa Interfaccia Operazioni
![Page 16: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/16.jpg)
16Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Le API del Client GRAM
![Page 17: Il Globus Toolkit 4: Architetturae WS GRAMsi.deis.unical.it/~talia/aa0607/grid/lezione4-1p.pdf · Interfaccea lineedicomandie API in Java, C e Python. D. Talia-UNICAL Grigliee SistemidiElaborazioneUbiqui](https://reader035.vdocuments.site/reader035/viewer/2022063008/5fbc78df8e56da6f875880b3/html5/thumbnails/17.jpg)
17Griglie e Sistemi di Elaborazione UbiquiD. Talia - UNICAL
Implementazione del GRAM
� GRAM services per creazione, monitoring e gestione di job
� Delegation services per gestire le delegation
� RFT File Transfer per lo staging dei file
� GRAM adapter per l’interazione con lo scheduler locale
� GridFTP per eseguire lo staging dei dati