M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1

HLRE (1) und

Langzeitdatenarchivierung

Michael Lautenschlager

World Data Center for Climate(M&D/MPIMET, Hamburg)

DFG-RundgesprächFrauenchiemsee, 06+07.11.2003

(1) Höchstleistungsrechenzentrum für die Klima- und Erdsystemforschung

Beiträge von DKRZ, WDC MARE, WDC RSAT

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 2

HLRE• Infrastruktur• Externer Zugang

Langzeitdatenarchivierung• WDC-Verbund Erdsystemforschung• ICSU-WDC's: WDC-MARE, WDC-RSAT, WDC-CLIMATE• Datenpublikation• Service der Datenzentren• Kosten

Nicht: Infrastruktur für Anwendung von GCM's internationale Kooperationen (EU Projekte) Aufbau und Zugang zu WDC's

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 3

HLRE Hardware

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 4

24 NEC SX-6 Nodes, 1.5 TeraFlops Peak(1 Node: 8 Vector CPUs, je 8 Gflops peak , 64 Gbyte Mem. )

IXS Crossbar switch(Bandbreite 8 Gbyte/s pro Node)

Platz 33 der Top 500 (7/2003)

6 NEC AzusA (je 16 IA-2; 1000 Mhz; Linux)

4 STK Silos (ca. 1.5 PetaByte)

HLRE Hardware

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 5

Application: FLAME (MOM2 ocean model)Purpose: Investigation of Deep Water Formation and TransportGrid Points: up to 1021 x 1406 x 45 Main Memory: up to 25 GBParallel.: MPISust. Perf: 45 GF on 2 nodes Efficiency: 35 %Sust. Perf: 72 GF on 4 nodes Efficiency: 28 %

HLRE Applikation

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 6

DKRZ's Archive Increase (Estim. 09.03)

6001200

1920

2640

3360

4080

12 40 184424 664 904

2002 2003 2004 2005 2006 2007

Years

Dat

a A

mo

un

t [T

B]

Unix-File Archive

CERA DB

DKRZ: "Konservative Abschätzung"

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 7

MPI-M

M&D

Shareholder

DKRZ

WLA

German Scientific Community

Cooperation

Advise

Service Service

Requirements

Externer Zugang

50% der

Ressourcen

am DKRZ

für Projekte

(BMBF, DFG,EU)

Unterstützung bei

Anwendung und

Implementierung

von numerischen

Modellen

Wissenschaftliches

Datenmanagement:

WDC for Climate

IPCC DDC

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 8

WDC Verbund Erdsystemforschung

Wurde am 25.04.03 von den 3 deutschen ICSU WDC's in Oberpfaffenhofen gegründet.

• WDC for Climate: M&D / DKRZ, Hamburghttp://www.mad.zmaw.de/wdcc/ • WDC MARE (Marine Environmental Sciences): Marum, Bremen und Bremerhavenhttp://www.wdc-mare.org/ • WDC RSAT (Remote Sensing for the Atmosphere): DFD/DLR, Oberpfaffenhofenhttp://wdc.dlr.de/

Verpflichtung: Langzeit-Datenarchivierung und freier, unbeschränkter Datenzugang für alle Wissenschaftler (ICSU Rules for WDC's und Regeln zur guten wissenschaftlichen Praxis)

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 9

WDC-CLIMATEData Content

Climate Model Data (Continuous stream of new data) IPCC DDC (Data Distribution Centre)

Will be continued for the Fourth Assessment Report

CEOP (Coordinated Enhanced Observing Period) Model output retention and handling Centre

Part of WCRP that was motivated by GEWEX with focus on water and energy cycles within the climate system (01.10.2002 – 31.12.2004)

Observational DataModel related observations: ERA15/40 (ECMWF), NCEP 40 Y. Reanal.

Instrumental data: WOCE (World Ocean Circulation Experiment)

Earth observations: Access to SST's from NOAA AVHRR in cooperation with WDC RSAT (distributed archive)

Project Support (encourage Good Scientific Practice)HOAPS (Hamburg Ocean Atmosphere Parameters and Fluxes from Satellite Data)

CARIBIC (Civil Aircraft for Regular Investigation of the Atmosphere Based on an Instrumentation Container), MPI Mainz

Different model applications

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 10

CERA Database: 7.1 TB (12.2001)* Data Catalogue* Processed Climate Data * Pointer to Raw Data files

Mass Storage Archive:210 TB neglecting Security Copies (12.2001)

CE

RA

Dat

abas

eS

yste

m

Web-Based User InterfaceCatalogue Inspection

Climate Data Retrieval

DK

RZ

Mas

s S

tora

ge A

rch

ive

In

tern

etA

cces

s

Current database size is 23.251 Terabyte Number of experiments: 304 Number of datasets: 30201 Number of blob within CERA at 29-OCT-03: 1403519699

Typical BLOB sizes: 17 kB and 100 kB

Number of data retrievals:

1500 – 8000 / month

WDC-CLIMATE

More than 23 TBclimate (model) dataweb accessible!

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 11

WDC-MARE

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 12

WDC-MARE

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 13

WDC-RSAT Leitbild

Forschung, Entwicklung, und Dienstleistungen um die Fernerkundung der Atmosphäre zu fördern

- als ein unentbehrliches Instrument um umweltorientierte Geoinformation abzuleiten

- für alle mögliche wissenschaftliche, wirtschaftliche, soziale, und politische Zwecke

- als ein Hauptbeitrag um Raumtechniken als ein Schlüssel für ein besseres Verständnis der Erde zu etablieren

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 14

Datenarchiv - Besonderheiten

- Spektroskopische und klimatologische Datenbanken- Atmosphärische Spurengasverteilungen - Meterologische und physikalische Wolkenparameter- Boden- und Ozeanflächenparameter (LST, SST, NDVI)

- Operationelle Satellitensensoren: ATOVS, AVHRR, GOME, GOMOS, HALOE, MERIS, MIPAS, MODIS, SAGE II, SCIAMACHY, TOMS

- Space Shuttle Missionen: ATMOS, CRISTA, MAS, SSBUV

- Sammlung, Archivierung, und Verteilung der atmosphärischen Daten

- Entwicklung der „value-added“ Daten und Produkte durch Modellierung und Datenassimilation

WDC-RSAT

Benutzte Sensoren - Besonderheiten

Dienstleistungsoptionen - Besonderheiten

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 15

WDC Verbund Erdsystemforschung

Grundsatzerklärung• Datenpublikation- Die Daten selbst sollen unabhängig vom archivierenden System eindeutig identifizierbar, referenzierbar und universell zugreifbar sein (z.B. Vergabe von DOI's oder URN's ).

- DFG Projekt "Publikation und Zitierfähigkeit wissenschaftlicher Primärdaten" (12 Monate, Beginn 01.10.03)

• Service der Datenzentren- Qualifizierte thematische Datenzentren übernehmen die Rolle für die Archivierung und Publikation von wissenschaftlichen Daten.

- Die Zentren garantieren eine langfristige und freie Verfügbarkeit archivierter Daten im Rahmen der Richtlinien der ISCU Weltdatenzentren.

- Datenzentren stehen mit ihrer Expertise den Fördereinrichtungen, den Gutachtern und der Wissenschaft beratend zur Verfügung.

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 16

WDC Verbund Erdsystemforschung

Grundsatzerklärung

• Aufwand bezogene Finanzierung

- Die Grundfinanzierung der Datenzentren sollte aus den Haushalten der tragenden Forschungseinrichtungen bestritten werden. Diese übernehmen damit die Verantwortung für einen langfristigen Betrieb.

- Drittmittelanträge sollten ein Datenmanagementkonzept beinhalten, das definiert, welche neuen Daten erhoben bzw. existierenden Daten erfasst werden sollen.

- Für diese projektrelevanten Datenmanagementaufgaben sind anteilige Mittel vorzusehen.

- Ein ausgewiesenes Kostenmodell der Langfristdatenzentren soll diesen Aufwand kalkulierbar machen.

M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 17

Beispiel für Zugriff aufWDC Verbund Erdsystemforschung