synergiepotentiale zwischen grid- und escience-technologien für die langzeitarchivierung -entwurf...

“Synergiepotentiale zwischen GRID- und eScience-Technologien für die

Langzeitarchivierung”

-Entwurf vom 24.12.07-

Prof. Dr. W. SchiffmannFernUniversität Hagen

Göttingen, 10.1.2008

Aufgabenstellung (Auszüge)... Ansatzpunkte für die Nutzung von Synergien zwischen bereits

existierenden F&E-Aktivitäten im Bereich e-Science .... und innerhalb der Förderaktivität „e-Science und vernetztes Wissenmangement“ identifiziert, in eine Menge von potentiellen technischen Integrationsmodellen überführt und abschließend hinsichtich möglicher Kooperationsinfrastruktrukturen aufbereitet.

... funktionale Ansatzpunkte für die Integration von LZA-Funktionen in bereits existierende technische Infrastrukturen ... und einer sinnvoll fokusierten Auswahl der o.g. e-Science-Plattformen identifizieren und auf Synergiepotentiale hin untersuchen.

... denkbare Varianten von lose und eng gekoppelten technischen Integrationsmodellen für eine zukünftige Integration von LZA-Funktionen in grid-basierte e-Science-Infrastrukturen...

... Nutzung von grid-basierten Ergebnissen und Komponenten für die Entwicklung und Bereitstellung von LZA-Funktionen in bereits existierende LZA-Infrastrukturen ...

Link

Aufbau der Expertise

1. Motivation und Ziele2. Langzeitarchivierung3. Gridcomputing und eScience4. Synergiepotentiale5. Handlungsempfehlungen6. Zusammenfassung

Zusammenfassendes Abschlusspapier des D-Grid AK5 „Daten-, Informations- und Wissensmanagement“

Auszug:Zusammenfassend erstrecken sich die Anforderungen der Nutzer an virtuelle Daten- und Archivnetze darauf, transparent Informationen abzulegen, anzufragen und mittels ebenfalls im Grid vorgehaltener Anwendungen weiter zu verarbeiten. Diese durch das Grid mögliche Bereitstellung von Informationsquellen in einem von der Anwendung definierten Kontext wird zu einer neuen Qualität der Forschung führen. Neue Information wird auch durch die Kombination vorhandener Objekte generiert. Funktionelle Anforderungen werden dabei durch Anforderungen an die praktische Nutzbarkeit – auch in organisatorischer Hinsicht – ergänzt.

Link

4.Synergiepotentiale

1. Shared Work Space (SWS)– Gemeinsame Datennutzung– Archivfunktionen– Arbeiten in verteilten Forschergruppen

Synergiepotentiale (cont.)

• Gemeinsame Datennutzung– Single-Sign-On bei Data Registry– Verteilte Datenspeicherung• Förderiertes Datengrid• Caching und Repliken• Integrität durch Prüfsummen• Versionierungssystem• Automatische Migration von

Dokumentformaten– Rechtevergabe durch den Benutzer

Synergiepotentiale (cont.)

• Archivfunktionen• Metadaten bzw. Metadatenverzeichnisse

• Deskriptive• Nutzungsbezogene• Erhaltungstechnische

• Erzeugung • Manuell• Automatisch• Standardisierte Metadatenformate

• Agenten beobachten Neuregistrierungen

Synergiepotentiale (cont.)

• Arbeiten in verteilten Forschergruppen• Personalisierung der Benutzerkonten

• Besondere Fähigkeiten• Interessengebiete

• Kollaboration bei Experimenten• Laborjournale• Manuelle Erstellung von Metadaten• Synchrone A/V-Kommunikation

• Kollaboratives Publizieren• Wikis + Datenbestände integrieren• Peer-Review-Prozess organisieren

Synergiepotentiale (cont.)

2. SWS-Infrastruktur mit OAIS-Archiven koppeln– Ingest-Prozess

• Auswahl von Inhalten• Extraktion/Generierung Metadaten• Validierung von Dokumentformaten

– Access-Prozess• Abfrage von Inhalten• Metadaten-basierte Suche• Wissensbasierte Suche

– Preservation• Validierung und Migration großer Archivbestände• AIPs direkt an SWS-Infrastruktur übergeben

Synergiepotentiale (cont.)

– Archival-Storage• Verteilte Speicherung der AIPs• Gegenseitige Datensicherung

– Vollständige Gridifizierung

– Mehrere OAIS-Archive

5. Handlungsempfehlungen

1. Aufbau einer prototypischen SWS-Infrastruktur

2. Testbed zur Kopplung eines OAIS-Archivs mit der SWS-Infrastruktur

5.1. Aufbau einer prototypischen SWS-Infrastruktur

1. Gemeinsame Datennutzung– Aufbau eines föderierten Datengrids mit mindestens zwei DRs,– Erstellung von Middleware für gängige Betriebssysteme.

2. Archivfunktionen,– Automatische Erstellung standardisierter Metadaten,– Import von Metadaten aus OAIS-Archiven– Validierung von Dokumentformaten,– Migration von Dokumentformaten,– Sequentielle Suchfunktion,– Parallele Suchstrategien auf Basis von Metadaten,– Parallele Suchstrategien auf Basis von Ontologien. 

3. Arbeiten in verteilten Forschergruppen– Personalisierte Benutzerkonten,– Kooperative Erstellung von Metadaten für Daten und Dokumente,– Kooperative Erstellung von CG-spezifischen Ontologien,– Integration des Access-Grids zur synchronen Kommunikation,– Werkzeuge für kooperatives Publizieren und Peer-Review.

5.2. Testbed zur exemplarischen Kopplung eines OAIS-Archivs mit der SWS-Infrastruktur

1. kopal nutzt SWS-Dienste:– Übertragung von Inhalten (Daten, Dokumente) zur SWS-Infrastruktur,– Automatische Indexierung von Dokumenten,– Import von in der SWS-Infrastruktur aufbereiteten SIPs oder AIPs,– Export von Metadaten zur SWS-Infrastruktur,– Validierung von Dokumentformaten aus DIPs oder AIPs,– Migration von Dokumentformaten aus DIPs oder AIPs innerhalb der SWS-

Infrastruktur,– Sequentielle oder parallele Suche in großen Beständen auf Basis von Metadaten

oder Ontologien, die temporär in der SWS-Infrastruktur gespiegelt sind,– Archival Storage von AIPs

2. SWS-Infrastruktur nutzt kopal-Dienste:– Übertragung von Inhalten (Daten, Dokumente) nach kopal,– Ingest von vorbereiteten SIPs,– Import von Metadaten aus kopal,– Suche in SWS und Access von gefundenen Inhalten aus kopal,– Suche in kopal und Access von DIPs.

Vielen Dank für Ihre Aufmerksamkeit!

Prof. Dr. habil. Wolfram SchiffmannFernUniversität HagenFakultät für Mathematik und InformatikLehrgebiet RechnerarchitekturUniversitätsstrasse 1D-58087 Hagen

email: Wolfram.Schiffmann@FernUni-Hagen.deTelefon: +49-2231-987-325Telefax: +49-2331-987-332