26.04.23

eSciDoc Status

Malte Dreyer

2 26.04.23M.Dreyer

DepositingDepositingGUI-Tools

DepositingDepositing

Item ValidatorItem Validator

Application services

Intermediary services

Basic services ContextContext ItemItem SearchSearchContainerContainer

QualityAssuranceQuality

AssuranceBrowseBrowse SearchSearch AuthoringAuthoring

Fedora / Kowari / PostgreSQL / LuceneFedora / Kowari / PostgreSQL / LuceneCore Infrastructure

eSciDoc

InfrastructureeSciD

ocInfrastructure

Duplicate detectionDuplicate detection

SolutionsSolutions

<external>GoogleMap<external>

GoogleMap

<external>LivRevToolkit<external>

LivRevToolkit

Solution X

PubMan

SWB

Implementation: JavaInterfaces: REST, SOAP interfaces

Implementation: Java, XSLT, Python, Perl, otherInterfaces: REST, SOAP interfaces

Implementation: Java, XSLT, Python, Perl, otherInterfaces: REST, SOAP interfaces

Implementation: JSP, XForms, other

Architektur

3 26.04.23M.Dreyer

Live-Demo

4 26.04.23M.Dreyer

Highlights 1. Release

• „Prove of Concept“ der Infrastruktur• Basisdienste verfügbar

• Ablage von Dokumenten• Integration eSciDoc Metadaten-Profil• Ablage von Organizational Units• Verbindung zwischen Publikation und OU• Suche mit Boolschen Ausdrücken und Jokern

• SRU/SRW Interfaces• REST- und SOAP-Interfaces• XML-Austausch• Verteilter Betrieb der Services

5 26.04.23M.Dreyer

Zusammenfassung und Überblick

• Fertigstellung fehlender Konzepte• Anpassung der Vorgehensweise für Releases

– Quartalsweise Releases• Überarbeitung der Software-Architektur• 5 neue Teammitglieder (im MPDL-Kontext)

– Service Managerin, Administrator, 2 Entwickler, GUI Experte• Open Source Lizenz gewählt (GPL)• Bessere Kommunikation zwischen den Partnern

• Grundansatz:– Kleinere kombinierbare Komponenten

6 26.04.23M.Dreyer

Konzepte Abgeschlossen / In Progress

• PID’s • Metadata Schema • Files

– Handling, Formats, Full Texts• Users

– Authentication / Authorization, Roles / Privileges, Visibility / Status• Versioning • Internationalization / Localization • Workflow

– Overall Concept, Workflow Engine, Concrete Workflows• Customization• User Experience and Usability Aspects• Researcher Page• Controlled Vocabularies

– Authority Files, Affiliations (Basic)

7 26.04.23M.Dreyer

Abgeschlossene KonzepteBeispiel 1

• Konzept für Persistente Identifikation von Items (PID)– „Handle“ System ausgewählt– Erstinstallation bei FIZ Karlsruhe– MPDL-Handle-Service wird aufgebaut

– Format: • <handle-prefix>/<instance-no>:<id>:<version-no>

8 26.04.23M.Dreyer

Abgeschlossene KonzepteBeispiel 2

• Konzept und Spezifikation für Authentication and Authorization– Erste Aktionen, Rollen und Policies definiert– Basierend auf XACML

• Konzept und Spezifikation für User Management– Vorbereitet für den Einsatz von Shibboleth

• Fortlaufende Implementierung

9 26.04.23M.Dreyer

Abgeschlossene KonzepteBeispiel 3

• eSciDoc Metadata Set

– Spezifikation abgeschlossen

– Implementierung als XML-Schema abgeschlossen

– Mappings zu DC wo möglich

– Erweiterbare Struktur

– Neue erweiterte Version für Q2 geplant• Mehr Profile für unterschiedliche Content Types

10 26.04.23M.Dreyer

1Q 2007 2Q 3Q 4Q 1Q 2008 2Q 3Q 1Q 2009

Easy SubmissionSearch & QueryBrowse & Display

4Q

Services Roadmap

Duplicate DetectionMetadata EnrichmentCitation Style Mgmt.Usage StatisticsBundles/CollectionsAdmin: Users, Aff.

Submission: MassDataIngestion (Batch)Authority Files (Organizations)Image ScalingNLPAdmin: Collections

IngestionAuthority Files (Persons)Duplicate HandlingValidationMetadata Transform.License CreationExtended SearchExportResearcher Page

Format ConversionCatalogsRecommendationsAuthority Files (Journals)Content Type ModelerAnnotation

Automatic Preservation MD Extraction (LTA)Authority Files (Events, Locations)Support f. local REBaskets

Item MergingAdmin: Authority FilesVirus Check / TQAAdmin: MD Modeller

Services

Submission

Search

Tools

Import / Export

Administrative Functionalities

Comfort Functions

Authority Files

Metadata Handling

File Transformations

Aggregations

Interoperability Services (OAI-PMH..)Automatic Bibliographic MD Extraction

Application Integration

Functional Fields

11 26.04.23M.Dreyer

Geänderte Software-Architektur

• Neue Struktur der Services• Kein „Encapsulation Layer“• Angepasste Struktur für Anwendungsschicht

• Neue Software-Interface-Spezifikation abgestimmt• XML-Austausch zwischen allen Services• XML Schemas hierfür implementiert• Additional Transformation Service (JIBX) established• Transformations-Service (JIBX) eingeführt• Dokument zur Beschreibung der Gesamtarchitektur erstellt

und abgestimmt.

12 26.04.23M.Dreyer

DepositingDepositingGUI-Tools

DepositingDepositing

Item ValidatorItem Validator

Application services

Intermediary services

Basic services ContextContext ItemItem SearchSearchContainerContainer

QualityAssuranceQuality

AssuranceBrowseBrowse SearchSearch AuthoringAuthoring

Fedora / Kowari / PostgreSQL / LuceneFedora / Kowari / PostgreSQL / LuceneCore Infrastructure

eSciDoc

InfrastructureeSciD

ocInfrastructure

Duplicate detectionDuplicate detection

SolutionsSolutions

<external>GoogleMap<external>

GoogleMap

<external>LivRevToolkit<external>

LivRevToolkit

Solution X

PubMan

SWB

Implementation: JavaInterfaces: REST, SOAP interfaces

Implementation: Java, XSLT, Python, Perl, otherInterfaces: REST, SOAP interfaces

Implementation: Java, XSLT, Python, Perl, otherInterfaces: REST, SOAP interfaces

Implementation: JSP, XForms, other

Overview of Architecture

13 26.04.23M.Dreyer

Schema Beispieleadmin-descriptor-create.xsdadmin-descriptor.xsdcreate-member-ref-list.xsddc.xsddcmitype.xsddcterms.xsdescidocenumtypes.xsdescidocidtypes.xsdescidocprofile.xsdescidoctypes.xsdfilter.xsdmd-records.xsdmember-list.xsdmember-ref-list.xsdmetadata.xsdrelations.xsdresources.xsdtoc-view-member-ref-list.xsd

xlink.xsdxml-schema.xsdxml.xsdxml200103.xsdcontainer-create.xsdcontainer-list.xsdcontainer.xsdfilter-containers.xsdfilter-members.xsdproperties.xsdstruct-map.xsdtoc-view.xsdtoc.xsd

context-create.xsdcontext-list.xsdcontext-ref-list.xsdcontext.xsdfilter-contexts.xsdfilter-members.xsdcomponents-update.xsdcomponents.xsdfilter-items.xsditem-create.xsditem-list.xsditem-ref-list.xsditem-update.xsd

item.xsdlicences.xsdtechnicalmetadata.xsdfilter-organizational-units.xsdorganizational-unit-list.xsdorganizational-unit-ref-list.xsdorganizational-unit.xsddiagnostics.xsdsearch-result.xsdsrw-types.xsdxcql.xsdstaging-file.xsdgrants-create.xsdgrants.xsduser-account-create.xsduser-account-update.xsduser-account.xsd

14 26.04.23M.Dreyer

Entwicklungsverlauf

• Enge Verzahnung zwischen Entwicklung in München und Karlsruhe

• Seit Mitte Januar wöchentliche Releases der Basisdienste• Bereitstellung von Patches bei Bedarf• Auslieferung funktional vollständiger Release der

Basisdienste: 23. März• Erste Version von „Publication Management“: 26. März

15 26.04.23M.Dreyer

Kommunikation

• „Architectural Board“ etabliert• Gute Abstimmung mit FIZ Karlsruhe• Fortlaufende gemeinsame Diskussions- und

Spezifikationsaktivitäten• Source Code und Software-Design von SMC verfügbar im

Team• Wöchentliche Releases durch das FIZ• Wöchentliche Releases von SMC (seit Ende März)

• Innerhalb der MPDL– Traugott Koch– Sabine Krott

16 26.04.23M.Dreyer

eSciDoc Knowledge Network

• Plattform – zum Wissensaustausch– für den Aufbau von Wissensgemeinschaften (Communities)– zur Diskussion von Konzepten und Szenarien– auch für Erfahrungswissen und unklare neue Bereiche

• Unterschiedliche Themen– eSciDoc eScience applications– eSciDoc Interoperability– TEI– Austausch mit verwandten Projekten– Tools

17 26.04.23M.Dreyer

Schwerpunkte 2007, 2008

• Mehr Anwendungen (Solutions) und Dienste• Mehr „Content Types“, z.B. Bilder, Transkriptionen, Übersetzungen,…• Verschiedene Metadaten-Profile• Relationen zwischen Objekten und Objekt-Teilen

• „Early Adopters“• Vorbereitung produktiver Betrieb• Aufbau und Erweiterung „Knowledge Network“

• Verbreitung der Software und Dokumentation als Open Source (GPL) über das „Knowledge Network“

• Registraturen (Services, Metadata, … )

18 26.04.23M.Dreyer

Vielen Dank………………………… Fragen?Malte.dreyer@mpdl.mpg.de