frankfurt/main, 13.11.2003 7. inetbib-tagung 2003 f. lützenkirchen von miless zu mycore - ein open...
TRANSCRIPT
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Von MILESS zu MyCoRe -Ein Open Source Kernsystem
für Digitale Bibliotheken
Dipl.-Wirt.Inform. Frank Lützenkirchen
Universitätsbibliothek Essen der Universität Duisburg-Essen
http://miless.uni-essen.de/ http://www.mycore.de/
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
• MILESS:• Architektur, Datenmodell und Funktionalität• NEU: Audio/Video Storyboards• NEU: Video mit eingeblendeten Folien• NEU: Semesterapparate Online
• MyCoRe:• Entstehung, Organisation, Architektur• Metadatenmodell: Objekte, Beziehungen, Konfiguration• Internal Filesystem und Audio-/Video-Unterstützung• Persistenz-Layer und Backend-Datenbanksysteme• Verteilte Suche und Schnittstellen zu OAI, Web Services• User Interface: Webseiten-Generierung via XSL• Konfigurierbarer Online-Editor für Metadaten
• MyCoRe und MILESS: Status und nächste Schritte
Inhalt
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
• MILESS: Multimedialer Lehr- und Lernserver Essen• Multimedialer Lehr- und Lernmittel-Server: Digitale Bibliothek• Kein Lern-Management-System (Kursmanagement, Chats, ...)
• In Essen für Essen entwickelte Applikation, ursprünglich zugeschnitten auf Essener Anforderungen• Dublin Core Datenmodell, XML-Schnittstellen, beliebige Dateitypen
• Java-Applikation bestehend aus Servlets, Applet, XSL Stylesheets• Datenhaltungs-Basis (mehrere Alternativen):
IBM Content Manager 7.1, IBM DB2 unter AIX / WindowsN E U : MySQL, Apache Lucene unter AIX / Windows / Linux /Solaris
Helix Universal Server, RealServer, IBM VideoCharger Server
• Open Source unter GNU General Public License, nichtkommerziell
• Nachnutzung durch 12 andere Universitäten erfolgreich, z. B. Leipzig (Bach Digital), Jena (Urmel), ca. ein Dutzend Installationen
MILESS: Die Essener ApplikationDie Ursprünge von MyCoRe ...
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
MILESS Datenmodell: festgelegt! Basis: Dublin Core + eigene Erweiterungen
Abbildung: Marc Schlüpmann (2002), Universität Essen
Personen- undKörperschafts-daten
Dateien undFormate:
PDF, Word,HTML, LaTeX,...
Klassifikationen:
fachspezifisch und / oder fachübergreifend
beliebige Hierarchien wie etwa DDC
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Zugang zu Dokumenten über Suche:Allgemeine u. fachspezifische Suchmasken
Eigene Suchmasken je Fachgebiet / Themengebiet möglichEinschränkung der Suche z. B. auf Physik, Dissertationen, Video-Material
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Zugang zu Dokumenten über Browsing:Klassifikationen, Baumstrukturen
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Zugang zu Dokumenten direkt über URL:Dokument, Derivat, Datei direkt erreichbar
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Beliebige Dateitypen in MILESS:Java- oder Shockwave-Animation
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Beliebige Dateitypen in MILESS:Dissertation in LaTeX, Anzeige-Applet
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Java-Applet als GUI für Autoren: Dokumente einstellen oder aktualisieren
Bestimmte Benutzerhaben Autoren-Rechte
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Neu: Audio/Video-Storyboards Szenen annotieren, "schneiden", abspielen
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Neu: Video-Mitschnitte mit Folien Ein Service des Medienzentrums Essen
Realisierung:
AVID EPublisher(Real Video)
MicrosoftPowerPoint(WMV)
Langfristig:SMIL (XML)da bearbeitbar
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Neu: Online-Semesterapparate Bücherlisten, PDF-Volltexte, Eigene Dateien
• Online-Semesterapparate beinhalten:• Bücherlisten: bibliographische Angaben, Link in den Katalog• Kapitelauszüge aus Büchern, Zeitschriftenartikel: bibliographische Angaben, Volltext im PDF-Format• WWW-Links, Querverweise auf andere MILESS-Dokumente• Eigene Dateien des Dozenten, bis hin zu Audio/Video
Realisierung:• Jeder Semesterapparat entspricht einem MILESS Dokument• Volltexte (PDF) und andere Dateien sind hierunter abgelegt• Beschreibende Daten intern als XML, Darstellung über XSL Stylesheets
Ablauf:• Dozent kann über Online-Formulare Inhalte ergänzen und bearbeiten• MILESS verschickt daraufhin Email an Bibliotheksmitarbeiter• Diese beschaffen (Jason, Fernleihe usw.) und digitalisieren die Volltexte• Studenten bekommen über Passwort lesenden Zugang zu Volltexten
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Neu: Online-Semesterapparate Beispiel-Semesterapparat (frei zugänglich)
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Neu: Online-Semesterapparate Dozent bearbeitet Inhalte über Formulare
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Neu: Online-Semesterapparate Bibliothek überprüft Daten, ergänzt PDF
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Feedback aus MILESS Nachnutzung:Änderungs- und Flexibilisierungswünsche...
• Essener Lösung MILESS war spezialisiert auf die Essener Anforderungen
• Metadatenmodell ist fest vorgegeben (Dublin Core mit Erweiterungen) und nicht einfach erweiterbar / anpassbar
• Layout war nur schwer anpassbar, da Java Servlets direkt HTML erzeugten
• Anpassung des Java-basierten Autoren-GUIs sehr aufwendig• Benutzer- und Rechteverwaltung nur minimal
implementiert• Applikationstyp "Dublin Core Dokumenten-Server"
vorgegeben, aber Archivsysteme etc. etwas anders strukturiert • Abhängigkeit von IBM Content Manager hat sowohl
positive (Speichermanagement, Archivierung, Skalierbarkeit) als auch negative Aspekte (für kleine Applikationen zu aufwendig, IBM-Plattform notwendig)
• Langfristige Code-Pflege nur durch Essen problematisch
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
• Ausgehend von MILESS, gemeinsame Entwicklung eines flexiblen, anpassbaren Software-Kerns ("core") zur Erstellung von digitalen Bibliothekssystemen / Archivlösungen (allgemein "Content Repositories" -> CoRe), für verschiedene Backend-Datenbanken, sowohl IBM Content Manager als auch andere insbesondere aus dem Open Source Bereich
• Entwicklung als Open Source auf Java- und XML-Basis• Kern, ergänzt um Anpassungen und Erweiterungen, bildet
jeweils eine lokale Lösung, z. B. für Münzsammlung, Papyri-Archiv, ...
• MILESS bringt Erfahrungen und Implementierungsstrategien ein, aber MyCoRe ist eine komplette Neuentwicklung
• MILESS verwendet bereits produktionsreife MyCoRe Komponenten, die nach und nach alte MILESS Komponenten ersetzen, bis zum kompletten Austausch durch MyCoRe
• MILESS ist das lokale Essener Produktionssystem, MyCoRe noch in der Entwicklung und teilweise unvollständig
MyCoRe: Entstehung und Ziele... und was wird aus MILESS?
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
MyCoRe Architektur:Datenmodell-zentrierte Sicht
XML als zentrales Format für
• Konfiguration• Import• Export• Speicherung• Layout• Schnittstellen
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Konfiguration von Beziehungen:Eltern-/Kind-Beziehungen und Verweise
Dokument
Schriftträger Text und Bearbeitung
Schriftträger-Fragment
Schriftträger-Fragment
weitere Bearbeitung
Schriftträger-Fragment-Spalte
Vererbung
Beispiel: Jens Kupferschmidt, Universität Leipzig Datenmodell Papyri-Projekt Jena / Halle /Leipzig
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
MyCoRe Architektur:Sicht auf verschiedene System-Ebenen
Backend-Systeme
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Internal Filesystem [IFS]Interne Dateien und Verzeichnisse
• Dateien und Verzeichnisse werden in das System importiert• MyCoRe verwaltet nicht (nur) Links, sondern auch den Content selbst• In MILESS: Dokument besitzt Derivate, Derivate besitzen Dateien• In MyCoRe: Flexibler, Objekte besitzen Dateien oder Verzeichnisse
• Typische Operationen eines Dateisystems als API:• Dateien und Verzeichnisse bilden Dokumentstruktur ab, z. B. HTML• Erzeugen, Löschen, Verschieben, Umbenennen • Importieren und Exportieren von ganzen Verzeichnissen• ZIP-Import und –Export• Pfadoperationen, Sortieroperationen• Versionsmanagement und Volltextsuche (noch nicht implementiert)
• Anzeigen von Dateien und Browsen in Verzeichnissen via WWW• Verwalten der Dateiinhalte über WWW-Oberfläche• Später: Import/Export via FTP-Client, Emails mit Attachment
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Internal Filesystem [IFS]Unterstützte Speichersysteme
• Beliebige Dateitypen und ganze Verzeichnishierarchien importierbar• Zur Speicherung der Dateiinhalte sind folgende Systeme möglich:
• Lokales Dateisystem• Entferntes Dateisystem via FTP• IBM Content Manager 7 Object Server• IBM Content Manager 8 Resource Manager• IBM VideoCharger Server Version 7 oder 8• Weitere durch Implementierung eines Java-Interfaces möglich
• Zum Streaming von Audio-Video-Dateien werden unterstützt:• IBM VideoCharger Server Version 7 oder 8
• MyCoRe unterstützt MPEG1, MPEG2, AVI, WAV, MP3• Real Streaming Server Version 8 oder• Helix Universal Server Version 9 (Real Nachfolger)
• MyCoRe unterstützt RealAudio, RealVideo, MP3, WAV, AVI, MPEG1, MPEG2, MPEG4, Windows Media Audio/Video
• Streaming zu IBM Player, Windows Media Player, Real Player• Weitere durch Implementierung eines Java-Interfaces möglich
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Internal Filesystem [IFS]Verwendung schon jetzt in MILESS
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
MyCoRe Persistenz-Layer:Verschiedene Implementierungen
• Persistenz-Layer bildet MyCoRe-Strukturen auf Datenbanksysteme ab.• MyCoRe Backend-System besteht aus vier Bereichen:
• Verwaltung von relationalen Tabellendaten:• JDBC-fähige relationale Datenbank (getestet: IBM DB2, MySQL)
• Suche in XML-Metadaten (mittels XQuery/XPath):• IBM CM 7 (Auslaufmodell), IBM CM 8.2, oder• XML:DB API (getestet: Apache Xindice, eXist XML Database)
diese Schnittstelle wird auch von Tamino (Software AG) unterstützt• Speicherung und Verwaltung von Datei-Inhalten (IFS):
• IBM CM7, IBM CM8, IBM VideoCharger Server• Lokales Filesystem, Remote FTP Server, Real oder Helix Server
• Volltextsuche in Datei-Inhalten• In MyCoRe noch nicht vollständig implementiert, noch in Arbeit• IBM Content Manager 8 Text Information Extender• Open Source Volltextsuchsysteme, wie etwa Apache Lucene
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
HTTP / XML
PräsentationSuchergebnisse
Lokale Suche
Lokale Suche
Lokale Suche
Lokale Suche
Lokale Suchez.B. Content Manager
Suchanfrage: XQuerySuchergebnisse: XML
Client
Server
Quelle: M. Zarick, Universität Rostock
Verteilte Suche über InstanzenRemote Query Client/Server via HTTPS
Zusätzlich:OAI-PMH 2.0
Geplant:Z39.50
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
• Command Line Interface: MyCoRe:>_
Für administrative Zwecke, Batch-Import von XML-Daten
• Web User Interface:
Implementiert mit Java Servlets, Layout durch XSL Stylesheets Suchmasken, Trefferlisten, Anzeige von Objekten, Browsing, ...
• Metadaten-Editor für MyCoRe Objekte:
In MILESS bisher als Java Applet implementiert, nicht anpassbar In MyCoRe Implementierung auf Basis von HTML-Formularen und konfigurierbar, da MyCoRe Datenmodell nicht festgelegt ist
MyCoRe User Interfaces:Command Line, WWW, Metadaten-Editor
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
MyCoRe Servlet
XML Document
Client Browser
MCRLayoutServlet
HTML Page
XSL Stylesheet
1
2
3
4
• Daten
• Business Logik
• Layout Anweisungen
• Unabhängigkeit, getrennte• Änderung und Anpassung• Pflege• Entwicklung und Test
Generierung von Webseiten:MyCoRe trennt Logik, Daten und Layout
XSL
XSL
• Master Layout
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
• Da Datenmodell in MyCoRe nicht festgelegt ist, muss auch der Online Metadaten-Editor konfigurierbar und anpassbar sein• MyCoRe EditorServlet bearbeitet XML Datei in HTML Formularen
• Zu bearbeitende XML-Datei kann aus verschiedenen Quellen stammen und in verschiedene Zielsysteme gespeichert werden: MILESS, MyCoRe, Local Filesystem, URL, ... -> Java Interface
• EditorServlet wird konfiguriert über XML-Datei mit Definitionen• Editor Definition beinhaltet Informationen zu
Labeln, Felder, Listen, Wiederholbarkeit von Elementen, Hilfetexte, Datentypen and Validierungsregeln.
Abbildung zwischen Formularfeldern und XML Elementen• Ein EditorServlet, viele Editor-Definitions-Dateien, z. B. je ein Editor für Dokumente, Personen, Benutzer,...
MyCoRe Metadaten bearbeitenOnline-Editor für einfache XML-Dokumente
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Zu bearbeitendes XML Dokumentist Eingabe und Ausgabe von EditorServlet
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Editor für Personendaten Generiert durch EditorServlet
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Editor Definitions-Datei:Eingabefelder, XML-MappingValidierungregeln etc.
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
MILESS:Version 1.3: Bisher, Produktionsbetrieberfordert IBM Content Manager Version 7verwendet bereits MyCoRe IFS und Audio-/Video-FunktionenVersion 1.4: Ende NovemberLayout über XSL Stylesheets, MyCoRe OAI 2.0,Reine Open Source Option mit Apache Lucene und MySQLVersion 1.5: Mitte 2004Weitestgehende Ablösung durch eine MyCoRe Konfiguration
MyCoRe:Aktuell Integration und Test der Komponenten, Anpassungan IBM CM 8.2, Dokumentation Nutzung und AdministrationMyCoRe 0.9: Präsentation im Januar 2004OAI 2.0, Metadatenmodell, IFS, Audio-/Video-Streaming,
Verteilte Suche, einfache Benutzer- und Rechteverwaltung,neben IBM CM 8 reine Open Source Version mit eXist/MySQL Konfigurierbarer Online Editor, Volltextsuche
Von MILESS zu MyCoRe:Status und nähere Zukunft
Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen
Vielen Dank für Ihre Aufmerksamkeit!
http://miless.uni-essen.de/http://www.mycore.de/