usability & usefulness in digital libraries

80
Usability & usefulness in digital libraries Summer School Digital Libraries 20.-24. September 2010 Prof. Dr. René Schneider, Haute Ecole de Gestion, Genf Bozen-Bolzano

Upload: calais

Post on 21-Jan-2016

62 views

Category:

Documents


0 download

DESCRIPTION

Usability & usefulness in digital libraries. Summer School Digital Libraries. 20.-24. September 2010. Bozen-Bolzano. Prof. Dr. René Schneider, Haute Ecole de Gestion, Genf. Warum dieses Modul?. Aktuelle Trends in der Evaluation kennenlernen. - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Usability & usefulness in digital libraries

Usability & usefulness in digital libraries

Summer School Digital Libraries

20.-24. September 2010

Prof. Dr. René Schneider, Haute Ecole de Gestion, Genf

Bozen-Bolzano

Page 2: Usability & usefulness in digital libraries

Warum dieses Modul?

1. Usability und Usefulness sind essentiell für die Kundenarbeit

2. Grundkenntnisse vermeiden Fehler in der Konzeption von DL

3. Lernen, selbst zu evaluieren oder Evaluationen zu beauftragen

4. Aktuelle Trends in der Evaluation kennenlernen

Page 3: Usability & usefulness in digital libraries

Ziele

1. Grundkenntnisse über das Themenspektrum erwerben

2. Das Verhältnis zwischen Usability & Usefulness verstehen

3. Modelle und Methoden kennenlernen

4. Konkrete und aktuelle Forschungsergebnisse präsentieren

Page 4: Usability & usefulness in digital libraries

Überblick

1. Begriffe & Definitionen

2. Usability (in Digital Libraries) 3. Usefulness (in Digital Libraries)

4. Forschungsprojekt ACCEPT

Page 5: Usability & usefulness in digital libraries

1. Begriffe & Definitionen

Page 6: Usability & usefulness in digital libraries

Definition: Digital Libraries

"Digital libraries are organized collections of digital information. They combine the structuring and gathering of information, which libraries and archives have always done, with the digital representation that computers have made possible."

Practical Digital Libraries. Michael Lesk. Morgan Kaufmann. 1997.

Page 7: Usability & usefulness in digital libraries

Beispiel

http://sunsite.berkeley.edu

Page 8: Usability & usefulness in digital libraries

Frage

Welcher Prozess steckt hinter diesen Begriffen?

Page 9: Usability & usefulness in digital libraries

Enwicklungsprozess

http://www.slideshare.net/UIEpreviews/search-discovery-patterns-a-uie-virtual-seminar

Page 10: Usability & usefulness in digital libraries

Definition: Evaluation

Evaluation (Evaluierung) ist in der allgemeinsten Bedeutung die Bewertung von Organisationseinheiten, Prozessen und Ergebnissen dieser Prozesse gemeint.Darunter fällt auch Software bzw. besondere Bestandteile dieser Software, also Benutzerschnittstellen und Inhalte.

Page 11: Usability & usefulness in digital libraries

Evaluation: Prinzipien

“Regardless of methodology, evaluation is a social activity.”

Hirschman/Mani 2003

http://findability.org/images/uxpeople.png

Page 12: Usability & usefulness in digital libraries

Frage

Welche Eigenschaften sollte eine benutzerfreundliche digitale Bibliothek besitzen ?

Page 13: Usability & usefulness in digital libraries

Eigenschaften

http://semanticstudios.com/publications/semantics/images/honeycombbig.jpg

Page 14: Usability & usefulness in digital libraries

Barrierefreiheit & Universal Design

Page 15: Usability & usefulness in digital libraries

Evaluation: Motivation Wie können diese unterschiedlichen Eigenschaften

während• der Entwicklung (development)• des Testens (testing)• der Auslieferung (deployment)

in objektive Qualitätskriterien gefasst werden? Zielgruppen / Interessenten

• Geldgeber,• Projektmanager,• Entwickler, • Benutzer.

Page 16: Usability & usefulness in digital libraries

Zeitpunkt: immer!

Page 17: Usability & usefulness in digital libraries

Evaluationstypen

Bewertende Evaluation: How good?• Hier wird eine bestimmte gewünschte oder geforderte

Systemeigenschaft geprüft. Analysierende Evaluation: Why bad?

• Ziel dieser Evaluation ist es, Hinweise auf Schwachstellen zu erhalten, um direkte Gestaltungsvorschläge zu liefern.

Vergleichende Evaluation: Which is better?• Zwei oder mehr Systeme werden miteinander verglichen

Page 18: Usability & usefulness in digital libraries

objektive Methodenversucht, die subjektiven Einflüsse weitgehend auszuschalten. Objektive Methoden ermitteln harte Daten, beispielsweise präzise Angaben über Bearbeitungszeiten und Fehlerzahlen. Ziel der objektiven Methoden ist die Beobachtung der tatsächlichen Benutzung der Anwendung. Die Beobachtung ohne technische Unterstützung erfolgt mit Hilfe von Beobachtungsprotokollen, die in der Regel in strukturierter Form vorliegen und die zu beobachteten Sachverhalte vorgeben.

Objektive vs. subjektive Methoden(1)

Beispiel: Logfile-Analyse

Page 19: Usability & usefulness in digital libraries

Objektive vs. subjektive Methoden(2)

subjektive MethodenBei subjektiven Methoden steht die Bewertung der Benutzungsschnittstelle durch den Benutzer im Vordergrund. Es werden hier sogenannte weiche Daten ermittelt, beispielsweise ob die Benutzung des Systems einfach, angenehm und verständlich ist. Vorwiegend werden hier Befragungen der Benutzer eingesetzt. Dabei können die Befragungen per Fragebogen oder als Interview erfolgen.

Beispiel: Usability-Test

Page 20: Usability & usefulness in digital libraries

Kriterien für die Wahl einer Methode

Was ist das Ziel der Evaluation?• Geht es um einen abschließenden Test des Gesamtsystems,

oder sollen bestimmte Aspekte überprüft werden? Wer soll die Evaluation durchführen?• Ist es besser, dass ein Experte das System inspiziert, oder

sollten auch Benutzer die Evaluation durchführen? Wo soll die Evaluation durchgeführt werden?• Soll sie in einem Labor oder einem Arbeitsplatz

durchgeführt werden?

Page 21: Usability & usefulness in digital libraries

Kriterien für die Wahl einer Methode

Welche Informationen werden gesammelt?• Was soll gemessen werden, welche Daten sind von

Bedeutung? Wie groß sind die Ressourcen?

• Wieviel Geld und Zeit stehen für die Evaluation zur Verfügung?

Page 22: Usability & usefulness in digital libraries

VorgehenFür die Durchführung einer gelungenen Evaluation geht es also darum, eine Vielzahl von Parameter a priori abzuschätzen.

Dabei kann es hilfreich sein, diese Parameter als Online-Beratungshilfe zur Verfügung zu stellen, um die Entscheidungsfindung zu erleichtern.

Evaluierungsplattform CHEVAL der HTW Chur: http://www.cheval-lab.ch/online-beratungskomponente

Page 23: Usability & usefulness in digital libraries

Das « LHC-Problem »Für fast alle Evaluationsmethoden muss beachtet werden, dass ein erheblicher Arbeitsaufwand für die Auswertung entsteht, der Tage, in vielen Fällen Wochen beansprucht.

Page 24: Usability & usefulness in digital libraries

Definition: UsabilityIn design, Usability is the study of the ease with which people can employ a particular tool or other human-made object in order to achieve a particular goal.

en.wikipedia.org/wiki/Usability

The state or condition of being usable; The degree to which an object, device, software application, etc. is easy to use with no specific training.

en.wiktionary.org/wiki/usability

Page 25: Usability & usefulness in digital libraries

Usability: Charakterisika (Nielsen)

•Effizienz (efficient to use)•Zufriedenheit (subjective satisfaction)•Erlernbarkeit (easy to learn)•Merkbarkeit (easy to remember)•Fehlertoleranz (few errors)

Page 26: Usability & usefulness in digital libraries

Usability: Methoden

•Expertenorientierte Methoden• Cognitive Walkthrough• Heuristische Evaluation•Benutzerorientierte Methoden• Fokusgruppen• Benutzerbefragung• Usability-Test

s. Schweibenz/Thissen: Qualität im Web

Page 27: Usability & usefulness in digital libraries

Qualität - Quantität

Jakob Nielsen, alertbox, 19 März 2010

Page 28: Usability & usefulness in digital libraries

Mythen zur Software-Evaluierung• Fünf Testteilnehmer reichen aus.• Das Hauptziel eines Usability Tests ist es, Usability

Probleme zu finden.• Ein Usability Test wird sehr viel besser, wenn er in

einem Usability Lab durchgeführt wird.• Usability Tests sind besser als Experten-Reviews.• Gefundene Probleme sind einfach zu korrigieren.

Rolf Molichhttp://www.slideshare.net/uxhh/5-mythen-ber-usability-testing

Page 29: Usability & usefulness in digital libraries

Definition: Usefulnessutility: the quality of being of practical use

wordnetweb.princeton.edu/perl/webwn

the quality of having utility and especially practical worth or applicability

Merriam Webster Online Dictionary

Page 30: Usability & usefulness in digital libraries

Definition: Usefulness“The content and services offered by a system, and how closely they meet user requirements, are considered key aspects of system usefulness.”

(Hartmann, 2006; Savolainen, 2008, Buchanan, 2009)

“The concept of usefulness defines whether DLs constitute valuable tools for the completion of users’ tasks. Usefulness answers the questions if DLs support users’ information needs and work completion.“

(Tsakonas et Papatheodorou, 2008, p. 1237)

Page 31: Usability & usefulness in digital libraries

2. / 3. Usability & Usefulness in DL

Page 32: Usability & usefulness in digital libraries

FrageWie verhalten sich

Usability & Usefulness

zueinander?

Page 33: Usability & usefulness in digital libraries

Usability & Usefulness

Etwas kann leicht zu bedienen, aber völlig nutzlos sein:Usability ist unabhängig von Usefulness. Hingegen kann nicht

nützlich sein, was schwer zu bedienen ist: Usefulness ist abhängig von Usability.

Page 34: Usability & usefulness in digital libraries

Usability & Usefulness in DL

Bei Usability (in digitalen Bibliotheken) geht es um die Schnittstelle zum System, genauer um die Beziehung zwischen System und Benutzer.

Bei der Usefulness (in digitalen Bibliotheken) geht es um den Inhalt, genauer um die Beziehung zwischen Inhalt und Benutzer.

Page 35: Usability & usefulness in digital libraries

The Elements of User Experience

http://www.jjg.net/elements/pdf/elements.pdf

Page 36: Usability & usefulness in digital libraries
Page 37: Usability & usefulness in digital libraries

Usability & Usefulness

In beiden Fällen geht es bei der Evaluation der Usability und der Usefulness um die Feststellung qualitativer Merkmale und deren Beurteilung durch den Benutzer.

Page 38: Usability & usefulness in digital libraries

Interaction triptych framework

http://www.is.informatik.uni-duisburg.de/wiki/index.php/JPA_2_-_WP7

Page 39: Usability & usefulness in digital libraries

Frage

Welche Merkmale kennzeichnen die Relationen zwischen Benutzer, Inhalt und System in einer digitalen Bibliothek?

Page 40: Usability & usefulness in digital libraries

Interaction triptych framework

Tsakonas, Papatheodorou, 2008, Exploring usefulness and usability in the evaluation of open access digital libraries

Page 41: Usability & usefulness in digital libraries
Page 42: Usability & usefulness in digital libraries

Usefulness in DL: Ausgangspunkt

Die Evaluation der Usefulness ist für Bibliotheken von besonderem Interesse, da diese Evaluation häufig intern (in house), d.h. durch den Bibliothekar geschehen kann.

Allerdings existieren im Gegensatz zur Evaluation der Usability wenige ausgereifte Methoden, sondern eher eine Vielzahl von Modellen zur Bestimmung der Nützlichkeit.

Page 43: Usability & usefulness in digital libraries

Usefulness in DL: Problematik

Der Grund scheint in einem prinzipiellen Antagonismus zwischen •den Bibliothekaren, die die Systeme erstellen und betreuen, •sowie den Nutzern, die die Inhalte konsultieren zu liegen. Bibliothekare und Nutzer haben häufig unterschiedliche Sichtweisen bzgl. der Nützlichkeit einer Ressource.

Page 44: Usability & usefulness in digital libraries

Usefulness in DL: P3 Modell

Dillon & Morris, 1999,Power, Perception and Performance: From Usability Engineering

to Technology Acceptance with the P3 Model of User Response

Page 45: Usability & usefulness in digital libraries

Usefulness: Modelle

Fuhr et al., 2001, Digital libraries: a generic classification scheme

Page 46: Usability & usefulness in digital libraries
Page 47: Usability & usefulness in digital libraries

Usefulness in DL: Evaluationskriterien

Fuhr et al., 2001, S. 193

Page 48: Usability & usefulness in digital libraries
Page 49: Usability & usefulness in digital libraries

Usefulness in DL: Voraussetzungen

Khani-Zabihi, Ghinea & Chen, 2006, „Digital libraries: what do users want?“

Page 50: Usability & usefulness in digital libraries

Usefulness in DL: Verbesserungsvorschläge

Khani-Zabihi, Ghinea & Chen, 2006, „Digital libraries: what do users want?“

Page 51: Usability & usefulness in digital libraries

Usefulness in DL: Verbesserungsvorschläge

Khani-Zabihi, Ghinea & Chen, 2006, „Digital libraries: what do users want?“

Page 52: Usability & usefulness in digital libraries

Usefulness in DL: Verbesserungsvorschläge

Khani-Zabihi, Ghinea & Chen. 2006, „Digital libraries: what do users want?“

Page 53: Usability & usefulness in digital libraries

Usefulness in DL: Verbesserungsvorschläge

Khani-Zabihi, Ghinea & Chen. 2006, „Digital libraries: what do users want?“

Page 54: Usability & usefulness in digital libraries

Das erste Mittel der Wahl bleibt …

der Fragebogen,

dessen Zusammenstellung und Auswertung alles andere als trivial ist.

Page 55: Usability & usefulness in digital libraries

Überblick

4. Forschungsprojekt ACCEPT

Page 56: Usability & usefulness in digital libraries

4. Forschungsprojekt ACCEPT

Page 57: Usability & usefulness in digital libraries

E-lib.ch

Strategisches Ziel ist es, E-lib.ch als das führende und zentrale nationale Portal im Sinne eines "Single-Point-of-Access" für die wissenschaftliche Informationsrecherche und Bereitstellung in der Schweiz aufzubauen und nachhaltig zu etablieren.

Page 58: Usability & usefulness in digital libraries

ACCEPTDas Projekt ACCEPT untersucht die Faktoren und Hindernisse, die eine Relevanz für die Bereitstellung digitaler Angebote im Kontext wissenschaftlicher Bibliotheken besitzen. Dabei soll überprüft werden, welche konkrete Wirkung die Bereitstellung elektronischer Ressourcen in digitalen Bibliotheken hat und wie die Erfahrungswerte der Nutzerseite auf die Gestaltung benutzerfreundlicher Schnittstellen zu übertragen sind. Aufbauend auf diesen Ergebnissen zum Thema "usefulness" wird die Benutzerfreundlichkeit der Benutzerschnittstellen von E-lib.ch mit dem Ziel getestet, eine maximale Nutzungsbreite sowie einen maximalen Nutzungsgrad von digitalen Ressourcen in wissenschaftlichen Bibliotheken zu erreichen.

Page 59: Usability & usefulness in digital libraries

In der ersten Projektphase wurde ein Verfahren zur Überprüfung der Nützlichkeit der Online-Ressourcen in Zusammenarbeit mit der Universitätsbibliothek Genf durchgeführt.

Fokus der Umfrage: - Format: Präferenz Papier – Digitale Ressource- Datenträger – Kommunikationsmittel (Laptop,

Smartphone, …)- Zugriff: Uni – Zuhause - Wichtigkeit von Volltextzugriff- Verhalten bei Nichtvorhandensein einer Ressource- Zeitaufwand für Suche

PERSONAS-Studie: Universität Genf

Page 60: Usability & usefulness in digital libraries

a) Erstellung eines Online Fragebogens und statistische Auswertung der Umfrage

b) Analyse von Gruppen und Profilen der Studenten, wissenschaftlichen Mitarbeiter und Professoren der Universtät Genf: Extraktion von authentischen Persönlichkeitsmerkmalen

c) Download von Public Domain Photos

d) Erstellung von PERSONAS-Profilen für charakteristische Benutzergruppen der einzelnen Fakultäten

Vorgehen:

Page 61: Usability & usefulness in digital libraries

PERSONAS-Studie (für die Universität Genf)

1. Umfrage 2. Soziale Netzwerke 3. Publ. Dom. Photos

4. Personas-Profile

Page 62: Usability & usefulness in digital libraries

PERSONA: Sophie

Page 63: Usability & usefulness in digital libraries

PERSONA: Philippe

Page 64: Usability & usefulness in digital libraries

Frage

Was sind Vor- und Nachteile des Personas-Verfahrens?

Page 65: Usability & usefulness in digital libraries

Vorteile des Personas-Verfahrens• Sie helfen dem Team, sich an die Stelle des Benutzers

zu setzen.• Benutzer werden „fassbar“: Entwickler fragen sich nicht

„Wie würde ich diese Aufgabe erledigen?“ sondern „Wie würde John diese Aufgabe erfüllen?“.

• Grössere Identifizierung mit dem Benutzer: Personae erhöhen die Empathie der Entwickler für den Benutzer.

• Ökonomisches Werkzeug: Personae können schnell und unkompliziert erstellt werden. (Zeitaufwand etwa ein bis zwei Wochen.)

Page 66: Usability & usefulness in digital libraries

Nachteile des Personas-Verfahrens• Es besteht die Gefahr der Künstlichkeit der Personen.• Der direkte Kundenkontakt kann verloren gehen. • Probleme bei heterogenen Benutzergruppen.• Jedes Projekt braucht eigene Personae.• Personen wandeln sich, (auch im Umgang mit

Systemen).

Page 67: Usability & usefulness in digital libraries

PERSONAS-Studie: Universität Genf

Um auf den Kontext von digitalen Bibliotheken zurückzukommen: es geht nicht darum, was Bibliothekare von einer Ressource oder einer Dienstleistung wollen oder halten.Es geht um die Bedürfnisse und Erwartungen der Kunden. Personae sind eine einfache und effiziente Methode, diese Bedürfnisse zu illustrieren.

Page 68: Usability & usefulness in digital libraries

Usability-Tests: E-codices

Zu Beginn der zweiten Projektphase wurden zwei Testserien zur Evaluation der Benutzerfreundlichkeit von E-codices.ch (www.e-codices.ch), einer virtuellen Bibliothek für mittelalterliche Handschriften der Schweiz. Die Testserien beschäftigten sich mit der Suche nach Dokumenten, insb. der fassettierten Suche sowie der Arbeit mit dem Manuskript. In beiden Fällen wurden vergleichende Studien durchgeführt, d.h. E-codices wurde direkt mit jeweils einem anderen System verglichen.

Page 69: Usability & usefulness in digital libraries

Frage

Welchen Verlauf und welche Aufgaben könnte ein solcher Test haben?

Page 70: Usability & usefulness in digital libraries

Testablauf: Fassettiertes Browsen

1. Bisherige Erfahrungen / Freies Surfen2. Suchstrategie erläutern3. Dokumente suchen4. Dokument mit Fassette suchen

(Wechsel zur anderen Plattform)5. Direkter Vergleich des „look&feel“6. Gleiches Dokument suchen7. Wissensgebiet mit Fassetten einschränken8. Post-hoc Interview zu Fassettierung

Page 71: Usability & usefulness in digital libraries

Testablauf: Arbeiten mit dem Dokument

1. Bisherige Erfahrungen / Freies Surfen2. Suchstrategie erläutern3. Dokumente suchen4. Arbeiten mit dem Faksimile: Funktionen erläutern

(Wechsel zur anderen Plattform)5. Direkter Vergleich des „look&feel“6. Arbeiten mit dem Faksimile: Funktionen erläutern7. Gesonderte Funktionen: RSS / Material / DFG-Viewer8. Post-hoc Interview zur Arbeit mit dem Dokument

Page 72: Usability & usefulness in digital libraries

Analyse

Page 73: Usability & usefulness in digital libraries

Ergebnisse

Page 74: Usability & usefulness in digital libraries

Ergebnisse

Page 75: Usability & usefulness in digital libraries

Verbesserungsvorschläge

Page 76: Usability & usefulness in digital libraries

Verbesserungsvorschläge: Fassettierung

Page 77: Usability & usefulness in digital libraries

Suche mit Suchfenster

Page 78: Usability & usefulness in digital libraries

Verbesserungsvorschläge: Faksimile

Page 79: Usability & usefulness in digital libraries

Literatur

• Schweibenz, Thissen, 2003, Qualität im Web, Springer.

• Krug, 2005, Don’t make me think. New Riders.

• www.useit.com

• ACCEPT Forschungsberichte: http://campus.hesge.ch/id_bilingue/projekte_partner/projekte/accept/kontext.asp

• Hegner, Methoden zur Evaluation von Software, IZ-Arbeitsbericht Nr. 29, 2003

• Kani-Zabihi, Ghinea & Chen, 2006, “Digital Libraries: what do users want?”, Online Information Review, vol. 30, no. 4, pp. 395-412.

• Tsakonas, Papatheodoru (ed.), 2009, Evaluation of Digital Libraries: An Insight into Useful Applications and Methods, Chandos.

Page 80: Usability & usefulness in digital libraries

Fragen?

Danke für Ihre Aufmerksamkeit!