usability test methods vs. usability inspection methods, eye-tracking, repertory grid

62
Manja Nelius Universität Rostock 1 Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Upload: erica-nolan

Post on 31-Dec-2015

69 views

Category:

Documents


3 download

DESCRIPTION

Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid. Gliederung. [1|2]. 1. Einführung Motivation grundlegende Methoden Testziele 2. Usability-Test-Methoden Überblick methodologische Betrachtungen Testmethoden 3. Usability-Inspektionsmethoden - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

1

Usability Test Methodsvs.

Usability Inspection Methods,Eye-Tracking,

Repertory Grid

Page 2: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

2

1. Einführung▪ Motivation▪ grundlegende Methoden▪ Testziele

2. Usability-Test-Methoden▪ Überblick▪ methodologische Betrachtungen▪ Testmethoden

3. Usability-Inspektionsmethoden▪ Überblick▪ methodologische Betrachtungen▪ Inspektionsmethoden

Gliederung [1|2]

Page 3: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

3

Gliederung

4. Test- vs. Inspektionsmethoden▪ Warum ist der Vergleich wichtig?▪ Vergleichskriterien▪ Studie

5. Eyetracking▪ Überblick▪ Anwendungsmöglichkeiten▪ Studie

6. Repertory-Grid-Technik▪ Überblick▪ Durchführung▪ Auswertung▪ Anwendungsmöglichkeiten

7. Literaturhinweise

[2|2]

Page 4: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

4

5 Gründe, warum SW benutzerfreundlich sein sollte

1. Akzeptanz▪ einfache Interfaces machen mehr Spaß▪ Kundenbindung (ein guter Ruf ist sehr von Vorteil)

2. Motivation▪ Benutzer fühlt sich kompetent und nicht bevormundet

3. Image▪ Benutzerfreundlichkeit = Kundenfreundlichkeit▪ Usability ist zum „Trend“ geworden

4. Fehlerrobustheit▪ weniger frustrierte Nutzer▪ durch ausführliches Testen werden Fehler vermieden

5. Kosten▪ Verringerung der Entwicklungskosten▪ geringere Support- und Administrationskosten

Page 5: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

5

1. Sie wird von Informationsexperten geschrieben, die sich nicht mehr an die Zeit erinnern können, als sie noch keine Experten waren: Programmierer.

2. Sie wird von Marketingstrategen geplant, die meinen, dass Ergonomie nicht zu den Features gehört, die auf der Packung aufgezählt werden.

3. Sie wird von Projektleitern betreut, die gegen Ende der Fertigstellung alles wegstreichen, das nach zusätzlichem Zeitaufwand aussieht, weil sonst nichts fertig würde.

4. Sie wird von Managern organisiert, die vor lauter Druck weder nach rechts noch nach links schauen.

5. Sie wird von Geldgebern finanziert, die genau zu den falschen Zeitpunkten an Mitteln sparen: am Anfang in der Konzeption und am Ende beim Testen.

5 Gründe, warum SW nicht benutzerfreundlich ist

Page 6: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

6

grundlegende Methoden

automatische Evaluation ▪ Überprüfung von Usability-Kriterien durch

Evaluationssoftware▪ funktionieren nur schlecht

empirische Evaluation ▪ Test mit realen Nutzern▪ Testpersonen sind teuer und schwer zu finden

formale Evaluation▪ exakte Modelle und Formeln▪ schwer anzuwenden, ungeeignet für komplexe und

hochinteraktive Nutzerschnittstellen informale Evaluation

▪ basierend auf Daumenregeln, allg. Fachwissen, Kenntnissen und Erfahrungen

▪ spart die Testpersonen ein

Kombination empirischer & informaler Methoden

Page 7: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

7

Testziele

Herausstellung von Usability-Problemen einer Nutzerschnittstelle & Vorschläge zur Beseitigung der Probleme und Verbesserung des Designs▪ Usability-Problem = jeder Aspekt eines Designs, bei dem

eine Veränderung zur Verbesserung des Systems führen würde

▪ Hauptaufgabe: Klassifikation und Zählen der gefundenen Usability-Probleme

▪ Analyse: Was macht ein Usability-Problem aus? Wie viele verschiedene Phänomene führen zu einem Problem?

erzieherische Aspekte▪ gibt den Entwicklern Einblick in den nutzerorientierten

Standpunkt▪ große Kommunikation zw. Testpersonen,

Experimentatoren, Inspektoren…

Page 8: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

8

Durchführung von Experimenten mit realen Nutzern, um spezifische Informationen über ein Design zu gewinnen

liefert direkte Erkenntnisse darüber, wie Menschen den Computer nutzen und was ihre exakten Probleme mit dem konkret getesteten Interface sind

Ergebnisse zeigen, inwieweit die Nutzerschnittstelle den Anwender bei der Lösung seiner Aufgaben unterstützt

Tests haben Wurzel in der experimentellen Psychologie

Überblick

Page 9: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

9

Zuverlässigkeit der Ergebnisse

Frage: Wird dasselbe Resultat erreicht, wenn der Test wiederholt wird?

Probleme wegen der großen individuellen Unterschiede zw. den Testpersonen

„some data is better than no data“ – Entscheidungen aufgrund von unzuverlässigen Daten oft nicht vermeidbar

mathematische Nachbetrachtungen (statistische Tests, Signifikanzniveau, Konfidenzintervall)

Page 10: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

10

Frage: Reflektiert das Ergebnis wirklich die Usability-Faktoren, die man testen wollte? Hat der Test wirklich Bedeutung bzgl. der Usability von realen Produkten im realen Gebrauch außerhalb des Labors?

Probleme durch Auswahl falscher Testpersonen und Testaufgaben, fehlende Berücksichtigung von Zeitbeschränkungen und sozialen Einflüssen

Einschränkung der Gültigkeit durch vermischte Effekte

Gültigkeit der Ergebnisse

Page 11: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

11

Auswahl der Testpersonen

Regel: Testpersonen müssen so repräsentativ bzgl. der eigentlichen Endverbraucher sein wie möglich!

kl. Tests durchschnittliche Tester, keine Randgruppen gr. Tests mehrere verschiedene Nutzergruppen z.B.: exakte Zielgruppe ist bekannt

▪ repräsentative Tester leicht findbar (reale Endverbraucher)

▪ Probleme bei der Validität

[1|2]

Page 12: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

12

Auswahl der Testpersonen

Anfänger vs. Fortgeschrittene▪ Tests mit beiden Nutzergruppen empfehlenswert▪ evtl. Anfänger mit testirrelevanten Aspekten vertraut

machen Between-Subjects-Test

▪ Vergleich von alternativen Designs▪ verschiedene Testpersonen testen verschiedene Systeme▪ Probleme: große individuelle Unterschiede in den

Fähigkeiten und Neigungen der Testpersonen▪ Zuordnung der Testpersonen zu den Systemen durch

Zufallsauswahl oder jeder Gruppe wird die gleiche Anzahl an Personen einer Kategorie zugewiesen (z.B. m/w)

Within-Subjects-Test▪ alle Testpersonen testen alle Systeme▪ Kontrolle über die individuelle Variation▪ Problem: Erfahrungstransfer

[2|2]

Page 13: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

13

Auswahl der Experimentatoren

Experimentator (Testdurchführer) ist bei jeder Methode nötig!

mit erfahrenen Experimentatoren sind mehr Usability-Probleme findbar

Experimentator muss intensive Kenntnisse über die zu testende Applikation und die Nutzerschnittstelle besitzen

Designer als Experimentator▪ sind erfahren und motiviert▪ Mangel an Objektivität

Designer & Usability-Spezialisten als Experimentatoren

Page 14: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

14

Auswahl der Testaufgaben

sollten…▪ … so repräsentativ wie möglich sein bzgl. der

Anwendungsdomäne des Systems▪ … die wichtigsten Teile der Nutzerschnittstelle abdecken▪ … nicht trivial sein, aber einfach genug, um in der

vorgegebenen Zeit gelöst werden zu können▪ … klar formuliert sein▪ … nicht frivol, amüsant oder anstößig sein▪ … so realistisch und anwendernah wie möglich sein

erste Aufgabe so simpel wie möglich (Steigerung der Motivation & Zuversicht der Testperson)

letzte Aufgabe sollte „greifbares“ Ergebnis erzeugen Testaufgaben sollten einzeln der Testperson gegeben

werden

Page 15: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

15

Befragung

Ausfüllen der Fragebögen vor jeder weiteren Befragung Kommentare der Testperson Nachfragen des Experimentators

aufgezeichnete Dateien & Fragebögen nummerieren, Bericht schreiben

Page 16: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

16

ethische Aspekte

Tests sollten mit tiefem Respekt für die Emotionen und das Wohlsein der Testpersonen durchgeführt werden

Testpersonen stehen unter Druck Experimentatoren müssen für das Wohlbefinden der Testpersonen vor, während und nach dem Test sorgen▪ entspannte Atmosphäre, natürliche Umgebung▪ gute Vorbereitung des Tests▪ Vermeidung von Unterbrechungen (Hilfe durch

Experimentator nur, wenn Testperson wirklich nicht weiter weiß)

▪ so wenig Beobachter wie möglich▪ Testperson muss wissen, dass sie den Test jederzeit

abbrechen kann und dass die Ergebnisse vertraulich behandelt werden

Testperson sollte über Irreführungen des Systems nach dem Test aufgeklärt werden

[1|2]

Page 17: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

17

ethische Aspekte [2|2]

ethische Richtlinien bei Evaluationen mit Testpersonen

Page 18: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

18

„Thinking Aloud“

Testpersonen formulieren Gedanken, Gefühle, Meinungen

periodische Berichte: laute Äußerung in vorbestimmten Zeitabschnitten (z.B. bei komplexen Aufgaben)

erfasst eine breite Auswahl an kognitiven Aktivitäten erhöht das Verständnis bei den Experimentatoren Einblick in die Terminologie der Testperson kostengünstige Methode Variationen: „Co-discovery Learning“, „Question Asking

Protocol“

Page 19: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

19

„Performance Measurement“

zur Gewinnung quantitativer Daten Durchführung im Usability-Labor zur genauen Kontrolle

der Daten und Vermeidung von Störungen für vergleichende Tests Kombination mit retrospektiven Methoden (z.B.

Fragebögen, Post-Test-Interview) Analyse mit Hilfe von Vergleichswerten (z.B. Mittelwert,

Median, statistische Verfahren) Bsp.: # Nutzerfehler; # nie benutzter Kommandos;

Dauer, bis Nutzer Fehler rückgängig gemacht hat

Page 20: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

20

Überblick

Inspektionsmethoden = Bezeichnung für eine Sammlung von Methoden, die darauf basieren, dass Inspektoren usabilitybezogene Aspekte einer Nutzerschnittstelle untersuchen

Inspektoren = Usability-Spezialisten, SW-Entwicklungsberater mit bestimmten Fachkenntnissen, Endanwender mit Inhalt- oder Aufgabenkenntnis…

Evaluation basiert auf der Beurteilung/Meinung der Inspektoren

Page 21: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

21

Szenarien

Aufgabenszenarien▪ aufgabenorientierte Perspektive auf das Interface▪ repräsentative Endanwenderaufgaben▪ Inspektoren untersuchen Schnittstelle bzgl. spezifischer

Gesichtspunkte, die einen Usability-Spezialisten interessieren

offene Anweisungen▪ dem Inspektor wird keine explizite Aufgabe gegeben▪ potentiell offenere und inspektorgesteuerte Erforschung

des Interfaces▪ unabhängigere und individuellere Untersuchung des

Systems

Page 22: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

22

Erfahrung des Inspektors

Welche Kenntnisse sollte ein Inspektor haben?▪ effektivere Inspektion durch Erfahrung mit Usability-

Guidelines und Schnittstellen-Design Wer sollte Inspektionen durchführen?

▪ Usability-Spezialisten (viele Fachkenntnisse)▪ Software-Entwickler (Einführung in nutzerorientierte

Aspekte einer Schnittstelle nötig)▪ Nichtexperten (evtl. Endanwender, geringere Kontrolle

und Förmlichkeit)

Page 23: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

23

einzelne vs. Gruppeninspektion

einzelne Inspektion▪ Inspektoren arbeiten unabhängig voneinander▪ Berichte werden hinterher zusammengeführt▪ Inspektoren beeinflussen sich nicht gegenseitig und sind

unbefangener▪ Organisation von Gruppenmeetings entfällt

Gruppeninspektion▪ Inspektoren können sich gegenseitig bekräftigen▪ helfen sich gegenseitig, allgemeine Probleme zu

formulieren und zu notieren

Kombination problematisch wegen Zeit- und Personalmangel

Page 24: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

24

Usability der Methoden

Methoden müssen erlernt und effizient angewendet werden

Kompromiss nötig zw. dem Lern- und Anwendungsaufwand und der Wirksamkeit der Ergebnisse

„Heuristische Evaluation“ leicht erlernbar und anwendbar

„Kognitiver Walkthrough“ schwer erlernbar und anwendbar

für ausgebildete Usability-Spezialisten ist hoher Aufwand vertretbar, für andere (z.B. Software-Entwickler) muss das nicht der Fall sein

Page 25: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

25

Gültigkeit der Ergebnisse

Wie voraussagend sind die Ergebnisse für die Endanwenderprobleme?

nicht erkannte Probleme bei szenarienbasierter Inspektion

einige Probleme sind für Inspektoren schwerer zu erkennen und zu beschreiben als andere (z.B. motorische und kognitive Probleme)

bei Inspektionen ohne Endanwender spielt das Verhältnis der Intuition von Inspektor und Endanwender eine große Rolle

Page 26: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

26

Wirksamkeit der gewonnenen Informationen

Wirkung beginnt mit einer Liste von Berichten Problem zu kennen ist oft ausreichend, um einen

einfachen Weg der Behebung zu finden Inspektoren beschreiben oft in den Berichten

spezifische Verbesserungsvorschläge Probleme müssen priorisiert und die Kosten

eingeschätzt werden Probleme sind nicht immer simpel, sondern können

mehrere Designkonzepte und Schnittstellenmerkmale umfassen

Page 27: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

27

„Heuristische Auswertung“

Heuristik = Guideline, generelles Prinzip oder Daumenregel, die eine Designentscheidung lenken oder kritisch beurteilen kann, z.B.▪ Sichtbarkeit des System-Status´▪ Zusammenhang zw. dem System und der realen Welt▪ Nutzerkontrolle▪ ästhetisches und minimalistisches Design

kritische Abhandlung über ein System mit Hilfe von relativ simplen und allgemeinen Heuristiken

mehrere Inspektoren untersuchen das System unabhängig voneinander bzgl. potentieller Usability-Probleme und tauschen danach ihre Meinungen aus

Page 28: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

28

„Kognitiver Walkthrough“

Inspektor oder Gruppe von Inspektoren untersuchen eine Nutzerschnittstelle bzgl. Verständlichkeit und Erlernbarkeit, indem sie einen Satz von Aufgaben lösen

Interface ist Papier-Modell, funktionstüchtiger Prototyp oder voll entwickeltes Interface

Inspektoren sind Usability-Experten, SW-Entwickler, Marketing-Experten…

Einsatz am effektivsten im Design „Input“

▪ Wer werden die Nutzer des Systems sein?▪ Wie ist das Interface definiert?▪ Welche Aufgaben werden analysiert?▪ Wie ist die korrekte Aktionsfolge für jede Aufgabe?

[1|3]

Page 29: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

29

„Kognitiver Walkthrough“

Abarbeiten der Aktionen▪ Wird der Nutzer versuchen, den richtigen Effekt zu

erzielen?▪ Wird der Nutzer bemerken, dass die korrekte Aktion

verfügbar ist?▪ Wird der Nutzer die korrekte Aktion mit dem zu

erreichenden Effekt assoziieren?▪ Wenn die korrekte Aktion durchgeführt wurde, wird der

Nutzer die Reaktion des Systems sehen?

[2|3]

Page 30: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

30

„Kognitiver Walkthrough“

Nutzer können wissen,…▪ … welche Auswirkung sie erreichen, weil…

- … sie Erfahrung im Umgang mit dem System haben- … das System es ihnen sagt

▪ … dass eine Aktion verfügbar ist, weil…- … sie Erfahrung haben- … sie die Vorrichtung dafür sehen können (z.B. Button)- … sie die Repräsentation dafür sehen können (z.B. Menü)

▪ … dass eine Aktion für die zu erreichende Wirkung angemessen ist, weil…

- … sie Erfahrung haben- … das Interface ein Prompt oder Label zur Verfügung stellt- … alle anderen Aktionen falsch erscheinen

▪ … dass nach der Aktion alles gut verlaufen ist, weil…- … sie Erfahrung haben- … eine Verbindung zw. einer Systemreaktion und des

beabsichtigten Aktionsergebnisses ersichtlich ist

[3|3]

Page 31: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

31

Warum ist der Vergleich wichtig?

Software-Entwicklungsteams unterliegen Einschränkungen bzgl. Zeit, Kosten, Personal, Technik…

Test- und Inspektionsmethoden unterscheiden sich hinsichtlich Beherrschung, Steuerung, Kontrolle und Verwaltung

Usability-Experten müssen Kompromisse eingehen (hinsichtlich Zeitplan, menschlicher Faktoren, Kostenvorteilen…) bei der Auswahl einer Methode

Page 32: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

32

Kriterium I: Evaluationsziele

es kann unterschiedliche Ziele für die verschiedenen Evaluationsmethoden geben

Analysen haben gezeigt, dass Inspektionsmethoden keine so große Bandbreite an Zielen ansprechen können wie Testmethoden▪ Inspektionen können keine effektive Evaluation eines

Interfacedesigns in frühen Phasen bereitstellen▪ Inspektionen können keine Änderungsempfehlungen von

Anwendern zu einem Design liefern▪ der Gesichtspunkt der Anwender ist bei Tests mit Nutzern

ausgeprägter

Ziele einer Usability-Auswertung müssen vorher klar definiert sein

Page 33: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

33

Kriterium II: Anzahl & Art der gef. Probleme

Studie von Jeffries▪ „Heuristische Auswertung“ identifizierte die meisten

Usability-Probleme und viele ernste Probleme mit den niedrigsten Kosten

▪ Nutzertest fand ernste und wiederkehrende, aber keine Konsistenzfehler

▪ „Kognitiver Walkthrough“ fand keine allgemeinen und wiederkehrenden Fehler

Nutzertests identifizieren i.A. mehr Usability-Probleme als Inspektionsmethoden

unterschiedliche Methoden identifizieren unterschiedliche Kategorien von Fehlern

Methoden sind ergänzend

Page 34: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

34

Kriterium III: Einfluss menschl. Faktoren

Inwieweit ist menschlicher Einfluss bei den unterschiedlichen Methoden vonnöten?

Studie▪ Vergleich von Nutzertest, indiv. Walkthrough und Team-

Walkthrough▪ erste Hälfte der Session für Einführung und Selbststudie

des Systems, in der zweiten Hälfte Lösung von neun typ. Aufgaben

▪ Nutzertest- 1 Usability-Experte interagierte mit Nutzer, kontrollierte

Videoaufzeichnung, beobachtete Usability-Probleme- 1 Usability-Experte protokollierte Nutzerkommentare,

Usability-Probleme, Zeit, Ergebnis

▪ Walkthrough (individuell, 2-Personen-Team)- 1 Administrator auf Abruf- 1 Administrator zur Einführung und Instruktion der

Inspektoren (ging während der Session raus)

[1|2]

Page 35: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

35

Kriterium III: Einfluss menschl. Faktoren

Ergebnis▪ Nutzertest: 21 Ph / Nutzer▪ Team-Walkthrough: 12,4 Ph / Team▪ indiv. Walkthrough: 12,2 Ph / Inspektor

Konsequenzen▪ Nutzertest

- Ergebnis brachte mehr Informationen über positive Details des Interfaces

▪ Walkthrough- eingeschränkte Zeit hatte negativen Einfluss auf die

Dateninterpretation und –analyse- Analyse nur aufgrund der schriftlichen Aufzeichnungen der

Inspektoren- Mangel an Kontext

Entwicklungsmitglied mit Datenanalyse- und Interpretationserfahrung ist nötig

[2|2]

Page 36: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

36

Kriterium IV: Akzeptanz der Methoden

Management trifft gerne Entscheidungen aufgrund quantitativer Daten

Testmethoden können quantitative Daten erfassen, Inspektionen hingegen nicht

Testdaten werden als Fakten angesehen Schlüsselfaktor für die Akzeptanz ist die Motivation der

Entwickler („seeing is believing“) Entwicklungsteam muss Wert einer Design-Evaluation

schätzen (Steigerung z.B. durch Kostenvorteilsanalyse)

Page 37: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

37

Kriterium V: Anwendungszeitpunkt

Inspektionsmethoden▪ können früh im Zyklus eingesetzt werden, um Design-

Entscheidungen zu treffen, die später technisch und politisch undurchführbar wären

▪ Hilfe bei Entscheidungen zw. konkurrierenden Design-Lösungen

Nutzertests▪ können ebenfalls Entscheidungen auf hohem Niveau im

frühen Zyklus unterstützen

Kombination ist am effektivsten

Page 38: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

38

Kriterium VI: Lösungsfindung

Wie verhalten sich die Methoden bei der Erzeugung von Änderungsempfehlungen?

Empfehlung von Veränderungen zu identifizierten Usability-Problemen kann als Teilziel von Evaluationsmethoden angesehen werden oder auch nicht

je höher die Anzahl an gefundenen Problemen, desto reicher ist die Quelle an Daten, um Verbesserungsvorschläge zu gewinnen

Verbesserung der Problemerfassung und Befragungsmethoden erhöht die Anzahl an Verbesserungsvorschlägen

Page 39: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

39

Kriterium VII: Kosteneffizienz

Wie ist die relative Kosteneffizienz der beiden Techniken bei der Problemidentifikation?

hohe Kosteneffizienz, wenn die Gewinne, die durch Beseitigung der identifizierten Probleme erzielt wurden (Return On Investment), die Kosten für die Durchführung der Evaluation übersteigen

Beispiel▪ Inspektion: $2.000

unerkanntes Problem wurde später für $100.000 korrigiert

▪ Nutzertest: $20.000Problem wurde vor Release

korrigiert

investiertes Geld in eine teurere Methode kann sich später durch den ROI wieder auszahlen

Page 40: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

40

Zusammenfassung der Kriterien

Stärken und Schwächen der Methoden

Page 41: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

41

Studie

Teilnehmer eines Kurses über Inspektionsmethoden wurden 7-8 Monate danach befragt

Ziel war es herauszufinden, welche Methoden sie tatsächlich benutzen und warum

Aspekte▪ Qualität der gewonnenen Usability-Informationen▪ Zusammenhang zw. Gewinnen einer Methode und

Verwendungshäufigkeit▪ Kosten

[1|2]

Page 42: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

42

Studie

Zusammenhang zw. Häufigkeit und eingeschätztem Nutzen der Methoden

[2|2]

Page 43: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

43

Überblick

ermöglicht es, die Blickbewegungen der Testteilnehmer bei der Durchführung der Evaluation nachzuvollziehen

ausgeklügeltes, meist sehr teures Equipment nötig angenehme und für das zu untersuchende Medium

typische Umgebung muss im Teststudio vorhanden sein▪ TV-Spot in „Wohnzimmerumgebung“▪ Webseite in „Arbeitszimmeratmosphäre“

Augenbewegung während des Lesens

[1|2]

Page 44: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

44

Überblick

verschiedene Technologien▪ Hautelektroden▪ markierte/registrierte Kontaktlinsen▪ Reflector Trackers

- effektivste Methode- physischer Kontakt mit dem Auge nicht nötig- Lichtstrahl wird auf das Auge projiziert- komplizierte Kamera nimmt die Differenz zw. Pupille und

bekannten Referenzpunkten auf

Testerin mit Eyetracker

[2|2]

Page 45: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

45

Anwendungsmöglichkeiten

Steuerung von Computern mittels Augenbewegungen Medizin

▪ Bestimmung der Positionierungsgeschwindigkeit der Augen

▪ Bestimmung der Pupillengröße Psychologie, Software-Ergonomie

▪ Auf was fällt der Blick der Tester zuerst?▪ Welche Objekte werden betrachtet, welche nicht?▪ Wie ist der Blickverlauf?▪ Wie ist die Blickdichte?▪ Wie lange ist der Blick auf einen Punkt fixiert?▪ Wie leicht oder schwer fällt die Orientierung?

Page 46: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

46

Studie

Eye-Tracking-Studie von MediaAnalyzer, Hamburg "Eye-Tracking per Maus"-Test (Maus als Verlängerung

des Auges) 150 Probanden aus zwei Agenturen und einem

Medienunternehmen Wahrnehmung der zehn Content-Seiten Focus, Spiegel,

TVToday, TVSpielfilm, Bild, BZ-Berlin, Faz.net, Welt, Amica und Allegra sowie der zehn Branchen-Seiten Focus, Spiegel, Audi, BMW, Yahoo, Altavista, Congate, Callino, RTL und ARD

[1|7]

Page 47: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

47

Studie

Wo schauen Webnutzer am häufigsten hin?

Nutzer achten mehr auf Informationen in der linken oberen Ecke

[2|7]

Page 48: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

48

Studie

Welche Inhalte werden wie stark beachtet?

Menüleisten, Navigationselemente, Fotos und Grafiken werden am meisten beachtet

[3|7]

Page 49: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

49

Studie

Beachtung Bild vs. Text

grafische Elemente und Fotos werden überproportional stark beachtet, mit Ausnahme der Banner, die nur schwach beachtet werden

Text wird weniger stark beachtet als Bildinformation

[4|7]

Page 50: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

50

Studie

Wie schauen Männer, wie schauen Frauen?

Frauen schauen stärker auf Textelemente, Männer achten besonders auf Bildmaterial

stärkere Beachtung von Navigationsleisten und Menüs durch Frauen

[5|7]

Page 51: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

51

Studie

Was wird als erstes beachtet?

Bilder werden stärker beachtet als Text, aber nur in den ersten Sekunden der Betrachtung

[6|7]

Page 52: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

52

Studie

Was wird wann betrachtet?

Text wird im Laufe der Betrachtungszeit immer mehr beachtet, Grafiken und Fotos verlieren an visueller Bedeutung

[7|7]

Page 53: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

53

Überblick

basiert auf der Theorie der persönlichen Konstrukte von Kelly (1955)

jeder Mensch „konstruiert“ sich seine Welt, aber nicht notwendig auf Dauer, sondern in Gestalt von Hypothesen, die ständiger Überprüfung, Verifizierung und Falsifizierung unterzogen werden („der Mensch als Forscher“)

wichtige persönliche Konstrukte beziehen sich auf zwischenmenschliche Beziehungen (primär Verwandte, Partner, Freunde oder Repräsentanten typischer Beziehungen)▪ „Vater“▪ „bester Freund“▪ „die Person, in deren Gegenwart ich mich am unwohlsten

fühle“▪ „ich, wie ich gerne wäre“

Page 54: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

54

Durchführung

1. Schritt – Erhebung der Elemente▪ zu untersuchende Elemente werden ausgewählt (10-20)

2. Schritt – Gewinnung der Konstrukte▪ aus der Menge der Elemente werden nach Zufall Triaden

gebildet▪ diese drei Elemente werden dem Probanden vorgelegt▪ Proband muss sich überlegen, in welcher Weise zwei der

drei Elemente einander ähnlich sind und sich darin vom dritten unterscheiden

▪ Bsp.:- Triade besteht aus Mutter, Tante Emma, bester Freund- Mutter und Tante Emma sind gefühlsbetont (Konstrukt

„gefühlsbetont“)- bester Freund ist sachlich (Kontrastpol „sachlich“)

[1|3]

Page 55: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

55

Durchführung

▪ längerdauernder Vorgang, da Konstrukte oft „erarbeitet“ werden müssen

▪ Untersucher muss einfühlsam sein, allzu triviale Konstrukte abweisen und Artikulationshilfe leisten

▪ Elemente und Konstrukte werden in 2D-Matrix angeordnet

Standardformblatt

[2|3]

Page 56: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

56

Durchführung

3. Schritt – Bewertung der Konstrukte▪ Proband gibt mit Hilfe einer meist sechsstufigen Skala für

jedes Element an, inwieweit jedes Konstrukt bzw. sein Konstrastpol auf das Element zutrifft

▪ Ergebnis ist Matrix mit Zahlen

[3|3]

Page 57: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

57

Auswertung

idiografisches Vorgehen, da keine allgemeingültigen, sondern in hohem Maße individuumspezifische Informationen gewonnen werden

Ermittlung von Gruppen ähnlicher Konstrukte Aussagen über Differenziertheit und inneren Aufbau der Konstruktionen möglich

Komplexität der Konstrukte kann so reduziert sein, dass die erlebte Welt in zwei gegensätzliche Lager geteilt wird (gut – schlecht, schön – hässlich)

Erkennung von Ähnlichkeiten durch Vergleich der Eintragsmuster

[1|3]

Page 58: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

58

Auswertung

Handverfahren zur Sortierung der Matrix▪ Nebeneinanderlegung ähnlicher Spalten und Zeilen▪ Umwandlung der Zahlen in Grau- oder Farbwerte

(Ähnlichkeiten und Unterschiede zw. den Konstrukten können leichter abgelesen werden)

▪ elementarste Stufe der Betrachtung: Betrachtung einer einzelnen Zelle des Grids

▪ mittlere Stufe der Betrachtung: Isolierung und Analyse eines interessanten Ausschnittes der Matrix

▪ globalste Stufe der Betrachtung: Analyse und Beschreibung des Gesamtmusters

mathematische Verfahren zur Auswertung (Hauptkomponentenanalyse, Korrelationen zw. Konstrukten)

mögliches Ziel: Bestimmung der Allgemeingültigkeit entdeckter Merkmale an vielen gleichartigen Grids

[2|3]

Page 59: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

59

Auswertung

Rollengrids einer Schmerzpatientin

[3|3]

Page 60: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

60

Anwendungsmöglichkeiten

grundsätzliche Wahlfreiheit bei der Definition von Elementen und bei der Festlegung der Prozedur zur Gewinnung von Konstrukten ermöglicht vielseitige Verwendbarkeit des Verfahrens

Medizin, Psychologie, Usability (z.B. Webseiten als Elemente)

Page 61: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

61

Literaturhinweise

„Usability Engineering“Jakob Nielsen

„Usability Inspection Methods“Jakob Nielsen, Robert L. Mack

„Einführung in die Repertory Grid-Technik – Grundlagen und Methoden“(Band 1)Jörn W. Scheer, Ana Catina

„The Usability Methods Toolbox“James Hom http://jthom.best.vwh.net/usability/

„Usability Evaluation“Zhijun (William) Zhanghttp://www.pages.drexel.edu/~zwz22/UsabilityHome.html

„Technology Transfer of Heuristic Evaluation and Usability Inspection“Jakob Nielsenhttp://www.useit.com/papers/heuristic/learning_inspection.html

[1|2]

Page 62: Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid

Manja NeliusUniversität Rostock

62

Literaturhinweise

„Eye tracking labs at the MPI“Max-Planck-Institute for Psycholinguisticshttp://www.mpi.nl/world/tg/eye-tracking/eye-tracking.html

„MediaAnalyzer: Studie zur Wahrnehmung von Web-Seiten“W&V – Onlinemagazin für Marketinghttp://www.wuv.de/daten/studien/102002/593/

„Psychologie der persönlichen Konstrukte und Repertory Grid-Technik“Jörn W. Scheerhttp://www.pcp-net.de/papers/ueberbli.htm

„Argumente für und gegen Usability“theCo.de AGhttp://theco.de/WebObjects/theCode.woa/wa/CMSshow/1001938

[2|2]