usability-evaluation · 08.12.2015 usability-evaluation 11 analytische verfahren ② heuristische...

Fakultät Mathematik & Naturwissenschaften, Psychologie - HPSTS, Seminar Applied Cognitive Research

Dresden, 03.12.2015

Usability-Evaluation

Theresa Tratzmüller

Usability-Evaluation 2

Gliederung Usability-Evaluation

o Grundlagen

• Was ist ein Usability-Problem?

• Formative vs. summative Evaluation

• Vorbereitung einer Usability-Evaluation

o Kurzer (!) Überblick über verschiedene Verfahren

o Usability-Evaluation mittels Fragebogen

o Vergleich der Verfahren

08.12.2015


Was ist ein Usability-Problem?

08.12.2015

– „Ein Usability-Problem liegt vor, wenn Aspekte eines Systems es Nutzern mit hinreichender Domänen-erfahrung unangenehm, ineffizient, beschwerlich oder unmöglich machen, in einem typischen Anwendungskontext die Ziele zu erreichen, für deren Erreichung das System erstellt wurde.“ (nach Sarodnick &

Brau, 2011, S. ?, nach Lavery et al., 1997)

– Zufriedenheit / „joy of use“

– Effizienz

– Effektivität – auch: Bezug zu Fehleranfälligkeit


Handelt es sich hier um ein „echtes“ Usability-Problem?

08.12.2015

Usability-Evaluation 5 08.12.2015

Formative Evaluation Summative Evaluation

Analytische Evaluation Empirische Evaluation (durch Experten) (durch Nutzer) eher angemessen eher angemessen

P R O Z E S S

P R O Z E S S


Vorbereitung einer Usability-Evaluation (Burmester, 2003):

• Definition der Evaluationsziele/-kriterien

• Nutzungskontext-Analyse (Nutzergruppen, Aufgaben, Umgebung …)

• Welche Methoden können im vorliegenden Stadium des Entwicklungsprozesses überhaupt eingesetzt werden?

• Bestimmung der Evaluatoren (Usability-Experten vs. Nutzer/Domänen-Experten)

08.12.2015


Analytische Verfahren

Formal-analytische

Methoden

Aufgabenanalyse; Design Guidelines/ Expertenleitfäden

Inspektions-methoden

Heuristische Evaluation;

Walkthroughs

Weitere Verfahren (vgl. Vorlesung)

Storyboards; Personas/Szenarien;

User Interface Protoyping; Thinking

aloud

→ Ergebnisse:

eher qualitativ!


Empirische Verfahren

Usability- Tests

Fragebogen-Verfahren

→ Ergebnisse:

eher quantitativ!


Analytische Verfahren ①

Design-Guidelines/ Experten-Leitfäden

Listen von in Kategorien gebündelten Gestaltungsanforderungen, die aus Grundlagen-Experimenten / Experten-Konsens abgeleitet wurden. Ein System wird durch „Abhaken“ der Anforderungen überprüft. Wichtig: sorgfältige Auswahl einer jeweils passenden, hochqualitativen Guideline.

Aufgabenanalytische Verfahren

Aufschlüsselung von Nutz-Aufgaben in kleine Untereinheiten, welche mittels einer formalen Modellsprache beschrieben werden. Einzelne oder kumulierte Bewertung der Teilaufgaben. Für sehr komplexe Systeme / Aufgaben eher weniger geeignet.


Analytische Verfahren ②

Heuristische Evaluation Exploration eines Systems mittels genereller Prinzipien (Heuristiken). Durchführung durch Experten, wobei versucht wird, die Perspektive eines „Endnutzers“ einzunehmen. Beispiele für Heuristiken: „Sichtbarkeit des Systemstatus“, „Flexibilität & effiziente Nutzung“

Walkthroughs: Cognitive Walkthrough

Es wird für jede Aufgabe eine Handlungsabfolge als Ideallösung entwickelt; dann wird versucht vorauszusagen, ob spätere Anwender von sich aus diese Handlungen in der richtigen Reihenfolge im System umsetzen können und werden. Hier interessiert nur die Heuristik „Erlernbarkeit“.


Empirische Verfahren

Usability-Tests Prinzip: Erprobung des System durch repräsentativer Laien-Nutzer anhand klar umgrenzter, realer/realistischer Aufgaben. Erhebungen z.B. durch Beobachtung, Video-Aufnahmen, Interviews nach Aufgabenbearbeitung, quantitative Messungen, Eye-tracking …

Fragebogen- Verfahren

Systembewertung mittels Fragebogen im Anschluss an Umgang mit diesem. Große Bandbreite an verfügbaren Usability-Fragebogen, welche sich hinsichtlich Umfang, Standardisierungsgrad, Antwortformat, thematischem Schwerpunkt etc. unterscheiden. Auch möglich: Nutzungs-Tagebücher


Fragebogen-Verfahren:

- Kaum Beeinflussung durch Dritte

- Klare Trennung von Evaluationsaspekten möglich

- Relativ unaufwendig an jeder Stelle des Entwicklungs-prozesses einsetzbar

- Eine Vielzahl von Usability-FB liegt vor

- Potenziell sehr große Stichproben verfügbar

- Potenziell wenig Freiraum (je nach Standardisierungsgrad)

- Beschränkung auf vom jeweiligen FB vorgegebene Bereiche nötig

- Datenqualität abhängig von Qualität des Instruments

- Sehr aufwendig in der Entwicklung

08.12.2015


Fragebogen-Eigenschaften ①: Antwortformat

08.12.2015

Abfrage von Kriteriumserfüllung; geschlossenes Format (ISONORM 9241/110-S, Prümper, 2010)

Beurteilung anhand von Gegensatzpaar, geschlossenes Format (QUIS, Shneiderman 1987)


Fragebogen-Eigenschaften ①: Antwortformat

08.12.2015

Zusätzliche Möglichkeit der Gewichtung (Priorisierung) & Beispiel-Nennung, also etwas weniger geschlossen

(IsoMetrics, Gediga et al., 1999)


Fragebogen-Eigenschaften ②: Fokus

08.12.2015

• Eher auf Effektivität & Effizienz (an Normen orientierte Verfahren wie ISONORM 9241/110-S von Prümper, 2010, IsoMetrics von Willumeit, Gediga, & Hamborg, 1996)

• Eher auf Zufriedenstellung / „joy of use“ / Attraktivität und subjektivem Nutzungserlebnis (z.B. QUIS, Shneiderman, 1987; SUMI/WAMMI von Porteous, Kirakowski, & Corbett, 1995, 2010 – s.u.)

• …. Oder beides (AttrakDiff von Hassenzahl, 2003; User Experience Questionnaire UEQ von Laugwitz, Held & Schrepp, 2008)


Fragebogen-Eigenschaften ③

• Umfang – Durchführungsdauer (von ca. 20 bis hin zu 90 Items)

• Anwendungsbereich

• Web-Verfügbarkeit

• Bezug zu Normierung

• Kostenfrei vs. kostenpflichtig

• Psychometrische Eigenschaften

• Hochwertige, auf Deutsch vorliegende und kostenfreie Verfahren sind z.B. ISONORM 9241-110-S, IsoMetrics & AttrakDiff.

08.12.2015


Praxisrelevanz der Methoden:


Wissenschaftliche Relevanz der Methoden:

08.12.2015


Fazit:

• Es gibt nicht „die richtige Methode“ der Usability-Evaluation.

• Welches Verfahren angemessen ist, hängt von diversen Faktoren ab: z.B.

• Evaluationsziel (formativ vs. summativ)

• Evaluationsgegenstand

• Stadium des Entwicklungsprozesses

• finanzielle Mittel

• Usw.

• Es muss also immer im Einzelfall abgewogen werden.

08.12.2015


Auflösung ISONORM 8241-110-S-Quiz:

Die 7 Norm-Kriterien sind:

① Aufgabenangemessenheit

② Selbstbeschreibungsfähigkeit

③ Erwartungskonformität

④ Lernförderlichkeit

⑤ Steuerbarkeit

⑥ Fehlertoleranz

⑦ Individualisierbarkeit.

08.12.2015


Quellen:

• Sarodnick, F., & Brau, H. (2011). Methoden der Usability-Evaluation. Bern: Huber/Hogrefe.

• Prümper, J.: Fragebogen ISONORM 9241/110-S, http://people.f3.htw-berlin.de/Professoren/Pruemper/instrumente/ISONORM%209241-110-S.pdf (zuletzt besucht: 03.12.2015).

Auswertungstabelle: erster Treffer bei Eingabe „ISONORM 9241 110-S Auswertung“ in Google.

08.12.2015

http://people.f3.htw-berlin.de/Professoren/Pruemper/instrumente/ISONORM 9241-110-S.pdf








usability-evaluation · 08.12.2015 usability-evaluation 11 analytische verfahren ② heuristische...

Documents