Transcript
Page 1: [Webinar] So geht UX Research heute

So geht UX Research heute 19. November 2013

Jakob Biesterfeldt Managing Director, UserZoom GmbH #uxwebinar @jbiest

Page 2: [Webinar] So geht UX Research heute

free WEBINAR

2  

So geht UX Research heute Unmoderated Remote Usability Testing

Page 3: [Webinar] So geht UX Research heute

free WEBINAR

3  

•  Überblick und Kontext

•  Stärken und Schwächen von Unmoderated Remote Usability Testing (URUT)

•  Funktionsweise von URUT Tools (mit Beispielen) o  Planung & Vorbereitung o  Messwerte & Metriken o  Rekrutierung o  Durchführung o  Ergebnisse und Auswertung

•  Fragen & Antworten

Inhalt

Page 4: [Webinar] So geht UX Research heute

free WEBINAR

4  

Überblick & Kontext

Usability  Tes/ng  

Unmoderiert  

Moderiert  

Usability  Labor  

Remote  

Quan/ta/v  

Qualita/v  

Page 5: [Webinar] So geht UX Research heute

free WEBINAR

5  

Unmoderated Remote Usability Testing (URUT, ARUT)

Überblick & Kontext

Page 6: [Webinar] So geht UX Research heute

free WEBINAR

6  

Überblick & Kontext

1. Studie konzipieren und implementieren, testen

2. Teilnehmer einladen

3. Hunderte Nutzer nehmen vom eigenen Endgerät aus teil

4. Daten werden im Tool aggregiert und zur Auswertung vorbereitet

Page 7: [Webinar] So geht UX Research heute

free WEBINAR

7  

ü  Kosten, Ressourcen, Skalierbarkeit, Agilität

ü  „Wir haben keine Zeit / kein Budget für Usability Testing“

ü  „Dafür lohnt es sich nicht, eine Usability Testing Studie durchzuführen“

ü  Quantitativ & qualitativ

ü  „Wir müssen Designentscheidungen absichern”

ü  „Uns interessieren auch Meinungen, subjektive und emotionale UX Faktoren“

ü  „Wir wollen vergleichen – sind wir besser geworden? Besser als Wettbewerber?

ü  „Wir brauchen überzeugende Daten für die interne Kommunikation“

ü  Globale Reichweite, realer Kontext

ü  „Unsere Nutzer sind weltweit verteilt / haben keine Zeit in ein Usability Labor zu kommen“

ü  „Im Usability Labor fehlt den Nutzern doch der natürliche Kontext“

Stärken & Schwächen

Page 8: [Webinar] So geht UX Research heute

free WEBINAR

8  

•  Spart Zeit •  Spart Geld •  Skalierbar •  Flexibel & agil •  Statistisch nutzbare Messwerte •  Vergleich (Zeit, Länder, Wettbewerb…) •  Verfügbarkeit von Teilnehmern •  Natürlicher Kontext •  Kommunikation

Stärken & Schwächen

•  Keine Nachfragen möglich •  Weniger geeignet für rein explorative

Beobachtung oder extrem lange Tasks •  Nur Web- und mobile Uis •  Keine Vertraulichkeit

Page 9: [Webinar] So geht UX Research heute

free WEBINAR

9  

•  Warum “heute”?

o  Websites und Web komplexer – Testing Bedarf steigt o  Kosten- und Zeitdruck o  Wettbewerbsdruck o  “Big Data” Trend – UX, MaFo und Web Analytics integrieren o  Technische Möglichkeiten o  Komplettierung traditioneller Methoden

Überblick & Kontext

Page 10: [Webinar] So geht UX Research heute

free WEBINAR

10  

•  Planung & Vorbereitung

o  Studienziele festlegen o  Geschäftsziele – Web KPIs – UX Metriken verknüpfen o  Teilnehmerprofile definieren und Rekrutierung planen o  Zeit- und Budget planen

•  Durchführung

o  Studienkonzeption o  Implementierung der Studie im Tool o  Monitoring

•  Ergebnisse & Auswertung

Funktionsweise URUT

Page 11: [Webinar] So geht UX Research heute

free WEBINAR

11  

Geschäftsziele

Web Analytics KPIs

UX Zahlen, Daten, Fakten

Foto: kevinzim http://www.flickr.com/photos/86624586@N00/

Planung & Vorbereitung

Page 12: [Webinar] So geht UX Research heute

free WEBINAR

12  

•  Studienziele, z.B.

o  Usability Probleme identifizieren o  User Experience messen o  Vergleich von Design-Varianten

(A/B) o  Benchmarking mit dem

Wettbewerb o  Navigationsstruktur optimieren

(“Findability”) o  Emotionale Ansprache /

Markenwahrnehmung der Nutzer messen

o  Iterativ und agil den Designprozess begleiten

Planung & Vorbereitung

Page 13: [Webinar] So geht UX Research heute

free WEBINAR

13  

•  Studienziele, z.B.

o  Usability Probleme identifizieren o  User Experience messen o  Vergleich von Design-Varianten

(A/B) o  Benchmarking mit dem

Wettbewerb o  Navigationsstruktur optimieren

(“Findability”) o  Emotionale Ansprache /

Markenwahrnehmung der Nutzer messen

o  Iterativ und agil den Designprozess begleiten

•  von Geschäftszielen ableiten, z.B.

o  Mehr Registrierungen o  App-Downloads +30% o  Conversion Rate Optimierung

o  No.1 in Kundenzufriedenheit

o  Warenkorbgrößen maximieren,

Abbruchraten senken o  Überzeugen durch

Vertrauenswürdigkeit

o  Risiko von Designänderungen managen

Planung & Vorbereitung

Page 14: [Webinar] So geht UX Research heute

free WEBINAR

14  

•  Studienziele, z.B.

o  Usability Probleme identifizieren o  User Experience messen o  Vergleich von Design-Varianten

(A/B) o  Benchmarking mit dem

Wettbewerb o  Navigationsstruktur optimieren

(“Findability”) o  Emotionale Ansprache /

Markenwahrnehmung der Nutzer messen

o  Iterativ und agil den Designprozess begleiten

•  mit UX Zielen verknüpfen

o  Success Rate o  Zufriedenheits-Ratings o  Time on Task, Success Rate

o  UX Messwerte im Vergleich

o  Findability Rate

o  NPS

o  UX Messwerte über die Zeit

Planung & Vorbereitung

Page 15: [Webinar] So geht UX Research heute

free WEBINAR

15  

•  Studienziele, z.B.

o  Usability Probleme identifizieren o  Vergleich von Design-Varianten

(A/B) o  Benchmarking mit dem

Wettbewerb o  Navigationsstruktur optimieren

(“Findability”) o  Emotionale Ansprache /

Markenwahrnehmung der Nutzer messen

o  User Experience messen o  Iterativ und agil den

Designprozess begleiten

•  Methode/Tool auswählen

Remote aufgabenbasiert (+ Lab) Card Sorting / Tree Testing Voice of Customer (VoC) VoC + Remote aufgabenbasiert

Planung & Vorbereitung

Page 16: [Webinar] So geht UX Research heute

free WEBINAR

16  

•  Internationale Online Panel Anbieter •  On-Site Rekrutierung •  E-Mail •  Social Networks

•  Datenschutz beachten

Rekrutierung von Teilnehmern

Page 17: [Webinar] So geht UX Research heute

free WEBINAR

17  

•  Teilnehmerprofile hängen von der Fragestellung/Zielsetzung der Studie ab. o  Soziodemographische Daten o  Zielgruppe o  Relevantes Fachwissen o  Verhaltensdaten

•  Sind Profildaten relevant für Auswertung/Design? •  Gewünschtes Konfidenzintervall definiert Anzahl der Testpersonen •  Kosten: 6-10 € / Person bei Panelanbietern, nur “Completes”

Rekrutierung von Teilnehmern

Page 18: [Webinar] So geht UX Research heute

free WEBINAR

18  

Zeit- und Budgetplanung

Laborstudie

Vorbereitung 2 - 3 Tage

Zeitaufwand Moderation 2 Tage

Anzahl Teilnehmer 5 - 10

Zeitaufwand Auswertung & Doku 1-2 Wochen

Kosten €€€

URUT Studie

0,5 – 3 Tage

0 Tage

5 – 10.000

1-5 Tage

€ - €€€

Außerdem: Laborkosten, Toolkosten, Rekrutierungskosten (und –zeit!), No-Show-Kosten, Kommunikationskosten… Durchschnittlich 50% Zeit- und Kostenersparnis

Planung & Vorbereitung

Page 19: [Webinar] So geht UX Research heute

free WEBINAR

19  

Wann was testen?

•  Iterativ im gesamten Entwicklungs- und Releasezyklus •  Bestehendes Produkt testen •  Wettbewerber testen •  Wireframes / Interaktive Prototypen testen, iterativ, von Lo-Fi zu Hi-Fi •  Informationsarchitektur / Struktur / Produktkategorien •  Neues Produkt

•  Früh und häufig

Planung & Vorbereitung

Page 20: [Webinar] So geht UX Research heute

free WEBINAR

20  

Studienkonzeption & Implementierung •  Testskript •  Aufgaben •  (standardisierte) Fragebögen •  Logik & Konditionen •  Anleitung, Welcome Page

•  Look & Feel •  Qualitätskontrolle •  Sprache(n)

•  Der Teufel steckt im Detail – Formulierungen, Tonfall, Erwartungsmanagement

•  Testen und auf Plausibilität prüfen

Durchführung

Page 21: [Webinar] So geht UX Research heute

free WEBINAR

21  

•  Fragen und Fragebögen

o  Vorerfahrung mit Website (à Logik zur Verzweigung einsetzen) o  Filter-Fragen (z.B. Demographie, Nutzungskontext) o  Hypothetische Fragen vermeiden (“Würden Sie, …, wenn…?”) o  So konkret wie möglich (“täglich” statt “häufig”) o  Doppelfragen vermeiden (“Wie einfach und schnell war das…?”)

o  Standard-Fragebögen: •  SUS, SUMI, ISONORM… •  NPS •  Eigene Standard-Fragebögen

Durchführung

Page 22: [Webinar] So geht UX Research heute

free WEBINAR

22  

Durchführung

Page 23: [Webinar] So geht UX Research heute

free WEBINAR

23  

Durchführung

Page 24: [Webinar] So geht UX Research heute

free WEBINAR

24  

•  Testaufgaben

o  “Core Tasks” – Typische Aufgaben, “New Tasks” o  “High cost of failure” o  Aufgaben, die direkten Bezug zu Geschäftszielen haben o  Input aus Usability Labor, VoC Studien, Marktforschung oder Call Center o  Validierbare Ziele (wenn nötig)

Durchführung

Page 25: [Webinar] So geht UX Research heute

free WEBINAR

25  

•  Testaufgaben – Tipps

o  Aufgaben sollten einfach zu verstehen, aber nicht einfach zu erraten sein o  Randomisierung der Aufgabenreihenfolge vermeidet Reihenfolgeneffekte o  Wie ist die erfolgreiche Aufgabenlösung validiert?

•  Frage – auf Eindeutigkeit achten •  URL

o  Keine führenden Fragen, keine führenden Begriffe o  Website und Aufgabeninhalte während der Datensammlung nicht ändern o  Mit Fragen ergänzen

Durchführung

Page 26: [Webinar] So geht UX Research heute

free WEBINAR

26  

Durchführung

Page 27: [Webinar] So geht UX Research heute

free WEBINAR

27  

Durchführung

Page 28: [Webinar] So geht UX Research heute

free WEBINAR

28  

•  Ergänzende Online Methoden und Fragearten

o  Screenshot Click Testing o  Multimedia-Fragen o  Tree Testing o  Skalen, Semantische Differentiale, NPS o  Sortieraufgaben

Durchführung

Page 29: [Webinar] So geht UX Research heute

free WEBINAR

29  

Durchführung

Page 30: [Webinar] So geht UX Research heute

free WEBINAR

30  

Durchführung

Page 31: [Webinar] So geht UX Research heute

free WEBINAR

31  

Ergebnisse & Auswertung

Page 32: [Webinar] So geht UX Research heute

free WEBINAR

32  

•  Ergebnisse & Auswertung – typische Metriken o  Completion Rate (Success Rate)

•  Error Rate •  Abandon Rate •  Timeout Rate

o  Time on Task (auch subjektiv) o  Bewertungen (Usability, Content, Zufriedenheit – pro Aufgabe und insgesamt) o  Usability Probleme (Anzahl, Schwere)

Ergebnisse & Auswertung

Page 33: [Webinar] So geht UX Research heute

free WEBINAR

33  

Aufgabe  

Validierung  

Timeout  Ques/ons  

Abandon  Ques/ons  

Error  Ques/ons  

Success  Ques/ons  

Erfolg  BuJon  

Abbrechen  BuJon   Timeout  

Ergebnisse & Auswertung

Page 34: [Webinar] So geht UX Research heute

free WEBINAR

34  

Ergebnisse & Auswertung

Page 35: [Webinar] So geht UX Research heute

free WEBINAR

35  

Ergebnisse & Auswertung

Die Website ist…

Page 36: [Webinar] So geht UX Research heute

free WEBINAR

36  

Ergebnisse & Auswertung

Page 37: [Webinar] So geht UX Research heute

free WEBINAR

37  

Videos

•  Pro Aufgabe pro Nutzer •  Selektiv auswerten:

o  Non-Success o  Sehr lange Bearbeitungsdauer o  Schlechte Bewertungen o  Interessante Kommentare…

•  Clips generieren, Marker setzen

Ergebnisse & Auswertung

Page 38: [Webinar] So geht UX Research heute

free WEBINAR

38  

•  Quantitative UX Messdaten •  Quantitative “Self-reported” Daten •  Qualitatives Nutzerfeedback •  Verhaltensdaten (Clickstreams, Heatmaps) •  Qualitative, quantifizierbare Video Screen Recordings

Ergebnisse & Auswertung

Page 39: [Webinar] So geht UX Research heute

free WEBINAR

39  

URUT löst drei Herausforderungen für UX Researcher heute:

•  Quantitative Messdaten komplettieren rein qualitative Daten: Risikomanagement, Vergleich, Kommunikation

•  URUT ist vergleichsweise kostengünstig, agil und skalierbar und ermöglicht eine höhere Testfrequenz

•  URUT erreicht Nutzer in ihrem natürlichen Kontext

Fazit

Page 40: [Webinar] So geht UX Research heute

free WEBINAR

40  

•  http://www.measuringusability.com/blog/right-tool.php •  http://johnnyholland.org/2010/08/how-to-shop-for-unmoderated-usability-testing-

tools/ •  http://remoteresear.ch/tools/

Tools

Page 41: [Webinar] So geht UX Research heute

free WEBINAR

41  

Buchtipps

Page 42: [Webinar] So geht UX Research heute

free WEBINAR

42  

Vielen Dank!

Jakob Biesterfeldt Managing Director, UserZoom GmbH

München [email protected]

@jbiest

Page 43: [Webinar] So geht UX Research heute

www.linkedin.com/company/userzoom

@UserZoom_DE

www.userzoom.de

Sprechen Sie uns gerne an: München (DE) Ainmillerstr. 11

80801 München

Haben Sie Fragen?


Top Related