[webinar] so geht ux research heute

43
So geht UX Research heute 19. November 2013 Jakob Biesterfeldt Managing Director, UserZoom GmbH #uxwebinar @jbiest

Upload: userzoom-deutschland

Post on 26-Jun-2015

708 views

Category:

Technology


0 download

DESCRIPTION

Zur Video-Aufzeichnung des Webinars: http://info.userzoom.de/webinar-on-demand-so-geht-ux-research-heute.html Im umkämpften Online-Markt haben Unternehmen Bedarf: - Usability und User Experience zu evaluieren und zu verbessern, - Feedback und Bewertungen von Kunden zu sammeln und zu nutzen, - Conversion Rates und Markenwarnehmung zu optimieren, Websites von Wettbewerbern und Design-Varianten zu vergleichen. Das ist nicht immer einfach, insbesondere mit traditionellen, eher qualitativ ausgelegten UX Research Methoden wie dem Usability Testing. UX Research heute geht hingegen einfach und schnell, agil und flexibel, kostengünstig und gewinnbringend. Remote Usability Testing und quantitative Methoden sind dabei das Mittel der Wahl für viele UX Professionals – allen voran das unmoderierte quantitative Usability Testing. Welche Vorteile bringen Ihnen die neuen Tools und Methoden? Wie funktionieren sie? Diese Fragen beantwortet das Webinar “So geht UX Research heute” u.a. anhand von Fallstudien. Inhalt: - Funktionsweise von quantitativen Online UX Research Tools - Stärken und Schwächen von Online UX Research Tools und Methoden - Fallstudien - Planung und Design von Online UX Research Studien - Rekrutierung von Teilnehmern - Ergebnisse und Erkenntnisse aus Online UX Research Studien - Messwerte und Metriken

TRANSCRIPT

Page 1: [Webinar] So geht UX Research heute

So geht UX Research heute 19. November 2013

Jakob Biesterfeldt Managing Director, UserZoom GmbH #uxwebinar @jbiest

Page 2: [Webinar] So geht UX Research heute

free WEBINAR

2  

So geht UX Research heute Unmoderated Remote Usability Testing

Page 3: [Webinar] So geht UX Research heute

free WEBINAR

3  

•  Überblick und Kontext

•  Stärken und Schwächen von Unmoderated Remote Usability Testing (URUT)

•  Funktionsweise von URUT Tools (mit Beispielen) o  Planung & Vorbereitung o  Messwerte & Metriken o  Rekrutierung o  Durchführung o  Ergebnisse und Auswertung

•  Fragen & Antworten

Inhalt

Page 4: [Webinar] So geht UX Research heute

free WEBINAR

4  

Überblick & Kontext

Usability  Tes/ng  

Unmoderiert  

Moderiert  

Usability  Labor  

Remote  

Quan/ta/v  

Qualita/v  

Page 5: [Webinar] So geht UX Research heute

free WEBINAR

5  

Unmoderated Remote Usability Testing (URUT, ARUT)

Überblick & Kontext

Page 6: [Webinar] So geht UX Research heute

free WEBINAR

6  

Überblick & Kontext

1. Studie konzipieren und implementieren, testen

2. Teilnehmer einladen

3. Hunderte Nutzer nehmen vom eigenen Endgerät aus teil

4. Daten werden im Tool aggregiert und zur Auswertung vorbereitet

Page 7: [Webinar] So geht UX Research heute

free WEBINAR

7  

ü  Kosten, Ressourcen, Skalierbarkeit, Agilität

ü  „Wir haben keine Zeit / kein Budget für Usability Testing“

ü  „Dafür lohnt es sich nicht, eine Usability Testing Studie durchzuführen“

ü  Quantitativ & qualitativ

ü  „Wir müssen Designentscheidungen absichern”

ü  „Uns interessieren auch Meinungen, subjektive und emotionale UX Faktoren“

ü  „Wir wollen vergleichen – sind wir besser geworden? Besser als Wettbewerber?

ü  „Wir brauchen überzeugende Daten für die interne Kommunikation“

ü  Globale Reichweite, realer Kontext

ü  „Unsere Nutzer sind weltweit verteilt / haben keine Zeit in ein Usability Labor zu kommen“

ü  „Im Usability Labor fehlt den Nutzern doch der natürliche Kontext“

Stärken & Schwächen

Page 8: [Webinar] So geht UX Research heute

free WEBINAR

8  

•  Spart Zeit •  Spart Geld •  Skalierbar •  Flexibel & agil •  Statistisch nutzbare Messwerte •  Vergleich (Zeit, Länder, Wettbewerb…) •  Verfügbarkeit von Teilnehmern •  Natürlicher Kontext •  Kommunikation

Stärken & Schwächen

•  Keine Nachfragen möglich •  Weniger geeignet für rein explorative

Beobachtung oder extrem lange Tasks •  Nur Web- und mobile Uis •  Keine Vertraulichkeit

Page 9: [Webinar] So geht UX Research heute

free WEBINAR

9  

•  Warum “heute”?

o  Websites und Web komplexer – Testing Bedarf steigt o  Kosten- und Zeitdruck o  Wettbewerbsdruck o  “Big Data” Trend – UX, MaFo und Web Analytics integrieren o  Technische Möglichkeiten o  Komplettierung traditioneller Methoden

Überblick & Kontext

Page 10: [Webinar] So geht UX Research heute

free WEBINAR

10  

•  Planung & Vorbereitung

o  Studienziele festlegen o  Geschäftsziele – Web KPIs – UX Metriken verknüpfen o  Teilnehmerprofile definieren und Rekrutierung planen o  Zeit- und Budget planen

•  Durchführung

o  Studienkonzeption o  Implementierung der Studie im Tool o  Monitoring

•  Ergebnisse & Auswertung

Funktionsweise URUT

Page 11: [Webinar] So geht UX Research heute

free WEBINAR

11  

Geschäftsziele

Web Analytics KPIs

UX Zahlen, Daten, Fakten

Foto: kevinzim http://www.flickr.com/photos/86624586@N00/

Planung & Vorbereitung

Page 12: [Webinar] So geht UX Research heute

free WEBINAR

12  

•  Studienziele, z.B.

o  Usability Probleme identifizieren o  User Experience messen o  Vergleich von Design-Varianten

(A/B) o  Benchmarking mit dem

Wettbewerb o  Navigationsstruktur optimieren

(“Findability”) o  Emotionale Ansprache /

Markenwahrnehmung der Nutzer messen

o  Iterativ und agil den Designprozess begleiten

Planung & Vorbereitung

Page 13: [Webinar] So geht UX Research heute

free WEBINAR

13  

•  Studienziele, z.B.

o  Usability Probleme identifizieren o  User Experience messen o  Vergleich von Design-Varianten

(A/B) o  Benchmarking mit dem

Wettbewerb o  Navigationsstruktur optimieren

(“Findability”) o  Emotionale Ansprache /

Markenwahrnehmung der Nutzer messen

o  Iterativ und agil den Designprozess begleiten

•  von Geschäftszielen ableiten, z.B.

o  Mehr Registrierungen o  App-Downloads +30% o  Conversion Rate Optimierung

o  No.1 in Kundenzufriedenheit

o  Warenkorbgrößen maximieren,

Abbruchraten senken o  Überzeugen durch

Vertrauenswürdigkeit

o  Risiko von Designänderungen managen

Planung & Vorbereitung

Page 14: [Webinar] So geht UX Research heute

free WEBINAR

14  

•  Studienziele, z.B.

o  Usability Probleme identifizieren o  User Experience messen o  Vergleich von Design-Varianten

(A/B) o  Benchmarking mit dem

Wettbewerb o  Navigationsstruktur optimieren

(“Findability”) o  Emotionale Ansprache /

Markenwahrnehmung der Nutzer messen

o  Iterativ und agil den Designprozess begleiten

•  mit UX Zielen verknüpfen

o  Success Rate o  Zufriedenheits-Ratings o  Time on Task, Success Rate

o  UX Messwerte im Vergleich

o  Findability Rate

o  NPS

o  UX Messwerte über die Zeit

Planung & Vorbereitung

Page 15: [Webinar] So geht UX Research heute

free WEBINAR

15  

•  Studienziele, z.B.

o  Usability Probleme identifizieren o  Vergleich von Design-Varianten

(A/B) o  Benchmarking mit dem

Wettbewerb o  Navigationsstruktur optimieren

(“Findability”) o  Emotionale Ansprache /

Markenwahrnehmung der Nutzer messen

o  User Experience messen o  Iterativ und agil den

Designprozess begleiten

•  Methode/Tool auswählen

Remote aufgabenbasiert (+ Lab) Card Sorting / Tree Testing Voice of Customer (VoC) VoC + Remote aufgabenbasiert

Planung & Vorbereitung

Page 16: [Webinar] So geht UX Research heute

free WEBINAR

16  

•  Internationale Online Panel Anbieter •  On-Site Rekrutierung •  E-Mail •  Social Networks

•  Datenschutz beachten

Rekrutierung von Teilnehmern

Page 17: [Webinar] So geht UX Research heute

free WEBINAR

17  

•  Teilnehmerprofile hängen von der Fragestellung/Zielsetzung der Studie ab. o  Soziodemographische Daten o  Zielgruppe o  Relevantes Fachwissen o  Verhaltensdaten

•  Sind Profildaten relevant für Auswertung/Design? •  Gewünschtes Konfidenzintervall definiert Anzahl der Testpersonen •  Kosten: 6-10 € / Person bei Panelanbietern, nur “Completes”

Rekrutierung von Teilnehmern

Page 18: [Webinar] So geht UX Research heute

free WEBINAR

18  

Zeit- und Budgetplanung

Laborstudie

Vorbereitung 2 - 3 Tage

Zeitaufwand Moderation 2 Tage

Anzahl Teilnehmer 5 - 10

Zeitaufwand Auswertung & Doku 1-2 Wochen

Kosten €€€

URUT Studie

0,5 – 3 Tage

0 Tage

5 – 10.000

1-5 Tage

€ - €€€

Außerdem: Laborkosten, Toolkosten, Rekrutierungskosten (und –zeit!), No-Show-Kosten, Kommunikationskosten… Durchschnittlich 50% Zeit- und Kostenersparnis

Planung & Vorbereitung

Page 19: [Webinar] So geht UX Research heute

free WEBINAR

19  

Wann was testen?

•  Iterativ im gesamten Entwicklungs- und Releasezyklus •  Bestehendes Produkt testen •  Wettbewerber testen •  Wireframes / Interaktive Prototypen testen, iterativ, von Lo-Fi zu Hi-Fi •  Informationsarchitektur / Struktur / Produktkategorien •  Neues Produkt

•  Früh und häufig

Planung & Vorbereitung

Page 20: [Webinar] So geht UX Research heute

free WEBINAR

20  

Studienkonzeption & Implementierung •  Testskript •  Aufgaben •  (standardisierte) Fragebögen •  Logik & Konditionen •  Anleitung, Welcome Page

•  Look & Feel •  Qualitätskontrolle •  Sprache(n)

•  Der Teufel steckt im Detail – Formulierungen, Tonfall, Erwartungsmanagement

•  Testen und auf Plausibilität prüfen

Durchführung

Page 21: [Webinar] So geht UX Research heute

free WEBINAR

21  

•  Fragen und Fragebögen

o  Vorerfahrung mit Website (à Logik zur Verzweigung einsetzen) o  Filter-Fragen (z.B. Demographie, Nutzungskontext) o  Hypothetische Fragen vermeiden (“Würden Sie, …, wenn…?”) o  So konkret wie möglich (“täglich” statt “häufig”) o  Doppelfragen vermeiden (“Wie einfach und schnell war das…?”)

o  Standard-Fragebögen: •  SUS, SUMI, ISONORM… •  NPS •  Eigene Standard-Fragebögen

Durchführung

Page 22: [Webinar] So geht UX Research heute

free WEBINAR

22  

Durchführung

Page 23: [Webinar] So geht UX Research heute

free WEBINAR

23  

Durchführung

Page 24: [Webinar] So geht UX Research heute

free WEBINAR

24  

•  Testaufgaben

o  “Core Tasks” – Typische Aufgaben, “New Tasks” o  “High cost of failure” o  Aufgaben, die direkten Bezug zu Geschäftszielen haben o  Input aus Usability Labor, VoC Studien, Marktforschung oder Call Center o  Validierbare Ziele (wenn nötig)

Durchführung

Page 25: [Webinar] So geht UX Research heute

free WEBINAR

25  

•  Testaufgaben – Tipps

o  Aufgaben sollten einfach zu verstehen, aber nicht einfach zu erraten sein o  Randomisierung der Aufgabenreihenfolge vermeidet Reihenfolgeneffekte o  Wie ist die erfolgreiche Aufgabenlösung validiert?

•  Frage – auf Eindeutigkeit achten •  URL

o  Keine führenden Fragen, keine führenden Begriffe o  Website und Aufgabeninhalte während der Datensammlung nicht ändern o  Mit Fragen ergänzen

Durchführung

Page 26: [Webinar] So geht UX Research heute

free WEBINAR

26  

Durchführung

Page 27: [Webinar] So geht UX Research heute

free WEBINAR

27  

Durchführung

Page 28: [Webinar] So geht UX Research heute

free WEBINAR

28  

•  Ergänzende Online Methoden und Fragearten

o  Screenshot Click Testing o  Multimedia-Fragen o  Tree Testing o  Skalen, Semantische Differentiale, NPS o  Sortieraufgaben

Durchführung

Page 29: [Webinar] So geht UX Research heute

free WEBINAR

29  

Durchführung

Page 30: [Webinar] So geht UX Research heute

free WEBINAR

30  

Durchführung

Page 31: [Webinar] So geht UX Research heute

free WEBINAR

31  

Ergebnisse & Auswertung

Page 32: [Webinar] So geht UX Research heute

free WEBINAR

32  

•  Ergebnisse & Auswertung – typische Metriken o  Completion Rate (Success Rate)

•  Error Rate •  Abandon Rate •  Timeout Rate

o  Time on Task (auch subjektiv) o  Bewertungen (Usability, Content, Zufriedenheit – pro Aufgabe und insgesamt) o  Usability Probleme (Anzahl, Schwere)

Ergebnisse & Auswertung

Page 33: [Webinar] So geht UX Research heute

free WEBINAR

33  

Aufgabe  

Validierung  

Timeout  Ques/ons  

Abandon  Ques/ons  

Error  Ques/ons  

Success  Ques/ons  

Erfolg  BuJon  

Abbrechen  BuJon   Timeout  

Ergebnisse & Auswertung

Page 34: [Webinar] So geht UX Research heute

free WEBINAR

34  

Ergebnisse & Auswertung

Page 35: [Webinar] So geht UX Research heute

free WEBINAR

35  

Ergebnisse & Auswertung

Die Website ist…

Page 36: [Webinar] So geht UX Research heute

free WEBINAR

36  

Ergebnisse & Auswertung

Page 37: [Webinar] So geht UX Research heute

free WEBINAR

37  

Videos

•  Pro Aufgabe pro Nutzer •  Selektiv auswerten:

o  Non-Success o  Sehr lange Bearbeitungsdauer o  Schlechte Bewertungen o  Interessante Kommentare…

•  Clips generieren, Marker setzen

Ergebnisse & Auswertung

Page 38: [Webinar] So geht UX Research heute

free WEBINAR

38  

•  Quantitative UX Messdaten •  Quantitative “Self-reported” Daten •  Qualitatives Nutzerfeedback •  Verhaltensdaten (Clickstreams, Heatmaps) •  Qualitative, quantifizierbare Video Screen Recordings

Ergebnisse & Auswertung

Page 39: [Webinar] So geht UX Research heute

free WEBINAR

39  

URUT löst drei Herausforderungen für UX Researcher heute:

•  Quantitative Messdaten komplettieren rein qualitative Daten: Risikomanagement, Vergleich, Kommunikation

•  URUT ist vergleichsweise kostengünstig, agil und skalierbar und ermöglicht eine höhere Testfrequenz

•  URUT erreicht Nutzer in ihrem natürlichen Kontext

Fazit

Page 40: [Webinar] So geht UX Research heute

free WEBINAR

40  

•  http://www.measuringusability.com/blog/right-tool.php •  http://johnnyholland.org/2010/08/how-to-shop-for-unmoderated-usability-testing-

tools/ •  http://remoteresear.ch/tools/

Tools

Page 41: [Webinar] So geht UX Research heute

free WEBINAR

41  

Buchtipps

Page 42: [Webinar] So geht UX Research heute

free WEBINAR

42  

Vielen Dank!

Jakob Biesterfeldt Managing Director, UserZoom GmbH

München [email protected]

@jbiest

Page 43: [Webinar] So geht UX Research heute

www.linkedin.com/company/userzoom

@UserZoom_DE

www.userzoom.de

Sprechen Sie uns gerne an: München (DE) Ainmillerstr. 11

80801 München

Haben Sie Fragen?