Download - Big Data, große Einsichten & große Fehler
Big Data, große Einsichten & große Fehler
Usabilitykongress 2013Frankfurt, 11.10.2013
Jens Jacobsenbenutzerfreun.de
I. Akt: Von Truthähnen & Schwänen
Schuldlos schuldig
Bild: Public Domain, http://commons.wikimedia.org/wiki/File:Wild_turkey_eastern_us.jpg
Tag
Zuf
ried
enhe
its-R
atin
g
1 500 1000
0
38
75
113
150
Nutzerzufriedenheit Truthahn
Foto 28.11.
Bild: Public Domain, http://commons.wikimedia.org/wiki/File:US_Navy_021103-N-1159M-001_Mess_Management_Specialist_3rd_Class_Nicole_Phillipe_(left)_and_Mess_Management_Specialist_Seaman_Crista_Spencer,_prepare_roast_turkey_for_the_noontime_meal_aboard_the_ship.jpg?uselang=de
Tag
Zuf
ried
enhe
its-R
atin
g
1 500 1000
0
38
75
113
150
Nutzerzufriedenheit TruthahnThanksgiving
2. Akt: Von Zahlen & Gefühlen
der Experten liegen falsch.
37,879 Prozent
15 Babys/d 45 Babys/d
♀ : ♂50 : 50
A, B oder A=B?
Wo wurden an mehr Tagen >60% Jungs geboren?
Auch Statistiker sind schlechte intuitive Statistiker.
Daniel Kahnemann
A BTestobjekt A B
Konversionsrate 4 % 6 %
Steigerung: 50%Konfidenzniveau: 97%
A performt besser als B
A performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als B
TestobjektA
(Konventionell)B
(Öko)
Karotte 4 8
N: Anzahl Versuche8+4 = 12
D: Halbe Differenz Gewinner/Verlierer(8-4) ÷ 2 = 2
Ergebnis ist signifikant, wenn D2 > N
D2: 4, N: 12 ⇒ nicht signifikant
Nach: http://blog.asmartbear.com/easy-statistics-for-adwords-ab-testing-and-hamsters.html
Signifikanz.
signifikant = nicht zufällig
Fotos Zeit, Fußball, Wiesn, Kalender, Überschwemmung,
37,9876
Task-Time: sinkt um 21% (20 Sekunden)Aufgabe: täglich 7,8 Mal durchgeführtAngestellte: 500
ROI: 20 sec * 7,8 Mal * 5 Tage * 4 Wochen * 500 Angestellte= 433,33333333 Stunden im Monat = 32.500 €UNSINN
B / lokales Optimum
OptimumB
A
If neither the A nor B idea is very good, then A/B testing will just tell you which sucks less.
Peter Seibel
Bild: CC 2.0, The U.S. Army, https://commons.wikimedia.org/wiki/File:2007_Military_World_Games_long_jump.jpg?uselang=de
A B
Tage
Kon
vers
ion
Das sieht man doch!
Die Zahlen zeigen es.
Das sagt einem der gesunde Menschenverstand.
Wir Alle
Gut Ding will Weile haben.
Der frühe Vogel fängt den Wurm.
Wer wagt, gewinnt.
Vorsicht ist die Mutter der Porzellan-Kiste.
http://unbounce.com/a-b-testing/shocking-results/
Der gesunde Menschenverstand taugt kaum für Vorhersagen und noch weniger für Erklärungen.
Duncan Watts
Influencer
?
3. Akt: Die richtigen Werkzeuge
Foto Durcheinander (Werkzeugkiste)
X ⇒ Yq.e.d.
Tofu
(glückliches) Ende
Twitter: @benutzerfreundBlog: www.benutzerfreun.de Buch:
Mehr: