sitespect - frank overbeek
DESCRIPTION
TRANSCRIPT
A/B en Multi Variate Testen (MVT)
Frank Overbeek
SiteSpect Europe
A/B Testen voor strategisch beslissen
Case
Het VEGAS.com Mobiele Dilemma
Wat is VEGAS.com?
• ‘s Werelds grootste op een stad georiënteerde web site (~10m uniek/maand.)
• Verkoopt “everything Vegas”, van hotel to vakantie pakketten, shows en restaurants tot excursies en meer.
• Primair: www.vegas.com and www.lasvegas.com
De brandende vraag:
Moet de website beschikbaar/aangepast worden voor mobiele aparaten als iPhones, Android, RIM, etc?
Dilemma:
Wie gebruikt zijn/haar mobiel voor het web?
Wie voert hiermee transacties uit?
Vraag..
Recente gegevens van comScore (EU)
53%
• Mobiele bezoekers vormen 7% van het verkeer– 70% iPhone, 20% Android, ~10% anders
• Mobiele segment groeit met 6% per maand• Mobiele bounce rate 50% hoger dan non-mobiele• De mobiele bezoeker vertegenwoordigd omzet($$$)
VEGAS.com’s web analytics
Te klein voor 326 dpi!
Tijd om mobiel aandacht te geven
• VEGAS.com’s team realiseerde dat het tijd was om de voor en nadelen van het mobiliseren van de site te bekijken.
– Investeren van tijd en geld– De bestaande ontwikkelingen aanhouden– Risico dat het niets opbrengt of zelfs minder
Wat betekent mobiliseren?
• Past op een klein scherm zonder scaling/zoom• Focus op de primaire functies• Low-fat (beperkte graphics, scripts en andere
zaken welke de page load and rendering vertragen)
• Werkt goed met een touch screen (niet te veel formulier)
Overwegingen
• Een test uitvoeren om te zien of mobiele content uitmaakt, en hoeveel.. (hypothese)
• Focus op de key content die al gebruikt wordt op de mobiel:– Homepage– Top-level categorie pagina’s– Hotelkamers zoeken
• Beperking: geen wijziging aan de e-commerce architectuur• Gebruik een applicatie om mobiele templates die de full
site content “skinnen” en de ‘mobiele klant’ target.
Technologie
Experiment variatie
Server(s)
Targeting
“De nieuwe” mobiele test pagina’s
A/B test resultaten: mobiel vs. volle site
• De A/B test liep nog geen twee maanden• Van ontwerp tot live, 2 weken• Key metrics voor de mobiele versie– 22% lagere bounce rate– 16% meer pageviews op de product categorieen– Double-digit groei in conversie*
(* originele backend proces)• Alles met 95% of hogere significantie
Learnings
• Mobiel is er echt … nu echt ... ;).• De vraag voor eenieder:– Moeten we investeren in het mobiliseren?– Wanneer?– Hoe volledig?
• Kijk naar uw KPIs in het mobiele segment• Begin klein… – Is het mogelijk een test op een beperkt content(gebied) uit te
voeren, om in een hypothese te bewijzen dat mobificatie de UX/performance/conversie verbeterd?
• Baseer de investering op interne/externe data and analyse
Multi Variate Testen
Wat, Hoe, Waarom?
“Het (on-line, geautomatiseerd) aanbieden en variëren en van communicatie componenten*, met als doel; de analyse van het veroorzaakte gedrag van de ontvangende partij’, om zo de bewezen optimale communicatie/conversie* te bepalen”.
Definitie
Marketing Instrument
Plaats in de keten
UsabilityUserexperience Analytics MVT
ProductionDevelopment
Feedback
Stated preference Actual preference
• Welke conversiedoelen / response willen we bereiken?
• Welke factoren willen we onderzoeken die effect hebben op de doelen/respons?
• Welke variaties kunnen deze factoren hebben?
• Welke additionele segment karakteristieken hebben daarnaast invloed op de conversie?
Componenten van Experiment
Test factoren en variaties
Segment variabelen
Klantgedrag
De resultaten die je zoekt om sitegedrag te begrijpen en te optimaliseren
Zaken binnen
mijn controle (X)
Zaken buiten
mijn controle (Z)
Uitkomst (Y)
Optimalisatie
High value klanten nemen het duurdere aanbod, twee keer zo veel als low value klanten.Voorbeeld:
Onderwerp
OnderwerpVergelijking
Attribuut
4 ingrediënten voor Hypothesen
Goede hypothesen bestaan uit:
a) Een doelgroep (Z)
• Ofwel een complete groep of sub-segmenten van de groep
b) Een meetbare uitkomst (Y)
• Een uitkomst binnen het klant keuzeproces
c) Een vergelijking (<>)
• Meer dan, minder dan, hetzelfde, etc
d) Een variabel attribuut (X)
• Het element wat het keuzeproces van de klant beïnvloed
Voorbeeld Hypothesen
Afbeeldingen van succesvolle mensen heeft een positief effect op de conversie
Het verstrekken van sociale informatie heeft een positieve invloed op de conversie: ‘we hebben al xxx beleggers geinteresseerd’ , ‘een totaal bedrag van xxx is reeds belegd’ , ‘een gemiddeld rendement van xxx is behaald’.
Klanten hebben behoefte aan procesinfo: Het toelichten van het procesverloop op voorhand zal een hogere conversie bewerkstelligen.
Wat testen?
• Visuele aspecten• Textuele aspecten• Contextuele aspecten• Informatie vormen/volume• Technische aspecten• Persuasiveness
Lengte van de test
• Aantal Factoren (Elementen)
• Aantal Variaties• Aantal Bezoekers• Aantal Conversies• Confidence level (%)
• Tot statistische relevantie..
Succesfactoren
• Organisatie klaar (analytics)• Ownership FTE(s)• Onbeantwoorde vragen• Lichte tests beginnen• Open Blik• Ook nee is een antwoord• Creativiteit• Juiste Tool
Hoe werkt het?
webserver
contentserver
Experiment variaties
Hoe werkt het; op pagina niveau
Server(s)Ref=Tijger
Interactief / Demo
Vragen