А/В testingили реинкарнация библейского змея…

Дмитрий Подымов

2

Кому это надо? Маркетологам для определения

правильного расположения товара на сайте

Рекламным компаниям для определения правильного мотивирования потенциального покупателя

Third-party провайдерам для определения Conversion Rate их контента в различных вариациях

ВАМ, если Вы владеете сайтом и хотите увеличить его рентабельность (и тот же Conversion Rate)Другими словами, мы искушаем пользователя, заставляем

его тратить те ресурсы (деньги, время и т.п.), которые он не планировал тратить! Или из всего многообразия предложений выбрать именно наш вариант, что суть более благородная цель

3

ТеорияA/B testing (Split testing) — метод маркетингового исследования, суть которого заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, в которых один или несколько показателей были изменены, для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Примером может служить исследование влияния цветовой схемы, расположения и размера элементов интерфейса на конверсию сайта.Тестируются 2 очень похожие страницы (страница А и страница В), которые различаются лишь одним элементом или несколькими элементами (тогда метод называют A/B/N Testing). Страницы А и В показываются пользователям в равных пропорциях, при этом посетители, как правило, не знают об этом. При достижении определённого статистически значимого числа показов, сравниваются числовые показатели цели и определяется наиболее подходящий вариант страницы.

4

Как все происходит на самом деле

Создаем макет страницы А:

Создаем макет страницы В:

5

Как все происходит на самом деле

Инжектируем на целевую страницу JScript провайдера A/B теста. Это может быть Optimizely, Maxymiser, Google Analytics и т.д.

Пример инжекта JScript на www.ticketmaster.co.uk:

</script> <!-- Optimizely script start --> <script type="text/javascript" src="http://media.ticketmaster.co.uk/en-gb/js/b05ffe54f503388f9605196957b3052f/OptimizelyFn.js"></script> <script type="text/javascript" src="//cdn.optimizely.com/js/592400258.js"></script> <!-- Optimizely script end -->

<script type="text/javascript"></script>

6

Провайдер должен иметь обе копии дизайна страницы. При попадании на страницу пользователю показывается тот или иной дизайн страницы и снимается установленная статиcтика.

Упрощенно алгоритм показан на схеме (на примере провайдера Optimizely).

Как все происходит на самом деле

7

Как все происходит на самом деле

По достижению оговоренного количества экспериментов анализируем результаты

8

Как выбрать стратегию A/B тестинга

Всегда тестируйте одновременно: проведение тестирования двух вариантов в одно и то же время жизненно необходимо для предотвращения искажения результатов с течением времени.

Проводите тесты только на новых пользователях: не используйте существующих клиентов в качестве подопытных кроликов при тестировании сайта. Их предвзятое мнение может исказить результаты и привести к неточностям.

Важно решить, что вы будете тестировать и что для Вас будет считаться успехом.

Тестирование только одного элемента за раз даст лучший результат.

9

Как НЕ надо тестировать

10

Questions?