Тестирование и грабли - презентация Максима Букея
DESCRIPTION
Презентация Максима Букея с выступления на Открытом семинаре. Видео тут http://it-eburg.com/text/article/26_ijunja_veb_analitika_kak_zachem_i_pochemu/TRANSCRIPT
![Page 1: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/1.jpg)
Ошибки и грабли в организации A/B и MV тестов
Обзор доступных инструментов тестированияОсобенности их практического использованияЧто учитывать при самостоятельной организации тестирования
![Page 2: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/2.jpg)
![Page 3: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/3.jpg)
Что такое A/B тестирование
![Page 4: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/4.jpg)
Основные вопросы которые возникают при тестировании?
![Page 5: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/5.jpg)
Основные вопросы которые возникают при тестировании?
1. Для чего и когда использовать тестирование
2. При каких условиях тестирование (не)проходит успешно
3. Какие элементы интерфейсов тестировать
4. Чем тестировать5. Как интерпретировать результаты6. Где возникают ошибки
![Page 6: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/6.jpg)
Когда тестирование помогает?Если тестирование - это процесс:1. Установили цели (бизнес-цели > цели на
сайте > KPI > целевые метрики)2. Произвели начальные измерения и
выделили приоритеты в тестировании3. Протестировали4. Оценили результаты и внедрили5. Повторили опять (на других страницах)
![Page 7: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/7.jpg)
Необходимые условия● Статистическая достоверность
результатов● Четкие, явные, количественно измеримые
цели● Достаточные: посещаемость тестируемых
страниц, количество конверсионных действий и однородность аудитории
● Проверенные и отлаженные инструменты тестирования
● Ну, и отдельно поговорим об элементах которые тестируются
![Page 8: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/8.jpg)
Продолжительность экспериментаЗависит от трафика, конверсии, различий в тестируемых вариантах.Считается на калькуляторахЛучше больше чем меньше, многие сервисы определяют самиЖелательно минимум 100 конверсионных действий на вариантОбычно 2-3 недели
![Page 9: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/9.jpg)
![Page 10: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/10.jpg)
Как на самом деле выбрать страницу для тестирования?
Смотрим статистику и выбираем:● Самые посещаемые страницы● Самые посещаемые посадочные
страницы● Страницы с дорогими визитами● Страницы с отказами● Страницы в воронке продаж (если она
настроена) с отказами
![Page 11: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/11.jpg)
Таблица для приоритизации тестирования
Страница Потенциал Важность Легкость изменения
Среднее значение
Насколько можно увеличить конверсию, от 1 до 10
Сколько посетителей приходит на эту страницу и какова стоимость этих посетителей, от 1 до 10
Насколько легко тестировать эту страницу (технически и с точки зрения пользовательского взаимодействия), от 1 до 10
![Page 12: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/12.jpg)
![Page 13: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/13.jpg)
![Page 14: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/14.jpg)
Как на самом деле выбрать элементы для тестирования?
Все просто:1. Выдвините гипотезу, которая объясняет
поведение пользователей2. Предложите решение, за счет изменений
элементов (тестируемые элементы должны напрямую влиять на конверсию)
3. Не тестируйте сразу много элементов (1-2 вполне достаточно)
4. Не берите для тестирования незначительные изменения
![Page 15: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/15.jpg)
Кратко - идеи для тестирования● Добавьте слово «Бесплатно»● Создайте видео с объяснением● Приклейте кнопку регистрации к верхней части
страницы● Сократите форму заявки● Покажите товар «лицом»● Демо-версия vs Денежный возврат● Длительность бесплатной версии● Предложите бонусы, ограниченные по времени● Добавьте денежную ценность бесплатным
предложениям● Поменяйте цвета кнопок
![Page 16: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/16.jpg)
Хотите ещё больше кейсов?● http://lpgenerator.ru/blog/2013/04/05/24-
gipotezy-split-testirovanij/● http://whichtestwon.com/● http://www.abtests.com/● http://visualwebsiteoptimizer.com/split-
testing-blog/
![Page 17: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/17.jpg)
Попробуем угадать какой вариант работает лучше!
Практическая работа30 вариантов для 15 страниц
![Page 18: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/18.jpg)
Инструменты тестирования
1. Эксперименты в Google Analytics2. Яндекс.Метрика3. Visual Website Optimizer4. Optimizely5. ABtest.ru
и еще много других на http://whichMVT.com
![Page 19: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/19.jpg)
Google AnalyticsБесплатно и обычно уже используется на сайтеМожно проводить только A/B тесты на разных URIПрограммисты нужны, но не сильно (создать дополнительный вариант страницы, установить полученный код)Расчёт происходит только по одной цели, но для анализа результатов можно потом применять расширенные сегменты и другие интересные "фичи" GAНет сегментации по посетителям и % трафика на каждую из групп
GA используют "жадный" алгоритм ("многорукий бандит") https://support.google.com/analytics/answer/2844870?hl=ru
![Page 20: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/20.jpg)
![Page 21: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/21.jpg)
![Page 22: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/22.jpg)
![Page 23: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/23.jpg)
![Page 24: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/24.jpg)
![Page 25: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/25.jpg)
Яндекс МетрикаПараметры визитов http://help.yandex.ru/metrika/content/visit-params.xml
Бесплатно и скорее всего уже стоит у многих на сайтеТолько A/B тестирование (но на произвольных страницах)Необходимо привлекать программистов (распределение пользователей по группам - алгоритм тестирования, установка cookie, установка кодов, возможно обсчёт результатов)Для обработки результатов необходимо использовать статистические калькуляторы
![Page 26: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/26.jpg)
![Page 27: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/27.jpg)
Статистические калькуляторы
● http://www.artmetod.ru/a-b-testing/230● http://www.measuringusability.com/calc.php● http://visualwebsiteoptimizer.com/ab-split-
test-duration/● http://visualwebsiteoptimizer.
com/downloads/ab_testing_significance_calculator.xls
![Page 28: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/28.jpg)
Visual Website OptimizerПлатныйA/B тестированиеМультивариантное тестированиеПерсонализация сайта на основе поведения посетителя и геотаргетингаТепловая карта кликов (для каждого из вариантов отдельно)Юзабилити тестирование и тестирование ценВизуальный редакторИнтеграция с различными сервисами (Аналитика: Google Analytics, Adobe SiteCatalyst, Clicky, CMS: WordPress, Joomla, Drupal)
![Page 29: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/29.jpg)
OptimizelyПлатный инструментУмеет проводить A/B и мультивариантные тестированияТак же, как и в VWO, есть визуальный редакторУмеет сегментировать участников экспериментовТоже умеет распределять трафик между вариантами страницСкрипты - расположены на cdn сервиса
![Page 30: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/30.jpg)
ABtest.ruС недавнего времени бесплатный !РусскоязычныйТолько A/B тестыВизуальный редакторСкрипты - расположены на cdn сервисаЕсть простая сегментация пользователей
![Page 31: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/31.jpg)
Блок для "продвинутых"● Большинство (70-80%) ваших тестов провалятся● Делайте A/A тесты (если инструмент которым вы
пользуетесь нов для вас, потом можно отказаться от этого или сразу проводить A/B/A тесты)
● Макро- конверсии лучше, чем микро-. Смотрите конечную конверсию — например продажу
● Высокая конверсия не равна большему заработку.● Понедельник — это не вторник. Тестируйте
неделями
![Page 32: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/32.jpg)
Продолжение● Не бойтесь показателя отказов● Разделяйте тесты. Для мобильных отдельно● Уродцы тоже могут зарабатывать.
Это сайты сосредоточившиеся на функционалеhttp://blog.kissmetrics.com/ugly-websites/
● Уменьшайте сопротивление. Не заставляйте пользователей делать вещи, которые им делать не нужно.
● Не думайте, что надо измерять только один коэффициент, влияющий на конверсию - смотрите на картинку в целом
![Page 33: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/33.jpg)
Локальный максимум и лучший дизайн
![Page 34: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/34.jpg)
Существует ли негативное влияние A/B тестов на SEO?
1. нет, не существует, пруф от Google2. что бы снизить это негативное влияние )))
a. используем rel="canonical" на страницах вариаций
b. если пользователя надо перенаправить на страницу вариации используем 302 редирект
![Page 35: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/35.jpg)
Перспективы развития тестирования
1. Автоматизация, автоматизация и автом...2. Персонализация
какие знания о пользователях есть в минимальном варианте:Geo IPДень неделиВремя сутокЯзык клиентаБраузерОперационная системаТип клиента (например, оптовый или розничный, новый или постоянный)
![Page 36: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/36.jpg)
Чем можно пользоваться для мегакрутой персонализации
1. Facebook или ВКонтакте. Через API или просто составляя рекламные кампании и пересылая пользователей через промежуточные страницы
2. Самостоятельный сбор информации о пользователях
3. Внешние системы. Система IonIntercative персонализирует посетителя сайта по 33 параметрам
![Page 37: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/37.jpg)
![Page 38: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/38.jpg)
Доклад про персонализацию под пользователя
http://events.yandex.ru/events/yac/m/talks/823/
![Page 39: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/39.jpg)
![Page 40: Тестирование и грабли - презентация Максима Букея](https://reader034.vdocuments.site/reader034/viewer/2022051400/557fae03d8b42a331b8b5023/html5/thumbnails/40.jpg)
Спасибо за внимание!Вопросы?
Букей МаксимЮзабилити эксперт на 66.ru
Skype: maxgabbaTwitter: maxgabba
E-mail: [email protected]