Продуктовая Аналитика — Карго Культ в современных...
DESCRIPTION
В условиях быстрой разработки становится более важным и более сложным такой вопрос: если мы можем менять вектор развития продукта очень часто и умеем жить с изменяющимися требованиями, то как понять что мы рационально используем эту возможность, не прыгаем вперёд-назад, а остаемся сфокусированными в своём развитии продукта? Тут, разумеется, есть куча инструментов и практик lean практики get out of the building, традиционная продуктовая аналитика и, конечно, всеми любимые A/B тесты. Но многие бросившись использовать всё это внезапно понимают, что получившиеся процессы больше напоминают карго культы: A/B тестирование красных против зеленых кнопок на страницах где 100 человек в день с конверсией в 5% делают какой-то экшн. Или обвешивание счётчиками Google Analytics всех элементов интерфейса, который используют 3 человека в день. Или мы идем в гости к своим друзьям, чтобы узнать их мнение о новом дизайне, забывая о том что наши друзья совсем не репрезентативны. С какими проблемами мы сталкивались, как мы разочаровались в этих практиках, успели их возненавидеть и как обратно поверили и полюбили эти и другие подходы развития и эволюции продукTRANSCRIPT
![Page 1: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/1.jpg)
Продуктовая аналитика
Евгений Курышев
Островок.ру
Карго культ в современных компаниях
![Page 2: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/2.jpg)
ЧТО ТАКОЕ ПРОДУКТОВАЯ АНАЛИТИКА?
![Page 3: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/3.jpg)
BUILD
MEASURELEARN
![Page 4: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/4.jpg)
BUILD
MEASURELEARN
![Page 5: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/5.jpg)
Дата поинты
Воронки
Сегменты
Когорты
Атрибуция
Поведенческий анализ
A/B тесты
Кластеризация
CLTV Анализ
RFM Анализ
![Page 6: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/6.jpg)
Analysis Services
![Page 7: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/7.jpg)
ЧТО ТАКОЕ КУЛЬТ КАРГО?
![Page 8: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/8.jpg)
ПОЧЕМУ ПРОДУКТОВАЯ АНАЛИТИКА —
ЭТО СЕГОДНЯШНИЙ КУЛЬТ КАРГО?
![Page 9: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/9.jpg)
ПРОЦЕССЫлюди имитируют процессы, приводящие к результату
![Page 10: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/10.jpg)
ИНСТРУМЕНТЫкомпании создают
инструменты, похожие на то, что нужно для решения задач
![Page 11: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/11.jpg)
ДАННЫЕмы собираем и храним их
почти как “настоящие сварщики”
![Page 12: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/12.jpg)
ЖДЁМ ГУЛА САМОЛЁТОВнесущих недополученную выручку и квартальные бонусы
![Page 13: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/13.jpg)
![Page 14: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/14.jpg)
А ОНИ ВСЁ НЕ ЛЕТЯТ
![Page 15: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/15.jpg)
ПРИМЕРЫ
![Page 16: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/16.jpg)
ВЕБ-АНАЛИТИКА И ВОРОНКИ
![Page 17: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/17.jpg)
КАК ВЫГЛЯДИТ ПЛАН?
![Page 18: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/18.jpg)
1. поставим Google Analytics
2. построим воронки
3. найдем и исправим узкие места
4. …
5. PROFIT!!!!
![Page 19: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/19.jpg)
КАК ПОЛУЧАЕТСЯ НА САМОМ ДЕЛЕ?
![Page 20: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/20.jpg)
Посетители
лэндинг форма регистрации
письмо с подтверждением
финиш
2 500
20 102
35 340
96 242
![Page 21: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/21.jpg)
Посетители
лэндинг форма регистрации
письмо с подтверждением
финиш
2 500
20 102
35 340
96 242
![Page 22: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/22.jpg)
Посетители
лэндинг форма регистрации
письмо с подтверждением
финиш
2 227
18 499
66 404
96 242
![Page 23: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/23.jpg)
ЗАСАДА №1 ИЗМЕНЕНИЯ НА ОДНОМ ШАГЕ ВОРОНКИ МЕНЯЮТ ПОВЕДЕНИЕ
И НА ПОСЛЕДУЮЩИХ
![Page 24: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/24.jpg)
ВНЕЗАПНО ИЗМЕНИЛАСЬ ФОРМА ВОРОНКИ, НО ПРОДУКТ НЕ ИЗМЕНЯЛСЯ?
вчераПосетители
сегодня
![Page 25: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/25.jpg)
ВОЗМОЖНО ИЗМЕНИЛСЯ МИКС МАРКЕТИНГОВЫХ
КАНАЛОВ
вчера
SMM 12 %
Direct 13 %
SEM 34 %
SEO 41 %
сегодня
SMM 7 %
Direct 26 %
SEM 40 %
SEO 26 %
![Page 26: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/26.jpg)
ВОЗМОЖНО ИЗМЕНИЛСЯ ИНВЕНТАРЬ И ПРОДАЖИ ПЕРЕРАСПРЕДЕЛИЛИСЬ
вчера
Ботинки 12 %
Носки 13 %
Колготки 34 %
Трусы 41 %
сегодня
Сумки 23 %
Ботинки 11 %
Носки 37 %
Колготки 17 %
Трусы 13 %
![Page 27: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/27.jpg)
ЗАСАДА №2 ИЗМЕНЕНИЕ ВОРОНКИ
НЕ ГОВОРИТ ОБ ИЗМЕНЕНИИ ПРОДУКТА
![Page 28: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/28.jpg)
Посетители
лэндинг форма регистрации
письмо с подтверждением
финиш
14
120
220
550
ДЛЯ ХОРОШИХ ВЫВОДОВ ЧАСТО НЕ ХВАТАЕТ ДАННЫХ
![Page 29: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/29.jpg)
РАЗМЕР ИМЕЕТ ЗНАЧЕНИЕ
ЗАСАДА №3
![Page 30: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/30.jpg)
КАК НАДО?
![Page 31: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/31.jpg)
1. ИЩИТЕ УЗКИЕ МЕСТА
Посетители
Лэндинг СЕРП Страница отеля
Страница бронирования
Ваучер
1 776
22 412
50 102
82 34096 242
![Page 32: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/32.jpg)
2. ДОБАВЛЯЙТЕ НОВЫЕ ШАГИ
Посетители
Страница отеля
Страница бронирования
Ваучер
Посетители
Страница отеля
Страница бронирования
Логин или создание аккаунта
Ввод кредитной карты
Ваучер
![Page 33: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/33.jpg)
3. ОТСЛЕЖИВАЙТЕ ДИНАМИКУ ВОРОНОК
С ИЗМЕНЕНИЕМ ПРОДУКТА
до релиза
Посетители
после релиза
![Page 34: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/34.jpg)
Воронка здорового человека Воронка курильщика
4. СОБИРАЙТЕ ВСЮ ИНФОРМАЦИЮ О ПРОТЕЧКАХ
![Page 35: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/35.jpg)
4. СОБИРАЙТЕ ВСЮ ИНФОРМАЦИЮ О ПРОТЕЧКАХ
Посетители
Страница отеля
Страница бронирования
Ваучер
![Page 36: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/36.jpg)
Нажимают "Back"
Закрывают вкладку
Нажимают на лого
Нажимают "Справка"
Остальное
![Page 37: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/37.jpg)
5. СЕГМЕНТИРУЙТЕ!
Общая воронкаПосетители
Лэндинг Форма регистрации
Письмо подтверждения
Финиш
1 776
22 412
50 102
82 340
![Page 38: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/38.jpg)
ATV 0…80 $Посетители
ATV 81…250 $
ATV 251…600 $ ATV 601+ $
Воронки по среднему чеку
5. СЕГМЕНТИРУЙТЕ!
![Page 39: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/39.jpg)
• по маркетинговому каналу
• по среднему чеку
• по когортам
• по демографии
• по повторным продажам
5. СЕГМЕНТИРУЙТЕ!
![Page 40: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/40.jpg)
6. БУДЬТЕ ОСТОРОЖНЕЕ В УСЛОВИЯХ НЕХВАТКИ ДАННЫХ
Посетители
Лэндинг Страница регистрации
Отправка письма
Создание аккаунта
45740
4 312
10 690
![Page 41: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/41.jpg)
6. БУДЬТЕ ОСТОРОЖНЕЕ В УСЛОВИЯХ НЕХВАТКИ ДАННЫХ
Посетители
Лэндинг Страница регистрации
Отправка письма
Создание аккаунта
45740
4 312
10 690
![Page 42: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/42.jpg)
6. БУДЬТЕ ОСТОРОЖНЕЕ В УСЛОВИЯХ НЕХВАТКИ ДАННЫХ
Посетители
Лэндинг Страница регистрации
Отправка письма
Создание аккаунта
45740
4 312
10 690
![Page 43: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/43.jpg)
7. ПОСТОЯННО СЛЕДИТЕ ЗА СОСТОЯНИЕМ ВОРОНОК
Воронка регистрацииПосетители
Лэндинг Страница регистрации
Отправка письма
Создание аккаунта
00
6 711
11 020
![Page 44: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/44.jpg)
A/B ТЕСТИРОВАНИЕ
![Page 45: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/45.jpg)
КАК ВЫГЛЯДИТ ПЛАН?
![Page 46: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/46.jpg)
1. интегрируем инструмент для A/B тестирования
2. будем тестировать по 5 маленьких изменений в день
3. если каждый A/B тест покажет пусть 5% прироста конверсии
4. через полгода конверсия достигнет 146%
5. …
6. PROFIT!!!!
![Page 47: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/47.jpg)
КАК ПОЛУЧАЕТСЯ НА САМОМ ДЕЛЕ?
![Page 48: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/48.jpg)
ПЕРВЫМ ДЕЛОМ, РАЗУМЕЕТСЯ, ПОИГРАЕМ ШРИФТАМИ
![Page 49: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/49.jpg)
Визиты
671556
Контрольная группаТестовая группа
Бронирования
69
50
Конверсия
10,3 %9,0 %
![Page 50: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/50.jpg)
Визиты
671556
Контрольная группаТестовая группа
Бронирования
69
50
Конверсия
10,3 %9,0 %
![Page 51: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/51.jpg)
Визиты
671556
Контрольная группаТестовая группа
Бронирования
69
50
Конверсия
10,3 %9,0 %
![Page 52: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/52.jpg)
ТЕПЕРЬ ТЕ ЖЕ САМЫЕ ДАННЫЕ ВЫГЛЯДЯТ НЕ ТАК ХОРОШО – СТАТИСТИЧЕСКОЙ РАЗНИЦЫ МЕЖДУ ГРУППАМИ НЕТ
![Page 53: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/53.jpg)
ЗАСАДА №1НЕ ВСЕГДА ОЧЕВИДНО,
КАКОЙ ВАРИАНТ ВЫИГРЫВАЕТ
![Page 54: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/54.jpg)
ОСТАВЛЯЕМ ЭКСПЕРИМЕНТ ЕЩЕ НА ПАРУ ДНЕЙ
COMIC SANS ДОЛЖЕН ПОБЕДИТЬ!
![Page 55: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/55.jpg)
Визиты
1 1501 020
Контрольная группаТестовая группа
Бронирования
121101
Конверсия
10,5 %9,9 %
![Page 56: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/56.jpg)
Визиты
1 1501 020
Контрольная группаТестовая группа
Бронирования
121101
Конверсия
10,5 %9,9 %
![Page 57: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/57.jpg)
ЗАСАДА №2СЛОЖНО ПОНЯТЬ, КОГДА ЭКСПЕРИМЕНТ МОЖНО ЗАВЕРШИТЬ
![Page 58: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/58.jpg)
ПРОВЕРИМ ЛУЧШЕ ВЛИЯНИЕ ОТЗЫВОВ
ОТЕЛЕЙ НА КОНВЕРСИЮ
![Page 59: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/59.jpg)
У КОНТРОЛЬНОЙ ГРУППЫ ОСТАВИМ ВСЁ КАК ЕСТЬ
У ТЕСТОВОЙ ГРУППЫ ОТКЛЮЧИМ ОТОБРАЖЕНИЕ ОТЗЫВОВ НА СТРАНИЦЕ
ОТЕЛЯ
![Page 60: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/60.jpg)
ДА ПОЧЕМУ ОПЯТЬ ВСЁ ПОЧТИ ОДИНАКОВО?
Визиты
10 54010 000
Отзывы у отелей показываютсяОтзывы у отелей скрываются
Бронирования
200
220
Конверсия
1,9 %
2,2 %
![Page 61: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/61.jpg)
НА САМОМ ДЕЛЕ У ЗНАЧИТЕЛЬНОГО ЧИСЛА ОТЕЛЕЙ И РАНЬШЕ НЕ БЫЛО ОТЗЫВОВ
!
МЫ НЕПРАВИЛЬНО ЗАСЕТАПИЛИ ЭКСПЕРИМЕНТ И ПОЛУЧИЛИ
OMITTED VARIABLE BIAS
![Page 62: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/62.jpg)
ЗАСАДА №3СЕТАП ЭКСПЕРИМЕНТОВ —
ДЕЛО ТОНКОЕ
![Page 63: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/63.jpg)
ЛАДНО, ЕЩЕ ПРИМЕР
![Page 64: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/64.jpg)
МЫ РЕШИЛИ СДЕЛАТЬ НЕСКОЛЬКО ЭКСПЕРИМЕНТОВ
С ТЕКСТАМИ CALL TO ACTION КНОПОК НА КАЖДОЙ СТРАНИЦЕ В ОСНОВНОЙ ВОРОНКЕ
![Page 65: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/65.jpg)
НА СТРАНИЦЕ ГОРОДА БУДЕТ ТЕСТ
VS
A НА СТРАНИЦЕ ОТЕЛЯ ПРОТЕСТИРУЕМ
VS
![Page 66: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/66.jpg)
Конверсия
2,1 %2,0 %
“Выбрать”“19 000 руб. за 2 ночи”
Конверсия
2,1 %2,0 %
“Забронировать”“19 000 рублей”
страница города страница отеля
ВТОРЫЕ ВАРИАНТЫ ПОБЕДИЛИ С ХОРОШИМ CONFIDENCE
![Page 67: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/67.jpg)
НО НА САМОМ ДЕЛЕ БЫЛО НЕ 2, А 4 ЭКСПЕРИМЕНТА
![Page 68: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/68.jpg)
СТРАНИЦА ГОРОДА
СТРАНИЦАОТЕЛЯ
+
+
+
+
![Page 69: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/69.jpg)
И ПОЛУЧЕННЫЕ ДАННЫЕ СИЛЬНО ИСКАЖЕНЫ И ИМ
НЕЛЬЗЯ ДОВЕРЯТЬ
![Page 70: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/70.jpg)
ЗАСАДА №4 ЭКСПЕРИМЕНТЫ СИЛЬНО ВЛИЯЮТ ДРУГ НА ДРУГА
![Page 71: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/71.jpg)
КАК НАДО НА САМОМ ДЕЛЕ?
![Page 72: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/72.jpg)
1. НЕ ТЕСТИРУЙТЕ МЕЛОЧИ
![Page 73: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/73.jpg)
ПО НАШИМ (И НЕ ТОЛЬКО НАШИМ) ПРИКИДКАМ
– 8 ИЗ 10 ТЕСТОВ НЕ ПОКАЗЫВАЮТ ЗНАЧИМЫХ РЕЗУЛЬТАТОВ
![Page 74: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/74.jpg)
2. НЕ ТЕСТИРУЙТЕ ТО ЧТО НЕ ВЛИЯЕТ НА ПОВЕДЕНИЕ
ПОЛЬЗОВАТЕЛЕЙ
![Page 75: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/75.jpg)
ВОТ ТУТ РЕБЯТА СДЕЛАЛИ ДВА СОВЕРШЕННО РАЗНЫХ ДИЗАЙНА ДЛЯ ЛЕНДИНГА
![Page 76: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/76.jpg)
![Page 77: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/77.jpg)
![Page 78: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/78.jpg)
СТАТИСТИЧЕСКИ ЗНАЧИМОЙ РАЗНИЦЫ
ОБНАРУЖИТЬ НЕ УДАЛОСЬ
![Page 79: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/79.jpg)
3. НЕ ТЕСТИРУЙТЕ ТАМ ГДЕ НЕТ ДАННЫХ
![Page 80: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/80.jpg)
ВОЗМОЖНО ЛУЧШЕ ПОДНЯТЬСЯ ЧУТЬ ВЫШЕ
ПО ВОРОНКЕ
![Page 81: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/81.jpg)
4. ПОМНИТЕ О КОРРЕЛЯЦИИ ЭКСПЕРИМЕНТОВ
![Page 82: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/82.jpg)
ИСКЛЮЧАЙТЕ ПОЛЬЗОВАТЕЛЯ, УЧАСТВУЮЩЕГО В ОДНОМ ЭКСПЕРИМЕНТЕ, ИЗ УЧАСТИЯ
В ДРУГИХ
![Page 83: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/83.jpg)
ЛИБО ВООБЩЕ НЕ ПРОВОДИТЕ ОДНОВРЕМЕННО НЕСКОЛЬКО ЭКСПЕРИМЕНТОВ
![Page 84: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/84.jpg)
5. ТЕСТИРУЙТЕ НЕ ТОЛЬКО НА КОНВЕРСИЮ. ТЕСТИРУЙТЕ НА ВЫРУЧКУ, СРЕДНИЙ ЧЕК, ПРИБЫЛЬ,
ЧТО УГОДНО ЕЩЕ
![Page 85: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/85.jpg)
Конверсия
2,1 %2,0 %
Средний чек
300 $
330 $выигрыш на 5% потеря на 10%
ТЕСТ РАЗНЫХ АЛГОРИТМОВ СОРТИРОВКИ
![Page 86: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/86.jpg)
6. ТЩАТЕЛЬНО ПРОВЕРЯЙТЕ СЕТАП ЭКСПЕРИМЕНТА
![Page 87: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/87.jpg)
ДУМАЮ, МЫ ПОТЕРЯЛИ МЕСЯЦЫ ВРЕМЕНИ, СОБИРАЯ БЕССМЫСЛЕННЫЕ ДАННЫЕ
![Page 88: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/88.jpg)
7. ВВЕДИТЕ ПОНЯТИЕ ОПТИМАЛЬНОГО РАЗМЕРА
ВЫБОРКИ
![Page 89: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/89.jpg)
![Page 90: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/90.jpg)
![Page 91: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/91.jpg)
СМЫСЛ В ТОМ, ЧТО ДАННЫХ ВСЕГДА НЕ
ХВАТАЕТ, НО НАДО УМЕТЬ ПОЛЬЗОВАТЬСЯ ТЕМ,
ЧТО ЕСТЬ
![Page 92: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/92.jpg)
МОЖНО ОСТАНАВЛИВАТЬ ЭКСПЕРИМЕНТ И РАНЬШЕ, НО НУЖНО ВНИМАТЕЛЬНО ОЦЕНИВАТЬ СВОИ ШАНСЫ
![Page 93: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/93.jpg)
7. СЧИТАЙТЕ ДОВЕРИТЕЛЬНЫЙ ИНТЕРВАЛ ДЛЯ КАЖДОЙ ГРУППЫ
![Page 94: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/94.jpg)
![Page 95: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/95.jpg)
8. ИСПОЛЬЗУЙТЕ A/B ТЕСТЫ ДЛЯ КОНТРОЛИРУЕМОЙ РАСКАТКИ И ДЛЯ БЫСТРОГО ОТКЛЮЧЕНИЯ
ОПАСНЫХ ФИЧ
![Page 96: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/96.jpg)
ВЫВОДЫ
![Page 97: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/97.jpg)
ПОДХОД К СНАРЯДУ “В ЛОБ” ПРЕВРАТИТ ВАС В КУЛЬТИСТОВ КАРГО
![Page 98: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/98.jpg)
ОБЛАЖАТЬСЯ В АНАЛИТИКЕ ВЕСЬМА
ПРОСТО
![Page 99: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/99.jpg)
ВСПОМИНАЙТЕ СТАТИСТИКУ
![Page 100: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/100.jpg)
ПОДВЕРГАЙТЕ СОМНЕНИЮ ВСЁ, ЧТО ВЫ ВИДИТЕ
![Page 101: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/101.jpg)
ИСПОЛЬЗУЙТЕ КАЖДЫЙ ИНСТРУМЕНТ ДЛЯ СВОЕЙ
ЦЕЛИ
![Page 102: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/102.jpg)
И ИТЕРИРУЙТЕСЬ ОЧЕНЬ БЫСТРО
![Page 103: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/103.jpg)
ТАК ПОБЕДИМ!
![Page 104: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/104.jpg)
ВОПРОСЫ?
![Page 105: Продуктовая Аналитика — Карго Культ в современных компаниях](https://reader030.vdocuments.site/reader030/viewer/2022020917/5492e352b47959b1078b47fe/html5/thumbnails/105.jpg)
ПОЛЕЗНЫЕ ССЫЛОЧКИThe GA funnel survival guide – https://blog.kissmetrics.com/conversion-funnel-survival-guide/
The fallacy of funnels – http://insideintercom.io/the-fallacy-of-funnels/
The guide to optimizing funnels – http://blog.kissmetrics.com/guide-to-optimizing-funnels/
Most AB tests will fail – http://www.jitbit.com/news/185-most-of-your-abtests-will-fail/
On determining sample sizes – https://signalvnoise.com/posts/3004-ab-testing-tech-note-determining-sample-size
How not to do AB tests – http://www.evanmiller.org/how-not-to-run-an-ab-test.html
Speed vs Certainty in AB – http://20bits.com/article/speed-vs-certainty-in-ab-testing