Евгений Курышев (ostrovok.ru) - "Глубокие закопки в...

Глубокие закопки в мультиканальную атрибуцию

Евгений Курышев, Ostrovok.ru, 2016

Что такое Маркетинговая Атрибуция?я просто обязан вам рассказать

Атрибуция – это попытка установить и измерить причинно-следственную связь,

в данном случае в маркетинге

типичная причина: визит типичное следствие: продажа

Мультиканальная?

Продажа

$

SEO Vital CPC Email

Зачем это нужно?

Например, чтобы точнее связать маркетинговую активность и продажи

Чтобы понять как потратить следующий доллар маркетингового бюджета, а может

быть перераспределить уже имеющийся

Чтобы повысить общий ROAS/ROI на уровне всего бизнеса

Кому это подходит?

Получается, что для 60-65% заказов есть несколько визитов

Ладно, связь между одним или несколькими визитами и продажей установили, а как оценить её количественно?

Обычно каждой сессии назначается некий вес в процентах, её вклад в продажу

Продажа

$

SEO SEO Vital CPCSEO Email

10% 10% 10% 50% 0%0%

это вес

Во-первых, это позволяет перераспределить бюджет между

каналами правильнее

Было Стало

SEMBrand

А еще это помогает перераспределить бюджет внутри канала

Было Стало

CategoryVital

Например, кампании с плохим ROI могут оказаться на самом

деле хорошими и наоборот

Далее, это позволяет на микро-уровне оценивать

эффективность трафика

Если умножить вес сессии на выручку с ассоциированного

бронирования, то получится “атрибуцированная выручка с сессии”

Даты

Тип кампании

Средняя выручка с сессии хорошо заменяет конверсию

в анализе трафика, потому что учитывает продажи, сделанные вернувшимися

позже и через другие каналы клиентами

Выбор модели атрибуции

Модели которые работают по одному базовому правилу

Last-Click: Весь вес отдается последней сессии

Last-Paid Click: Весь вес отдается последней платной сессии

Time Decay: Вес распределяется экспоненциально

уменьшаясь для с сессий в прошлом

Модели которые работают по сложной эвристике

Например, hit-weighted attribution, вариант, в котором вес по сессиям раздается в зависимости от числа

хитов в сессии

Алгоритмические и Вероятностные модели

Обычно это модели, в которых на базе машинного обучения

строится модель, предсказывающая вероятность продажи

после каждой сессии, а значит оценивающая вклад каждой

сессии в приближение продажи

Например, Markov-Chain attribution

SEM Category Campaign

Vital/Type-In

SALE!

CPC Retargeting

Reactivation Email$

0.4

0.1

0.1

0.25

0.2

0.1

0.5 0.2 0.3

0.3

0.25

Значит, выберем самую лучшую мультиканальную атрибуцию и заживём…

Значит, выберем самую лучшую мультиканальную атрибуцию и заживём…

Значит, выберем самую лучшую мультиканальную атрибуцию и заживём…

А не совсем!

Недооценивать точность Last Paid ClickЛовушка номер 1

Кто не использует сложные модели атрибуции ошибается с выводами

для 60% выручки?

На самом деле всё не так однозначно

Во-первых, чаще всего если в заказе

участвовало всего пара визитов, то они пришли

из одного канала. Доля заказов с 1-3

визитами уже существенно больше

(у нас – 62%)

Доля заказов по числу визитов

38 %

62 %

1-3 4+

Во-вторых, даже если визитов перед

продажей больше трёх, заметная

доля приходится на одинаковые каналы

Количество УНИКАЛЬНЫХ каналов, участвовавших в продаже

5 %17 %

77 %

1 2 3 4 5 6

Только в 23% случаев у нас вообще есть больше 2 разных

каналов и возникает вопрос атрибуции

То есть Last Click неплохо описывает 3/4 продаж.

Но что с Last Paid Click?

Если исключить продажи, где канал последнего (из 2) визита был бесплатный,

то останется порядка 15-20% продаж, в которых реально участвовало больше 1 уникального канала

Недооценивать точность Last Paid ClickЛовушка номер 1

Выводы: Для многих бизнесов Last Paid Click атрибуция довольно честно выдаёт кредит каналам, приводящим к продаже/целевому действию. Так что стоит еще подумать, нужна ли более сложная модель атрибуции в такой ситуации…

Надеяться без проблем решить одной атрибуцией все проблемыЛовушка номер 2

Если вы всё же внедрили использование сложной мультиканальной атрибуции,

не надо забывать о старых добрых вариантах

С одной стороны, сложная модель атрибуции должна предсказывать важность

каналов для привлечения продажи

С другой стороны она должна давать ответ на вопрос, куда тратить деньги в

маркетинге

Пример

Продажа

$

CPC Email

100% 0%

Емейл привел к продаже, но весь кредит получил платный канал CPC

даже в “простом” last paid click можно сделать выводы, что Email не продаёт,

и не заниматься им, а в итоге потерять много продаж

На самом деле вопрос корреляции канала визита и продаж и вопрос

бюджетирования надо рассматривать отдельно

В любом случае, надо научиться работать с несколькими вариантами атрибуции для

разных целейАнализ воронки Планирование

бюджетаМониторинг продаж в

реальном времени

Direct

Last Click Last Non-Direct Click Custom Model

Надеяться без проблем решить одной атрибуцией все проблемыЛовушка номер 2

Вывод: Использовать подходящую атрибуцию для каждой задачи. Помнить что ROAS канала при сложной модели атрибуции и его важность для продаж могут сильно отличаться

Думать что можно просто так взять и выбрать самую лучшую модельЛовушка номер 3

В какой то момент, когда вы готовы ко внедрению новой, классной атрибуции для самой главной задачи, планирования

маркетинга, возникает вопрос – как их сравнивать и как выбирать

НЕЛЬЗЯ ПРОСТО ТАК ВЗЯТЬ И ВЫБРАТЬ

ЛУЧШУЮ МОДЕЛЬ АТРИБУЦИИ

И дело не только в том, что разные модели хороши для разных целей.

Даже для одной цели часто сложно выбрать лучшую модель, потому что

их очень тяжело сравнивать

В ловушке номер 1 рассматривался способ оценки объёмов продаж, на которые влияет

атрибуция

1. Нужно взять все цепочки каналов, приводящие к конверсии

2. Убрать цепочки где новая атрибуция не меняет выдачу весов по сравнению со старой

3. Убрать цепочки с одинаковыми визитами

4. Опционально: убрать цепочки, инициированные каналами, которыми трудно управлять в реальном времени или которые исчерпали свой потенциал

5. Посчитать выручку или число продаж по цепочкам, которые остались

Процент оставшейся выручки и содержит потенциальный апсайд, при условии, что новая атрибуция покажет более

рациональное перераспределение бюджета по оставшимся каналам/цепочкам

Вариант 1. Внедрить и посмотреть что будет

+ Просто – Долго – Не точно – Потенциально теряет деньги

Вариант 2. Сделать A/B тест атрибуций– Сложно – Еще более долго – Всё равно не точно ± Контролируемо теряет деньги

Вариант 3. Сделать кросс-валидацию на фактических данных

+ Не теряет деньги + Быстро – Очень сложно – Всё равно не точно

Думать что можно просто так взять и выбрать самую лучшую модельЛовушка номер 3

Вывод: Поскольку измерить точность атрибуции очень сложно, то в какой-то момент рациональнее выбирать наиболее совершенную доступную модель и заниматься её оптимизацией

Забыть про повторностьЛовушка номер 4

Большинство даже достаточно современных моделей атрибуции считают новых и повторных клиентов одинаково,

их визиты и конверсии равнозначными

Это очень плохо

Сценарий 1 Сценарий 2Расход $100 $100

Показы 200 бывших клиентов, 500 новых

50 бывших клиентов, 800 новых

Продажи 20 повторных, 5 новых 5 повторная, 15 новых

CPO $4 $5

Инкремент 5 новых клиентов 15 новых клиентов

Новые клиенты почти всегда лучше чем старые (за те же CPO косты), но многие

модели атрибуции про это не знают

Часть вашего маркетингового бюджета в том числе и в каналах привлечения новых пользователей расходуется на возврат

старых клиентов

Когда вы распределяете выручку этих повторных клиентов (многие из которых и так бы пришли) в процессе атрибуции,

вы зашумляете ваши цифры, скрывая реальную инкрементальную пользу

рекламных кампаний

Есть разные механизмы решения проблемы

1. Распределять не выручку от продажи, а ценность клиента (LTV)

2. Дисконтировать выручку повторных продаж в атрибуции

3. Атрибуцировать повторные/новые конверсии отдельно

Забыть про повторностьЛовушка номер 4

Вывод: Ценность атрибуции – в установлении инкрементальной пользы конкретной маркетинговой активности, а без анализа повторности нельзя сделать выводы об инкрементальности

Думать, что хорошая атрибуция вытесана в камне и не нуждается в тюнинге

Ловушка номер 5

Если вы • “Переросли” Last Non-Direct • Выбрали одну из готовых современных моделей

атрибуции, например в Google Analytics 360 или построили свою

• Научились в ней атрибуцировать LTV • Используете более простые модели

там где они уместнеето может возникнуть ощущение, что жизнь удалась…

Ну вы поняли…

Есть еще много пространства для улучшений

1. Современные модели атрибуции помогают выбрать клиентов и предсказать оптимальный вид следующего тачпоинта, максимально повышающего вероятность

конверсии

2. Поскольку ценность атрибуции зависит от числа “сложных” цепочек визитов, то можно

увеличить ценность, научившись матчить посетителей на разных устройствах

3. Вашими тачпоинтами с клиентами являются не только визиты, нужно обогащать данные

4. Вашими конверсиями являются не только продажи

5. Шум в данных делает превращает вашу атрибуцию в тыкву

Думать, что хорошая атрибуция вытесана в камне и не нуждается в тюнинге

Ловушка номер 5

Вывод: Очень быстро вы приходите к ситуации, когда точность алгоритмов вашей атрибуции ниже чем чистота и объём ценных

данных. Чтобы развиваться дальше нужно взглянуть на старые практики под новым

углом.

Общие выводы

1. Не гонитесь за сложной атрибуцией если это не влияет на большую долю

продаж

2. Используйте старые добрые модели типа Last Click для подходящих целей

3. Отдайте предпочтение новой модели атрибуции, построенной на

machine learning и использующей максимум гранулярных данных

4. Анализируйте инкрементальность маркетинга, учитывайте повторность

в атрибуции

5. Знайте узкие места вашей атрибуции, работайте над чистотой

и полнотой данных, на основе которых вы потом тратите ваш

бюджет

Евгений Курышевfacebook.com/evgenyq

Полезно почитать

Зачем нужна новая модная атрибуция http://www.callahancreek.com/marketing-attributon-analysis-part-2-embrace-the-complexity/

Как в Google Analytics быстро оценить потенциальный апсайд от мультиканальной атрибуции https://www.owox.ru/solutions/articles/multichannel-attribution-additional-value/

Что делать, если вы хотите построить её сами http://blogs.sas.com/content/customeranalytics/2015/12/08/making-case-algorithmic-digital-attribution/

Про инкрементальность в маркетинге и атрибуции http://adexchanger.com/data-driven-thinking/your-attribution-model-is-broken/

Как сделать свою атрибуцию на Markov Chains в R http://www.lunametrics.com/blog/2016/06/30/marketing-channel-attribution-markov-models-r/

Почему у вас никогда не будет хорошей модели атрибуции http://mashable.com/2014/07/21/ad-analysts-job-impossible/