![Page 1: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/1.jpg)
Построение моделей на примере продаж рекламыАлексей Праслованалитик, Avito
![Page 2: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/2.jpg)
Что делать когда нужно протестировать много вариантов?
A B
![Page 3: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/3.jpg)
План презентации
• Подход к решению проблемы
• Как организовывать эксперимент
• Как интерпретировать результаты
• Что нужно учитывать при внедрении результатов
![Page 4: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/4.jpg)
Как распределить трафик между различными каналами продаж
Премиальные прямые продажи
Google AdExchange RTB биржи Остаточные прямые продажи
Рекламные сети
Цена показа известна ü ü û ü û
Подробная статистика ü ü û ü û
Установка порога цены
û ü ü û û
Цена за тысячу показов
Показы
Google AdExchange Премиальные прямые продажи
Остаточные прямые продажи
Какую ставку поставить рекламным сетям и RTB биржамв собственном аукционе?
![Page 5: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/5.jpg)
Общее описание метода
Выбрать параметры для оптимизации
Подготовить дизайн эксперимента
Проведение эксперимента
Построение модели
• Порог цен RTB биржи 1• Порог цен Google AdExchange• Ставка RTB биржи 1• Ставка рекламной сети 1
Разным группам пользователей показываем рекламус разными настройками
![Page 6: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/6.jpg)
Описание эксперимента
Группа пользователей 1 Группа пользователей 2 Группа пользователей 3 Группа пользователей 4 Группа пользователей 5
(1, 3, 3, 6) (3, 3, 6, 9) (3, 3, 9, 12) (3, 6, 6, 12) (1, 3, 9, 12)
𝑋=¿
![Page 7: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/7.jpg)
Преимущества регрессионных моделей
Порог цен RTB биржи
Выр учка=𝑎∗Порог цен RTB биржи 2+𝑏∗Порог цен RTB биржи+𝑐
Выручка
• Меньшая чувствительность модели к единичным выбросам
• Необходимо меньшое количество измерений
• Понимание закономерностей внутри исследуемых систем
![Page 8: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/8.jpg)
Дизайн эксперимента: определение границ
• Репрезентативность модели может снижаться на всём диапазоне допустимых значений
• При неправильно определённой области эксперимента модель может быть нерепрезентативной
• Необходимо правильно определить область исследования
Порог цен RTB биржи
Выручка
![Page 9: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/9.jpg)
Дизайн эксперимента: выбор точек• Необходимо обеспечить наименьшую ошибкукоэффициентов при параметрах модели
• Получить информацию об исследуемой области
• Провести исследование в малом количестве точек
Порог цен RTB биржи
Ставка рекламной сети
Для определения оптимального набор экспериментальных точек мы использовали алгоритм ФёдороваРеализован в R в пакете AlgDesign
Федоров В.В. (1971) Теория оптимального эксперимента
![Page 10: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/10.jpg)
Выбор параметров моделирования
• Случайная ошибка
Порог цен RTB биржи
Выручка• Систематическая ошибка
![Page 11: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/11.jpg)
Информационные критерии:
• Критерий Акаике – AIC
• Критерий Шварца – BIC
Выбор параметров моделирования
Количество параметров
модели
Точность модели
Порог цен RTB биржи
Выручка
![Page 12: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/12.jpg)
Одинаковый учёт метрик
• Различные источники статистки могут применять различные методы при подсчёте одних и тех метрик
• Необходимо обеспечить единообразие метода учёта
• Лучше использовать инструменты с понятным поведением
- Yandex RTB - Google Double click for publishers
![Page 13: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/13.jpg)
Необходимо учитывать потери
Площадка
Рекламная сеть
$
Отправлено показов100K
Продано10K
Получено100K
Отправлено90K
Получено обратно90K
100 руб.
𝐶𝑃𝑀=100∗1000
100000−90000=𝟏𝟎 р
CPM – доход на 1000 показов
![Page 14: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/14.jpg)
Необходимо учитывать потери
Площадка
Рекламная сеть
$
Отправлено показов100K Потеряно
5К
Продано10K
Получено95K
Отправлено85K
Потеряно4К
Получено обратно81K
100 руб.
𝑒𝐶𝑃𝑀=100∗1000
95000−85000=𝟏𝟎 р
𝑟 𝐶𝑃𝑀=100∗1000
100000−81000=𝟓 .𝟑 р
![Page 15: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/15.jpg)
При внедрении результатов необходима верификация
Доходность источника спроса зависит от объёма трафика
CPMCPM
Спросна показы
Маленький объём
Большой объём
Высокий средний CPM Низкий средний CPM
Спросна показы
![Page 16: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/16.jpg)
Размер экспериментальной группы влияет на результат
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%0%
1%
2%
3%
4%
5%
6%
7%
8%
9%
10%
размер экспериментальной группы
прирост выручки
![Page 17: Построение моделей на примере продаж рекламы / Алексей Праслов](https://reader034.vdocuments.site/reader034/viewer/2022042610/589cf4b41a28abcc258b5a2d/html5/thumbnails/17.jpg)
Результаты
+6% дохода c оптимизируемых позиций avito.ru после 2 циклов оптимизации
+8% дохода с оптимизируемых позицийm.avito.ru после 1 цикла оптимизации