ab-тестирование: на что следует обратить внимание /...
TRANSCRIPT
![Page 1: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/1.jpg)
АБТ: на что следует обратить внимание?Маликов Артур, руководитель группы, Яндексv7
![Page 2: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/2.jpg)
•Как оценить влияние запуска?
•Как избежать типичных ошибок?
![Page 3: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/3.jpg)
Продажи Amazon Kindle
10/23/2008
10/24/20
08
10/25/2008
10/26/20
08
10/27/2008
10/28/2008
10/29/2008
10/30/2008
10/31/2008
![Page 4: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/4.jpg)
Kindle Is Oprah’s «New Favorite Thing in the World»
10/23/2008
10/24/20
08
10/25/2008
10/26/20
08
10/27/2008
10/28/2008
10/29/2008
10/30/2008
10/31/2008
![Page 5: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/5.jpg)
Проведение AB-экспериментов в вебе
•Контроль и эксперимент идут одновременно •Пользователь не знает, что находится в эксперименте
•Нет непосредственного контакта
![Page 6: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/6.jpg)
Сравнить две версии между собой
![Page 7: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/7.jpg)
![Page 8: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/8.jpg)
Реализация
•Разбиение на группы• Составление и выкладка конфигурации экспериментов
• Логирование факта попадания в эксперимент
•Обработка логов, расчет метрик и значимости изменений
• Анализ результатов и принятие решения.
![Page 9: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/9.jpg)
Разбиение на группы•Случайное разбиение•Варианты разбиения:
• По пользователям (куки)• По запросам
•Минимальный размер выборки (слот)• Репрезентативность
•Как часто перемешивать группы?• Каждые N часов• По окончании эксперимента
![Page 10: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/10.jpg)
Метрики
•Типы метрик•Примеры метрик
• Число запросов• Время до первого клика• Доля запросов без кликов• Число сессий на пользователя
•Границы применимости
![Page 11: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/11.jpg)
Матчасть•A vs B (“контроль” и “эксперимент”)
•M(X) – случайная величина•diff = M(A)-M(B)•diff значима? •diff = эффект воздействия изменения + случайность
•Для измерения эффекта используем статистические тесты
![Page 12: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/12.jpg)
Анализ результатов
![Page 13: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/13.jpg)
Метрики
•Валидация метрик•Регламент приемки
![Page 14: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/14.jpg)
АБТ: Важные моменты
![Page 15: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/15.jpg)
До запуска эксперимента
•Длительность задается заранее
•Выписать ожидания и критерий приемки
![Page 16: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/16.jpg)
Контрольная группа
•Каждому эксперименту свой контроль?
• Для серии экспериментов – нет• Для разных экспериментов – да
•Контроль и эксперимент равных объемов?
![Page 17: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/17.jpg)
Некоторые особенности интерфейсных экспериментов
•Пользователь должен привыкнуть•Расчет результатов по определенным пользователям
•Изменение поведенческих привычек
![Page 18: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/18.jpg)
Поисковая выдача
![Page 19: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/19.jpg)
Сколько экспериментов может видеть пользователь?
Control1 EXP1
EXP2
Control2
salt2
Попадает в EXP2 и Control 1Попадает в EXP2 и EXP 1
salt1
![Page 20: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/20.jpg)
Полезности
•Мониторинги и возможность быстро отключить эксперименты
•Считать метрики только на том потоке, где были изменения
•Обратные эксперименты•Длительность эксперимента (7N)
![Page 21: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/21.jpg)
АБТ: Инструменты и анализ результатов
![Page 22: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/22.jpg)
Анализ результатов
•Сопоставлять план и факт•Неожиданное улучшение – всё равно надо разобраться
•Смотрим на метрики для контроля•Помним о границах применимости метрик
![Page 23: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/23.jpg)
Инструменты
•Хранить историю проведения экспериментов и логи(!)
•Анализ поведения отдельного пользователя•Возможность считать метрики по срезам и быстро переключаться между ними
• Яркий пример среза – браузеры
![Page 24: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/24.jpg)
СтатистикаЯндекс.Поиск @ 2014:• ~1000 экспериментов за год• ~100 экспериментов одновременно• 21% выкатывается в продакшн
Бинг @ 2013:• 1 пользователь видит до 15 экспериментов одновременно
Информация из открытых источников:http://www.exp-platform.com
![Page 26: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/26.jpg)
АБТ: Бонус про матчасть
![Page 27: AB-тестирование: на что следует обратить внимание / Артур Маликов (Яндекс)](https://reader035.vdocuments.site/reader035/viewer/2022062223/586f8fa11a28ab54768b768f/html5/thumbnails/27.jpg)
Матчасть•Формулировка основной гипотезы H0 (метрики равны) конкурирующей гипотезы H1 (метрик не равны)
•Задание уровеня значимости α (ошибка первого рода)
•Расчет p-value•Принятие решения
• P-value > α – тогда принимаем основную гипотезу
• P-value <= α – конкурирующую гипотезу