Многорукие бандиты Яндекса (optimization-15)
TRANSCRIPT
![Page 1: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/1.jpg)
Многорукие бандиты Яндекса
Станислав Поломарь [email protected]
webit
Современное SEO: идём по приборам, по абрису или наугад? Михаил Сливинский [email protected]
Wikimart
![Page 2: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/2.jpg)
CTR ТОП10 на выборке комм. запросы Москва
![Page 3: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/3.jpg)
CTR по данным beta.webmaster.yandex.ru
Десятки тысяч неуникальных коммерческих запросов. Сотни тысяч показов, десятки тысяч кликов.
![Page 4: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/4.jpg)
«Поэтому имеет смысл периодически показывать в области видимости документы, по которым пользовательской информации недостаточно для принятия решения о полезности документа; при этом априорная релевантность такого документа может оказаться не самой высокой.»
http://webmaster.ya.ru/replies.xml?item_no=20999
![Page 5: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/5.jpg)
Что сделал Яндекс?За последние 2-3 года проводят активные исследования в области онлайн экспериментов в выдаче.
На https://research.yandex.ru можно найти более 20 публикаций, которые так или иначе связаны с этими вопросами, более 10 из которых относятся к этому году.
Любые сильные изменения не должны приводить к ухудшению качества выдачи, т.е. Яндекс должен уметь:
1. хорошо предсказывать, какие документы стоит «подкинуть»
2. уметь быстро определять как то или иное изменение выдачи влияет на ее качество
![Page 6: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/6.jpg)
«Finally, we applied the whole scheme to several SMAB algorithms and experimentally demonstrated that it enables to notably increase the performance of a major search system in terms of NDCG measure averaged over a 10 day period»
“Gathering Additional Feedback on Search Results by Multi-Armed Bandits with Respect to Production Ranking”, http://www.www2015.it/documents/proceedings/proceedings/p1177.pdf
«Extreme States Distribution Decomposition Method for Search Engine Online Evaluation»,https://drive.google.com/file/d/0B3oTghWSSP4kUEtBZzVRcjFJZUk/
![Page 7: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/7.jpg)
Что мы узнали из вчерашнего доклада:1. Кандидаты - релевантные документы в московской коммерческой выдаче, для которых
прогнозная релевантность = полезный документ
2. Хостовых преференций у кандидатов нет
3. Суть - периодический буст релевантности документа-кандидата запросу с рандомизацией по хосту
4. Объем “многорукобандитской” примеси ограничен потребностью сохранить pfound
5. Долгосрочный тренд при остановленном “бандите” статистически значим и положителен, т.е. удалось найти “новые” полезные документы
6. “Бандит” опять запущен
![Page 8: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/8.jpg)
Замечены раздельные итерации по топам
![Page 9: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/9.jpg)
3 мая 2015
![Page 10: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/10.jpg)
Дальнейшая судьба этих хостов:
![Page 11: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/11.jpg)
Вот такое лето :)
![Page 12: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/12.jpg)
Октябрь.
![Page 13: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/13.jpg)
Документное или хостовое сравнение
![Page 14: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/14.jpg)
Отфильтровать штрафы или бусты можно через нарушения условия транзитивности
![Page 15: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/15.jpg)
В поисках “честной” релевантности
Для интересующих нас документов будем проводить попарное сравнение со всеми документами из ТОП100.
Документы, которые занимают более высокие позиции, но обладают меньшей релевантностью - возможно, “подкинуты” бандитом.
В таблицах ниже:
- синим отмечены продвигаемые документы
- белым отмечены документы, которые “должны быть выше”
- желтым отмечены документы, которые “должны быть ниже”
![Page 16: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/16.jpg)
2х словный ВК/ВЧ
![Page 17: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/17.jpg)
2х словный СК/СЧ
![Page 18: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/18.jpg)
![Page 19: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/19.jpg)
![Page 20: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/20.jpg)
Что если по сотням хостов и тысячам запросов собрать подобные срезы и
сравнить с реальной выдачей?
![Page 21: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/21.jpg)
![Page 22: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/22.jpg)
Бандит: статистика
![Page 23: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/23.jpg)
Бандит: статистика
![Page 24: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/24.jpg)
Активность по хостам
![Page 25: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/25.jpg)
Бандит: немного иллюстраций
![Page 26: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/26.jpg)
Бандит: резюмеуменьшилось количество подмесов бандитана сегодня вчера большая часть запросов стабильныосновным окном для подброса является ТОП30работает позапроснохватает как НЧ, так и СЧ или ВЧв рамках документа, как правило, работает однонаправленноесть документы, которые подкидываются почти по всей семантикесо временем добавочная релевантность пересчитывается в реальнуюпересчет происходит в течение нескольких апдейтовмало/нет активности в регионах и по информационных запросам
![Page 27: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/27.jpg)
Влияние бандита значимо, но что же ссылки?
“Cсылочное ранжирование по коммерческим запросам в Москве и регионе работает так же, как и до 2014 года.”
Екатерина Гладких, 3.11.2015
![Page 28: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/28.jpg)
Ищем “СНСС” по ~ 20К комм. запросов Москва
![Page 29: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/29.jpg)
Доля СНСС по документам в ТОП30 по ~30К комм. запросов Москва
![Page 30: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/30.jpg)
Доля сниппетов с НПС (Яндекс, все запросы)
![Page 31: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/31.jpg)
Доля сниппетов с НПС (Яндекс, коммерческие запросы)
![Page 32: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/32.jpg)
НПС по регионам
![Page 33: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/33.jpg)
Uniq hosts @Yandex10 = f (Q freq)
![Page 34: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/34.jpg)
Персонализация Я по регионам
частотности от 2 до 10 включительно, Яндекс, октябрь
![Page 35: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/35.jpg)
Динамика покрытия спроса колдунщиком Маркета
По 55 980 551 запросам к поиску Яндекса, август-ноябрь 2015
![Page 36: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/36.jpg)
Динамика распределения колдунщиков по топу
![Page 37: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/37.jpg)
Резюме:❏ Продвигать как можно более широкую семантику.
Проект не проседает целиком за счет «бандита».
❏ Ориентироваться на все поисковые машины.Уходить от позиций к трафику (как минимум).
❏ Не стоит рассчитывать на существенный вклад ссылочных факторов.
❏ При встрече с бандитом важно иметь наилучшие поведенческих и CTR.
❏ Фокусироваться на:❏ техническом SEO❏ внутренней оптимизации❏ улучшении запросных и иных поведенческих факторов❏ аналитике
![Page 38: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/38.jpg)
Несколько иллюстраций
![Page 39: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/39.jpg)
Продвижение по 20 запросам?
![Page 40: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/40.jpg)
Выполнение технических требований. 404.
![Page 41: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/41.jpg)
Выполнение технических требований. Дубли.
![Page 42: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/42.jpg)
Что еще? Например, управление брендами:
![Page 43: Многорукие бандиты Яндекса (Optimization-15)](https://reader031.vdocuments.site/reader031/viewer/2022020719/58eccb0b1a28ab1b3c8b456d/html5/thumbnails/43.jpg)
Спасибо за внимание.
Вопросы?
Станислав Поломарь,[email protected]
webit
Михаил Сливинский,[email protected]
Wikimart