Максимизация индекса: optimization 2015

Максимизация индекса

Олег ШестаковOptimization 2015

Рекламно-консалтинговое агентство Rush

Москва ул. Бутлерова 17б m: [email protected]



Занимаюсь SEO c 2008 года Участвовал более чем в 100 SEO-проектах Специализация: Ecommerce, проекты с обширной семантикой, автоматизация в SEO CEO в Rush Agency CTO в Rush Analytics

Обо мне



Что такое краулинговый бюджет и от чего зависит

Какие методы ускорения индексации используют оптимизаторы?

Какие методы реально работают

О чем доклад?



Crawl Rank – квота на заходы индексирующих роботов на сайт. Может рассчитываться отдельно для сайта/папки/URLОт чего зависит? Регулярность обновления контента Входящие ссылки на хост/папку/URL Трафик (в т.ч. поисковый) на сайт/папку/URL Паттертн URL (посимвольный матчинг) Качество и уникальность контента (уникальность шинглов)

Краулинговый бюджет (Crawl Rank) – что это*



Ссылки, трафик – чем больше тем лучше (спасибо, кэп ) Ссылки и трафик на хабовые страницы Регулярность обновления контента Входящие ссылки на хост/папку/URL Трафик (в т.ч. поисковый) на сайт/папку/URL Паттертн URL (посимвольный матчинг) Качество и уникальность контента (уникальность шинглов в масштабах интернета)

Как максимизировать краулинговый бюджет?



Паттерн URL – по нашим наблюдениями Яндекс мэтчит похожие URL побуквенно и выделяет краулинговый бюджет на весь кластер страниц, т.е.:

www.site.ru/skorovarkiwww.site.ru/skorovarki/redmond www.site.ru/skorovarki/redmond/skorovarka-f-555-s Вся папка будет иметь один и тот же бюджет на индексацию, в том числе и карточки товара

URL вида www.site.ru/12345/skorovarka-f-555-s позволит каждой карточке иметь свой бюджет на индексацию, не зависящий от категории, к которой она относится (где 12345, например, ID товара базе данных)

Над чем можно работать точечно?

http://www.site.ru/skorovarki

http://www.site.ru/skorovarki/redmond

http://www.site.ru/skorovarki/redmond/skorovarka-f-555-s

http://www.site.ru/12345/skorovarka-f-555-s



Около 7-9го ноября был сменен паттерн URL карточек товара

Пример реакции робота на смену паттерна URL кароточек



Уникальность контента в масштабах интернета – старайтесь, чтобы ваш контент был уникален по шинглам (в 5-6 слов).

Для карточек товара старайтесь расположить текст характеристик НЕ как у конкурентов – можно перемешать – поменять местами Если на карточке товара есть 2-3, а лучше более отзывов – она уже будет достойна индексации Можно использовать методы генерации кусков контента для классифайдов: (недвижимость, адреса организаций, агрегаторы скидок) – это работает. Пример www.shoppingplus.ru

Над чем можно работать точечно?

http://www.shoppingplus.ru/



Опрос 150 оптимизаторов, ноябрь 2015 года, Rush Agency

Популярность методов ускорения индексации



Да, все еще работает – не стоит пренебрегать этим методом. По нашей информации нет «пессимизации на приход бота» за авто-сабмит в Addurl ботами(Из беседы с сотрудниками Яндекса на одной из конференций)

При добавлении в Addurl Google – страница может попадать в индекс в считанные минуты Больше никаких нюансов – разгадываем капчу, постим страницы в Addurl

Addurl Яндекса и Google



Посты за 2-5 рублей уже не работают, давно Яндекс получает прямой feed Twitter (инфо на прошлый год) Яндекс строит свои метрики «анти-спама» для прихода быстро-бота по ссылкам из Twitter:

o Обсчитывается аналог PageRank внутри Twittero Обсчитывается количество подписчиков/ретвитов/связейo Важно: обсчитывается отношение твитов с ссылками к твитам без

ссылокo Обсчитываются метрики распространения твитов аккаунта(По материалам научного семинара Яндекса)

Решение: покупка твитов с реальных дорогих аккунтов/построение «умной сетки»

Ссылки с Twitter



После закрытия ya.ru не было замечено существенного влияния ссылок из социальных сетей на привод бота

«Тема» с кнопками Pluso от Яндекса по нашим наблюдениям не дает такого эффекта

Спам в Google+ не имеет смыла т.к. проблем с индексацией в Google обычно нету

Ссылки из социальных сетей



Sitemap.xml является отдельной, обособленной точкой входа индексирующего бота на сайт (из бесед с сотрудниками Яндекса)

Sitemap.xml является не правилом, а рекомендацией для робота – можно смело удалять проиндексированные страницы из Sitemap.На опыте больших сайтов – страницы не выпадают из индекса – все ОК

Метод работает для привода бота

Метод эффективен лишь для страниц, которые достойны индексации

Sitemap.xml только с непроиндексированными URL



Крайне эффективная методика простановки нужных ссылок для бота Довольно сложная техническая реализация Полный автомат с обратной связью – произведение SEO-искусства

«Ловец ботов»



Покупка ссылок с главных страниц в Sape – на данный момент слишком рискованная методика, которая не стоит своих риском. Эффект на данный момент крайне слабый

Сервисы типа GetBot.guru – логика аналогична методу с Sape, все еще работает но уже не так как раньше. По информации с последней вебмастерской – метод «был спален» и теперь индексирующий робот и быстробот знают – какие ссылки проставлены этими сервисами.

Из-за «мутных» схем оплаты сервисов «ускорения индексации» нерентабельна с финансовой точки зрения.

Прочие популярные методы



Плоская структура Хабовые страницы Ловец ботов Ссылочное на хабовые страницы

Комбинируем методы и создаем комбайн индексации



Хабовые страницы – страницы, которые содержат списки разделов/подразделов в большом количестве и обычно не имеют поискового трафика. Работают для навигации пользователей и ботов.

Разводим все хабовые страницы на 1 клик от главной С хабовых страниц делаем ссылки на хабовые второго уровня Связываем хабовые страницы второго уровня между собой для удержания в индексе

Комбайн индексации: плоская структура & хабы



Портал недвижимости – пример хабовых страниц



Хабовые 2LVL – смотрим у конкурентов



Проблема вложенности – не проблема Хабовые страницы Avito.ru



Суть технологии – в момент прихода робота на страницу, специальный скрипт показывает роботы ссылки именно на непроиндексированные страницы.

Оформление – «рекомендуемые товар», «лидеры продаж» и т.д.

Комбайн индексации: «ловец ботов»



«Ловец ботов» - разберем подробнее

1.Ловим бота по User-agent

2.В момент загрузки страницы подмешиваем в код не проиндексированные ссылки

3.Если бот перешел по ссылке удаляем ее из стека простановки

4.Новая итерация с оставшимся стеком



Ловец ботов: блок-схема



Ловец ботов: пример реализации



Ловец ботов – уровень БОГ



Как правильно пробивать индексацию? Яндекс: только url: Google: только info:Данные в панелях вебмастеров – кривые! Чтобы ни говорили сотрудники ПС!



Спасибо за внимание!Доклад подготовил: Олег ШестаковWEB: www.rush-agency.ru www.rush-analytics.ru Mail: [email protected] FB: Facebook.com/shestakov.oleg

http://www.rush-agency.ru/

http://www.rush-analytics.ru/

mailto:[email protected]

Максимизация индекса: optimization 2015

Marketing