SEO

Основные методы работы индексаторов

В СЕО-сообществе часто воспринимают индексатор, как волшебную палочку, которая должна загнать в индекс любую страницу. Особенно смешно, когда в него пробуют поместить ссылки /goto/ или с /media/js/ и думают, что сделали нормальный Tier3 прогон. Потом возникают вопросы, почему индексатор загнал в индекс только 0-1-5-10% ссылок. Сервисы индексаторов обычно решают одну единственную задачу — приводят на вашу ссылку сканирующего бота Google. А попадет ли ссылка в индекс, зависит от всего того, что написано в предыдущих статьях (Supplemental non-index, Правило 300 ссылок на страницу, Когда и как ссылка начинает работать, Влияние Tier 2 ссылок на индекс (Re-index)).

Какие же основные методы привести сканирующего бота?

Они делятся на два глобальных направления, первые связаны с внутренними линками вашего сайта, который добавлен в консоль. И второй вариант, когда бота зовем по внешним ссылкам.

  • Запросы переиндексации страницы в Google Console. Лимиты в день довольно низкие.
  • Google index API. 200 запросов в день (лучше все не выбирать под 0). Если сможете Google объяснить почему вашему сайту нужно больше запросов (важность сайта и причину частого появления нового контента), то он может значительно увеличить лимит.

Если речь все же идет про индексатор, то он связан с индексированием ссылок на разных сайтах, в основном не ваших. А поэтому эти запросы, должны дальше направить сканирующего бота на внешние ссылки. 

Для этого эти запросы направляем:

  • На страницу с 301 редиректом на внешний линк. Бот переходит довольно редко на внешние ссылки при этой модели. Чем очевиднее внешний редирект, тем меньше переходов.
  • На внутреннюю страницу с нужными внешними ссылками. Мне больше нравится схема 1-2 ссылки с текстом тематическим и 2-3 захода бота, но известны примеры, где используют сотни ссылок на странице (с текстом общетематическим). 

Чистые внешние факторы работы индексаторов:

  • «Моргающие» ссылки на прокаченной странице. Самый частый случай внешних сервисов индексаторов. На странице обычно по 300-500 ссылок, которые меняются после нескольких заходов бота на страницу.
  • Дешевые ссылки с прогонов, которые могут сами попасть в индекс (либо моргающие гестбуки, либо линкопомойки). Важно, что они должны быть dofollow и при этом структура сайта должна быть такой, что ссылка должна быть на 1-2 уровне от главной (чем подольше).
  • Tier2 прогоны, загнанные в индекс через Tier3. Ссылки со страниц, которые сами в индекс не попадают, но с должным подходом внешним, их можно загнать.
  • Нагулянные Google Account. Этот метод нами не проверялся, но в сообществе есть мнение, что если зайти на страницу с активным трастовым Google Account (с нагуляной историей), то она попадает в очередь сканирующего бота. 

И несколько тезисов по теме работы индексаторов:

  • Не забываем про краулинговый бюджет (на обоих сайтах в связке) и что он зависит от траста сайта и правильной технички, но не зависит от рейтинга индекса.
  • Лимиты на каждом домене падают со временем, на дропах хороших они обычно более высокие. Наиболее показательным есть количество страниц в индексе, которое было на старом сайте.
  • Если вы чекаете UserAgent’а не забудьте его проверять по Reverse DNS, если бота не напрямую зовёте на страницу. Много трафика, который мимикрирует под него.
  • Страница не обязательно должна попасть в индекс, чтобы по ссылкам на ней сканирующий бот перешел по следующей ссылке. Но обязательно dofollow.
  • Не рекомендуем использовать внешние сервисы индексаторы на белых проектах. Там чаще всего моргающие ссылки. Лучше стройте правильную структуру на своем проекте, чтобы был доступ сканирующему боту. Если при этом бот не может попасть на нее, то, наверняка, проблемы в техничке.
  • Приход сканирующего бота, не дает никаких гарантий индексирования, но без этого этапа, индексации не будет в любом случае.
Теги
Кнопка «Наверх»
Закрыть
Закрыть