Переобход страниц в вебмастере: полезный инструмент для ускорения индексации в Яндекс

переобход страниц

Даже начинающие интернет-бизнесмены в курсе, что «Переобход страниц» в Вебмастере Яндекса — нужная опция, позволяющая ускорять индексацию и переиндексацию страниц. Сегодня, опираясь на свой более чем 10-летний опыт сайтостроения, расскажу, в каких ситуациях этот инструмент особенно пригодится, и как им пользоваться правильно.

Переобход страниц в Вебмастере: что это такое?

Первый шаг на пути к получению трафика с новых страниц (неважно, будь это информационные статьи или карточки с товарами в интернет-магазине) — это их быстрая индексация поисковыми системами (ПС) с последующим ранжированием и попаданием в ТОП выдачи.

Инструмент «Переобход страниц» (его еще называют «Приоритетный обход») в Вебмастере как раз предназначен для ускорения этого процесса.

Он позволяет вручную отправить быстророботу список приоритетных URL свежих и измененных страниц, которые следует проиндексировать или переиндексировать первыми, и, соответственно, обновить информацию о них в кэше.

Быстроробот забирает информацию в поисковую базу между обновлениями основного индекса, поэтому все собранные им изменения будут учтены и проявлены не сразу, а только после очередного апдейта поисковика.

Зачем может понадобиться переиндексация

Рекомендую активно использовать данный инструментарий при внесении изменений на свои проекты. Причины, по которым может понадобиться переобход, многочисленны.

Вот самые распространенные случаи.

  • На сайте появились обновления, о которых вы хотите быстро сообщить поисковику: свежая статья, новость, карточка товара (если это интернет-магазин), категория, страница меток и так далее.
  • При обходе поисковым ботом возникли технические ошибки: робот не смог обойти страницу (посыпались ошибки в Вебмастере), либо она выпала из индекса (например, как малополезная), и вы желаете поскорее вернуть ее обратно.
  • Вы только создали проект и хотите как можно быстрее сообщить о нем Яндексу. Молодые веб-ресурсы могут долго не индексироваться. Для них переобход особенно полезен и дает дополнительный сигнал ПС о том, что с проектом все в порядке.
  • Ежедневно публикуете большое количество новых материалов. В этом случае переобходчику следует сообщить про наиболее важные и интересные из них (расставить приоритеты), чтобы они первыми попали в основной индекс.
  • Вы внесли важные правки на каком-либо урле. Например, добавили или удалили лишние ключи из текста, поменяли title и description, чтобы сделать страницу более релевантной нужным запросам. Или, наоборот, почистили ее от переспама. Здесь также требуется ускоренно оповестить поисковик об изменениях.
  • У вас молодой развивающийся ресурс, с которого регулярно воруют тексты. Учитывая, что инструмент «Оригинальные тексты» в Вебмастере был закрыт несколько лет назад, сейчас особенно важно своевременно сообщать Яндексу о новом контенте. Ваши странички должны индексироваться первыми, чтобы ПС понимала, кто создатель, а кто — вор, выкладывающий неоригинальные статьи.
  • Если вы не успели закрыть от индексации все дубли, и некоторые из них попали в основную выдачу вместо продвигаемых страниц, нужно быстро внести правки и отправить на переобход.

Когда на проекте нет особых проблем с индексацией и корректно настроен Sitemap в формате xml, дополнительно использовать инструмент переобхода необязательно. Но это в идеале.

Рано или поздно возникают непредвиденные обстоятельства, требующие вмешательства владельца. Например, несколько страниц могут выпасть из индекса с кодом ответа сервера 500 просто потому, что быстроробот зашел в том момент, когда на хостинге проводились профилактические работы.

Частые причины плохой индексации

Самые популярные причины медленной или только частичной индексации интернет-ресурса:

  • Сайт скрыт от поисковиков (как правило, сразу и от Яндекса, и от Google) и не индексируется вовсе.
  • Санкции и фильтры ПС.
  • Много технических недочетов.
  • Сложная многоуровневая структура, при которой искомая страница может оказаться в 5–6 кликах от главной страницы.
  • Длительное отсутствие обновлений.
  • Отсутствие внешних и внутренних ссылок.

Инструкция: как использовать инструмент

Отправка на переобход

Запустить инструмент очень просто.

переобход страниц yandex metrika

  1. Сайт уже должен быть добавлен в Панель Вебмастера. Зайдите в нее, нажав на соответствующий адрес в списке «Мои сайты».
  2. По умолчанию откроется раздел со сводной информацией. Но вам нужно в левой части экрана среди ссылок на разделы найти ссылку «Инструменты» и кликнуть по ней.
  3. После этого раскроется список подразделов, среди которых будет и «Переобход страниц». Кликните по нему.
  4. В верхней части открывшейся страницы появится большое пустое поле. Введите в него список URL-адресов, которые быстроробот должен обойти в первую очередь. Допустимо указывать вместо полного относительный путь без домена, например /pereobhod.html.
  5. Нажмите кнопку «Отправить».

Вот и все! Как только краулер обойдет страницы, в табличке ниже поменяется статус задачи.

Когда Яндекс только запустил этот инструмент, в сутки можно было отправить на индексацию всего 20 веб-адресов. Сейчас лимиты рассчитываются индивидуально и коррелируют с качеством сайта.

Для молодых проектов действует ограничение в 20–30 URL в день, тогда как более авторитетные могут отправлять на переобход больше 100 страниц.

Отслеживание статусов

Как понять, что переобход сработал? На странице инструмента под полем для ввода адресов размещена таблица, где для каждого урла отображается статус и дата отправки.

отслеживание

Есть три типа статусов:

  • «В очереди» — заявка на переобход нужной страницы принята и будет обработана в течение нескольких дней.
  • «Робот обошёл» — то же самое, что «Успешно». Это значит, что робот посетил страницу и успешно забрал данные в базу. Теперь осталось дождаться ближайшего апдейта, чтобы обновления появились в поиске.
  • «Ошибка» — краулер не смог получить доступ к странице, а значит, не переиндексировал ее.

Мониторинг страниц

После запуска переобхода важно своевременно отслеживать все статусы.

мониторинг страниц webmaster ya

Чтобы не пришлось каждый раз заходить в этот раздел и проверять руками, выполните следующие действия:

  1. Настройте отслеживание самых ценных URL, нажав напротив них кнопку «Отслеживать».
  2. После этого кнопка сменится ссылкой «Уже отслеживается». Нажав на нее, вы перейдете в раздел Я.Вебмастера «Мониторинг важных страниц».
  3. Здесь будет предоставлена более подробная информация по отслеживаемым страницам, включая title, description, canonical, дату последнего обхода, код ответа сервера, а также текущий статус страницы в поисковой базе.
  4. Настройте уведомления (например, на ваш e-mail или в специальный раздел), кликнув по значку шестеренки в правом верхнем углу, чтобы всегда быть в курсе.

Еще в этом разделе можно посмотреть все url, которые Яндекс рекомендует к отслеживанию, опираясь на максимальное число кликов в поиске. Но учтите: количество таких страниц лимитировано и составляет всего 100 адресов для каждого сайта.

Что делать, если произошла ошибка?

Если быстроробот не смог попасть на страницу, добавленную на переобход, отобразится ошибка.

В таком случае вам нужно проверить, доступна ли она. Проще всего это сделать в том же Вебмастере, в разделе «Инструменты» – «Проверка ответа сервера».

посмотреть как видит страницу робот yandex

Добавьте проблемный адрес в поле «Опрашиваемый URL», из выпадающего списка выберите «Основной робот Яндекса» (если проверяете обычную страницу, а не мультимедийные данные) и нажмите «Проверить».

ответ сервера в вебмастере

Корректный ответ сервера — 200 OK. Если у вас такой же, отправьте страницу на переобход повторно. Такое случается, пусть и нечасто. В любом ином случае действуйте исходя из ошибки, на которую укажет инструмент.

Полный переобход по Sitemap

Для больших сайтов неудобно вручную добавлять страницы на переобход. Гораздо проще массово запросить индексацию роботом всех страниц. Это тоже можно сделать прямо в Я.Вебмастере при условии, что у вас правильно настроена xml-карта.

обход сайта по sitemap xml

  1. Найдите в разделе «Индексирование» пункт «Файлы Sitemap» и перейдите на эту страницу.
  2. У вас отобразятся все загруженные ранее файлы, относящиеся к карте сайта в виде небольшой таблички.
  3. Напротив нужного файлика между столбцами «Источник» и «Статус» нажмите на значок круговой ссылки. Это действие запустит полный обход по содержащимся в sitemap урлам.

Теперь осталось немного подождать (обычно от 1 дня до 1 недели), чтобы индексатор выполнил задачу.

Действующие ограничения:

  • запуск массового обхода по карте возможен только единожды в месяц;
  • единовременно можно отправить только 10 файлов-источников.

Обход по счетчикам Метрики

Еще один и далеко не последний по удобству способ сообщить Яндексу об обновлениях на своем веб-проекте — подключить обход по счетчику Метрики.

Безусловный плюс такого инструмента в том, что он запустит индексацию без вашего прямого участия. Как только на страницу, на которой есть счетчик, придут первые посетители, робот получит сигнал, что ее нужно проиндексировать.

Пошаговый алгоритм действий:

  1. Добавьте код счетчика Метрики на свой интернет-проект (если еще этого не сделали).
  2. Нажмите напротив настраиваемого сайта справа на иконку с шестеренкой.
  3. Вы попадете на страницу, где осталось лишь нажать кнопку «Привязать», отправив запрос на привязку, и скопировать номер счетчика. Если и Панель Вебмастера, и Метрика для этого ресурса расположены на одном аккаунте, все произойдет автоматически. настройки счетчика
  4. Следом перейдите в Я.Вебмастер в «Настройки» – «Привязка к Яндекс Метрике».привязка к метрике
  5. Кликните мышкой «Подтвердить» в строке с ID вашего счетчика.
  6. В разделе «Индексирование» включите соответствующий тумблер в столбце «Обход». Этим действием вы запустите обход по счетчикам.включение обхода по счетчикам

Если у вас добавлено несколько зеркал (www и без этого префикса, с https и http версии), привязка будет работать и для них.

IndexNow как альтернативный способ

Не так давно Яндекс ввел поддержку протокола IndexNow, который позволяет практически мгновенно уведомлять ПС о последних изменениях, удалении или добавлении свежего контента.

Если вы используете WordPress, вам не составит труда начать применять полезное нововведение IndexNow API, которое способно составить серьезную конкуренцию инструменту переобхода.

И самый простой способ подключения для WP реализован в отдельной вкладке плагина Clearfy Pro.

включение протокола index now

Советы по ускорению индексации

Если на сайте замечены проблемы с индексацией: она отсутствует либо происходит слишком медленно, расскажу, что можно предпринять.

Проверьте запреты

Если стоит запрет на индексирование, боты не будут заходить на него в принципе. Решение проблемы зависит от того, каким способом была установлена блокировка обхода.

  • В файле robots.txt. Проверьте, не закрыты ли важные разделы или сайт целиком с помощью директивы «Disallow».
  • В настройках движка. Например, в админке WordPress в «Настройки» – «Чтение» достаточно поставить всего одну галочку «Попросить поисковые системы не индексировать сайт», чтобы роботы перестали заходить.
  • В HTTP-заголовке X-Robot-Tag. Посмотрите, какие страницы закрыты с помощью этого заголовка и директив в нем «noindex, nofollow» в файле конфигурации .htaccess на вашем сервере.

Был случай, когда запрета на индексацию не стояло, но страницы начали массово выпадать из индекса. По совету техподдержки хостинга в файле .htaccess заблокировали отдельные IP-адреса. Оказалось, некоторые из них принадлежали краулерам самого Яндекса.

Устраните ошибки

Технические ошибки — едва ли не самая распространенная причина плохой индексируемости. Это большое число дублей, битых ссылок, 301 редиректов, ошибок 404, некорректно настроенных canonical и пр.

Обязательно проанализируйте все ошибки, которые появились в Вебмастере. Для этого вам понадобятся два подраздела из группы «Индексирование»:

  • «Статистика обхода»;
  • «Страницы в поиске».

Здесь адреса можно просмотреть вручную, настроив фильтры по HTTP-коду и статусу. Если страничек слишком много, скачайте таблицы со всеми нужными параметрами данных в формате xls или csv, выгрузите в Excel, проанализируйте, исправьте ошибки, после чего отправьте на переобход.

Проанализируйте структуру

Сложная, плохо организованная структура — серьезная помеха для роботов ПС.

  • Большой DFI (Distance from Index), или расстояние от главной. Сильно влияет на поведение роботов. На ресурсах, где много страниц, нужный url находится в 5, а то и в 6–7 кликах от главной, наблюдаются проблемы с индексацией. Чем меньше это значение, тем чаще на страницу заходит краулер как на приоритетную. Поэтому старайтесь уже на этапе создания сайта продумать структуру так, чтобы на любой урл можно было попасть не более чем за 3 клика.
  • Сиротские, или зомби-страницы, как окрестил их Михаил Шакин, — те, на которые не ссылается ни один внутренний url: ни раздел, ни меню, ни другие странички, ничего. Их ПС индексируют со скрипом: сложно определить релевантность, да и попасть роботу по этому адресу, чтобы отсканировать, еще нужно суметь. Данная проблема решается внутренней перелинковкой. Если организовать ее правильно, можно бонусом подтянуть в ТОП многие запросы.

Поработайте над внешним ссылочным

Дополнительно улучшить индексацию можно за счет качественных внешних ссылок.

Это отдельная обширная тема, но если вкратце: ищите для размещения трастовые площадки с высоким ИКС (индексом качества) и хорошим трафиком. Важно, чтобы по ссылке переходили пользователи, иначе она не будет работать в полную силу.

Дополнительно можно поработать над публикациями в популярных соцсетях и мессенджерах. Если позволяет бюджет, наймите SMM-менеджера, который знает эффективные методы создания вирусного контента и привлечения аудитории.

Не забывайте про обновления

Долгое время нет обновлений? Это сигнал для ПС, что проект заброшен и им никто не занимается. Чем реже вы публикуете новые материалы, тем реже будет заходить бот, чтобы не тратить краулинговый бюджет напрасно.

Регулярные обновления контента и добавление новых страниц — залог успеха. Яндекс обращает на это особое внимание, дает приоритет в ранжировании и чаще отправляет бота на индексацию.

Если вся семантика уже выписана, не следует забрасывать работу над проектом. Подумайте, что еще можно добавить, какие новые форматы контента: видеоролики, опросы, инфографику, мнения экспертов (например, с помощью плагина Expert Review) и так далее. Дополнительно это улучшит поведенческие показатели — еще один плюсик в карму.

Ответы на частые вопросы
Как редирект влияет на индексацию?
Как ускорить индексацию страниц, которые отдавали 404 ответ?
Как поисковики относятся к URL c хэш-символами?
Как переобход страниц может повлиять на ранжирование?

Теперь вам известно не только как отправить странички на переобход в Панели Вебмастера, но и все остальные способы форсирования индексации в Яндексе.

Пожалуйста, оцените материал:

По профессии инженер. Выпускница кафедры "Компьютерные технологии управления". Создаю сайты на WordPress с 2009 года.
Получай полезные материалы удобным способом!
Добавить комментарий

Как редирект влияет на индексацию?
Если на странице есть ссылка с 301 редиректом, конечный URL может быть не проиндексирован. Это не строгое правило, но таковы алгоритмы работы поисковых краулеров. Примерно также на этот вопрос ответил официальный представитель Google Джон Мюллер.
Как ускорить индексацию страниц, которые отдавали 404 ответ?
Если адрес страницы по каким-либо причинам отдавал 404 ответ, в связи с чем контент не попал в основной индекс, на переиндексацию может потребоваться больше времени. Это тот случай, когда отправление URL на переобход очень полезно и позволяет быстро решить проблему.
Как поисковики относятся к URL c хэш-символами?
Хэш — символ «#», или «решетка», как правило, добавляется в URL, если на странице есть так называемые якорные ссылки на отдельные части контента (например, в содержании). Такие адреса Яндекс видит, но сами по себе не индексирует, забирая в основную базу всю страницу без хэша.
Как переобход страниц может повлиять на ранжирование?
Напрямую на ранжирование и попадание в ТОП выдачи не влияет. Но чем быстрее качественный веб-проект будет проиндексирован, тем лучше. В эпоху засилья копипаста это гарантия, что авторство будет закреплено за вами как за первым опубликовавшим уникальный контент. И возможность своевременно среагировать на ошибки индексации и исправить все недочеты.