Сегодня я расскажу, как можно быстро проиндексировать страницы сайта в поисковых системах Яндекса и Google.

Немного печальной истории о том, почему надо было быстро проиндексировать адреса ресурса. Недавно один из клиентских сайтов взломали. На ресурсе было создано 4000 дополнительных страниц с иероглифами. Когда была замечена проблема, а это произошло в течение 2 дней,  поисковые системы проиндексировали весь “китайский мусор”. На момент взлома на сайте было 28 страниц, а после взлома – 4053.  Все позиции по Google упали до 100, поисковая система Яндекса показала не сильный спад. По итогу надо было что-то делать и при этом очень быстро!

Давайте разберемся, как же можно проверить, какие страницы проиндексированы в поисковой системе Яндекс. Для этого необходимо подключить Вебмастер Яндекса и проанализировать статистику. На изображении ниже, вы видите, общее количество проиндексированных страниц в Яндексе Вебмастера.

Можно также использовать оператор site:Название_Домена и посмотреть количество URL в поисковой системе Яндекса. Смотреть на примере ниже.

Если вам необходимо выгрузить все страницы, которые попали в индекс Яндекса, то выберите в левом меню пункт “Индексирование” -> “Страницы в поиске”.

Вы можете наблюдать, какие изменения происходили на вашем сайте.

У меня же стояла задача удалить все мусорные адреса из индекса поисковой системы Яндекс. Первое делом был очищен сайт от вредоносного кода и закрыты уязвимости на ресурсе. Далее все созданные мусорные страницы с кода ответа сервера 200 были заменены на 404. Последним этапом работы стало сообщение поисковой системе, что данные страницы уже отсутствуют на сайте. Для этого я выгрузил все мусорные страницы, которые попали в индекс Яндекса. Это можно сделать в Вебмастере в левом меню в пункте “Индексирование” -> “Страницы в поиске”.

Создал дополнительный sitemap2.xml и добавил его в Вебмастер Яндекс. Это можно сделать  в левом меню в пункте “Индексирование” -> “Файл sitemap”.

Если вам необходимо удалить небольшое количество страниц, то я бы рекомендовал функционал переобхода страниц, который находится в левом меню в пункте “Индексирование” -> “Переобход страниц”. Основная проблема данного сервиса – лимит в 20 URL, который подходит для быстрого индексирование небольшого количества страниц с изменениями.

Далее предстояла работа с Google. Хотя поисковая система и добавила возможность выгружать проиндексированные страницы в новой версии вебмастера , но был один подвох. Выгрузить можно не более 1000 страниц и просмотреть можно только первые 1000 страниц. Это я и сделал, выгрузил все возможные страницы.

Следующим этапом работы было создание sitemap.xml. Есть много сервисов, но я выбрал знакомую для seo специалистов Screaming Frog.

Выбираем в верхнем меню пункт “Mode” и выбираем “List”. Смотреть на изображение ниже.

Далее кликаем на кнопку “Upload” и выбираем “Enter Manually”. В появившемся окне добавляем все 1000 URL. Нажимаем кнопку “Ок” и ждем загрузки всех страниц.

Выбираем в верхнем меню пункт “Sitemaps” -> “Create XML Sitemap”. Кликаем на кнопку “Next” и сохраняем файл xml.

Добавляем новый файл sitemapxml в Вебмастер Google для индексации страниц с кодом ответа 404, чтобы поисковый робот обошел данные страницы и убрал их с индекса.

Можно воспользоваться инструментом Вебмастера Google “Удалить URL-адреса”, но опять же, как и в случае с поисковой системой Яндекс, большое количество страниц займет значительный промежуток вашего времени.

Мне было интересно, что быстрее удалит проиндексированные страницы на сайте добавленный sitemap.xml или инструмент “ Удалить URL-адреса ”. Я лично вручную добавил 400 страниц за 1 час. На следующий день все указанные страницы в инструменте были удалены. Файлу sitemap.xml понадобилось 10 дней, чтобы поисковый робот обошел его и принял решение об удаление мусорных страниц с кодом ответа сервера 404.

Результатом моей работы стало удаление всех мусорных страниц с поисковых систем. Я затратил на это чуть меньше 2 месяцев. Позиции по Яндексу вернулись на свое место, Google упал на 12% от прошлого результата.

Еще хочу оставить ссылки на инструкции поисковых систем Яндекса и Google:

https://support.google.com/webmasters/answer/2642366?hl=ru

https://yandex.ru/support/webmaster/recommendations/indexing.xml