Сегодня я расскажу, как можно быстро проиндексировать страницы сайта в поисковых системах Яндекса и Google.
Немного печальной истории о том, почему надо было быстро проиндексировать адреса ресурса. Недавно один из клиентских сайтов взломали. На ресурсе было создано 4000 дополнительных страниц с иероглифами. Когда была замечена проблема, а это произошло в течение 2 дней, поисковые системы проиндексировали весь “китайский мусор”. На момент взлома на сайте было 28 страниц, а после взлома – 4053. Все позиции по Google упали до 100, поисковая система Яндекса показала не сильный спад. По итогу надо было что-то делать и при этом очень быстро!
Давайте разберемся, как же можно проверить, какие страницы проиндексированы в поисковой системе Яндекс. Для этого необходимо подключить Вебмастер Яндекса и проанализировать статистику. На изображении ниже, вы видите, общее количество проиндексированных страниц в Яндексе Вебмастера.
Можно также использовать оператор site:Название_Домена и посмотреть количество URL в поисковой системе Яндекса. Смотреть на примере ниже.
Если вам необходимо выгрузить все страницы, которые попали в индекс Яндекса, то выберите в левом меню пункт “Индексирование” -> “Страницы в поиске”.
Вы можете наблюдать, какие изменения происходили на вашем сайте.
У меня же стояла задача удалить все мусорные адреса из индекса поисковой системы Яндекс. Первое делом был очищен сайт от вредоносного кода и закрыты уязвимости на ресурсе. Далее все созданные мусорные страницы с кода ответа сервера 200 были заменены на 404. Последним этапом работы стало сообщение поисковой системе, что данные страницы уже отсутствуют на сайте. Для этого я выгрузил все мусорные страницы, которые попали в индекс Яндекса. Это можно сделать в Вебмастере в левом меню в пункте “Индексирование” -> “Страницы в поиске”.
Создал дополнительный sitemap2.xml и добавил его в Вебмастер Яндекс. Это можно сделать в левом меню в пункте “Индексирование” -> “Файл sitemap”.
Если вам необходимо удалить небольшое количество страниц, то я бы рекомендовал функционал переобхода страниц, который находится в левом меню в пункте “Индексирование” -> “Переобход страниц”. Основная проблема данного сервиса – лимит в 20 URL, который подходит для быстрого индексирование небольшого количества страниц с изменениями.
Далее предстояла работа с Google. Хотя поисковая система и добавила возможность выгружать проиндексированные страницы в новой версии вебмастера , но был один подвох. Выгрузить можно не более 1000 страниц и просмотреть можно только первые 1000 страниц. Это я и сделал, выгрузил все возможные страницы.
Следующим этапом работы было создание sitemap.xml. Есть много сервисов, но я выбрал знакомую для seo специалистов Screaming Frog.
Выбираем в верхнем меню пункт “Mode” и выбираем “List”. Смотреть на изображение ниже.
Далее кликаем на кнопку “Upload” и выбираем “Enter Manually”. В появившемся окне добавляем все 1000 URL. Нажимаем кнопку “Ок” и ждем загрузки всех страниц.
Выбираем в верхнем меню пункт “Sitemaps” -> “Create XML Sitemap”. Кликаем на кнопку “Next” и сохраняем файл xml.
Добавляем новый файл sitemapxml в Вебмастер Google для индексации страниц с кодом ответа 404, чтобы поисковый робот обошел данные страницы и убрал их с индекса.
Можно воспользоваться инструментом Вебмастера Google “Удалить URL-адреса”, но опять же, как и в случае с поисковой системой Яндекс, большое количество страниц займет значительный промежуток вашего времени.
Мне было интересно, что быстрее удалит проиндексированные страницы на сайте добавленный sitemap.xml или инструмент “ Удалить URL-адреса ”. Я лично вручную добавил 400 страниц за 1 час. На следующий день все указанные страницы в инструменте были удалены. Файлу sitemap.xml понадобилось 10 дней, чтобы поисковый робот обошел его и принял решение об удаление мусорных страниц с кодом ответа сервера 404.
Результатом моей работы стало удаление всех мусорных страниц с поисковых систем. Я затратил на это чуть меньше 2 месяцев. Позиции по Яндексу вернулись на свое место, Google упал на 12% от прошлого результата.
Еще хочу оставить ссылки на инструкции поисковых систем Яндекса и Google:
https://support.google.com/webmasters/answer/2642366?hl=ru
https://yandex.ru/support/webmaster/recommendations/indexing.xml