Для того, чтобы бот увидел изменения как можно раньше — отправляйте страницы на переобход в Вебмастере. Если с краулинговым бюджетом у сайта проблемы, то можете написать в техподдержку или внедрить один из советов siteclinic.
- Увеличить скорость сайта. Ускорение загрузки сайта, как правило, приводит к тому, что робот Google начинает сканировать больше URL. Что вполне логично. Если раньше бот тратил 5 секунд на одну страницу, а вы уменьшили это время до одной – краулинговый бюджет изменится обратно пропорционально
- Улучшить внутреннюю перелинковку
- Уменьшить глубину сайта. Отчасти задача тоже связана с перелинковкой. Чтобы бот чаще краулил страницу, она должна быть доступна в 2–4 клика от главной. Чем глубже находится страница, тем реже её обходит бот
- Убрать «сиротские страницы». Сиротские страницы — это страницы, на которые нет внутренних или внешних ссылок. Случается, что страницу создали, а ссылку на неё поставить – забыли. Следовательно, как боту узнать о существовании документа? Удаляем мусорные страницы (дубликаты, документы низкого качества)
- Запретить действия, которые не может выполнить робот Googlebot. С помощью robots.txt можно запретить сканирование страниц входа, контактных форм, корзин покупок и других страниц, единственная функциональность которых не может быть выполнена сканером
- Избавиться от бесконечной пагинации. Представим ситуацию: есть страница категории «Каталог одежды для девочек». Она разбита на 1234 страницы пагинации. Но если перейти на 1235 или 3179 – получим ответ сервера 200 ОК. Хоть товара на таких страницах и нет. Бесконечная пагинация вредит краулинговому бюджету. При обходе бот тратит свои ресурсы на обход бесполезных страниц без товара. Как исправить: настройте автоматический редирект с несуществующих страниц пагинации на последнюю.
- Удалить идентификатор сессии из URL
- Уменьшить количество страниц, которые отдают 4xx и 5xx ответы сервера
- Уменьшить количество ссылок с редиректами
- Привести в порядок XML-Sitemap
- Закрыть ссылки rel=»nofollow»
- Настроить HTTP-кеширование
Обычно нужно подождать 2-3 апдейта для восстановления позиций
Причиной просадки может быть не только переспам, но и само увеличение меню при малом количестве другого контента — тогда страницы могут стать неявными дублями. Решить эту проблему можно либо сократив меню, либо добавив больше контента на страницу
