Для безопасного закрытия служебных страниц сайта от передачи веса можно сделать следующее:
1️) Воспользоваться «классическим» инструментом закрытия страниц от индексации — файлом robots.txt.
Он достаточно прост в освоении и содержит в себе рекомендации для действий поисковых роботов. В этом файле находятся инструкции (директивы), с помощью которых можно ограничить ботам доступ к определённым папкам, страницам и файлам, задать скорость сканирования сайта, указать главное зеркало или адрес карты сайта.
2️) Ещё один способ запрета индексации страницы — метатег Robots.
С его помощью мы можем сообщить поисковому роботу, что делать на странице. Имеет значения:
- index — индексировать страницу;
- noindex — не индексировать страницу;
- follow — следовать по ссылкам на странице;
- nofollow — не следовать по ссылкам на странице
.
Эти правила поисковый робот будет выполнять ВСЕГДА, в отличие от инструкций в файле robots.txt, которые он может игнорировать. Об этом написано в инструкциях Яндекса и Google
❕Что же касается закрытия служебных страниц скриптом, то так это не делается.
Обычно скриптом скрывают элементы контента на странице от поисковых роботов, но не страницу целиком. Да и скрипт нужно готовить индивидуально под сайт, так как все сайты разные.
Для закрытия служебных страниц индексации достаточно использовать файл robots.txt, но если бот всё равно обходит запрещённые страницы, тогда используют метатег Robots.
