Вопрос-ответ

Вы можете задать мне приватные или общие вопросы по тематике сайта, все сообщения модерируются
  1. eAndy
  2. СЕО
  3. 01.01.2020
Стал замечать, что мой сайт часто парсят конкуренты всяким софтом типа Netpeak Spider, XENU. Во время парсинга сайт практически «лежит», так как этот софт сильно грузит систему.

Решил закрыться от всяких ботов. Как это лучше реализовать — через .htaccess или robots.txt?
Возможно есть ещё какой-то вариант?
Комментарий
Никаких комментариев пока не создано.
Ответ принят Ждет модерации

Файл .htaccess — это лучший вариант для скрытия сайта от ботов. В нём производятся сложные конфигурационные настройки, в том числе и блокировка по IP и User-agent.
Комментарий
Никаких комментариев пока не создано.
  1. больше, чем месяц назад
  2. СЕО
  3. # 1
Ответ принят Ждет модерации
Сделать Вы это можете следующими способами:

▫️ Вручную, прописав самостоятельно запрещающие настройки в файле. Но если Вы не обладаете специальными знаниями, то лучше доверьте эту работу программисту.

▫️ Через панель хостинга: многие хостеры дают возможность клиентам прописывать запреты для ботов через интерфейс. Вам нужно только определить какие именно IP и юзер-агенты блокировать.

Для этого проверьте какие боты создают наибольшую нагрузку на сайт через панель того же хостинга. Либо проведите глубокий анализ логов самостоятельно. Для анализа логов используйте Power BI. Подробная инструкция как анализировать логи с её помощью — https://eandy.ru/ssylki-na-servisy
Комментарий
Никаких комментариев пока не создано.
  1. больше, чем месяц назад
  2. СЕО
  3. # 2
  • Страница :
  • 1


На это сообщение еще не было создано никаких ответов.
Будьте первым, кто ответит на него.
Ваш ответ
Загрузите файлы или изображения для данного обсуждения, нажав на кнопку Загрузить. Поддерживает до gif,jpg,png,jpeg,zip,rar,pdf
• Инстаграм • Удалить Загрузка файлов (Максимальный размер файла: 2 MB)
Капча
Прежде чем Ваш вопрос будет опубликован, для защиты нашего веб-сайта от роботов и неавторизованных скриптов мы требуем, чтобы Вы ввели ниже код кептчи.