Стал замечать, что мой сайт часто парсят конкуренты всяким софтом типа Netpeak Spider, XENU. Во время парсинга сайт практически «лежит», так как этот софт сильно грузит систему.
Решил закрыться от всяких ботов. Как это лучше реализовать — через .htaccess или robots.txt?
Возможно есть ещё какой-то вариант?
Вопрос-ответ
Вы можете задать мне приватные или общие вопросы по тематике сайта, все сообщения модерируются
Комментарий
Никаких комментариев пока не создано.
- Страница :
- 1
На это сообщение еще не было создано никаких ответов.
Будьте первым, кто ответит на него.
Будьте первым, кто ответит на него.