Ответ
Вопросы - спрашиваем и отвечаем по мелочи Опции темы
Старый 04.01.2019, 13:39
  #1701
daemon
 
Регистрация: 21.04.2011
Сообщений: 1,143

Всем привет!
Подскажите, как победить бота Semrush? Добавил запрет в роботс и htaccess, но все равно он каким-то чудом пролазит.
Как его забанить то?
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 04.01.2019, 14:28
  #1702
Matrix
 
Аватар для Matrix
Регистрация: 03.06.2016
Сообщений: 1,099

Сообщение от daemon Посмотреть сообщение
Всем привет!
Подскажите, как победить бота Semrush? Добавил запрет в роботс и htaccess, но все равно он каким-то чудом пролазит.
Как его забанить то?
рабочий вариант для кемела в htaccess
SetEnvIfNoCase user-Agent "python-requests/2.19.1" bad_bot
SetEnvIfNoCase user-Agent "python-requests/2.12.4" bad_bot
SetEnvIfNoCase user-Agent "SemrushBot" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</limit>



вставляйте правило выше других чтоб сразу отсекать
Нравится 2   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Нравится:
Старый 04.01.2019, 14:31
  #1703
daemon
 
Регистрация: 21.04.2011
Сообщений: 1,143

Matrix, спасибо!
Единственное, я не на Кемеле, надеюсь сработает.
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 04.01.2019, 14:34
  #1704
Matrix
 
Аватар для Matrix
Регистрация: 03.06.2016
Сообщений: 1,099

Сообщение от daemon Посмотреть сообщение
Единственное, я не на Кемеле, надеюсь сработает.
На разных хостингах конфигурации настроек серверов отличаются.
Если не сработает, напишите вашему хостеру, приведите этот пример и спросите как правильно прописать для его сервака.

Нравится 1   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Нравится:
Старый 04.01.2019, 15:37
  #1705
daemon
 
Регистрация: 21.04.2011
Сообщений: 1,143

SetEnvIfNoCase User-Agent "ahrefs.com" bad_bot
SetEnvIfNoCase User-Agent "SemrushBot" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
Matrix, еще раз спасибо
Нравится 1   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Нравится:
Старый 04.01.2019, 22:36
  #1706
rety
 
Регистрация: 04.05.2011
Сообщений: 382

deleted post
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 09.01.2019, 23:20
  #1707
vlass
 
Аватар для vlass
Регистрация: 11.10.2015
Сообщений: 27

Коллеги , подскажите контакт толкового копирайтера , желательно носителя языка , задача - описание главной сайтов 2000-3000 тыс символов по тематике , за адекватную цену . Спасибо
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 09.01.2019, 23:52
  #1708
slavegirl
 
Аватар для slavegirl
Регистрация: 16.09.2012
Сообщений: 4,810

Сообщение от vlass Посмотреть сообщение
подскажите контакт толкового копирайтера , желательно носителя языка , задача - описание главной сайтов 2000-3000 тыс символов по тематике , за адекватную цену .
  1. Вы не указали какого именно языка.
  2. Если после слова стоит запятая, пробел перед ней не нужен - это потом поможет сэкономить на услугах копирайтинга.
  3. Толковых копирайтеров сотни. Выбирайте по отзывам, знаниям языков, ну и ценам, конечно же. Ссылка ниже:

https://searchengines.guru/forumdisplay.php?f=68

Нравится 1   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Нравится:
Старый 11.01.2019, 10:11
  #1709
vladimir
 
Аватар для vladimir
Регистрация: 03.01.2014
Сообщений: 595

Всем привет. С Наступающим Старым Новым Годом!!! Ищу постера под ником rakom. Если на сайте он есть, просьба написать мне в пм. Есть разговор.

Спасибо.
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 12.01.2019, 13:13
  #1710
goldering
 
Регистрация: 18.07.2013
Сообщений: 135

Господа подскажите как правильно настроить ( Inline Related Posts или Related Posts by Taxonomy)для перелинковки блога или сбросьте сылку где можно почитать или просмотреть как правильно плагин настроить. Никак не могу разобратса! Буду благодарен за помощь!
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием

Ответ
 
 

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Сервис «Вопросы и ответы» от Quora Alsu Статьи 1 07.12.2012 06:12
Блог - есть вопросы gansmorgan Вопросы 12 06.09.2012 14:57
Вопросы по созданию сайта. poser01 Вопросы 7 05.09.2012 20:31
Общие вопросы Bentley Вопросы 4 30.05.2012 11:48
Вопросы по TradeExpert.net AggreSSor Статьи 0 21.11.2011 19:42



Здесь присутствуют: 3 (пользователей: 0, гостей: 3)
 
Опции темы

Быстрый переход


Текущее время: 18:07. Часовой пояс GMT +3.