Ответ
Школа файлообмена от Slavegirl Опции темы
Старый 18.10.2020, 18:44
  #21
Matrix
 
Аватар для Matrix
Регистрация: 03.06.2016
Сообщений: 1,099

в .htaccess
рабочий вариант для кэмел-хоста вставлять в самый низ:

SetEnvIfNoCase user-Agent "AhrefsBot/6.1" bad_bot
SetEnvIfNoCase user-Agent "python-requests/2.19.1" bad_bot
SetEnvIfNoCase user-Agent "python-requests/2.12.4" bad_bot
SetEnvIfNoCase user-Agent "AhrefsBot" bad_bot
SetEnvIfNoCase user-Agent "Baiduspider" bad_bot
SetEnvIfNoCase user-Agent "BLEXBot" bad_bot
SetEnvIfNoCase user-Agent "Bytespider" bad_bot
SetEnvIfNoCase user-Agent "Dataprovider.com" bad_bot
SetEnvIfNoCase user-Agent "DotBot" bad_bot
SetEnvIfNoCase user-Agent "Go-http-client" bad_bot
SetEnvIfNoCase user-Agent "istellabot" bad_bot
SetEnvIfNoCase user-Agent "Mail.RU_Bot" bad_bot
SetEnvIfNoCase user-Agent "MJ12bot" bad_bot
SetEnvIfNoCase user-Agent "Newsflow" bad_bot
SetEnvIfNoCase user-Agent "python-requests" bad_bot
SetEnvIfNoCase user-Agent "Seekport Crawler" bad_bot
SetEnvIfNoCase user-Agent "SemrushBot" bad_bot
SetEnvIfNoCase user-Agent "SemrushBot/6~bl" bad_bot
SetEnvIfNoCase user-Agent "SEOkicks" bad_bot
SetEnvIfNoCase user-Agent "The Knowledge AI" bad_bot
SetEnvIfNoCase user-Agent "trendictionbot" bad_bot
SetEnvIfNoCase user-Agent "Wget" bad_bot
SetEnvIfNoCase user-Agent "Xenu Link Sleuth" bad_bot
SetEnvIfNoCase user-Agent "YandexBot" bad_bot
SetEnvIfNoCase user-Agent "YandexBot/3.0" bad_bot
SetEnvIfNoCase user-Agent "YandexMobileBot" bad_bot
<limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</limit>


кто любит раша трафик и яшу - последние 3 строки в списке ботов сотрите

Нравится 1   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Нравится:
Старый 18.10.2020, 19:36
  #22
esteban
 
Аватар для esteban
Регистрация: 30.11.2015
Сообщений: 262

Matrix, спасибо. А как проверить что правила рабочие? Например я скопирую себе это в htaccess, ошибка 500 не вывалилась, вроде как должно примениться правило, но как узнать? Смотреть access логи сервера на наличие запрошенных страниц от бэд-ботов? Если в логах бэд ботов нет, значит сервер их не пускает?
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 18.10.2020, 20:26
  #23
Matrix
 
Аватар для Matrix
Регистрация: 03.06.2016
Сообщений: 1,099

Сообщение от esteban Посмотреть сообщение
Если в логах бэд ботов нет, значит сервер их не пускает?
Так и есть. Запросы от таких клиентов будут отклоняться - и в логах их быть не должно.

Нравится 1   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Нравится:
Старый 19.10.2020, 07:33
  #24
gibon
 
Аватар для gibon
Регистрация: 12.11.2015
Сообщений: 710

Matrix, мне на фрэндхостинге когда-то заблокировали около сотни пауков (а может и больше - не могу найти тот тикет, там всех показали), которые грузили впс. Но как-то по серверной части, не разбираюсь. Так что твой список маловат)

И блокировать Яндекс.. Ну хуй знает. Продажи из России хоть и редкость, но тем не менее. Тем более Яндекс присутствует и в других регионах. И им даже пользуются.
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 19.10.2020, 09:35
  #25
Matrix
 
Аватар для Matrix
Регистрация: 03.06.2016
Сообщений: 1,099

Сообщение от gibon Посмотреть сообщение
Так что твой список маловат)
Я и не говорил что он полный - дополняете в зависимости от логов сервака.
Яндекс по желанию.

Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 20.10.2020, 12:04
  #26
slavegirl
 
Аватар для slavegirl
Регистрация: 16.09.2012
Сообщений: 4,810

Сообщение от dina Посмотреть сообщение
из выше изложенного я понял, что данный сервис прогружает мой сайт со своих серверов который расположены ближе к юзеру. поэтому сайт подгружается быстрей и становится более скоростным. отсюда вопрос - при этом уменьшается нагрузка на сервера моего хостера али нет? Кто знает?
CloudFlare копирует к себе с сайта следующие файлы: все картинки, Javascript-файлики, CSS-стили и статические HTML-странички и распределяет их на супер быстрых серверах по всему миру. И при загрузке сайта пользователем из какой-либо страны вышеперечисленные файлы попадают в браузер пользователя с серверов CloudFlare, расположенных именно в его стране.

1. Нагрузка на сайт уменьшается.
2. Содержимое сайта загружается быстрее.
3. PageSpeed увеличивается.

Нравится 1   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Нравится:
Старый 20.10.2020, 12:24
  #27
Matrix
 
Аватар для Matrix
Регистрация: 03.06.2016
Сообщений: 1,099

Сообщение от slavegirl Посмотреть сообщение
И при загрузке сайта пользователем из какой-либо страны вышеперечисленные файлы попадают в браузер пользователя с серверов CloudFlare, расположенных именно в его стране.
кеши хранятся в америке где и расположена сама клоудфларе - даже если в стране клиента и есть сервак от клары - то все равно данные лежат не на нем, а в америке и пройдут через него транзитом (клиенты то ведь делают запросы со всех точек мира)
ускорение достигается за счет собственной сети серверов - данные идут не через хз какие узлы а по собственной сетке серверов клоудфларе
но полностью избавиться от влияния сторонних узлов не получится

кстати, картинки клара раньше не хранила - я с ними переписывался по этому поводу
не знаю мой запрос повлиял или это было собственное их решение - но картинки таки стали кешировать

Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 20.10.2020, 15:06
  #28
fantom862
 
Аватар для fantom862
Регистрация: 12.10.2015
Сообщений: 26

Если кому надо, вот список блокировки плохих и бесполезных ботов по user-agent для веб-сервера Nginx:
if ($http_user_agent ~* "^Mozilla.*Indy"){return 403;}
if ($http_user_agent ~* "^Mozilla.*NEWT"){return 403;}
if ($http_user_agent ~* "^$"){return 403;}
if ($http_user_agent ~* "^Maxthon$"){return 403;}
if ($http_user_agent ~* "^SeaMonkey$"){return 403;}
if ($http_user_agent ~* "^Acunetix"){return 403;}
if ($http_user_agent ~* "^binlar"){return 403;}
if ($http_user_agent ~* "^BlackWidow"){return 403;}
if ($http_user_agent ~* "^Bolt 0"){return 403;}
if ($http_user_agent ~* "^BOT for JCE"){return 403;}
if ($http_user_agent ~* "^Bot mailto\:craftbot@yahoo\.com"){return 403;}
if ($http_user_agent ~* "^casper"){return 403;}
if ($http_user_agent ~* "^checkprivacy"){return 403;}
if ($http_user_agent ~* "^ChinaClaw"){return 403;}
if ($http_user_agent ~* "^clshttp"){return 403;}
if ($http_user_agent ~* "^cmsworldmap"){return 403;}
if ($http_user_agent ~* "^Custo"){return 403;}
if ($http_user_agent ~* "^Default Browser 0"){return 403;}
if ($http_user_agent ~* "^diavol"){return 403;}
if ($http_user_agent ~* "^DIIbot"){return 403;}
if ($http_user_agent ~* "^DISCo"){return 403;}
if ($http_user_agent ~* "^dotbot"){return 403;}
if ($http_user_agent ~* "^Download Demon"){return 403;}
if ($http_user_agent ~* "^eCatch"){return 403;}
if ($http_user_agent ~* "^EirGrabber"){return 403;}
if ($http_user_agent ~* "^EmailCollector"){return 403;}
if ($http_user_agent ~* "^EmailSiphon"){return 403;}
if ($http_user_agent ~* "^EmailWolf"){return 403;}
if ($http_user_agent ~* "^Express WebPictures"){return 403;}
if ($http_user_agent ~* "^extract"){return 403;}
if ($http_user_agent ~* "^ExtractorPro"){return 403;}
if ($http_user_agent ~* "^EyeNetIE"){return 403;}
if ($http_user_agent ~* "^feedfinder"){return 403;}
if ($http_user_agent ~* "^FHscan"){return 403;}
if ($http_user_agent ~* "^FlashGet"){return 403;}
if ($http_user_agent ~* "^flicky"){return 403;}
if ($http_user_agent ~* "^g00g1e"){return 403;}
if ($http_user_agent ~* "^GetRight"){return 403;}
if ($http_user_agent ~* "^GetWeb\!"){return 403;}
if ($http_user_agent ~* "^Go\!Zilla"){return 403;}
if ($http_user_agent ~* "^Go\-Ahead\-Got\-It"){return 403;}
if ($http_user_agent ~* "^grab"){return 403;}
if ($http_user_agent ~* "^GrabNet"){return 403;}
if ($http_user_agent ~* "^Grafula"){return 403;}
if ($http_user_agent ~* "^harvest"){return 403;}
if ($http_user_agent ~* "^HMView"){return 403;}
if ($http_user_agent ~* "^Image Stripper"){return 403;}
if ($http_user_agent ~* "^Image Sucker"){return 403;}
if ($http_user_agent ~* "^InterGET"){return 403;}
if ($http_user_agent ~* "^Internet Ninja"){return 403;}
if ($http_user_agent ~* "^InternetSeer\.com"){return 403;}
if ($http_user_agent ~* "^jakarta"){return 403;}
if ($http_user_agent ~* "^Java"){return 403;}
if ($http_user_agent ~* "^JetCar"){return 403;}
if ($http_user_agent ~* "^JOC Web Spider"){return 403;}
if ($http_user_agent ~* "^kanagawa"){return 403;}
if ($http_user_agent ~* "^kmccrew"){return 403;}
if ($http_user_agent ~* "^larbin"){return 403;}
if ($http_user_agent ~* "^LeechFTP"){return 403;}
if ($http_user_agent ~* "^libwww"){return 403;}
if ($http_user_agent ~* "^Mass Downloader"){return 403;}
if ($http_user_agent ~* "^microsoft\.url"){return 403;}
if ($http_user_agent ~* "^MIDown tool"){return 403;}
if ($http_user_agent ~* "^miner"){return 403;}
if ($http_user_agent ~* "^Mister PiX"){return 403;}
if ($http_user_agent ~* "^MSFrontPage"){return 403;}
if ($http_user_agent ~* "^Navroad"){return 403;}
if ($http_user_agent ~* "^NearSite"){return 403;}
if ($http_user_agent ~* "^Net Vampire"){return 403;}
if ($http_user_agent ~* "^NetAnts"){return 403;}
if ($http_user_agent ~* "^NetSpider"){return 403;}
if ($http_user_agent ~* "^NetZIP"){return 403;}
if ($http_user_agent ~* "^nutch"){return 403;}
if ($http_user_agent ~* "^Octopus"){return 403;}
if ($http_user_agent ~* "^Offline Explorer"){return 403;}
if ($http_user_agent ~* "^Offline Navigator"){return 403;}
if ($http_user_agent ~* "^PageGrabber"){return 403;}
if ($http_user_agent ~* "^Papa Foto"){return 403;}
if ($http_user_agent ~* "^pavuk"){return 403;}
if ($http_user_agent ~* "^pcBrowser"){return 403;}
if ($http_user_agent ~* "^PeoplePal"){return 403;}
if ($http_user_agent ~* "^planetwork"){return 403;}
if ($http_user_agent ~* "^psbot"){return 403;}
if ($http_user_agent ~* "^purebot"){return 403;}
if ($http_user_agent ~* "^pycurl"){return 403;}
if ($http_user_agent ~* "^RealDownload"){return 403;}
if ($http_user_agent ~* "^ReGet"){return 403;}
if ($http_user_agent ~* "^Rippers 0"){return 403;}
if ($http_user_agent ~* "^sitecheck\.internetseer\.com"){return 403;}
if ($http_user_agent ~* "^SiteSnagger"){return 403;}
if ($http_user_agent ~* "^skygrid"){return 403;}
if ($http_user_agent ~* "^SmartDownload"){return 403;}
if ($http_user_agent ~* "^sucker"){return 403;}
if ($http_user_agent ~* "^SuperBot"){return 403;}
if ($http_user_agent ~* "^SuperHTTP"){return 403;}
if ($http_user_agent ~* "^Surfbot"){return 403;}
if ($http_user_agent ~* "^tAkeOut"){return 403;}
if ($http_user_agent ~* "^Teleport Pro"){return 403;}
if ($http_user_agent ~* "^Toata dragostea mea pentru diavola"){return 403;}
if ($http_user_agent ~* "^turnit"){return 403;}
if ($http_user_agent ~* "^vikspider"){return 403;}
if ($http_user_agent ~* "^VoidEYE"){return 403;}
if ($http_user_agent ~* "^Web Image Collector"){return 403;}
if ($http_user_agent ~* "^WebAuto"){return 403;}
if ($http_user_agent ~* "^WebBandit"){return 403;}
if ($http_user_agent ~* "^WebCopier"){return 403;}
if ($http_user_agent ~* "^WebFetch"){return 403;}
if ($http_user_agent ~* "^WebGo IS"){return 403;}
if ($http_user_agent ~* "^WebLeacher"){return 403;}
if ($http_user_agent ~* "^WebReaper"){return 403;}
if ($http_user_agent ~* "^WebSauger"){return 403;}
if ($http_user_agent ~* "^Website eXtractor"){return 403;}
if ($http_user_agent ~* "^Website Quester"){return 403;}
if ($http_user_agent ~* "^WebStripper"){return 403;}
if ($http_user_agent ~* "^WebWhacker"){return 403;}
if ($http_user_agent ~* "^WebZIP"){return 403;}
if ($http_user_agent ~* "^Widow"){return 403;}
if ($http_user_agent ~* "^WPScan"){return 403;}
if ($http_user_agent ~* "^WWW\-Mechanize"){return 403;}
if ($http_user_agent ~* "^WWWOFFLE"){return 403;}
if ($http_user_agent ~* "^Xaldon WebSpider"){return 403;}
if ($http_user_agent ~* "^Zeus"){return 403;}
if ($http_user_agent ~* "^zmeu"){return 403;}
if ($http_user_agent ~* "360Spider"){return 403;}
if ($http_user_agent ~* "CazoodleBot"){return 403;}
if ($http_user_agent ~* "discobot"){return 403;}
if ($http_user_agent ~* "EasouSpider"){return 403;}
if ($http_user_agent ~* "ecxi"){return 403;}
if ($http_user_agent ~* "GT\:\:WWW"){return 403;}
if ($http_user_agent ~* "heritrix"){return 403;}
if ($http_user_agent ~* "HTTP\:\:Lite"){return 403;}
if ($http_user_agent ~* "HTTrack"){return 403;}
if ($http_user_agent ~* "ia_archiver"){return 403;}
if ($http_user_agent ~* "id\-search"){return 403;}
if ($http_user_agent ~* "IDBot"){return 403;}
if ($http_user_agent ~* "Indy Library"){return 403;}
if ($http_user_agent ~* "IRLbot"){return 403;}
if ($http_user_agent ~* "ISC Systems iRc Search 2\.1"){return 403;}
if ($http_user_agent ~* "LinksCrawler"){return 403;}
if ($http_user_agent ~* "LinksManager\.com_bot"){return 403;}
if ($http_user_agent ~* "linkwalker"){return 403;}
if ($http_user_agent ~* "lwp\-trivial"){return 403;}
if ($http_user_agent ~* "MFC_Tear_Sample"){return 403;}
if ($http_user_agent ~* "Microsoft URL Control"){return 403;}
if ($http_user_agent ~* "Missigua Locator"){return 403;}
if ($http_user_agent ~* "MJ12bot"){return 403;}
if ($http_user_agent ~* "panscient\.com"){return 403;}
if ($http_user_agent ~* "PECL\:\:HTTP"){return 403;}
if ($http_user_agent ~* "PHPCrawl"){return 403;}
if ($http_user_agent ~* "PleaseCrawl"){return 403;}
if ($http_user_agent ~* "SBIder"){return 403;}
if ($http_user_agent ~* "SearchmetricsBot"){return 403;}
if ($http_user_agent ~* "Snoopy"){return 403;}
if ($http_user_agent ~* "Steeler"){return 403;}
if ($http_user_agent ~* "URI\:\:Fetch"){return 403;}
if ($http_user_agent ~* "urllib"){return 403;}
if ($http_user_agent ~* "Web Sucker"){return 403;}
if ($http_user_agent ~* "webalta"){return 403;}
if ($http_user_agent ~* "WebCollage"){return 403;}
if ($http_user_agent ~* "Wells Search II"){return 403;}
if ($http_user_agent ~* "WEP Search"){return 403;}
if ($http_user_agent ~* "XoviBot"){return 403;}
if ($http_user_agent ~* "YisouSpider"){return 403;}
if ($http_user_agent ~* "zermelo"){return 403;}
if ($http_user_agent ~* "ZyBorg"){return 403;}
if ($http_user_agent ~* "WhatWeb"){return 403;}
if ($http_user_agent ~* "python-requests"){return 403;}
if ($http_user_agent ~* "Scrapy"){return 403;}
if ($http_user_agent ~* "SemrushBot"){return 403;}
if ($http_user_agent ~* "AhrefsBot"){return 403;}
if ($http_user_agent ~* "Riddler"){return 403;}
if ($http_user_agent ~* "aiHitBot"){return 403;}
if ($http_user_agent ~* "trovitBot"){return 403;}
if ($http_user_agent ~* "Detectify"){return 403;}
if ($http_user_agent ~* "BLEXBot"){return 403;}
if ($http_user_agent ~* "LinkpadBot"){return 403;}
if ($http_user_agent ~* "FlipboardProxy"){return 403;}
if ($http_user_agent ~* "SurdotlyBot"){return 403;}
if ($http_user_agent ~* "filibot"){return 403;}
if ($http_user_agent ~* "BackDoorBot"){return 403;}
if ($http_user_agent ~* "httplib"){return 403;}
if ($http_user_agent ~* "HubSpot Links Crawler"){return 403;}
if ($http_user_agent ~* "Nimbostratus-Bot"){return 403;}
if ($http_user_agent ~* "WebDataStats"){return 403;}
if ($http_user_agent ~* "linkdexbot"){return 403;}
if ($http_user_agent ~* "AwarioRssBot"){return 403;}
if ($http_user_agent ~* "AwarioSmartBot"){return 403;}
if ($http_user_agent ~* "webtechbot"){return 403;}
if ($http_user_agent ~* "SeopultContentAnalyzer"){return 403;}
if ($http_user_agent ~* "zgrab"){return 403;}
if ($http_user_agent ~* "Go-http-client"){return 403;}
if ($http_user_agent ~* "python-http.client"){return 403;}
if ($http_user_agent ~* "Apache-HttpClient"){return 403;}
if ($http_user_agent ~* "YaK"){return 403;}
P.S. Если будете блокировать user-agent "wget", то сначала убедитесь в том, что Wget не используется на сервере для запуска заданий по расписанию в планировщике cron, например запуск скрипта wp-cron.php для сайта WordPress. Иначе заблокируете выполнение задания через Wget.
Или используйте curl вместо wget для запуска скриптов по расписанию, например:
/usr/bin/curl -O https://example.com/wp-cron.php >/dev/null 2>&1
Нравится 2   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Нравится:
Старый 31.10.2020, 08:56
  #29
Matrix
 
Аватар для Matrix
Регистрация: 03.06.2016
Сообщений: 1,099

Сообщение от Matrix Посмотреть сообщение
Так и есть. Запросы от таких клиентов будут отклоняться - и в логах их быть не должно.
Поправлю себя - на некоторых серверах в логах они будут со статусом ответа 403



пример
157.55.39.126 - - [31/Oct/2020:07:56:48 +0200] "GET /forum/showthread.php?p=7905961 HTTP/1.0" 403 222 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

видно что ответ для бота от сервера - HTTP/1.0" 403

а такой ответ для нормального пользователя:
- - [31/Oct/2020:07:56:46 +0200] "GET /forum/showthread.php?p=8132839 HTTP/1.0" 200 133848 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:77.0) Gecko/20100101 Firefox/77.0"

видим что он получил - HTTP/1.0" 200

пс - я решил заблокировать бинг - толку от него мизер а его боты тупо укладывают сайт - по сути досс атакой
псс - кстати директивы в роботс - очень часто игнорируются роботами - особенно плохими
тот же бинг плевать хотел на ваш роботс
Нравится 1   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Нравится:
Старый 26.11.2020, 14:48
  #30
slavegirl
 
Аватар для slavegirl
Регистрация: 16.09.2012
Сообщений: 4,810

Сообщение от Zlat Посмотреть сообщение
Когда можно ожидать статей по этой теме?
Небольшой анонс для тех, кто следит за мной в DeepWeb. Статья о том, если у вас есть свои блоги и вы хотите научиться немножко нестандартному способу их продвижения в Google.


Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием

Ответ
 
 

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Telegram - идеальный мессенджер для файлообмена slavegirl Файлообмен 26 08.05.2019 07:36
Индустрия файлообмена - общие вопросы и новости Koli-Bri Файлообмен 208 09.08.2013 00:35

Метки
заработок, лайфхаки, обучение постингу, тренды, файлообменник


Здесь присутствуют: 1 (пользователей: 0, гостей: 1)
 
Опции темы

Быстрый переход


Текущее время: 23:59. Часовой пояс GMT +3.