У вас трафик вырос на 61,5%, а профит понижается?

**Maxim** · 14.12.2013, 11:39

В 2013 году на многих сайтах возрасла посещаемость, но профит не то что вырос, он даже местами проседает. В чём причина?

Причина в одном, весь трафик который приходит на сайты не фейковый, но и не целевой. По данным мониторинга аналитической компании Incapsula рост трафика обусловлен в основном возросшей частоты посещаемости сайтов ботами, которые обогнали людей по количеству визитов на 61,5%!

Основными инициаторами большей части запуска ботов являются поисковые системы.

Если в 2012 году соотношение живого трафика против ботов составляло 49% против 51 % в пользу ботов, то в 2013 году это соотношение только возросло в сторону не живого трафика: 38,5% пользователей против 61,5% ботов.

Далее компания Incapsula поясняет, что поисковые системы в последнее время увеличили частоту индексации сайтов из-за этого резко возросло количество не целевых посетителей. Вторыми кто нагоняет левый трафик в среднем где-то на каждый сайт в количестве 5% являются «скреперы» (scrapper), копипастные инструменты, которые в автоматическом режиме грабят контент сайта с дальнейшей целью создания сетки сателлитов или доров, к примеру из популярных в русском сегменте: ContentDownloader, Content Monster, Zebroid, Xrumer и т.д. Ещё кто занимается генерацией не живого трафика это хакеры со своими хакерскими инструментами, на их долю приходится 4,5% не целевого трафика.

Инструменты для DDoS-атак, составляющие 20,5% трафика были выделены в отдельную категорию -“Impersonators”. Из-за большого количества запросов к сайтам во время проведения DDoS-атак количество посещений ботами, составляет почти 99,9% всего трафика, по этой причине - Инструменты для DDoS-атак выделили в свою отдельную категорию, так как боты используемые для хакерских атак, способны на имитацию user-agent и cookie, маскируясь под реальных посетителей.

**Midas** · 14.12.2013, 14:57

Вышла радость по обману. Самое обидное то, что отличить визит бота от визита человека практически не реально. Вот и думаешь почему на тысячу визитов лишь десяток кликов по баннерам. Вообще этого стоило ожидать. Интересно какое влияние автовизитеров на показатель отказов, учитывается анализаторами или нет?

**KLOP** · 14.12.2013, 15:03

это выходит владельцы сайтов уже сливают в партнёрки фейковый траф от ботов, потом ещё сами партнёрки ботов активно подливают и конверсии выходит адвертам, которые в партнёрках скупают траф так много, что придётся 300 лет на новый бентли зарабатывать.
а Google ещё с Яндексом нам пропагандируют про поведенческие факторы, да кому они нужны, когда такая бедовая ситуация получается

**Ребиллер** · 14.12.2013, 15:34

И не говори, выкупать такой траф вообще нерентабельно -конверсия равна если не единице, единицам точно

**KLOP** · 14.12.2013, 16:31

да не то слово нерентабельно - без штанов останешься, в такие минуса уходишь, аж сводит хозяйство ниже пояса.
весь нормальный трафик там между своими делят, уже столько партнёрок лопнуло, а новых ещё больше открывается, чем тех что ушли не попрощавшись, благо ещё Google с Яндексом этим не занимаются, а то вообще не знал бы куда податься

**Alsu** · 14.12.2013, 20:32

тут всё гораздо проще решается, собирается база IP-адресов с которых заходят поисковые боты на сайт и дальше все эти нежелательные АйПи блокируются через .htaccess. другое дело что такие базы в паблике днём с огнём не найти, а покупать не каждому охота, поэтому самостоятельно собирают свои базы, вот к примеру

Yandex:

141.8.147.1
95.108.233.70
5.255.210.93
95.108.129.207
213.180.206.197
100.43.83.158
93.158.145.27
87.250.237.141
95.108.214.12
95.108.235.53
37.9.125.95
95.108.147.186
95.108.247.252
178.154.234.129
37.9.125.97
178.154.243.80
178.154.174.251
37.9.125.96
95.108.147.185
178.154.211.251
95.108.233.68
95.108.147.183
178.154.234.128
178.154.234.125
37.9.125.92
95.108.233.65
95.108.147.182
95.108.233.66
93.158.144.28
95.108.241.250
178.154.243.101
95.108.214.13
95.108.233.67
178.154.234.127
95.108.217.251
37.9.125.94
178.154.238.148
95.108.154.252
77.88.59.48
178.154.243.103
100.43.83.141
100.43.83.153
178.154.243.95
5.45.203.203
87.250.253.68
37.140.141.1
178.154.175.251
5.255.253.9
178.154.203.250
95.108.248.30
5.255.253.16
37.9.125.93
95.108.147.184
178.154.205.250
95.108.233.69
178.154.224.118
95.108.214.15
95.108.214.14
178.154.175.252
5.255.253.5
178.154.178.251
95.108.147.181
37.140.141.6
37.140.141.7
95.108.245.251
37.140.141.11
95.108.157.251
95.108.214.11
95.108.214.16
178.154.206.251
178.154.234.126
178.154.243.102
178.154.243.96
93.158.144.27
178.154.163.29
93.158.148.30
178.154.179.249
87.250.253.72
178.154.206.250
178.154.204.251
178.154.243.114
178.154.179.250
95.108.245.252
178.154.165.250
5.255.253.15
178.154.178.248
95.108.245.253
37.140.141.9
100.43.83.129
178.154.204.250
95.108.240.252
178.154.243.91
199.21.99.76
178.154.172.29
199.21.99.111
199.21.99.123
199.21.99.80
199.21.99.99
100.43.83.136
100.43.83.142
100.43.83.148
37.140.141.8
199.21.99.73
95.108.216.251
178.154.202.251
199.21.99.75
37.140.141.12
199.21.99.113
37.140.141.4
95.108.249.30
178.154.243.119
199.21.99.119
100.43.83.143
100.43.83.140
199.21.99.87
199.21.99.106
199.21.99.77
100.43.83.156
199.21.99.71
100.43.83.147
199.21.99.85
199.21.99.66
100.43.83.135
199.21.99.90
199.21.99.72
199.21.99.125
100.43.83.146
178.154.164.250
199.21.99.102
95.108.244.251
199.21.99.88
100.43.83.133
199.21.99.124
100.43.83.130
199.21.99.84
199.21.99.92
95.108.157.252
199.21.99.94
178.154.179.248
178.154.172.30
199.21.99.109
199.21.99.118
199.21.99.69
199.21.99.86
199.21.99.93
100.43.83.152
100.43.83.155
178.154.178.249
5.255.253.12
95.108.156.251
199.21.99.81
100.43.83.132
100.43.83.138
100.43.83.144
100.43.83.154
199.21.99.100
199.21.99.114
178.154.164.251
199.21.99.96
95.108.240.251
199.21.99.103
199.21.99.110
199.21.99.121
199.21.99.78
199.21.99.91
178.154.207.251
100.43.83.145
199.21.99.116
178.154.243.100
199.21.99.67
178.154.243.97
5.255.253.3
100.43.83.131
37.140.141.10
100.43.83.157
199.21.99.107
95.108.241.251
178.154.243.92
199.21.99.98
100.43.83.134
5.255.253.13
199.21.99.105
178.154.160.29
100.43.83.159
199.21.99.117
199.21.99.65
95.108.241.252
199.21.99.82
199.21.99.89
100.43.83.150
100.43.83.137
37.140.141.2
199.21.99.104
178.154.161.29
199.21.99.70
95.108.249.29
199.21.99.95
93.158.145.28
178.154.173.29
5.255.253.11
178.154.165.251
95.108.240.250
37.140.141.3
100.43.83.149
199.21.99.68
100.43.83.151
178.154.243.112
95.108.247.253
5.255.253.7
178.154.203.251
199.21.99.122
199.21.99.74
199.21.99.97
100.43.83.160
199.21.99.101
178.154.243.118
100.43.83.139
178.154.243.113
178.154.202.250
199.21.99.108
95.108.247.251
178.154.207.250
95.108.244.253
178.154.243.90
178.154.163.30
199.21.99.115
95.108.244.252
95.108.155.251
95.108.217.252
5.255.206.198
37.9.68.202
178.154.243.99
93.158.155.137
178.154.243.94
84.201.149.72
87.250.253.69
5.255.206.196
95.108.246.253
5.255.206.202
178.154.173.30
178.154.210.251
5.255.253.2
178.154.243.115
5.45.203.204
93.158.149.32
5.255.206.204
5.255.206.222
5.45.203.199
37.9.88.78
87.250.253.67
5.255.253.14
178.154.243.117
5.45.203.198
5.255.253.10
95.108.246.252
178.154.205.251
178.154.243.98
95.108.216.252
178.154.243.111
37.9.88.82
178.154.211.250
178.154.174.252
37.140.141.5
178.154.211.252
178.154.210.252

Google:

66.249.75.101
66.249.75.103
66.249.75.155
66.249.75.50
66.249.75.123
66.249.75.236
66.249.75.139
66.249.93.52
66.249.73.94
66.249.75.82
66.249.75.205
66.249.75.166
66.249.75.196
66.249.75.167
66.249.75.69
66.249.75.200
66.249.64.1
66.249.81.35
72.14.199.155
66.249.81.136
66.249.75.9
66.249.75.199
66.249.81.160
66.249.64.2
66.249.75.68
66.249.75.94
66.249.75.108
66.249.75.158
66.249.65.5
66.249.75.211
66.249.75.222
66.249.75.2
66.249.75.137
66.249.75.86
66.249.75.80
66.249.64.7
66.249.83.155
66.249.84.77
66.249.81.52
66.249.64.3
66.249.75.127
66.249.93.35
66.249.93.14
66.249.73.71
66.249.75.64
66.249.73.208
66.249.73.66
66.249.73.178
66.249.73.75
66.249.73.85
66.249.73.230
66.249.64.6
66.249.73.130
66.249.73.183
66.249.73.138
66.249.73.175
66.249.73.77
66.249.73.127
66.249.73.109
66.249.73.96
66.249.73.63
66.249.73.149
66.249.73.124
66.249.73.35
66.249.73.38
66.249.73.156
66.249.73.158
72.14.199.135
66.249.83.205
66.249.64.8
66.249.73.189
66.249.73.176
66.249.73.102
66.249.73.32
66.249.93.164
66.249.74.204
66.249.64.4
66.249.73.206
66.249.73.2
66.249.73.220
66.249.73.217
66.249.84.121
66.249.73.234
66.249.73.112
66.249.81.164
66.249.81.14
66.249.73.212
66.249.73.197
66.249.73.173
66.249.73.33
66.249.73.59
66.249.73.41
66.249.64.5
66.249.73.9
66.249.73.25
66.249.73.222
66.249.73.213
66.249.73.83
66.249.93.226
66.249.73.196
66.249.73.191
66.249.73.229
66.249.73.224
66.249.73.150
66.249.74.212
66.249.73.104
66.249.73.113
66.249.73.107
66.249.73.117
66.249.73.132
66.249.73.161
66.249.73.204
66.249.73.65
66.249.73.199
66.249.73.168
66.249.73.126
66.249.73.88
66.249.73.111
66.249.73.174
66.249.73.87
66.249.66.240
66.249.65.2
209.85.238.77
66.249.73.58
66.249.73.36
66.249.73.100
66.249.73.210
66.249.73.221
66.249.73.184
66.249.65.3
66.249.73.34
66.249.73.6
66.249.73.108
66.249.75.223
66.249.73.67
66.249.73.185
66.249.73.80
66.249.73.16
66.249.73.53
66.249.73.203
66.249.81.117
66.249.73.14
66.249.73.5
66.249.66.215
66.249.73.62
66.249.73.61
66.249.73.114
66.249.73.84
66.249.85.71
66.249.65.4
66.249.81.226
66.249.73.3
66.249.73.145
66.249.73.97
66.249.75.216
66.249.73.70
66.249.73.27
66.249.73.101
66.249.74.202
66.249.73.7
66.249.73.202
66.249.82.155
66.249.66.234
66.249.82.166
66.249.82.211
66.249.82.205
66.249.73.137
66.249.73.152
66.249.73.166
66.249.73.24
66.249.73.148
66.249.73.19
66.249.73.69
66.249.73.180
66.249.73.64
66.249.73.55
66.249.78.50

bingbot

157.56.92.177
157.56.229.188
157.55.34.171
157.55.35.87
157.55.33.42
157.55.32.86
65.55.52.117
65.55.24.246
157.56.92.178
157.56.229.88
157.56.93.72
157.55.33.146
65.55.24.243
157.55.32.98
157.55.35.35
157.55.34.183
157.56.93.94
157.56.92.173
157.55.32.96
65.55.52.96
157.55.33.43
157.55.35.52
157.55.33.25
157.56.92.142
65.55.55.231
157.55.33.27
157.55.35.51
157.55.32.100
157.55.33.17
157.55.33.50
157.56.229.244
157.56.93.96
157.56.93.62
157.55.34.98
157.56.93.148
157.55.33.15
65.55.24.221
157.55.34.93
157.55.33.19
157.56.92.146
157.56.229.184
157.55.35.82
157.56.229.211
65.55.52.86
157.56.93.83
157.56.93.60
157.55.34.29
157.55.36.36
157.55.32.49
65.55.52.119
157.56.93.154
157.55.33.98
157.55.35.43
157.55.32.237
157.55.35.114
157.56.93.52
157.55.32.83
65.55.24.216
65.55.52.114
65.55.24.237
157.55.32.105
157.55.32.102
157.55.34.176
157.55.33.126
65.55.52.97
157.56.92.161
157.55.35.48
157.55.33.102
157.55.32.57
157.56.229.245
65.55.24.220
157.56.92.165
157.56.92.149
157.55.35.32
157.55.33.100
157.55.35.80
157.55.32.209
157.55.33.37
65.55.52.113
157.55.35.113
157.55.33.86
157.55.33.111
157.55.35.84
157.55.32.153
157.55.32.112
157.55.36.50
65.55.52.88
157.55.34.32
157.55.32.99
157.56.93.187
157.55.32.77
157.55.35.105
157.55.34.26
157.55.35.109
157.56.92.147
65.55.52.108
65.55.24.247
157.55.35.39
157.55.33.26
157.56.229.23
157.55.33.105
157.55.33.214
65.55.52.94
157.56.92.160
157.56.92.141
157.55.32.144
157.56.92.162
157.56.93.50
157.56.92.176
157.55.33.31
157.55.33.108
157.56.229.247
157.56.93.71
157.55.36.37
157.55.35.47
157.55.33.178
157.56.93.37
157.55.36.54
157.55.32.108
157.55.35.96
157.55.32.89
157.55.33.41
157.55.35.98
65.55.52.95
157.55.36.38
157.56.229.190
157.56.93.95
157.56.229.189
157.56.93.40
157.55.35.77
65.55.24.215
157.55.34.181
157.55.34.94
65.55.55.229
157.55.32.113
157.55.32.104
157.55.32.229
157.55.34.179
157.55.34.166
157.55.32.236
157.55.35.102
157.55.35.83
157.55.33.29
157.55.34.99
157.55.33.18
157.55.36.45
157.55.35.91
65.55.55.230
157.55.32.141
157.55.35.86
157.55.34.28
157.55.33.49
157.55.32.149
157.55.35.50
157.55.33.30
157.56.92.164
157.55.32.116
157.55.33.106
65.55.52.112
157.55.35.78
157.56.229.246
157.55.33.40
157.55.33.88
157.55.33.78
157.55.32.187
157.55.33.113
157.56.92.153
157.56.93.73
157.56.93.63
65.55.24.218
157.55.35.45
157.55.35.33
157.56.92.157
65.55.24.244
65.55.24.214
157.55.35.90
157.55.32.107
157.56.92.155
157.56.92.172
157.56.93.85
157.56.92.151
157.55.36.35
157.55.32.186
157.55.33.109
157.55.35.97
157.55.33.103
157.55.33.24
157.55.32.222
65.55.52.89
157.55.32.114
157.55.35.94
157.55.35.108
157.55.33.110
157.56.92.148
157.56.93.49
157.55.35.44
157.56.92.175
157.55.33.253
65.55.52.118
157.55.36.49
157.56.93.61
157.55.34.35
157.55.33.181
157.55.33.22
157.55.33.249
157.56.93.39
157.56.229.186
157.55.32.60
157.56.93.74
157.55.32.109
157.55.33.252
157.55.32.111
157.55.33.115
157.55.35.40
157.55.35.104
157.55.32.80
65.55.52.92
157.55.35.34
157.55.32.62
157.56.92.143
157.55.35.99
157.55.32.28
157.55.35.46
157.55.35.106
157.55.33.254
157.56.93.51
157.56.92.144
157.56.93.84
157.55.33.47
157.55.35.37

Mail.RU_Bot

217.69.133.231
217.69.134.79
217.69.135.251
217.69.135.248
217.69.135.252
217.69.135.247
217.69.135.246
217.69.135.250
217.69.135.249
217.69.133.67
217.69.133.216
217.69.133.228
217.69.133.85
217.69.133.84
217.69.133.219
217.69.133.69
217.69.133.233
217.69.133.217
217.69.133.229
217.69.143.46
217.69.133.215
217.69.133.227
217.69.133.232

как говорится - наше вам с кисточкой

**P1otr** · 14.12.2013, 20:53

Блокирование данных ботов ничем не чревато?

**Alsu** · 14.12.2013, 21:22

Сообщение от P1otr

Блокирование данных ботов ничем не чревато?

привет P1otr, обычно такие блэк-листы собираются для темных дел, создания своей скрытой сетки сателлитов или ботнетов для длительного проживания на просторах Интернета, подозреваю что при посещении сайта с подозрительным хтассесом, у ботов есть отдельная инструкция для запуска хитрого бота, который если что, тут же данный сайт в базу спамхауса определит или ещё куда настучит, а оказавшись в базах антивирусных компаний наврядли положительно скажется на сайте. так что если есть желание поэксперементировать, то лучше на том сайте, который для тестов предназначен.

P.S.: ещё есть такой сервис геотаргетинга:

Сервис-коды. Технические детали.
Доступ к базам с сервис-кодами возможен только через API, в другой форме базы не распространяются. Да и особого смысла в этом нет, так как обновление списка прокси, например, и активных нодов ТОР-сети происходит ежечасно.

Для получения сервис-кодов ("Service code") необходимо с запросом отправить заголовок(HTTP Request Header) "Typ: srv".
Ответ сервера - числовой сервис-код в случае запроса для IP поисковых роботов и некоторых хитроботов, прокси и ТОР-сети, хостинговых компаний и датацентров; во всех остальных случаях возвращается код страны.

В противовес странам с буквенными кодами, сервис-коды - это цифровые значения различных типов IP адресов.

Сервис-коды подразделяются на 4 группы:
10-19 - Поисковые боты, некоторые хитроботы
20-29 - Датацентры, хостинговые компании, скрытые серверные площадки
30-39 - Открытые и анонимные прокси, анонимизаторы, ТОР-Сеть
40-49 - Спутниковые провайдеры, мобильные клиенты использующие международные прокси

При отсутствии заголовка "Typ" или не имеющем в строке "srv", возвращается "Country code" - код страны, физическое расположение.

Также есть возможность получать одновременно сервис-код и страну, где располагается сервер или пользователь сателлитной связи, если она известна.
Указывающий заголовок должен выглядеть так: "Typ: cnsrv".
В этом случае возвращается не двух-, а четырехсимвольное значение, где первые два символа - страна, а остальные - сервис-код.
Для сателлитных провайдеров обычно страна равна "XX" - "неизвестно", потому как зачастую невозможно определить реальное расположение пользователя.

При типе "Typ: srv" для IP адресов, не входящих в базу сервис-кодов, возвращается код страны.
При типе "Typ: cnsrv" для IP адресов, не входящих в базу сервис-кодов, возвращается пустое значение в виде "--".

Пример 1: 91.121.147.207 принадлежит серверу WIPmania.com, стоящему во Франции.
"Country code" = FR
"Service code" = 20
"Country code" + "Service code" = FR20

Пример 2: 89.59.83.238 - это IP обычного DSL юзера из Германии:
"Country code" = DE
"Service code" = DE
"Country code" + "Service code" = DE--

Пример 3: 91.188.4.17 - это пользователь связи сателлитной компании 7Ccell, специализирующейся на связи для кораблей
"Country code" = XX
"Service code" = 40
"Country code" + "Service code" = XX40

Детальная информация по группам сервис-кодов:

1) Поисковые боты (10-19)
10 - Боты крупных поисковых систем и аггрегаторов (Ask Network, AOL, Lycos, Yandex, Altavista, Baidu, Feedburner ...)
11 - Google
12 - MSN
13 - Yahoo
14 - Другие поисковые боты
15 - Некоторые скрытые боты и хитроботы
16-19 - Зарезервировано

2) Датацентры, Хостеры, Серверы (20-29)
20 - Крупные датацентры всего мира, Dedicated и Colocation-центры, CDN
21 - Остальные хостинговые компании и мелкие хостеры
22 - Сервера, расположенные в компаниях, хостинг у которых - непрофильная часть бизнеса (Пр: Network providers, веб-студии с своим хостингом и AS-номером)
23 - Скрытые серверные площадки, не публичные хостеры
24 - Сервера и датацентры интернет-компаний (Пр: eBay, Rapidshare, Digg, Twitter ...)
25 - Правительственные сайты, корпоративные веб- и мейл-сервера, расположенные не в публичных датацентрах
26-29 - Зарезервировано
* Если хостинговая компания находится в адресном пространстве более крупной, то результат выдается для более крупной компании.

3) Прокси (30-39)
30 - Бесплатные и платные анонимные прокси, Элитные прокси, SOCKS-прокси
31 - Веб-анонимайзеры
32 - ТОР-сеть
33-39 - Зарезервировано
* Не входят в базу: NAT-прокси и корпоративные прокси, так как их пользователи обычно локальны.

4) Спутниковые провайдеры и мобильные клиенты использующие международные прокси
40 - Спутниковые провайдеры
41 - Международные прокси для мобильной версии Opera-Mini
42-49 - Зарезервировано

**P1otr** · 14.12.2013, 21:32

Привет Alsu, спасибо. Я тоже подумал насчет данных санкций, совсем недавно пришлось избавляться от присутствия в CBL, лишний раз что-то не хочется туда попадать.

**Матрос** · 15.12.2013, 01:56

Alsu, вряд-ли бот может добраться до htaccess -это запрещено правилами серверов, а бот не может превышать возможностей юзера по доступу. А если заблокировать их доступ вообще на сайт, то он просто выпадет из индекса и все. или я не так что-то понял?