[Alsu]

Добрый день, всем читатетелям.
С продолжением темы про мобильный траф не много буксую, так как полностью переделываю статью согласно рекомендациям о том, чтоб по-меньше тёмной стороны. А пока тоже решила написать кое-что про доры, в своё время искала, но информации очень мало. Всё что расшарила, собрала в эту статью.
Тадам, занавес кулуаров в дорвейстроительстве приоткрывается. Речь пойдёт о самой прибыльной и в тоже время конкуретной нише – ФАРМАтик-консолидешейн. Почему именно про неё, да там где спокойно всё закисает – регресс полный, а вот где ежеминутные баталии за ТОП и продажи, там прогресс. Я расскажу о прошлогодней ситуации, которую так сказать пофиксили аверы(антивирусные службы). Но всё новое, это хорошо забытое старое, поэтому инфа будет полезна тем кто только начал и хочет с чего-нибудь начать и иметь некоторые представления о том к чему надо быть готовым. Предупрежден – значит вооружен. Итак в путь.
Главные постулаты при работе с дорвеями
- шаблон дорвея клепаем в «цвет», как у массовой CMS, либо оригинал- ханд мейд.
- редирект используем нерегистирируемый(Image Feed или gFeed - когда выдача PPC отдаётся в виде картинок или что-то своё закриптованное )
- контент рекомендуется к употреблению более-менее уникальный
- перелинковка только с внутренними страницами (отказываемся от адресации на другие свои доры на других доменах)
Как, понимаете постулаты-постулатами, а время не стоит на месте, поэтому с тех пор, как эти строки расползлись по сети, техника генерации дорвеев усовершенствовалась и подчас, от чего-то отказываясь, а чем-то дополнялась. Так всем известный клоакинг (прием поисковой оптимизации, который заключается в том, что информация, выдаваемая поисковому роботу и посетителю, отличается) за который неминуемо следует бан от ПС вроде бы умер, но нет на самом деле глубоко ушёл в подполье.

Вот, живой тому пример. Перейдём по результату серча – клац

То что доктор прописал, а вот что в оригинале должно быть

А это значит, что разработки в клоакинге продолжают вестись и совершенствоваться параллельно с развитием поисковых служб. Что же это даёт, а даёт многое – продолжительность жизни дорвеев увеличивается в разы, если с простым редиректом мой дор-однодневка, то с генетически изменённым клоакингом дор может прожить более двух месяцев, как раз то время которое позваляет окупить затраты на доры.
Итак, вернёмся к вступлению статьи и продолжу повесть одного падения, которых очень много, но не стоит на этом зацикливаться, ведь падения стимулируют к тому, чтоб снова подняться и как можно дольше в этот раз не падать. Аверы при очередном контроле одного из сайтов засекли интересную активность, что сайт с тематикой о женской одежде сиял в ТОПЕ совсем по другим запросам и более того, контент совсем был далёк от заявленного. Конечно же админы сайта были поставленны в известность, после чего был по-косточкам перебранн каждый скрипт, изображение и т.д. Стоит упомянуть о том, что сайт этот крутился на Вордпрессе(очень любимый движок у Pharmacy-ков). В ходе анализа была обнаруженна бага самого Вордпресса, через которую сайт и был заинклюден скриптом-клоакингом, который в свою очередь направлял трафик на сайты хитроп0п0го мастера. С отчётом о взломе и о профилактике от болезни вы можете ознакомиться на этом сайте - https://bitbucket.org/arianb/pharmahack/src
Сам скрипт-клоакинг был закриптован

После декрипта всплыли основные постулаты клоакинга:
1.массив юзерагентов для фильтрации

2. массив IP подсетей поисковых ботов

3.массив реферреров

4.редирект через TDS(хитрая система контроля трафика)

Детально рассмотрев весь код, вас наверняка, как и меня посетила мысль о том, что такой клоакинг-скрипт должен жить и приносить пользу в связке с дорвеями. А для этого то нужно написать свой клоакинг скрипт, который будет отслеживать кто обращается к странице и откуда, если с СЕРЧа пришли по запросу buy viagra - скрипт выдаст аптеку, если боты ПС - выдаст им страницу дорвея, если посетитель данного сайта, то оригинальную страницу. После написания скрипта(можно купить), копируем его в начало файла index.php в корне сайта и всё готово. Преимущества клоакинга очевидны всем. Недостатки заключаются в том, что список IP адресов ботов ПС полностью неизвестен, его нужно систематически обновлять, ну и возможно за всё время существования дорвея раза три-пять может сменить TDS-линки. После всего написанного имеем, только одно, что я упустила - список IP адресов, его либо покупаем, либо получаем в партнёрке с которой работаем, либо сами долго и кропотливо собираем посредством дора-прокладки со специальным скриптом, который заточен под то, чтобы вести лог IP адресов, такой дор гнездим в социалках, к примеру Фэйсбук. Для старта можете использовать пока вот этот IP-списочек.
Всем успехов и достижения поставленных целей.

[StrannikK]

Очень интересно Интересно продолжение про эту же тему последует?)

[Brevi]

+1
интересная статейка получилась

[Alsu]

Сообщение от StrannikK Интересно продолжение про эту же тему последует?)

вообще-то статья законченная, а если подумать, то тут конечно много чего ещё можно сказать и поделиться, а так кто вник - смекнёт что к чему и в путь шабашить

Сообщение от Brevi интересная статейка получилась

приятно читать такие коменты

[Alsu]

В продолжении темы напишу для успокоения общественности, а то многие отреагировали негативно. Хотя все кто в теме, уже давно знают, что в связи с последними изменениями алгоритмов в Гугле, описанный мной клоакинг палится на ура. Главная причина в том, что клоачили в основном главную страницу сайта для более высокой отдачи при этом в основном продвигаясь под ВЧ и СЧ запросы, где конкуренция жуть как бешенная и многие просто катают абузы на конкурентов или ддосят. Дольше всех держали удар ребята, которых назову ласково «корифеи», у них подход к делу серьёзный и на года, а именно они не скупятся на выделенный ай-пи, свой абузоустойчивый хостинг и шарахаются как от чумы от любого спама.
Так вот, новым витком прорыва в клоакинге были строчки кода, которые маскировали редирект под Гугловский, что-то на подобие этого

поэтому не Гугловские ассесорры, не сами боты долго были не в теме, что да как, ведь проброс шёл не заметно, но как я написала выше либо изменение алгоритмов, либо жаба конкуренции, но Гугл стал палить эти клоакинг-страницы, вот так

внизу знакомый редирект клоакинга, а сама выдача серча идёт с надписью «Ахтунг – мины!!!»(шутка) – «Возможно, данный сайт был взломан», разумеется с такой пометкой вы ни чего не продадите, так как посещаемость резко падает. Что же сия надпись означает, вот скрин расшифровки

как видим «стукануть» теперь может каждый и биза нет. Поэтому сейчас в клоакинге - ПЕРЕЗАГРУЗКА.
На этом пока всё.

[Alsu]

Клоакинг по-белому. Пускаем лесом плохих ботов, которые парсят контент - конечно список ботов надо пополнять. Вставляем этот блок кода в Htaccess-файл:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:[email protected] [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} ^HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ ****er [OR]
RewriteCond %{HTTP_USER_AGENT} ^Indy\ Library [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ ****er [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus [OR]
RewriteRule ^.* - [F,L]

При запросах ваших страниц, перечисленные боты будут получать ошибку - 403 Forbidden , один из плюсов снижение нагрузки на сервер.
И ни чего криминального

[OSMOS]

Покажите примерно Ваш выхлоп

[Stereo]

Сообщение от Alsu Клоакинг по-белому. Пускаем лесом плохих ботов, которые парсят контент - конечно список ботов надо пополнять. Вставляем этот блок кода в Htaccess-файл: .... При запросах ваших страниц, перечисленные боты будут получать ошибку - 403 Forbidden , один из плюсов снижение нагрузки на сервер.

Спасибо за список, скоро пригодится.
Это не повлияет на индексацию и соответственно на траффик с данных поисковиков?

[Alsu]

Сообщение от OSMOS Покажите примерно Ваш выхлоп

Примерный выхлоп показан здесь http://img.rebill.me/images/2012/07/09/zOKmv.png
это из кипера

Сообщение от Stereo Это не повлияет на индексацию и соответственно на траффик с данных поисковиков?

Вообще-то это список не поисковых ботов, а клиентское шпионское ПО, которое так и сяк парсит контент на сайтах, итог на индексацию ни как не должно отразиться. Этот спикок для тех случаев чтобы защитить контент. Хотя всякое бывает, стоит поменять имя юзер агента на то которого нет в списке и вуаля вы в дамках.

[Alsu]

Поделюсь ещё одной весьма интересной идеей с сайта - не помню какого Сам скрипт накручивает фейковый траф с аналитикса, использовать с умом и опаской - бан не минуем

<script type="text/javascript">var sLocation = document.referrer.toLocaleLowerCase(); //Links to boost var rDomains = ["http://www.иди_лесом.com/","http://www.иди_лесом.com/"]; //разрешённый домен для реферрера
var aDomains = ["com",".org",".co.uk",".net",".info"]; var valid = 0; 
//Valid referrer 
for (i=0;i<aDomains.length;i++) { //Check referrer if (sLocation.indexOf(aDomainsi, 0) > -1) { valid = 1; break; } } 
//Valid referrer if (valid == 1) { //Loop for (i=0;i<rDomains.length;i++) { //alert(rDomainsi); invisibleWindow("mydiv" + i,rDomainsi); } } 
function invisibleWindow(iframeID, url) { divel = document.createElement("div"); divel.id = "div" + iframeID; divel.style.width = "5px"; divel.style.height = "5px"; divel.style.visibility = "hidden"; 
//Add div document.body.appendChild(divel); 
domiframe = document.createElement("iframe"); domiframe.id = iframeID; domiframe.src = url; domiframe.style.width = "5px"; domiframe.style.height = "5px"; domiframe.style.visibility = "hidden"; 
var divid = document.getElementById("div" + iframeID); divid.appendChild(domiframe); } 

</script>

Этот весёлый скриптик тоже околпачивал ботов