Хартия Google The Pirate update против контрафакта

**GLUK** · 12.12.2013, 14:20

В августе 2012 года, компания Google объявила о обновление своих алгоритм поиска и блокировки в выдачи поисковика целевых страниц веб-сайтов, где размещён пиратский контент. Этот апдейт получил в негласное название, как "The Pirate update". В концепцию данного алгоритма была заложена блокировка страниц сайтов с размещённым на них нелегальным контентом: аудио, видео или в виде статей. Сама блокировка происходит по принципу накопления жалоб от правообладателей на тот или иной контент, как только определённое количество жалоб достигает критической массы, тут же автоматически происходит понижение страниц с нелегальным контентом в ранжировании с последующим вылетом из индекса поисковика. Хотя Google, ведёт себя как бы по джентльменски рассылая автоматические уведомления владельцам сайтов, что у них обнаружен нелегальный контент, который надо удалить.

Практически за год работы этого алгоритма Google накопил обширную базу претензий с блокировкой тех или иных страниц, где имеются все детали: владелец авторского права на размещённый контент, подозрительный домен, урл страницы и сам запрос по которому находят в поисковике этот нелегальный контент. С одной стороны это своего рода отчёт о тех действиях которые предприняты компанией против контрафактного контента, а с другой стороны это наглядные материалы для владельцев сайтов, чтоб не вставали на скользкую дорожку нелегалов, ведь даже попав однажды в базу Google за контрафакт, не так то просто потом будет отмыться.

Графически отчёт выглядит так

На 11 декабря 2013 года в базе находится: 24770592 URL удаление которых было запрошено, из них 39444 доменов, 3863 правообладателя подававших претензии.

Как поясняет сам Google, перед тем как будут приняты меры по удовлетворению запросов на блокирование, правообладателю необходимо доказать все свои права на тот или иной контент, при этом пока будет идти этот рабочий момент сам Google, продолжает фиксировать претензии на этот же контент, поэтому когда все авторские права владельца установлены Google запускает свой алгоритм "The Pirate update", который смещает страницы с нелегальным контентом, по мере того как претензии продолжают поступать страница проседает с каждым разом всё ниже и ниже, пока совсем не выпадет из индекса.

Дополнительно по этому адресу можно просмотреть отчёт по:

• Отчёт о доступности тех или иных страниц на которые поданы претензии для удаления контента

• Перечень правообладателей, которые собственно и выдвинули запросы на блокировку

• Список доменов на которых расположен контрафактный контент

Если есть желание, то можно полностью загрузить к себе на компьютер всю базу по рассмотренным запросам Google.com, вес архива составляет на данный момент - 178 мегабайт.

Локально загрузив этот файл, вы можете провести анализ тех доменов которые там находятся и отследить работу алгоритм "The Pirate update": сколько запросов должно быть подана, сколько URL-адресов должно быть направлено для рассмотрения и количество запросов для выпадения из индекса поисковика?

Для чего спросите такой анализ? Благодаря такому разбору полётов вы научитесь понимать, как Google работает на основе предполагаемых нарушений авторских прав. К примеру, если вы видите большое количество URL запросов и высокий процент нарушений URL-адресов на основе общей индексации, то это явное причина и следствие, которые негативно повлияли на ваш сайт. В таком случае вы можете принять оперативные меры, направить в Google встречное уведомление о том, что вы удалили контент нарушающий авторское право и дополнительно указать URL-адрес страницы, которую надо исключить из общей индексации вашего сайта.

**miraida** · 12.12.2013, 15:20

который смещает страницы с нелегальным контентом, по мере того как претензии продолжают поступать страница проседает с каждым разом всё ниже и ниже, пока совсем не выпадет из индекса.

Это неверно - если пришла абуза и она подтверждена - страница нафиг сразу вылетает из индекса без всяких проседаний.

**GLUK** · 12.12.2013, 19:18

miraida спасибо за ценное замечание

**Maxim** · 12.12.2013, 19:38

коллекция не маленькая, скачал в архиве 3 csv-файла, ни кто не знает как в Екселе загружать файлы свыше 1000000 записей, а то там ограничение - больше не хочет загружаться, а так хочется просмотреть до конца весь список и Гугл на эту тему ни каких инструкций в архив не разместил?

Перечень файликов:

1. urls-no-action-taken.csv - в распакованном состоянии 270 Мегабайт

2. requests.csv - в распакованном состоянии 137 Мегабайт

3. domains.csv - в распакованном состоянии 590 Мегабайт

Практически готовая база для ФО в domains.csv

**Midas** · 12.12.2013, 22:43

miraida, это точно. Но гугл начал выслеживать пиратов еще раньше. в бородатом 2006 мне пришло письмо что на некоторых страницах сайта N найден пиратский контент и чтоб я принял меры по его устранению и убрал ТУТ ВНИМАНИЕ! - код Adsense со всех страниц с пиратским контентом. Т.е. первые зернышки о контенте начал собирать именно их рекламобот, а уже потом лишь начали наращиваться обороты. Пришлось пожертвовать контентом ради позиций сайта в выдаче

**miraida** · 13.12.2013, 01:21

Меня не просили снимать код адсензе - мне просто блокирнули домен в адсензе с пометкой пиратский контент и прон

**Ребиллер** · 13.12.2013, 02:09

miraida, блоканули лишь один домен или весь акк? Что потом с ним стало (акк, домен)

**miraida** · 13.12.2013, 02:19

Только домен. Ак рабочий до сих пор. Да ничего не стало - варезник там.
Храню как память.

**GLUK** · 13.12.2013, 07:41

Сообщение от Maxim

ни кто не знает как в Екселе загружать файлы свыше 1000000 записей,

тут всё проще простого - надо екселевский файл сконвертировать в базу данных Майкрософт Аццесс и полученный файл открыть этой же программкой, в итоге сможешь манипулировать любым количеством данных свыше 1000000 записей, по крайней мере я так делал - всё работало

**GLUK** · 13.12.2013, 19:19

вот кстати несколько графиков по некоторым доменам, как проседает поисковый трафик от Google The Pirate update из Семраша

картина маслом - трафик падает и домен совсем уходит на скамейку запасных, а вот ещё интересный случай

было падение, но трафик совсем не пропал и более через год вновь идёт рост позиций, конечно стоит только догадываться, что сделал владелец сайта, как вариант можно ему в тикеты вопрос задать