Ответ
Как привести Googlebot на сайт для переиндексации Опции темы
Старый 25.02.2013, 17:32
  #1
Матрос
 
Аватар для Матрос
Регистрация: 26.03.2011
Сообщений: 1,394

Как привести Googlebot на сайт для переиндексации
Данная статья навеяна участившимися вопросам начинающих владельцев сайтов (и не только начинающих, а и тех кто хочет исправить поисковую выдачу). на самом деле, есть много причин, почему вы хотите привести Googlebot-а на повторное сканирование вашего сайта вне очереди. Может быть, вы очистили его от вирусов, восстановили видимость всех страниц, убрали продажные ссылки и хотите восстановить свои позиции в рейтинге или, может быть, вы реализовали канонической теги, устранили дублирующие страницы и хотите, чтобы эти обновления быстрее были замечены, или Вы хотите чтобы ускорилась индексация нового раздела.

Чтобы сделать повторный обход сайта, оптимизаторы обычно используют тактики такие как добавление новой XML карты сайта, и используют бесплатный сервис Ping, Seesmic Ping (бывший Ping.fm) или Ping-O-Matic , или пользуются закладками социальных сетей чтоб быстрее привести Googlebot на сайт. Но это все равно не надежный и довольно время затратный способ.

Но сейчас этот процесс намного упростился, и есть лучший, более надежный способ привлечь Googlebot на повторное сканирование вашего сайта вне плана.И этот стопоб хорош еще тем, что на 100 процентов, одобрен Google.

Итак - "Submit URL to Index"

Около года назад Google обновил возможность "Просмотреть как Googlebot" в Webmaster Tools (WMT) новой функцией под названием "Добавить ссылку на индекс", которая позволяет добавить новые и обновить старые URL-адреса, чтбо Google проверил их "в течении одного дня" (как они сами заявляю).

Но по некоторым причинам, это дополнение к WMT не получило большого отклика в сфере SEO, ведь от него ждали гораздо больше чем получили в результате. Однако
этот продукт работает, и страницы добавленные через этот сервис попадают в индекс гораздо быстрее чем страницы, найденные гуглботом в ходе плановой индексации сайта. Плюс этот сервис полезен при восстановлении сайта. О чем я говорю, вы поймете дальше.

Немного советов по использованию "Submit URL to Index".

Недавно мой клиент начал получать ряд уведомлений от Webmaster Tools о большом количестве ошибок, в том числе 403 ошибки и ошибки файла robots.txt, в ходе индексации. Эти уведомления об ошибках были превентивной мерой от WMT, и были следствии относительно новой длительной кампании Google, и которая делает процесс индексации более "прозрачным" и дает владельцам сайтов больше информации по этому процессу.

Почти сразу же, органический трафик и производительность SERP начали падать, чего и следовало ожидать в следствии возникновения этих ошибок, и при явной тенденции числа их увеличения.

Вот предупреждение, которое приходило клиенту с WMT:





Неспособность Google получить доступ к сайту была причиной возникновения этого коллапса. В следствии разбора полетов, оказалось, что разработчик клиента по неосторожности заблокировал IP Google.

В прошлом решение технической проблемы как описанная выше, могло бы занять не один день. Но с этой новой функцией WMT, мы сэкономили массу времени, сил и энергии, при решении возникшего непорядка. Так что можно смело сказать что добавление сайта в WMT и пользование его функции Submit URL to Index помогает решить эти проблемы. Прогресс SEO не стоит на месте.

После того, как разработчик удалил блок на IP Google и, фактически, что этот вопрос был решен, понадобилось сделать повторное сканирование всего сайта.

Чтобы сделать это, необходимо сначала проверить URL сайта, используя функцию "Просмотреть как Googlebot" (Fetch as Googlebot) и получить диагностическую информацию от Google, которая подтвердила бы что все в порядке или ответила ошибкой доступа к URL.





Если Google ответил что имеет доступ к индексу указанного URL, то вы получите доступ к использованию функции "Submit URL to Index".





Вот несколько советов при использовании этой функции:

* Выберите "URL and all linked pages" вместо "URL" при подаче на повторное сканирование. Это значит что данный URL вы подаете в качестве отправной точки для сканирования и включаете в него повторное сканирование всех внутренних ссылок с этой страницы и все взаимосвязанные разделы сайтов.

* Вы также можете заставить Google проверить URL-адреса, на которые не получили отчеты об ошибках, выбрав "Просмотреть как Googlebot" и подключив любой URL на Вашем сайте. К вашему сведению, можете оставить это поле пустым, если вы хотите использовать задать повторное сканирование начиная с главной страницы в качестве отправной точки.

* При повторном сканировании конкретной страница в качестве отправной точки (а не главной страницы сайта), вы можете максимально увеличить обход, если зададите в качестве отправной точки HTML версию карты сайта. таким образом гуглбот за один присест обойдет максимальное количество страниц.

Надо сказать, кстати, что Google ограничивает функцию "Submit URL to Index" до десяти операций в месяц, имейте это ввиду. Так что если вы размещаете на одном аккаунте WMT несколько сайтов, используйте этот инструмент экономно.

После того как Google повторно переиндексировал ваш сайт, вы должны снова вернутся к окну вывода ошибок, и выбрать нужную категорию (в данном случае это была вкладка "отказано в доступе"), "пометить как исправленное" и либо указать выбранный URL либо выбрать все.





Так же стоит отметить, что может быть системная задержка с некоторыми из этих уведомлений. Таким образом, даже после того, как Вы решили все проблемы с доступами, можете все еще получать уведомления про технические ошибки. Но если уверены на 100%, что решили все проблемы, просто повторите процесс маркировки URL как пофиксенных, пока не получите отчет что все в порядке.

Через день после принудительного обхода сайта клиента Googlbot-ом мы увидели непосредственный пик в деятельности индексирования в Webmaster Tools.





В результате, мы смогли решить вопрос в течение нескольких дней и трафик подскочили почти сразу. Я также считаю, что представление нескольких внутренних URL для начала повторного обхода сайта Googlebot-ом - в том числе HTML карту сайта - действительно помогло ускорить время восстановления.

В качестве заключения хочу сказать что все эти функции обновления в Инструментах для веб-мастеров - как сканирование, уведомления об ошибках, круглосуточная бдительность и наблюдение за сайтом на самом деле играют важную роль, помогая оптимизаторам и владельцам сайтов найти и исправить технические вопросы быстрее и легче.
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 25.02.2013, 17:48
  #2
miraida
 
Аватар для miraida
Регистрация: 11.02.2012
Сообщений: 2,241

Добавляем новую карту. Если есть свои сайты - ставим на них линки на сайт.
Так же гугла любит свои блоги. Заводим там блог. И тоже кидаем ссылку.
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 25.02.2013, 19:52
  #3
Матрос
 
Аватар для Матрос
Регистрация: 26.03.2011
Сообщений: 1,394

Да свои блоги он любит и систему Google+ тоже, но специально проверял - добавлял на сайт новость, - время индексации три дня, добавил ссылки в блог и на Гугл плюс - ТРИ ДНЯ так же, а добавил через сайтмап в вебмастертулз как писал в статье - реально на вечер ссылка уже была в индексе. Выходит гугловский блог и система плюс - не панацея.
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 25.02.2013, 20:08
  #4
Матрос
 
Аватар для Матрос
Регистрация: 26.03.2011
Сообщений: 1,394

А вот другой сайт, который наполняется регулярно новостью как минимум в день - посещается ежедневно гуглботом и проблем с индексацией нету, так что имеет значение еще и регулярность обновления
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 25.02.2013, 20:57
  #5
miraida
 
Аватар для miraida
Регистрация: 11.02.2012
Сообщений: 2,241

Надо не забыть в хедере указать для робота мета тег обновлений сайта
<meta name="document-state" content="Dynamic" />
Можно так же поставить
<meta name="revisit" content="1" />
Хотя говорят что последний тег яша и гугл перестали замечать.


Или так
<meta name ="revisit-after" Content="1 days">
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 25.02.2013, 21:03
  #6
miraida
 
Аватар для miraida
Регистрация: 11.02.2012
Сообщений: 2,241

Команды для робота

<meta name="robots" content="Index,follow">
Данный мета тег предназначен для подачи поисковому роботу той или иной команды.

Список возможных команд роботу:

Index - индексировать страницу
Noindex - не индексировать страницу
Follow - прослеживать гиперссылки на странице
Nofollow - не прослеживать гиперссылки на странице
All - индексировать страницу и прослеживать гиперссылки на странице (по умолчанию)
None - не индексировать страницу и не прослеживать гиперссылки на странице
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 25.02.2013, 21:31
  #7
Матрос
 
Аватар для Матрос
Регистрация: 26.03.2011
Сообщений: 1,394

<meta name="revisit" content="1" />
100% уже не работает. Боты сами уже научились анализировать обновление и время а вот остальное не помешает . По актуальности метатегов 100% ничего не скажу, потому что как Яша, так и гугл постоянно меняю политику относительно их востребованности.
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 01.03.2013, 15:40
  #8
Матрос
 
Аватар для Матрос
Регистрация: 26.03.2011
Сообщений: 1,394

Сообщение от miraida Посмотреть сообщение
Заводим там блог. И тоже кидаем ссылку.
Проверил - гугл добавляет посты из своих блогов в течении пары минут. НАчалделать так - печатаю в блоге анонс с фоткой и кратким текстом, и ставлю ссылку. Как думаете хуже не будет для СЕО в таком случае? не посчитает ли он что анонс это источник а моя статья на сайте - уже копия?
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 01.03.2013, 15:50
  #9
miraida
 
Аватар для miraida
Регистрация: 11.02.2012
Сообщений: 2,241

я думаю надо писать для ссылки "полная версия статьи" и фотку заливать на свой сайт тогда будет 2 ссылки на источник.
Главное чтоб за кросспостинг не посчитал

естественно статья должна быть опубликована ранее чем ссылка в блоге
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием
Старый 01.03.2013, 15:59
  #10
Матрос
 
Аватар для Матрос
Регистрация: 26.03.2011
Сообщений: 1,394

Ну статья то раньше полюбому, но в индексе ее еще нету, вот в чем фишка. для этого и делаю анонс чтоб быстрее привести бота. Или надо именно в индексе быть быстрее? ТОгда пропадает смысл этого постинга, ведь так?
Нравится 0   Не нравится 0
Пожаловаться на это сообщение 0  
Ответить с цитированием

Ответ
 
 

Метки
google, googlebot, webmasters tools, переиндексация


Здесь присутствуют: 1 (пользователей: 0, гостей: 1)
 
Опции темы

Быстрый переход


Текущее время: 23:40. Часовой пояс GMT +3.