[Nataly]

Я рад представить версию 3.0 Screaming Frog SEO Spider. Это обновление включает в себя новый способ анализа индексирования, дополнительные функции карты сайта и отчетность по небезопасному контенту, которая поможет со всеми HTTPS переносами! Новые возможности версии 3.0 инструмента включают следующие:

1) Древовидное меню

Теперь вы можете переключаться с обычного вида («list view») индексирования к более традиционному формату каталогов «tree view», в то же время подробные детали по каждому проиндексированному URL-адресу вы видите в стандартном представлении в виде списка.

Этот дополнительный вид поможет представить альтернативную точку зрения при анализе архитектуры сайта. Переключение с одного формата на другой займет некоторое время.

2) Отчет Insecure Content Report

Мы ввели кнопку «protocol», позволяющую легко фильтровать и анализировать безопасные и не безопасные URL-адреса. В продолжение этому также появился новый отчет «insecure content», который покажет любые HTTPS URL-адреса, которые содержат небезопасные элементы. Довольно легко пропустить небезопасный контент, который часто только обнаруживается в браузере.

Этот отчет поможет выявить любые защищенные страницы, которые ссылаются на небезопасный контент, такой как внутренние HTTP ссылки, изображения, JS, CSS, внешние CDN ссылки, социальные профили и т.д.

Ниже вы видите краткий пример того, как может выглядеть данный отчет (с небезопасными изображениями).

Обратите внимание, что этот отчет будет собирать только те элементы, которые мы индексируем, а не все представленное в браузере.

3) Файл Sitemap для изображений и обновленные функции XML карты сайта

Теперь вы можете добавлять изображения к XML карте сайта или создать файл Sitemap для изображений.

Как показано на скриншоте выше, теперь вы имеете возможность включать изображения, которые появляются под разделом «internal» из обычного индексирования или изображения, которые входят в состав CDN (и отображаются в разделе «external»).

Как правило, вы не хотите включать изображения, например, логотипы в файл Sitemap для изображений, так что вы можете выбрать опцию включать изображения с определенным количеством исходных атрибутов ссылки. Чтобы упростить этот процесс, мы ввели новый столбец в разделе «images», который показывает, сколько раз на изображение ссылались (IMG Inlinks).

Это хороший простой способ исключить логотипы или иконки социальных сетей, которые зачастую связаны по всему сайту. Вы можете также щелкнуть правой кнопкой мыши и «удалить» любое изображение или URL-адрес, которые вы не хотите включать. «IMG Inlinks» также очень полезен при просмотре изображения с отсутствующим alt текстом, так как вы, возможно, захотите проигнорировать социальные профили без них и т.д.

Также появилось множество возможностей при создании XML карты сайта. Теперь вы имеете больший контроль над тегом «lastmod», приоритетностью и изменением частоты.

4) Вставьте URL-адрес в режиме списка

Чтобы сэкономить время, вы можете теперь вставить URL-адреса непосредственно в SEO Spider в режиме «list» или ввести URL-адреса вручную (в окне) и загрузить файл как обычно.

Надеемся, что эти дополнительные функции будут полезны и помогут сэкономить время, особенно если вы не хотите сохранить файл для загрузки.

5) Улучшенный массовый экспорт

Мы планируем сделать функцию экспорта полностью настраиваемой, но сейчас массовый экспорт был улучшен, так что вы можете экспортировать все inlinks (или «source» ссылки) в пользовательский фильтр и директивы, такие как «noindex» или «canonicalised» страницы, если вы хотите, например, проанализировать эффективность индексирования.

6) Windows Look & Feel

Также появились новые настройки пользовательского интерфейса только для Windows, которые позволяют пользователям включить «Windows look and feel». Это даст возможность соблюдать настройки масштабирования, которыми обладает пользователь, что будет полезно для некоторых более новых систем с очень высоким разрешением.

Другие обновления

• Теперь вы можете просмотреть «Last-Modified» заголовок ответа в столбце в разделе «Internal». Это поможет отслеживать новые, старые или страницы в пределах определенного диапазона дат. «Response time» URL-адреса также было перенесено в раздел «Internal».

• Парсер был обновлен, поэтому он менее строг в отношении допустимости HTML разметки. Например, в прошлом, если у вас была неправильная HTML разметка в заголовке, тайтлы страниц, мета описания или число слов не всегда могли быть собраны. Теперь SEO Spider будет просто игнорировать это и собирать контент элементов невзирая ни на что.

• Теперь мы можем читать содержимое robots.txt файлов, только если код ответа 200 ОК. Ранее мы читали содержимое независимо от кода ответа.

• Загрузка больших crawl файлов оптимизирована, так что это должно происходить намного быстрее.

• Мы удаляем символы табуляции из ссылок, прямо как делает Google (опять же, согласно внутреннему тестированию). Так что если ссылка на странице содержит символ табуляции, он будет удален.

• Мы отформатировали числа, отображаемые в фильтре и строке прогресса в нижней части. Например, вы увидите 500,000, а не 500000.

• Количество строк в раскрывающемся фильтре было увеличено, так что пользователям не придется прокручивать их.

• По умолчанию время ожидания ответа было увеличено с 10 до 20 секунд, однако по-прежнему существует большое количество медленно отвечающих на запросы сайтов!

• Ячейки в нижней панели окна теперь выбираются индивидуально, как и в главной панели.

• Кнопка «search», расположенная рядом с полем «поиск», была удалена, так как являлась совершенно лишней, ведь можно просто нажать «Enter» для начала поиска.

• Также было внесено несколько обновлений и улучшений в графический интерфейс, которые вы можете заметить.

• Отчет «Overview Report» теперь также содержит данные, которые вы можете увидеть в правой панели окна «Response Times».

Мы исправили ряд обнаруженных ошибок:

• Исправлена ошибка с «Depth Stats», где процент не всегда давал в сумме 100%.

• Исправлена ошибка при индексировании корневого домена (без www.), и когда была отмечена конфигурация «crawl all subdomains», что приводило к тому, что все внешние домены считались внутренними.

• Исправлена ошибка некорректной кодировки URL-адреса. Пользовательский интерфейс теперь всегда показывает незакодированную версию URL-адреса.

• Исправлен сбой в Configuration->URL-Rewriting->Regex, как сообщили несколько пользователей.

• Исправлен сбой при контроле границ, как сообщил Ahmed Khalifa.

• Исправлена ошибка, когда снят флажок «Check External», но программа по-прежнему проверяет внешние ссылки, которые не являются HTML анкором.

• Исправлена ошибка, при которой ведущий международный символ был вырезан из предварительного просмотра заголовка в поисковой выдаче.

• Исправлена ошибка при индексировании ссылок, содержащих новые строки. Google удаляет и игнорирует их.

• Исправлена ошибка, при которой AJAX URL-адреса находятся в кодировке UTF-16 с помощью BOM. Теперь мы получим кодировку с BOM, если она присутствует.

Надеемся, что новые функции будут полезны, и мы ожидаем, что следующее обновление будет еще более значительным.