Xenu link sleuth не работает. Программы Xenu’s Link Sleuth и Netpeak Spider. Как работает программа

Xenu – это сокращенное название программы Xenu’s Link Sleuth, предназначенной для внутреннего аудита сайта и поиска битых ссылок.

При изменении структуры сайта или URL-адресов на других страницах могут оставаться неактуальные ссылки, ведущие на старые несуществующие адреса. Именно поиск таких ссылок и является основной задачей Xenu. Программа является бесплатной, потому она очень популярна во всем мире. Это простой софт, позволяющий в короткие сроки проанализировать сайт на наличие битых ссылок и не только.

Возможности Xenu

Помимо поиска неработающих и битых ссылок, программа умеет:

искать изображения, фреймы, скрипты, плагины, стили и др.;
искать страницы с большим временем отклика;
искать страницы с большим весом;
искать страницы с большим уровнем вложенности;
проводить анализ внутренней перелинковки;
искать одинаковые заголовки Title;
искать изображения без атрибута alt;
составлять карту сайта;
проверять защищенные сайты по протоколу SSL (https://).

Xenu способна анализировать как весь сайт, так и его отдельные страницы. Также есть возможность проанализировать локальные документы на ПК.

В процессе анализа в основном окне будут отображаться результаты. В дальнейшем их можно будет экспортировать, допустим, в Excel.

Как работает программа

Чтобы начать анализ сайта в Xenu, необходимо запустить софт и нажать на вкладку File. Далее выбрать первый пункт Check URL.

Указываем адрес сайта, отдельных страниц или путь к документу на ПК.

После запуска в основном окне программы будут отображаться результаты анализа. Анализироваться будут как URL-адреса страниц, так и ссылки на различные файлы.

С помощью различных табуляторов вы сможете отсортировать ссылки по разным параметрам: Status (битая или нет), Type (формат файла), Size (размер страницы), Title (заголовок) и Level (уровень вложенности).

Xenu Link Sleuth это один из наиболее полезных (и в то же время бесплатных) инструментов в поисковой оптимизации. Хотя эта программа изначально предназначалась для поиска битых ссылок на сайте, с помощью неё можно решать ряд других задач, проводя аудит внутренней структуры сайта и находя в нем слабые места:

– Искать битые (неработающие) ссылки на заданном ресурсе.
Вы написали сотню статей, во многих были ссылки на другие ресурсы или какие-нибудь документы, изображения, но уследить за работоспособностью всех этих ссылок вручную невозможно. В данном случае очень удобно использовать Xenu Link Sleuth , как свободный софт, простой в настройке и использовании.

– Составлять карту сайта.
Для динамических сайтов составить карту не составляет проблемы, однако, для статических HTML ресурсов создавать карту сайта вручную весьма долго и трудоемко. Xenu решает эту задачу за несколько минут в зависимости от размера сайта и скорости Интернет-соединения.

– Искать страницы с большим временем отдачи.
Зная, какие страницы на вашем сайте отдаются с большой задержкой, можно проанализировать причину подобного поведения и оптимизировать время отдачи, что положительно скажется как на посетителях, так и на поисковых системах.

– Найти неуникальные тайтлы.
Каждый тайтл на странице должен быть уникален, тогда ни одна из них не будет находиться в дополнительных результатах поиска и фильтроваться, как дублированный контент. Поэтому важно знать, на каких страницах сайта тайтлы повторяются.

– Найти страницы с большим уровнем вложенности.
Все страницы на сайте по возможности должны находиться не далее, чем в двух-трех кликах от главной. Чем дальше находится страница, тем сложнее до неё добраться как пользователям, так и поисковым системам. Если у вас нашлись подобные страницы, являющиеся важными, но находящиеся далее, чем в 3-х кликах от главной, стоить принять какие-либо меры для улучшения навигации. Возможно, некоторые из дальних страниц вам уже не нужны, xenu легко позволяет их найти.

– Искать страницы с максимальным количеством исходящих ссылок.
Как упоминалось раннее, все исходящие ссылки на сайте должны тщательно модерироваться, так как от них зависит заслуженное доверие от поисковых систем (по принципу: “Скажи мне кто твой друг и я скажу кто ты!”) а также присвоение сайту различного рода фильтров. Если вы заметили резкое падение позиций в поисковике, тогда первым делом необходимо проверить все исходящие ссылки, так как возможно, если виноваты не вы, то хакеры, разместившие на вашем ресурсе свои спам-ссылки.

– Посмотреть какие из страниц имеют наибольшее и наименьшее количество внутренних ссылок на себя.
Проверьте вашу внутреннюю перелинковку в численном виде. Какие из страниц заслужили больше внимания, а какие меньше (исходя из внутренних ссылок)?

– Найти картинки с отсутствующим атрибутом alt.
Атрибут alt является важным при оптимизации сайта или отдельных страниц под определенные запросы. Проверьте, возможно, вы упустили описание для важных на вашем сайте изображений, добавив которое, вы улучшите позиции в поиске, либо вас будут находить по поиску по изображениям .

Результаты решения этих задач, как видно, могут быть использованы для оптимизации, поэтому, сделаем небольшой обзор программы Xenu Link Sleuth , чтобы её пользователей не пугал английский интерфейс.

Ксену является свободным продуктом и эту программу можно скачать по этой ссылке . При запуске перед вами откроется очень простое окно, важная часть которого изображена на скриншоте.

Чтобы начать аудит какого-либо сайта, выберите пункт меню “File » Check URL”. В появившемся окне необходимо ввести адрес сайта и выделить чекбокс “Check external links” (проверять внешние ссылки).

В программе предусмотрено множество настроек, доступных в пункте меню “Options » Preferences”.

Parallel threads устанавливает количество синхронных (параллельных) запросов.
Apply to all jobs позволяет сохранять настройки для всех проектов.

Далее, отчет позволяет включать в себя:
Broken links, ordered by link - Битые ссылки, отсортированные по адресу;
Broken links, ordered by page - Список битых ссылок, отсортированных по страницам;
Broken local links - Битые внутренние ссылки;
Redirected URLs - Адреса с 301/302 редиректом;
Ftp and gopher URL s - ФТП и другие не HTTP адреса;
Valid text URL s - Список рабочих текстовых ссылок;
Site Map - Карта сайта;
Statistics - Статистика;

Файл отчета работы Xenu очень большой и содержит в себе всю необходимую информацию. К примеру, статистика мониторинга данного блога показала следующие результаты:

В результате аудита, на сайте найдены ряд моментов, на которые стоит обратить внимание для оптимизации. Единственный недостаток программы - отображение русских заголовков страниц в неправильной кодировке.

Сразу же после окончания проверки ссылок сайта, в главном окне появится детальная таблица, где данные можно отсортировать по каждому из столбцов: адрес ссылки, возвращаемый статус, mime-тип, размер, заголовок, уровень вложенности, кол-во внешних и внутренних ссылок, время отдачи страницы. Вот эту таблицу вам и надо использовать.

XENU Link Sleuth 1.3.8 – скачать бесплатно программу для обнаружения «битых» ссылок на сайте. Программа предназначена в первую очередь для веб-разработчиков, которые создают и тестируют сайты, а также для SEO-специалистов.

При разработке сайтов, а затем при их продвижении нужно тестировать их на наличие так называемых «битых» ссылок, которые могут возникать на сайте со временем. В первую очередь наличие нерабочих ссылок плохо сказывается на впечатлении от сайта для пользователя, а во-вторых, сайты с неработоспособными ссылками ранжируются хуже, то есть располагаются в списке поиска ниже, чем сайты, в которых такие отсутствуют. Поэтому, чтобы проанализировать весь сайт требуется специальное программное обеспечение, так как вручную проделать такую работу не представляется возможным. XENU Link Sleuth именно для этого и предназначена.

Описание программы XENU Link Sleuth

Данное ПО имеет обычный интерфейс, который позволяет просто и надежно «общаться» с программой. Он не предназначен для того, чтобы нести какое-то визуальное удовлетворение от использования, но полностью справляется со своей задачей.

Для того, чтобы вам проверить «битые ссылки» на сайте необходимо перейти в пункт «Проверить URL» в верхнем меню программы XENU Link Sleuth. Затем, откроется модальное окно, в котором в поле «URL» нужно ввести соответствующую ссылку на сайт. Вводить ссылку нужно внимательно, без протокола доступа, то есть без «http://», а только адрес сайта. Здесь же, вам предоставляется возможность проверить не только внутренние, но и внешние ссылки. Для этого необходимо выставить флажок (галочку) в соответствующем поле.

Также, в данном окне присутствует кнопка с дополнительными опциями. Она позволяет вам настраивать процесс сканирования сайта. Например, вы можете установить количество одновременных потоков, которые будет проверять ссылки. Это позволяет увеличить производительность и скорость работы программы. Также, вы можете указать глубину уровней проверки ссылок, и так далее.

После всех настроек нажимаем «ОК» и ждем окончания сканирования. В результате вы получаете список всех ссылок сайта, где зеленым цветом отмечены работоспособные ссылки, а красным – нет. После этого, вам необходимо просмотреть и решить проблему уже вручную или с помощью своего веб-мастера.

Xenu’s Link Sleuth - старый надежный crawler, который быстро просканирует сайт и найдет буквально все: битые ссылки, редиректы, ошибки и многое другое.

При проверке сайта важно найти и исправить все ошибки, битые ссылки и неправильные редиректы, так как их отсутствие является положительным факторов в ранжировании сайта.

Хочу посоветовать отличный софт: — старый надежный crawler, который быстро просканирует сайт и найдет буквально все : битые ссылки, редиректы, ошибки, зашированные url, размер документа, дату и многое другое. Последняя версия от 2010 года, но это не мешает Xenu находит больше ошибок за меньшее количество времени, чем многие современные аналоги.

Но это не все, у программы есть множество дополнительных настроек, например:

Мы можем регулировать скорость анализа и количество потоков
Выводить более детальную статистику о каждой странице сайта. Например, чтобы показывать все редиректы, нужно зайти в «Options» — «Preferences» и поставить галочку «Treat redirections as errors» — тогда все редиректы будут отображаться как ошибка и отдавать ответы 301 или 302:

В Xenu мы можем создавать статичную html и xml карту сайта
Конвертировать отчет в формат Excel и сортировать полученные данные

На последнем пункте остановимся поподробнее. Чтобы открыть отчет в Excel нужно экспортировать отчет «File» — «Export to TAB Separated File»:

Получим отчет в обычном.txt файле — его нужно открыть Notepad++ (или аналогом) и сменить кодировку на ANSI:

После этого можно спокойно открывать файл в Excel:

Где мы уже можем сортировать данные как нужно: по дате появления документа, по количеству внешних ссылок, по уровню вложенности страницы и т.д.

Xenu Link Sleuth это один из наиболее полезных инструментов в поисковой оптимизации. Хотя эта программа изначально предназначалась для поиска битых ссылок на сайте, с помощью неё можно решать ряд других задач, проводя аудит внутренней структуры сайта и находя в нем слабые места:

- Искать битые (неработающие) ссылки на заданном ресурсе.
Вы написали сотню статей, во многих были ссылки на другие ресурсы или какие-нибудь документы, изображения, но уследить за работоспособностью всех этих ссылок вручную невозможно. В данном случае очень удобно использовать Xenu Link Sleuth , как свободный софт, простой в настройке и использовании.

- Составлять карту сайта.
Для динамических сайтов составить карту не составляет проблемы, однако, для статических HTML ресурсов создавать карту сайта вручную весьма долго и трудоемко. Xenu решает эту задачу за несколько минут в зависимости от размера сайта и скорости Интернет-соединения.

- Искать страницы с большим временем отдачи.
Зная, какие страницы на вашем сайте отдаются с большой задержкой, можно проанализировать причину подобного поведения и оптимизировать время отдачи, что положительно скажется как на посетителях, так и на поисковых системах.

- Найти неуникальные тайтлы.
Каждый тайтл на странице должен быть уникален, тогда ни одна из них не будет находиться в дополнительных результатах поиска и фильтроваться, как дублированный контент. Поэтому важно знать, на каких страницах сайта тайтлы повторяются.

- Найти страницы с большим уровнем вложенности.
Все страницы на сайте по возможности должны находиться не далее, чем в двух-трех кликах от главной. Чем дальше находится страница, тем сложнее до неё добраться как пользователям, так и поисковым системам. Если у вас нашлись подобные страницы, являющиеся важными, но находящиеся далее, чем в 3-х кликах от главной, стоить принять какие-либо меры для улучшения навигации. Возможно, некоторые из дальних страниц вам уже не нужны, xenu легко позволяет их найти.

- Искать страницы с максимальным количеством исходящих ссылок.
Как упоминалось раннее, все исходящие ссылки на сайте должны тщательно модерироваться, так как от них зависит заслуженное доверие от поисковых систем (по принципу: “Скажи мне кто твой друг и я скажу кто ты!”) а также присвоение сайту различного рода фильтров. Если вы заметили резкое падение позиций в поисковике, тогда первым делом необходимо проверить все исходящие ссылки, так как возможно, если виноваты не вы, то хакеры, разместившие на вашем ресурсе свои спам-ссылки.

- Посмотреть какие из страниц имеют наибольшее и наименьшее количество внутренних ссылок на себя.
Проверьте вашу внутреннюю перелинковку в численном виде. Какие из страниц заслужили больше внимания, а какие меньше (исходя из внутренних ссылок)?

- Найти картинки с отсутствующим атрибутом alt.
Атрибут alt является важным при оптимизации сайта или отдельных страниц под определенные запросы. Проверьте, возможно, вы упустили описание для важных на вашем сайте изображений, добавив которое, вы улучшите позиции в поиске, либо вас будут находить по поиску по изображениям .

Чтобы начать аудит какого-либо сайта, выберите пункт меню “File » Check URL ”. В появившемся окне необходимо ввести адрес сайта и выделить чекбокс “Check external links” (проверять внешние ссылки).

В программе предусмотрено множество настроек, доступных в пункте меню “Options » Preferences”.

Далее, отчет позволяет включать в себя:
Broken links, ordered by link — Битые ссылки, отсортированные по адресу;
Broken links, ordered by page — Список битых ссылок, отсортированных по страницам;
Broken local links — Битые внутренние ссылки;
Redirected URL s — Адреса с 301/302 редиректом;
Ftp and gopher URL s — ФТП и другие не HTTP адреса;
Valid text URL s — Список рабочих текстовых ссылок;
Site Map — Карта сайта;
Statistics — Статистика;

Файл отчета работы Xenu очень большой и содержит в себе всю необходимую информацию. К примеру, статистика мониторинга моего блога показала следующие результаты:

В результате аудита, на сайте найдены ряд моментов, на которые стоит обратить внимание для оптимизации. Единственный недостаток программы — отображение русских заголовков страниц в неправильной кодировке.