Отслеживание изменений на важных страницах яндекс вебмастер. Альтернативы для замены Page Monitor

Мы часто сталкиваемся с тем, что клиент обновляет сайт и не говорит нам об этом. Конечно, он вроде бы должен поставить нас в известность, но с другой стороны — все, мол, уже на сайте, — иди и смотри. И здесь возникает вопрос: как мгновенно узнавать об изменениях на сайтах сразу всех своих проектов? К счастью, есть простое решение .

Начать стоит с понимания, что именно мы хотим отслеживать: это может быть прайс-лист, который обновляется в режиме онлайн, как только добавлен новый товар, или это просто список категорий, чтобы быть в курсе появления новых разделов на сайте клиента, — что угодно. Для примера, возьмем любой магазин, который не относится к нашим клиентам, и у которого есть прайс-лист. Пускай это будет магазин детских товаров. Так же, как показано на примере ниже, вы можете выделить и настроить отслеживание изменений для списка категорий сайта, для товаров отдельного раздела, для обновления блога, для комментариев, и так далее.

Настраиваем email-уведомления об обновлениях на сайте с помощью Kimono

Следуем по пунктам:

1. Установите приложение для Chrome — Kimono .
2. Зайдите на страницу прайс-листа и кликните по иконке Kimono в правом верхнем углу браузера.
3. Кликните по любому названию товара из списка. Дополнительно нажмите галочки на других товарах, чтобы выделить их все. Так как нам важно именно изменение списка товаров, цены можем не выделять. 4. Прокрутите страницу вниз и проверьте, все ли поля выделены. Если нет — дополнительно выделите.
   5. Нажмите «done » в правом верхнем углу.
   6. Введите название API и перейдите по ссылке. Для примера, назовем «PriceUpdate».
   
   7. В интерфейсе Kimono перейдите на вкладку Crawl Setup и выберите частоту обновления API. Достаточно проверять изменения раз в день.
   8. Настройте email-уведомления. Для этого перейдите на вкладку Use Data и кликните Email Alerts.
   9. Введите email. Письмо придет только в том случае, если в прайсе что-то изменилось. Обратите внимание, что можно ввести несколько адресов электронной почты. К примеру, указать адреса электронной почты всех участников проекта, которые должны знать об изменениях на сайте.
   Письмо от Kimono будет выглядеть так:
   Поздравляю! Теперь Kimono оповестит вас о том, что среди отслеживаемых элементов на сайте есть изменения. Если речь идет о сайте с пятью категориями и 20 товарами, вам может быть достаточно одного уведомления. Но если речь идет об интернет-магазине с огромным количеством товаров и категорий, здесь уже «на глаз» изменения не определить, и нужно сравнение данных.

Как определить, что именно изменилось на сайте: сравнение данных в Google SpreadSheets

Первое, что необходимо сделать — это установить дополнение Kimono для таблиц Google. Для этого нужно перейти в таблице на Дополнения → Установить дополнения и ввести в поле поиска «Kimono».
Kimono установили. Что дальше? Следуем: Дополнения → Kimono → Connect to Kimono и выбираем API.
2. Данные из API будут выгружены на отдельный лист. Создаем копию этого листа и переименовываем его, к примеру, на «0». Это наша точка отсчета — именно эти данные мы будем сравнивать с обновленными данными по сайту.
3. На первом листе располагаем формулу сравнения данных листа «0» и листа «Kimono_PriceUpdate_collection1». Здесь может быть три ситуации:

• изменился URL, но название осталось прежним — к примеру, если возникла проблема с CMS сайта и к URL добавились ненужные GET-параметры;
• изменилось название, но не URL — переименовали категорию или товар;
• изменилось и то, и другое, — то есть это новый товар или новая категория.

Нам интересны все три ситуации, поэтому мы учтем их все в формуле сравнения товаров.
Саму формулу и то, как все выглядит, можно посмотреть по ссылке . Чтобы иметь права редактирования документа, выберите Файл → Создать копию. Познакомиться с формулами для Google SpreadSheets можно .

Пришло уведомление по email. Что дальше?

Если вы получили уведомление от Kimono о том, что на сайте обнаружены изменения, необходимо сравнить новый API со старыми данными. Для этого вы переходите в таблицу на лист данных от Кимоно (в нашем случае — на лист «Kimono_PriceUpdate_collection1», не на «0»!) и обновляете данные — вот так:

Имея развернутые данные по всем товарам, можно предпринимать необходимые действия — поставить ТЗ по исправлению URL, если появились ошибки в CMS, или расширить семантическое ядро для новых товаров или категорий, которые появились на сайте, или добавить новые товары в текущую рекламную кампанию. Главное, не забудьте скопировать измененные данные на лист «0», так как теперь именно они становятся точкой отсчета.

Хотите знать, когда будет падение цен на торговых сайтах? Когда кто-то прислал новое сообщение в форуме? Когда ваш любимый сайт обновления не предлагает канал? Все эти сценарии использования и многое другое крик о программах, которые могут контролировать изменения веб-сайтов .

Программа, которая контролирует обновления сайта ? Она, очевидно, должна проверять сайт в интервалах определённого времени и сравнивать активное состояние с предыдущим состоянием на сайте. Обновления сайта должны быть посланы на компьютер пользователя.Приятно иметь возможности для мониторинга сайта,выделения изменений на веб-сайтах, способности игнорировать незначительные изменения сайта (например, дату и время, которые меняются каждую минуту) или регистрация функциональности.
Ниже приводится список пяти инструментов для мониторинга веб-сайтов. Три из этих инструментов дополнения Firefox, один сервис онлайн-и последнее программное обеспечение для операционной системы Windows.

Check4Change дополнение Firefox изменение поведения сайта . Вероятно, это самые основные инструменты для мониторинга сайтов, которые рассматриваются в этой статье. Пользователь может выбрать текст на веб-сайтах и открыть контекстное меню Check 4 Change по щелчку правой кнопкой мыши. Именно там можно определить интервал для мониторинга изменений веб-сайтов . Обновления сайтов будут отображаться в закладке сайта, который находится под контролем. Это одна из самых больших слабостей этого дополнения. Сайт должен быть открыт для контроля Firefox дополнения. Предоставляются несколько вариантов дополнения. Можно изменить интервалы и настроить несколько параметров, которые включают уведомление воспроизведения звуков, всплывающие окна или окно на передний план. Дополнение лучше всего использовать для мониторинга сайтов , которые требуют проверки подлинности.Например, дополнение может быть интересным для мониторинга веб-счетов по электронной почте.
Update Scanner

Update Scanner использует иной подход , чем Check 4 Change.Программа автоматически отслеживает полный веб-сайт для изменения с возможностью игнорировать номера и незначительные изменения. Другая выгода от использования этого мониторинга сайта является то, что сайты, которые контролируются не должны быть открыты для того, чтобы выполнить обновление проверки.
Интервал проверки для изменений сайта имеет значение один раз в день по умолчанию. Это значение может быть изменено на минимум каждые 5 минут.Дополнение имеет иконку в строке состояния Firefox. Щёлкните левой кнопкой мыши на этот значок открывается боковая панель, которая отображает все сайты, которые контролируются дополнением.Боковая панель содержит кнопки для выполнения ручной проверки, открыть один из мониторингов веб-сайтов и доступ к предпочтениям дополнения, которые позволяют пользователю настроить уведомления.

Доступные звуки и всплывающие уведомления.

SiteDelta третье(и последнее) дополнение Firefox для мониторинга веб-сайтов . Дополнение сначала покажется немного запутанным, так как не существует очевидного способа добавить сайты, которые должны быть проверены.Дополнение начинает мониторинг изменения веб-сайтов , если пользователь нажимает иконку в строке состояния Firefox. Активные URL затем будут добавлены в список страниц, которые контролируются дополнением. Значок будет светиться зеленым цветом, если активный сайт контролируется ею. Щёлкните правой кнопкой мыши открывается контекстное меню, которое можно использовать для настройки мониторинга в деталях.
Пользователи могут настроить параметры сканирования в двух вкладках. Дополнение по умолчанию будет проверять на текстовые и графические изменения.Кроме того, можно игнорировать регистр или номера и создать резервную копию страницы, когда изменения признаются.

Когда для сканирования используется вкладка для настройки интервалов сканирования. Можно установить определенную частоту сканирования или пусть дополнения само выбирает частоту. Дополнение использует алгоритм, который проверяет контролируемый сайт на частоту обновления.

Change Detection

ChangeDetection это бесплатный онлайн сервис , который может контролировать изменения веб-сайтов . URL веб-сайта и адрес электронной почты предоставляются на первом этапе этого процесса. Служба будет стараться сканировать веб-сайт . Если сканирование успешно отображается шаг 2.

На втором этапе настраиваются уведомления и тип изменений.Уведомления будут при условии, отправки письма на электронный счет или путем предоставления канала, который обновляется с изменением сайта. Сервис онлайн-мониторинга ,можно настроить только посылать уведомления, если произошли значительные изменения при мониторинге веб-сайтов. Кроме того, можно определить текст, который должен вызывать уведомления (либо, если они добавлены или удалены со страницы, которые могут быть интересны для целей построения ссылок).
WebMon

WebMon является единственным программным обеспечением в данном обзоре, которая может быть использована для мониторинга веб-сайтов. Программное обеспечение мониторинга веб-сайтов имеет несколько преимуществ по сравнению с дополнениями Firefox.Программа может работать в фоновом режиме, даже если все окна веб-браузера закрыты. Firefox надстройки могут выполнять проверку обновления сайтов, если веб-браузер работает.
Программа поставляется с простым в использовании интерфейсом. Работу она начинает с добавления URL в программу. Любой URL, который в настоящее время находится в буфере обмена Windows, будет автоматически вставлен в форму прямо сейчас. Это даёт возможность настроить интервалы проверки использования минуты, часы и дни в интерфейсе. Процесс полной проверки всего на странице которая должна быть проверена. Пользователи, которые хотят задать определенный текст или элементы на веб-сайте могут сделать это так, нажмите на кнопку «определить содержание для проверки» в окне конфигурации.

Это в основном позволяет пользователю указать диапазон контента на сайте, который должен быть включены в программу. Программное обеспечение мониторинга веб-сайта уведомляет пользователя всплывающим оповещением или звуками. Программа может запуститься, если команда обновления не найдена.
Программное обеспечение мониторинга веб-сайта имеет много дополнительных опций при условии, что включена поддержка прокси сервера, регистрация или импорт и экспорт списка отслеживаемых сайтов.
Вердикт
Программное обеспечение для мониторинга веб-сайтов , дополнения или услуги сильно зависит от сценария использования. Пользователи, которые работают в веб-браузере Firefox всё время, возможно, предпочтут дополнения для мониторинга изменения веб-сайтов . Сервис онлайн с другой стороны будет контролировать удалённо сайты так, что компьютерная система пользователя не нужна включенной всегда, чтобы следить за изменениями (можно даже отправить уведомления на смартфон,например).
Программное обеспечение мониторинга веб-сайтов , с другой стороны является наиболее гибким инструментом, который предоставляет возможности для выполнения команд, если изменения были обнаружены.
А что предпочитаете вы?

Иногда бывает необходимо быть в курсе изменений некоторых WEB страниц произвольных сайтов. Но что делать если сайт не имеет RSS или других видов автоматизированного оповещения об изменениях сайта. В этом случае требуется инструмент который откроет сайт на нужной странице и посмотрит изменилась ли она с предыдущего посещения и если изменилась каким-то образом оповестить заинтересованное лицо.

На самом деле есть несколько разных видов такой услуги.

1. Плагин для Firefox
2. Программа которая запускается и отслеживание нужные сайты
3. Онлайн сервисы которые дают возможность прописать эти страницы и условия контроля и получать оповещения при обнаружении каждого изменения.

1) Плагины FireFox

https://addons.mozilla.org/en-US/firefox/addon/alertbox/
AlertBox 0.4.6.20111013
by Ajit K
Add, manage and track changes in web pages. Get alerts for important changes.

https://addons.mozilla.org/ru/firefox/addon/update-scanner/
Update Scanner 3.1.10
автор sneakypete81
Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS).

https://addons.mozilla.org/en-us/firefox/addon/sitedelta/
SiteDelta 0.13.1
by Andreas Schierl
Notifies when websites are changed and highlights the changes since last visit.

ВНИМАНИЕ
Были сообщения что Update Scanner и Site Delta установленные и активированные одновременно могут конфликтовать и завешивать браузер.

2) Список программ которые удалось нагуглить выглядит примерно так:
http://aignes.net/ Платный с триалом.
http://www.activeurls.com/ Платный с триалом.
http://www.eldos.org/timelyweb/timelyweb.html Бесплатный
http://www.eyeonweb.com/eowwin.html Платный с триалом.
http://www.cmcode.co.uk/webmon/ Бесплатный
http://www.right-soft.com/webmon/ Платный с триалом.
http://www.xemico.com/newswatch/ Бесплатный с регистрацией, но автор опубликовал код DC8AF-00029-AFAB0
http://www.ykwong.com/chk4new.html Бесплатный

3) WEB сервисы

http://www.ChangeDetection.com/monitor.html Бесплатный
http://feed43.com/ Бесплатный и платный расширенный варианты
http://www.rsspect.com/ Бесплатна урезанная версия.

Для пользователей Linux есть такие инструменты:
http://baruch.ev-en.org/proj/websec/ Бесплатный в исходниках

Базируется на предыдущем но написан на С++ и имеет GUI интерфейс (KDE)
http://www.antbear.org/urlchange/urlprj.html
Проверяет только время на странице а не реальное её содержимое, поэтому применима для немногих сайтов.
Фактически экстрактор интересующих частей страницы. Программа только экспортирует содержимое страницы используя регулярные выражения и не ищет изменения. Далее можно использовать diff. :)
http://lab.madscience.nl/wrep/
Язык для преобразования web страниц во что-то другое. Может быть использован для создания сводной страницы изменений на других сайтах.

Distill - это инструмент веб-мониторинга. Он может отслеживать каналы RSS, веб-страницу или часть веб-страницы. Могут быть получены оповещения в виде всплывающих окон, аудио или электронной почты.

Бесплатная (с ограничениями) Mac Windows Linux Android Chrome Opera Firefox

Wachete

Отслеживайте изменения в веб-странице и получите уведомление. Бесплатная регистрация. Имейте все данные в одном месте

Бесплатная (с ограничениями) Windows Интернет Android iPhone Android Tablet Windows (мобильная версия) iPad Chrome Firefox

Visualping

Визуализация - это самый простой в использовании мониторинг изменений веб-сайта, детектора смены веб-сайта и программного обеспечения для изменения веб-сайта в Интернете. В отличие от других программ мониторинга изменений веб-сайта, таких как ChangeDetector, Versionista, Page Monitor, он отслеживает и обнаруживает изменения в визуальной веб-странице и отправляет оповещения по электронной почте или уведомление Slack team

Бесплатная (с ограничениями) Mac Windows Интернет Windows Mobile Android iPhone Chrome OS Windows S Android Tablet Windows (мобильная версия) iPad

ChangeMon.Com

ChangeMon.Com позволяет отслеживать любую HTML-страницу или RSS-канал для изменений. Вы можете получать уведомления о том, что слово / фраза добавляется или удаляется с веб-страницы, или вы можете отслеживать только определенную часть веб-страницы путем визуального выбора целевого элемента. Эта услуга абсолютно бесплатна и не требует, чтобы вы подписались на учетную запись

Бесплатная Интернет

Follow That Page

Follow That Page отправляет вам электронное письмо, когда ваши любимые веб-страницы изменились. Бесплатная версия может выполнять 20 ежедневных проверок и 1 часовой контроль. Вы можете ввести любое количество страниц, которые вам нравятся, но после проверки 20 страниц (в ежедневном режиме) он остановится и оставит остальных на следующий день.

Бесплатная (с ограничениями) Интернет

Versionista

Versionista был разработан для современного и современного бизнеса, где тонкие изменения могут предложить действенные тактические преимущества. Он позволяет отслеживать все веб-сайты и получать уведомления по электронной почте, когда выполняются изменения, соответствующие вашим фильтрам. Он отслеживает и архивирует все онлайн-присутствие любого лица, включая социальные сети, блоги и другие веб-сайты

Бесплатная (с ограничениями) Интернет

SORGE project

SORGE делает бизнес-аналитику сайтов конкурентов простой и эффективной. Наслаждайтесь премиум-функциональностью из инструмента для мониторинга, который является профессиональным и простым в использовании.

Бесплатная (с ограничениями) Интернет

Что в этом списке?

В списке находится программы которые можно использовать для замены Page Monitor на платформах Интернет, Chrome, Chrome OS. Этот список содержит 12 приложений, похожих на Page Monitor.

Если рассмотреть причины, по которым сайты резко начинают терять трафик, то их можно разделить на 3 основные группы: алгоритмические, внутренние и внешние. К первым относится изменение алгоритмов поисковых систем, на которые мы не можем повлиять. На все остальные причины мы осознанно или неосознанно влияем. И если с осознанным влиянием все более-менее понятно, тут все зависит от степени осведомленности и здравомыслия оптимизатора, то серьезной проблемой является незнание, что там происходит с сайтом.

Один из примеров: мой заброшенный сайт взломали и разместили вредоносный код, позже подтвердили права на домен в панелях для вебмастеров и загнали в индекс кучу спамных страниц. Узнал я об этом только из уведомления панели, когда Google прислал сообщение “вы предоставили доступ к сайту…”. Понятное дело, что трафик из поиска на сайт пропал из-за снижения доверия. Если бы я мог быстро отследить изменения в коде страниц, то среагировал бы оперативней. В моем случае сайт был заброшен, но у многих живых сайтов происходят аналогичные ситуации со взломом и бизнес может терпеть большой ущерб.

Есть много других примеров, когда над сайтом работает команда и один человек из команды не всегда знает, что делает второй. И еще интересней, когда все изменения в коде затираются после обновления CMS . Так было с моими знакомыми, которые больше года не могли выпустить новую версию сайта, так как закрытые таски переоткрывались после очередных обновлений и правок (делали одно, другое ломалось и наоборот). И здесь хорошо, когда в тестовом режиме можно все это узнать, но что делать, когда вы уже выкатили проект в паблик и через неделю автоматом в целях безопасности обновили CMS или какой-то плагин?

Ответ очевиден - необходимо мониторить изменения на сайте. Особенно это актуально для больших проектов, и особенно там, где над проектами работает несколько человек. Хотя, я рекомендую всем это делать. Хотя бы изредка, чтобы застраховать себя от разных несчастных случаев. С помощью мониторинга вы сможете вовремя отреагировать на ненужные (или слетевшие) изменения на сайте, плюс сможете лучше понимать причины резких изменений позиций сайта или его отдельных страниц.

Что именно мониторить?

В идеале нужно мониторить всё 🙂 но возникает много нюансов для сайтов с динамическим контентом, поэтому лучше сконцентрировать внимание на важных участках:

• Тег TITLE и H1
• Мета-тег description
• Выделенные участки контента
• HTTP код статуса
• Файл robots.txt

Полезно будет также отслеживать мета-тег robots и канонические ссылки (rel canonical).

Можно ли это автоматизировать и как?

Постоянно отслеживать изменения вручную это неблагодарное занятие. Мониторинг необходимо автоматизировать, и смотреть в отчеты лишь тогда, когда один из отслеживаемых параметров изменяется.

Для автоматизации этого процесса имеется несколько инструментов. Один из них свежий, от компании Mail.ru - SeoSan . Плюсы в том, что сервис бесплатный, помимо мета-тегов отслеживает изменения файла robots.txt. Минусы в ограничениях на количество страниц (максимум можно добавить 50 страниц), и вы не можете мониторить сайты, владение которыми не подтвердите. А хотелось бы отслеживать изменения и конкурентов в том числе.