Простейшее описание принципа работы поисковой системы яндекс. Поисковые системы Интернета: Яндекс, Google, Rambler, Yahoo. Состав, функции, принцип работы

Уже давно стали неотъемлемой частью российского Интернета. Поисковые системы сейчас – это огромные и сложные механизмы, представляющие собой не только инструмент поиска информации, но и заманчивые сферы для бизнеса.

Большинство пользователей поисковых систем никогда не задумывались (либо задумывались, но не нашли ответа) о принципе работы поисковых систем, о схеме обрабатки запросов пользователей, о том, из чего эти системы состоят и как функционируют…

Данный мастер-класс призван дать ответ на вопрос о том, как работают поисковые системы. Однако, Вы не найдете здесь факторов, влияющих на ранжирование документов. И тем более не стоит рассчитывать на подробное объяснение алгоритма работы Яндекса. Его, по словам Ильи Сегаловича, - директора по технологиям и разработке поисковой машины «Яндекс», можно узнать, лишь «под пыткой» самого Ильи Сегаловича…

2. Понятие и функции поисковой системы

Поисковая система - это программно-аппаратный комплекс, предназначенный для осуществления поиска в сети Интернет и реагирующий на запрос пользователя, задаваемый в виде текстовой фразы (поискового запроса), выдачей списка ссылок на источники информации, в порядке релевантности (в соответствии запросу). Наиболее крупные международные поисковые системы: «Google» , «Yahoo» , «MSN» . В русском Интернете это – «Яндекс» , «Рамблер» , «Апорт» .

Рассмотрим подробнее понятие поискового запроса на примере поисковой системы «Яндекс». Поисковый запрос должен быть сформулирован пользователем в соответствии с тем, что он хочет найти, максимально кратко и просто. Допустим, мы хотим найти информацию в «Яндексе» о том, как выбрать автомобиль. Для этого, открываем главную страницу «Яндекса», и вводим текст поискового запроса «как выбрать автомобиль». Далее, наша задача сводится к тому, чтобы открыть предоставленные по нашему запросу ссылки на источники информации в Интернет. Однако, вполне можно и не найти нужную нам информацию. Если таковое произошло, то либо нужно перефразировать свой запрос, либо в базе поисковой системе действительно нет никакой актуальной информации по нашему запросу (такое может быть при задании очень «узких» запросов, как, например «как выбрать автомобиль в Архангельске»)

Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут. А научить пользователей делать «правильные» запросы к системе, т.е. запросы, соответствующие принципам работы поисковых систем, невозможно. Поэтому разработчики создают такие алгоритмы и принципы работы поисковых систем, которые бы позволяли находить пользователям искомую ими информацию.

Это означает, поисковая система должна «думать» так же, как думает пользователь при поиске информации. Когда пользователь обращается с запросом к поисковой машине, он хочет найти то, что ему нужно, максимально быстро и просто. Получая результат, он оценивает работу системы, руководствуясь несколькими основными параметрами. Нашел ли он то, что искал? Если не нашел, то сколько раз ему пришлось перефразировать запрос, чтобы найти искомое? Насколько актуальную информацию он смог найти? Насколько быстро обрабатывала запрос поисковая машина? Насколько удобно были представлены результаты поиска? Был ли искомый результат первым или же сотым? Как много ненужного мусора было найдено наравне с полезной информацией? Найдется ли нужная информация, при обращении к поисковой системе, скажем, через неделю, или через месяц?

Для того, чтобы удовлетворить ответами все эти вопросы, разработчики поисковых машин постоянно совершенствуют алгоритмы и принципы поиска, добавляют новые функции и возможности, всячески пытаются ускорить работу системы.

3. Основные характеристики поисковой системы

Опишем основные характеристики поисковых систем:

• Полнота

  Полнота - одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.

• Точность

  Точность - еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.

• Актуальность

  Актуальность - не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.

• Скорость поиска

  Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.

• Наглядность

4. Краткая история развития поисковых систем

В начальный период развития Интернет, число его пользователей было невелико, а объем доступной информации сравнительно небольшим. В большинстве своем, доступ к сети Интернет имели лишь сотрудники научно-исследовательской сферы. В это время задача поиска информации в Интернете не была столь актуальной, как в настоящее время.

Одним из первых способов организации доступа к информационным ресурсам сети стало создание открытых каталогов сайтов, ссылки на ресурсы в которых группировались согласно тематике. Первым таким проектом стал сайт Yahoo.com, открывшийся весной 1994 года. После того, как количество сайтов в каталоге значительно увеличилось, была добавлена возможность поиска нужной информации по каталогу. В полном смысле это еще не было поисковой системой, так как поисковая область была ограничена только ресурсами, присутствующими в каталоге, а не всеми Интернет ресурсами.

Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 5 миллионах ресурсов, тогда как база поисковой системы Google состоит из более чем 8 миллиардов документов.

В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в сети Интернет.

В 1997 году Сергей Брин и Ларри Пейдж создали поисковую машину Google в рамках исследовательского проекта в Стэндфордском университете. В настоящий момент Google - самая популярная поисковая система в мире!

В сентябре 1997 года была официально анонсирована поисковая система Yandex, являющаяся самой популярной в русскоязычном Интернете.

В настоящее время существуют три основные поисковые системы (международные) – Google, Yahoo и , имеющие собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих насчитывается большое количество) использует в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.

5. Состав и принципы работы поисковой системы

В России основной поисковой системой является «Яндекс», далее - Rambler.ru, Google.ru, Aport.ru, Mail.ru. Причем, на данный момент, Mail.ru использует механизм и базу поиска «Яндекса».

Практически все крупные поисковые системы имеют свою собственную структуру, отличную от других. Однако можно выделить общие для всех поисковых машин основные компоненты. Различия в структуре могут быть лишь в виде реализации механизмов взаимодействия этих компонентов.

Модуль индексирования

Модуль индексирования состоит из трех вспомогательных программ (роботов):

Spider (паук) – программа, предназначенная для скачивания веб-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP. Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ.

• URL страницы
• дата, когда страница была скачана
• http-заголовок ответа сервера
• тело страницы (html-код)

Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer (робот- индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.

Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.

База данных

База данных, или индекс поисковой системы - это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.

Поисковый сервер

Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.

Поисковый сервер работает следующим образом:

• Полученный от пользователя запрос подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде , то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).
• Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.
• В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).
• Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.
• Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов.

Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.

6. Заключение

Теперь подытожим все вышесказанное.

• Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут.
• Основные характеристики поисковых систем:
  1. Полнота
  2. Точность
  3. Актуальность
  4. Скорость поиска
  5. Наглядность
• Первой полноценной поисковой системой стал проект WebCrawler, вышедший в свет в 1994 году.
• В состав поисковой системы входят компоненты:
  1. Модуль индексирования
  2. База данных
  3. Поисковый сервер

Надеемся, наш мастер-класс позволит Вам поближе ознакомиться с понятием ПС, лучше узнать основные функции, характеристики и принцип работы поисковых систем.

Браузер - это окно в интернет. Многие держат его открытым целыми днями: мимо него бежит лента новостей, в нём мы наблюдаем за жизнью наших друзей, к нему обращаемся, когда хотим что-то найти. Но интернет не всегда выглядел так, как мы привыкли. Вернее, долгое время он вообще никак не выглядел.

В браузере мы видим не интернет, а Всемирную паутину, или веб. Сам интернет - это инфраструктура, комплекс сетей, в которые объединены компьютеры по всему миру. А веб - способ наглядно представить хранящуюся на них информацию в виде связанных между собой страниц. На этих страницах могут быть текст, картинки, видеоролики, разнообразные кнопки, ссылки и многое другое. Чтобы все эти элементы работали и отображались корректно, страницу нужно открыть в специальной программе. Эта программа и есть браузер.

Немного истории

Прообраз современного веба и, соответственно, первый браузер появились в 1991 году в ЦЕРН - европейской организации по ядерным исследованиям. Один из её сотрудников, Тим Бернерс-Ли, придумал провязать научные документы гиперссылками и решить таким образом проблему поиска информации в огромном архиве института. Первый браузер назывался WorldWideWeb и выглядел примерно вот так.

Браузер WorldWideWeb в 1993 году. Источник - страница Тима Бернерса-Ли на w3.org

Там же, в ЦЕРН, появилась и первая веб-камера . Учёные, у которых была одна кофе-машина на несколько этажей, поставили рядом с ней камеру, которая несколько раз в минуту отправляла фотографии на их компьютеры - всё для того, чтобы можно было, не отрываясь от работы, узнать, есть ли в машине кофе.

В начале 90-х появились не только веб и первые браузеры - тогда же начинали работать первые коммерческие интернет-провайдеры. До этого интернет финансировался правительством и доступ в него был только в больших университетских центрах и военных организациях. Теперь же в сеть мог выйти любой человек с домашнего компьютера.

Интернет стал публичным, а с появлением веба и сравнительно простых в освоении браузеров вроде Mosaic и Netscape Navigator - ещё и наглядным. Из инструмента научного сообщества он постепенно стал превращаться в средство массовой коммуникации, а затем, с ростом аудитории, и в глобальную торгово-развлекательную площадку.

Последняя версия браузера Mosaic, выпущена в 1997 году. Источник - Википедия.

Сегодня сотни миллионов людей ежедневно ищут в сети информацию и новости, слушают музыку и смотрят фильмы, играют, общаются, покупают. Чтобы всё это стало возможным, браузерам пришлось многому научиться. Простейший пример - отображение нескольких страниц в одном окне. Вкладки стали появляться в популярных браузерах только в первой половине 2000-х - теперь же навигацию в сети без них трудно представить.

Из чего сделан Яндекс.Браузер

Первая версия Яндекс.Браузера была выпущена в 2012 году. Создавая его, мы использовали уже существующие наработки. Например, «движок» для нашего браузера мы выбрали такой же, как у Safari и Google Chrome - называется он WebKit. Чтобы объяснить, почему мы выбрали именно его, надо хотя бы в двух словах рассказать, что вообще делает движок.

Если коротко, то он собирает сайты по инструкции - примерно так же, как мы собираем мебель, которая приехала из магазина в нескольких коробках. Страницы сайтов становятся такими, какими мы привыкли их видеть, только на экране компьютера. Пока вы не смотрите на них через браузер, они существуют в виде документов со ссылками на «детали» (например, картинки, которые используются для фона и кнопок) и кодом, который определяет, как их надо соединить..

Это только маленькая часть кода страницы сайт - целиком он длиннее, чем вся эта статья.

У каждого движка есть свои особенности - именно поэтому один и тот же сайт может немного по-разному выглядеть в разных браузерах. Если создатель сайта не учитывает эти особенности, то какой-нибудь браузер может неправильно понять его инструкции и собрать что-то некрасивое или вообще неработающее. Мы не стали придумывать собственный «движок», чтобы разработчикам сайтов не приходилось адаптировать свои сайты ещё и под него. Вместо этого был выбран популярный WebKit, на который уже ориентируются большинство веб-разработчиков.

У WebKit есть несколько реализаций - наш браузер работает на той, что развивается в проекте Chromium. Им занимаются сразу несколько крупных компаний - причём ко всеобщей выгоде. Если одна компания придумывает какое-то техническое улучшение, от этого выигрывают все (если интересно, например, о том, как разработчики Яндекс.Браузера помогли значительно ускорить все программы на основе Chromium). Кроме того, это позволяет совместно продвигать современные веб-стандарты, то есть делать интернет удобнее и безопаснее.

Что делает Яндекс.Браузер особенным

Самый очевидный ответ - это дизайн. С самого начала мы старались сделать так, чтобы интерфейс не был громоздким. Наш идеал браузера - это не просто окно, а «панорамное окно» в интернет: во весь экран и с минимум деталей. Какое-то время мы вообще пробовали сделать прозрачный браузер - этот проект назывался Кусто. Тестирование показало, что далеко не все пользователи готовы к таким переменам, зато некоторые нововведения, вроде анимированных фонов и умной поисковой строки, многим пришлись по душе. В той версии Яндекс.Браузера, над которой мы работаем сейчас, лучшие идеи, опробованные в Кусто, сочетаются с классическими интерфейсными решениями. Теперь наш браузер выглядит вот так.

Это Яндекс.Браузер для Windows. Версии для Mac OS и Linux пока выглядят иначе.

Дизайн - это не только внешний вид, но и практичность. В Яндекс.Браузере есть много незаметных на первый взгляд решений, которые делают его удобным. Например, чтобы увидеть Табло со ссылками на часто посещаемые сайты, необязательно открывать новую вкладку, достаточно нажать на адресную строку. Благодаря этому путь до нужной страницы сокращается на один шаг.

Той же цели - сэкономить время и клики - служит нашего браузера. Используя данные Яндекса о популярных поисковых запросах, она может подсказать адрес нужного сайта, даже если вы на нём никогда не были, и предложить перейти на vk.com человеку, который забыл переключить раскладку и успел напечатать «млюс». На некоторые простые вопросы - вроде [курс доллара], [погода в самаре] или [формула объема шара] - Умная строка может ответить самостоятельно, так что пользователю даже не придётся переходить на новую страницу, чтобы получить информацию.

Другой пример продуманного дизайна тоже связан с адресной строкой. В она расположена внизу экрана, а не наверху, как у большинства браузеров, - просто потому что так до неё удобнее дотянуться большим пальцем. Экраны смарфтонов становятся всё больше, а наши пальцы пока не удлиняются, вот и приходится с этим считаться.

Ещё одна особенность нашего браузера состоит в том, что он сам ищет для вас интересную информацию. Открыв новую вкладку, вы увидите внизу блок, озаглавленный «Дзен: ваши персональные рекомендации». В нём собираются статьи и видео на темы, которыми вы обычно интересуетесь. Уникальность в том, что за составление ленты публикаций отвечает машинный интеллект : он собирает их не из тематических RSS-подборок, а со всего интернета - с помощью поисковых технологий Яндекса. Если Дзен заметит, что у вас появились новые интересы, он начнёт учитывать их при составлении ленты.

Чтобы пользоваться браузером было комфортно, он должен быть не только красивым и удобным, но и ещё и быстрым и безопасным. За последнее в Яндекс.Браузере отвечает - комплекс технологий, которые берегут пароли, блокируют мошеннические сайты, позволяют без приключений подключаться к публичным сетям Wi-Fi и оплачивать услуги в интернете. Со скоростью помогает режим . Он автоматически включается при медленном соединении и ускоряет загрузку страниц. Это происходит за счёт уменьшения объёма данных: «тяжёлое» содержимое страницы - обычно это видео и картинки - сжимается на серверах Яндекса и только после этого передаётся пользователю. В результате экономится не только время, но и трафик.

Если вам интересно следить за тем, как развивается Яндекс.Браузер, вы можете установить его
и участвовать в тестировании новых возможностей Браузера.

Яндекс.Браузер – это новый браузер, разработанный в компании Яндекс в 2012 году. Базой для его создания послужил браузер с открытым исходным кодом Chromium. Для компании Яндекс это уже вторая попытка представить собственный браузер, а первой был Яндекс.Интернет, который являлся обыкновенной сборкой Chromium, куда были добавлены сервисы Яндекса. Однако на этот раз разработчики объявили, что создали обозреватель практически с нуля, поэтому он кардинально отличается от предыдущего. Впервые Яндекс.Браузер был представлен публике на технологической конференции Yet another Conference.

Ознакомимся с характерными особенностями данного Интернет-браузера.
При установке Яндекс.Браузер может импортировать информацию из других уже установленных на компьютере обозревателей. После установки пользователю сразу открываются все страницы из последней сохраненной сессии браузера, из которого импортировались данные.

По своим основным возможностям Яндекс.Браузер не уступает остальным современным браузерам и имеет некоторые особенности, отличающие его от других. Например, браузер оснащен программой просмотра файлов в формате PDF, а также проигрывателем Adobe Flash Player, без которого сейчас не обойтись при просмотре сайтов в Интернете. Также браузер объединен с такими сервисами, как «Яндекс.Почта», «Яндекс.Переводчик», «Яндекс.Диск» и «Яндекс.Поиск».

Браузер позволяет синхронизировать закладки, расширения, пароли и настройки браузера между разными устройствами. Для всех этих данных представлена также возможность резервного копирования на «облачном» сервере Яндекса. Также в браузере имеется возможность автоматического перевода с таких языков как английский, французский, немецкий, украинский и других, которых в общей сложности насчитывается 14. Встроенный переводчик способен переводить не только некоторые слова, но и веб-страницы полностью.

Для ускорения работы обозревателя в нем используется технология Turbo от компании Opera. Она помогает браузеру работать быстрее даже при медленном соединении и доступна с версии 1.1. Яндекс.Браузера, вышедшей 8 ноября 2012 года.

Одной из главных особенностей браузера Яндекс является наличие так называемой «умной строки». В эту строку можно писать и адреса веб-сайтов, и поисковые запросы. А при наборе выводятся подсказки – пользователь видит строчки из своих закладок или из истории страниц, которые он посещал. Также подсказки показывают ответы на запросы, чтобы пользователь не тратил время на набор, а переходил сразу на страницу результатов поиска. При желании браузер позволяет узнать, что нашли по запросу пользователя другие поисковые системы, или что есть на эту тему в Википедии. Если пользователь не помнит или не знает адрес нужного сайта, Яндекс.Браузер может вычислить наиболее популярные сайты, которые, возможно, имелись в виду. Обозреватель найдет их даже в том случае, если пользователь ввел название с неверной раскладкой клавиатуры или допустил ошибку.

В Яндекс.Браузере есть также панель быстрого запуска, называемая «Табло». Оно появляется каждый раз, когда пользователь открывает новую вкладку или переносит значок курсора в строку адреса. Такая панель представляет собой окно с виджетами выбранных пользователем сайтов, которые можно отредактировать, добавить новые или удалить старые. Таких сайтов можно добавить не больше 15. Также виджеты помимо мини-скриншота сайта могут показывать дополнительные сведения, например сообщения из социальных сетей, непрочитанные письма электронной почты, уровень заторов на дорогах и т. д.

Что касается безопасности браузера , то обозреватель от Яндекса оснащен сервисом, который проверяет сайты и ссылки на предмет их угрозы компьютеру. Все файлы, которые пользователь скачивает, проходят проверку на безопасность системой, разработанной «Лабораторией Касперского». Браузер предупреждает пользователя о сайтах, которые могут оказаться мошенническими.

При помощи системы быстрых ссылок Яндекс.Браузер помогает пользователю разобраться с незнакомыми сайтами, такими как интернет-магазины, сайты транспортных компаний или банков. Браузер выделяет на сайте наиболее значимые области и переносит в строку поиска ссылки для быстрого перехода именно в эти разделы. К примеру, в интернет-магазине это такие разделы как «доставка и оплата» или «корзина». Это помогает пользователю быстрее сориентироваться.
Популярность Яндекс. Браузера стремительно растет. В мае 2013 года доля данного обозревателя на рынке уже равнялась 5 %, а по популярности использования в Рунете он занимал седьмое место по данным LiveInternet. Сегодня Яндекс.Браузер занимает уже второе место среди российских пользователей.

В июне 2013 года компания Яндекс выпустила мобильную версию браузера для планшетов и смартфонов, и собирается создать версию для Linux.

Здравствуйте, дорогие читатели. Сегодняшняя тема не оставит равнодушным ни одного владельца сайта, ведь в этой статье я приведу описание поисковой системы Яндекс – лидера среди российских поисковиков. Что ни говори, грамотное использование её ресурсов – ключ к успешному продвижению и росту посещаемости вашей площадки.

Итак вперед к прочтению статьи.))

Возможности Yandex

Начнём, пожалуй, с характеристики самой ПС, которая в России занимает первое место среди (после Google), и является несомненным лидером среди российских браузеров. Сегодня это не только эффективная ПС, но и масса удобных для пользователя сервисов.

Заведя всего один аккаунт в системе (ваш почтовый ящик) вы получаете доступ к таким сервисам как , возможность вести собственный блог, приобретать авиабилеты, хранить файлы на диске и делиться ими с другими пользователями и т.п.

Поиск возможен не только по запросу в привычной поисковой строке, но и в каталоге сайтов. Это тематический рубрикатор, где, выбрав раздел, вы получаете результаты выдачи по нужной тематике. Именно поэтому если у вас уже есть виртуальное представительство, не забудьте включить его в базу. Для этого нужно просто заполнить информацию на этой странице: https://yaca.yandex.ru/add_free.xml.

Для вебмастера здесь есть масса всевозможных вкусностей, которые значительно облегчают работу:

• Метрика позволяет эффективно анализировать площадки, учитывая не только количество посетителей, но и их активность. Учитывается и скорость загрузки страниц – важный параметр оптимизации. Для индивидуализации получаемых отчетов вы можете использовать фильтры.
• Директ — это служба контекстной рекламы, помогающая вам в продвижении площадки, если ваша цель состоит в увеличении популярности, или заработке на посещаемости ресурса, если вы размещаете на нём объявления. Это одна из крупнейших рекламных сетей в Рунете, поэтому не стоит недооценивать её как источник трафика.
• Wordstat нужен для получения статистики запросов по интересующим вас ключевым словам. С его помощью можно подобрать базовые ключи ещё до начала работы.

Основной инструмент продвижения – панель вебмастера. Здесь можно отследить факт индексации системой, провести анализ позиций сайта в рейтинге ПС, добавить в систему созданную карту сайта, увидеть региональные различия в результатах выдачи и т.п.

После авторизации в сервисе (войти с логином и паролем от почтового ящика Яндекс) необходимо добавить ресурс и подтвердить свои права на него. Для этого на главной странице вебмастера: https://webmaster.yandex.ru/ нажимаем кнопку «добавить сайт» и вводим туда нужные данные. Для подтверждения своих прав, вам потребуется добавить на сервер файл с указанным программой содержимым и дождаться проверки роботом.

После этого ваши возможности существенно расширятся. К примеру, пользователи, прошедшие подобную верификацию, могут добавлять виджеты на главную страницу поисковика. Изучить варианты использования всех служб можно с помощью специального курса для вебмастеров, материалы которого доступны здесь.

Зачем нужны обновления в Яндексе?

Обновления, или иначе апдейты – ключевой момент в продвижении в этой поисковой системе. Неслучайно все владельцы ресурсов ждут новостей о них с особым вниманием. Это общее обновление поисковой базы, в результате которого меняются позиции сайтов в рейтинге ПС.

В ходе данного процесса происходит учёт изменений, внесённых владельцем с момента предыдущего апдейта, в результате следует повышение или понижение места в рейтинге. Если при анализе ресурса найдены серьёзные нарушения, возможен бан, то есть исключение из результатов поиска.

Вновь попасть в него можно только при следующем апдейте, если нарушения будут устранены. Таким образом, в промежутке между ними результаты выдачи по конкретным запросам не изменяются.

Возможно, при первом знакомстве алгоритм взаимодействия с данным поисковиком выглядит сложным. Однако, приложив определённые усилия, в нём вполне реально разобраться, даже не имея опыта продвижения. Надеюсь, что вам было интересно. Не пропустите — новые полезные материалы на моём блоге уже совсем скоро – подписывайтесь на обновления! Пока-пока.

С уважением, Роман Чуешов

Основой работы поисковых систем как Google, так и Яндекс является система кластеров. Вся информация делится на определенные области, которые относятся к тому или иному кластеру. Индексация сайтов с целью получения данных о размещенной на них информации выполняется роботами-сканерами. Существуют следующие виды сканирующих роботов: основной робот-сканер и робот-сканер, отвечающий за сбор информации на ресурсах с частым обновлением содержания. Второй тип сканирующего робота предназначен для быстрого обновления списка проиндексированных ресурсов и значения их индексов в поисковой системе. Для наиболее полного обеспечения сбора информации в системе Яндекс применяются обновления базы поиска и обновления программного кода:

• · База поисковой информации обновляется несколько раз в течение месяца, при этом на поисковые запросы выдается обновленная информация с сайтов. Такая информация добавляется с помощью основного робота-сканера.
• · При обновлении программного кода или «движка» выявляются недостатки и изменяются алгоритмы, отвечающие за ранжирование ресурсов в поисковой системе. Как правило, перед выходом таких обновлений Яндекс публикует соответствующие анонсы.

Основная особенность системы Яндекс, делающая популярной ее среди русскоязычных пользователей, - это способность определять различные словоформы с учетом морфологических особенностей русского языка. При этом значения запроса с помощью геотаргетинга и формул поиска преобразуется в максимально точную формулировку. Кроме того, Яндекс отличается алгоритмом по определению релевантности индексируемых страниц (релевантностью называют соотношение содержания веб-страницы к содержанию поискового запроса). Также к положительным сторонам можно отнести высокую скорость ответной реакции на запросы и устойчивую, без перегрузок, работу серверов.

Большое значение для поисковой системы имеют динамические ссылки, наличие которых может привести к отказу от индексации ресурса поисковым роботом.

В процессе индексации Яндекс распознает текстовую информацию в документах с расширениями: .pdf, .rtf, .doc, .xls, .ppt. Последние два относятся к программам входящими в комплект Microsoft Office: Excel и PowerPoint.

При индексировании сайта поисковая система считывает данные из файла robots.txt, при этом поддерживается атрибут Allow и часть метатегов, а метатеги Revisit-After и Keywords игнорируются.

Так как сниппеты - краткие описания текстовых документов - составляются из фраз на искомой странице, то использование описания в теге не является обязательным, но может использоваться в отдельных случаях.

По заявлениям разработчиков кодировка индексируемых документов определяется автоматически, а значит, и метатег кодировки не имеет большого значения.

Поисковая система большое значение придает показателю последнего изменения информации (Last-Modified). Если сервер не будет передавать эту информацию, то процесс индексации данного ресурса будет происходить намного реже.

Пока что остается нерешенной проблема страниц, использующих фреймовые структуры, но она может быть обойдена с помощью скриптов, отправляющих пользователей поисковой системы в нужное место сайта.

Если у сайта существуют «зеркала» (например, http://www.site.ru, http://site.ru, https://www.site.ru, https://www.site.ru), необходимо принять соответствующие действия для исключения их из процесса индексации. Если индексацию «зеркал» избежать не удалось, можно «склеить» их путем внесения необходимой информации в robots.txt.

В случае попадания сайтов в Яндекс.Каталог система будет идентифицировать их как заслуживающих отдельного внимания, что может повлиять на продвижение сайтов. Также это способствует упрощению процедуры определения тематики сайта, что в свою очередь означает получение сайтом значимой внешней ссылки.

Команда поисковой системы Яндекс держит в секрете IP-адреса своих роботов. Но в лог-файлах отдельных сайтов можно встретить текстовые пометки, оставленные поисковыми роботами Яндекс.

Одними из самых интересных роботов-сканеров поисковой системы Яндекс можно назвать:

• · Yandex/1.01.001 (compatible; Win16; I) - основной робот, занимающийся непосредственно индексацией сайтов;
• · Yandex/1.01.001 (compatible; Win16; P) - робот-индексатор изображений;
• · Yandex/1.01.001 (compatible; Win16; H) - робот, который выявляет «зеркала» индексируемых сайтов;
• · Yandex/1.02.000 (compatible; Win16; F) - робот-индексатор пиктограмм ресурсов (favicons);
• · Yandex/1.03.003 (compatible; Win16; D) - робот, который обращается к страницам, добавленным с помощью формы «Добавить URL»;
• · Yandex/1.03.000 (compatible; Win16; M) - задействуется при переходе на страницу посредством ссылки «Найденные слова»;
• · YaDirectBot/1.0 (compatible; Win16; I) - этот робот отвечает за индексацию страниц ресурсов, принимающих участие в рекламной сети Яндекс.

Из всех поисковых роботов самый важный так и называется - основной поисковый робот. От того, как он проиндексирует страницы сайта, будет зависеть значимость ресурса для поисковой системы.

Работа всех роботов происходит по индивидуальному расписанию, и если сайт проиндексирован одним из них, то это не значит, что скоро будет произведена индексация и другим.

В помощь основным созданы и роботы, которые периодически посещают сайты и устанавливают, насколько те доступны. К таким можно отнести роботов «Яндекс.Каталога» и рекламной сети Яндекс.

Для поисковой системы Яндекс характерны следующие основные показатели внешней оптимизации:

• · тИЦ - это общедоступный тематический индекс цитирования, он не оказывает прямого влияния на ранжирование и используется для определения позиций в тематической категории Яндекс.Каталога; применяется, когда необходима раскрутка сайта, тИЦ показывает, какое количество ссылок, в среднем, обращается к сайту.
• · вИЦ, или взвешенный Индекс Цитирования, представляет собой алгоритм для подсчета количества внешних ссылок; значение его не разглашается и используется поисковой системой как определяющее при ранжировании сайтов в поисковой системе.
• · Присутствие сайта в «Яндекс.Каталоге».
• · Общее число страниц сайта, принявших участие в индексации.
• · Частота, с которой индексируется содержимое сайта.
• · Наличие и отсутствие ссылок с сайта, присутствие сайта в поисковых фильтрах.

Индекс цитирования создает основу для тематического и взвешенного индекса цитирования, которые влияют на ранжирование сайта.

Индекс цитирования (ИЦ) -- это указатель цитирований (количества ссылок на источник) между публикациями, позволяющий узнать, какие из более поздних документов ссылаются на более ранние работы, при этом, ИЦ может рассматриваться как для отдельных статей, так и для авторов (ученных).

В поисковой системе Яндекс, а также в других поисковых системах, под индексом цитирования подразумевается количество обратных ссылок, без учета ссылок со следующих ресурсов: немодерируемых каталогов, досок объявлений, сетевых конференций, страниц серверной статистики, XSS ссылки и другие, которые могут добавляться без контроля со стороны владельца ресурса.

Стоит отметить, что в каталоге Апорт под ИЦ понимается взвешенный индекс цитируемости.

Рассчитывается этот индекс из ссылочного графа: если рассматривать ресурсы сети как вершины графа, а цитирование других ресурсов (ссылочные связи между сайтами) как связи вершин графа (ребра), тогда ссылочный граф можно представить в виде диаграммы, как показано на рисунке 3.1.