Предварительный обзор нового алгоритма «Яндекса. Все об алгоритмах "яндекса"

Яндекс запустил новый алгоритм ранжирования - «Королев». Теперь поисковая система сопоставляет смыслы поискового запроса и страницы. Это очень удобно для пользователей. Однако что новый алгоритм означает для оптимизаторов и владельцев сайтов, как изменится продвижение и стоит ли ждать изменения трафика.

Как никогда весь «сеошный» мир ждал запуска нового алгоритма ранжирования, анонсированного на 22 августа 2017 года. Ещё бы, подобные анонсы – вещь для Яндекса абсолютно нетипичная, обычно они предпочитают не распространяться о своих планах, и сообщают об очередном релизе алгоритма ранжирования постфактум.

22 августа 2017 года Яндекс запустил новую версию поиска. В её основе лежит поисковый алгоритм «Королёв» (с 2008-го года новые алгоритмы ранжирования в Яндексе называют в честь городов). Алгоритм с помощью нейронной сети сопоставляет смысл запросов и веб-страниц - это позволяет Яндексу точнее отвечать на сложные запросы. Для обучения новой версии поиска используются поисковая статистика и оценки миллионов людей. Таким образом, вклад в развитие поиска вносят не только разработчики, но и все пользователи Яндекса.

Область применения нового алгоритма практически не затрагивает традиционные сеошные сферы интересов, в первую очередь к которым можно отнести коммерческую выдачу. «Королёв» оказался логическим продолжением алгоритма «Палех» и призван обслуживать длинный хвост микрочастотных запросов, как правило, задаваемых на естественном языке. Особенностью таких запросов является то, что релевантные им документы могут не содержать многих из слов, входящих в запрос. Это ставит в тупик традиционные алгоритмы ранжирования, основанные на текстовой релевантности.

Решение найдено в виде использования нейросетей, которые обучаются в том числе и на поведении пользователей. Поэтому новый алгоритм Яндекса работает на основе нейронной сети. Он обучается на примерах запросов пользователей, и подбирает ответы исходя из смысла текста на странице. Это означает, в частности, что он будет гораздо эффективнее работать с нестандартными запросами, когда пользователи сами не уверены, как называется то, что они хотят найти. Здесь многое упирается в вычислительные мощности.

Вообще подобный подход к решению задачи ранжирования длинного микрочастотного хвоста запросов не нов. Еще в 2015-м году стало известно о технологии, применяемой поисковой системой Google для поиска ответов на многословные запросы, заданные на естественном языке – RankBrain. Эта технология, так же основанная на машинном обучении, позволяет распознавать наиболее значимые слова в запросах, и анализировать контекст, в котором осуществляется поиск. Что позволяет находить релевантные документы, которые не содержат всех слов запроса.

Кроме того, алгоритм работает и с картинками. Он анализирует содержание изображения и подбирает необходимый вариант, исходя из него, а не только из описания в тегах или окружающего его текста.

Впрочем, длинный хвост микрочастотных многословных запросов на естественном языке вполне может быть интересен «выжигателям» информационной семантики – создателям так называемых инфосайтов «на все случаи жизни». В общем-то, они и так стараются под как можно большее количество известных им запросов, которые удается заполучить с помощью различных методов сбора семантики, организовать точное вхождение в свои тексты. Там же, где точных вхождений не будет, т.е. для запросов, которые не всосал «семантический пылесос» создателей инфосайтов или для которых им не удалось обеспечить точных вхождений в контент, и начинается вотчина «Королёва», который призван искать соответствия между запросами и ответами в том случае, когда между ними мало пересечений по ключевым словам. В таких случаях «Королёв» несомненно повысит требования к качеству контента, и реально интересные читабельные статьи будут еще больше выигрывать у сборников вхождений ключевых фраз, разбавленных водой, т.к. именно в таких статьях могут содержаться полезные для нового алгоритма сигналы. Ну, а всем остальным сеошникам действительно можно расслабиться – очередная порка откладывается. Жертв и разрушений нет.

Запуская «Палех», Яндекс научил нейронную сеть преобразовывать поисковые запросы и заголовки веб-страниц в группы чисел - семантические векторы.

Важное свойство таких векторов состоит в том, что их можно сравнивать друг с другом: чем сильнее будет сходство, тем ближе друг к другу по смыслу запрос и заголовок.

Чем он отличается от «Палеха»?

Основным отличием нового алгоритма, помимо улучшения технической реализации, является возможность распознавать схожие «смыслы» по всему документу, а не только по заголовку (Title), который появляется в окне браузера.

Как работает алгоритм «Королёв»

Поисковый алгоритм «Королёв» сравнивает семантические векторы поисковых запросов и веб-страниц целиком - а не только их заголовки. Это позволяет выйти на новый уровень понимания смысла.

Как и в случае с «Палехом», тексты веб-страниц в семантические векторы преобразует нейросеть. Эта операция требует много вычислительных ресурсов. Поэтому «Королёв» высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования.

Когда человек задаёт запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц.

Эффект «Королёва»

Умение понимать смысл особенно полезно при обработке редких и необычных запросов - когда люди пытаются описать своими словами свойства того или иного объекта и ожидают, что поиск подскажет его название.

Такая схема позволяет начать подбор веб-страниц, соответствующих запросу по смыслу, на ранних стадиях ранжирования. В «Палехе» смысловой анализ - один из завершающих этапов: через него проходят всего 150 документов. В «Королёве» он производится для 200 000 документов.

Кроме того, новый алгоритм не только сравнивает текст веб-страницы с поисковым запросом, но и обращает внимание на другие запросы, по которым люди приходят на эту страницу.

Так можно установить дополнительные смысловые связи.

Люди учат машины

Использование машинного обучения, а особенно нейросетей, рано или поздно позволит научить поиск оперировать смыслами на уровне человека. Чтобы машина поняла, как решать ту или иную задачу, необходимо показать ей огромное количество примеров: положительных и отрицательных. Такие примеры дают пользователи Яндекса.

Нейронная сеть, которую использует алгоритм «Королёв», обучается на обезличенной поисковой статистике. Системы сбора статистики учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят.

Если человек открыл веб-страницу и «завис» там надолго, вероятно, он нашёл то, что искал, - то есть страница хорошо отвечает на его запрос. Это положительный пример.

Подобрать отрицательные примеры гораздо легче: достаточно взять запрос и любую случайную веб-страницу.Статистика, которая используется для обучения алгоритма, обезличена

В помощи людей нуждается и Матрикснет, который строит формулу ранжирования.

Толока

Чтобы поиск развивался, люди должны постоянно давать оценку его работе. Когда-то выставлением оценок занимались только сотрудники Яндекса - так называемые асессоры. Но чем больше оценок, тем лучше - поэтому Яндекс привлек к этому всех желающих и запустили сервис Яндекс.Толока . Сейчас там зарегистрировано более миллиона пользователей: они анализируют качество поиска и участвуют в улучшении других сервисов Яндекса. Задания на Толоке оплачиваются - сумма, которую можно заработать, указана рядом с заданием. За два с лишним года существования сервиса толокеры дали около двух миллиардов оценок.

В основе современного поиска лежат сложные алгоритмы. Алгоритмы придумывают разработчики, а учат - миллионы пользователей Яндекса. Любой запрос - это анонимный сигнал, который помогает машине всё лучше понимать людей. Новый поиск - это поиск, который мы делаем вместе.

Сайта, выясняет наличие в составе контента ключевой фразы, принимает решение о том, насколько сайт соответствует запросу пользователя, и в зависимости от степени соответствия присваивает сайту ту или иную позицию в выдаче – выше или ниже. Для каждой поисковой системы разрабатываются свои алгоритмы. Схемы работы всех алгоритмов поисковых систем построены на схожих принципах. Например, все поисковики обязательно оценивают уникальность контента. Отличаются же алгоритмы поисковых систем некоторыми другими инструментами анализа.

Описание

На первоначальной стадии развития сети Интернет поисковым системам для нахождения необходимой пользователю информации достаточно было анализировать лишь самые основные параметры содержания страниц: наличие заголовков, ключевые фразы, объём текста и т. д. Однако с появлением оптимизации и многочисленных способов спама поисковые системы были вынуждены усложнить свои алгоритмы в целях распознавания и отсеивания сайтов, в отношении которых применялись подобные методы, что превратило их развитие в ответные действия на появление всё новых способов продвижения.

Механизмы поисковых алгоритмов являются засекреченной информацией. Никто, кроме разработчиков поисковых систем, точно не знает, что именно учитывают алгоритмы и на какие факторы они обращают внимание. Вся информация об их работе, появляющаяся в сети Интернет, в большинстве случаев представляет собой личные выводы оптимизаторов , основанные на практических наблюдениях за продвигаемыми сайтами.

Так, некоторые системы при выдаче сайтов в поисковых результатах способны анализировать информацию не только о частоте ключевых слов, но и о наиболее популярных страницах и затрачиваемом пользователем времени на их просмотр. Чем оно больше, тем выше вероятность того, что на сайте размещена действительно качественная информация. Другой подход подразумевает определение количества ссылок и вычисление авторитетного веса площадки. Это такие показатели, как ТИЦ , и другие, механизм определения которых также является ещё одним алгоритмом работы поисковых систем. Количество параметров, учитываемых поисковыми алгоритмами, может достигать нескольких сотен. К примеру, система «Google» при ранжировании сайтов обращает внимание на более чем 200 факторов.

Алгоритмы поисковой системы Google

История алгоритмов поисковой системы Google началась с введения в поисковый механизм индекса цитирования, заключающегося в ранжировании страниц и сайтов в зависимости от количества и авторитетного веса ссылок (PageRank), ведущих на них с других ресурсов. Таким образом сеть Интернет превратилась в подобие коллективного разума, который и определял релевантность сайтов. Подобная концепция оказалось удачным нововведением, благодаря которому Google и стала наиболее популярной системой.

На ранних этапах алгоритмы Google уделяли внимание лишь внутренним атрибутам страницы. Позже стали учитываться такие факторы, как свежесть информации и географическая принадлежность. В 2000 г. начал использоваться алгоритм Hilltop, предложенный Кришной Бхаратом, для более точного расчёта PageRank. В 2001 г. первоначальный механизм действия системы был полностью переписан. С этого момента Google стала разделять коммерческие и некоммерческие страницы. В этом же году был введён коэффициент, который добавлял ссылкам, ведущим с авторитетных сайтов, больший вес.

Первым по-настоящему сложным барьером для специалистов SEO стал алгоритм «Флорида», введённый Google в 2003 г. Он не только поставил под сомнение целесообразность использования распространённых на тот момент способов продвижения, но и существенно проредил позиции поисковой выдачи, исключив из неё страницы с повторяющимся анкором и переспамленные ключевыми словами.

В 2006 г. система стала использовать разработку израильского студента Ори Алона – алгоритм «Орион», улучшающий поиск благодаря отображению наиболее релевантных результатов и принимающий во внимание качество индексируемых сайтов.

В 2007 г. компания Google внедрила ещё одну систему фильтров и штрафных санкций – алгоритм «Austin». Многие из страниц, занимавших до его введения первые места в рейтинге, понизились на несколько позиций и не поднимались выше шестого места.

В 2009 г. был анонсирован алгоритм «Caffeine», выступивший в качестве ещё одного серьёзного улучшения инфраструктуры «Google». С этого момента система стала не только индексировать больше страниц, но и значительно быстрее производить поиск.

Алгоритмы поисковой системы Яндекса

В отличие от Google, поисковая система Яндекс раскрывает намного больше данных о своих алгоритмах, с помощью которых выстраивается картина выдачи.

С лета 2007 года компания Яндекс начала сообщать широкой публике (прежде всего, на форуме searchengines.ru и в своём блоге для вебмастеров) об изменениях в своих механизмах ранжирования. До этого момента изменения активно не афишировались и новые алгоритмы не получали названий.

Первым «названным» алгоритмом стал “8 SP1”. Но вскоре Яндекс начал, как иногда говорят, «игру в города» - каждое последующее изменение поискового алгоритма получало название города (в основном, российского). И началось всё с «Магадана».

Алгоритм «Магадан»

число факторов, влияющих на ранжирование сайта, увеличено вдвое
появились классификаторы для содержимого сайта и ссылок
улучшен геоклассификатор
увеличена скорость поиска по запросам, по которым Яндекс находит наибольшее число документов
увеличено «понимаемое» системой расстояние между словами поискового запроса
появилось распознавание аббревиатур, обработка транслитерации (в том числе и в URL документа)
улучшен перевод простых популярных слов: поисковик понимает, что computer=компьютер и т.п.
появилась обработка запросов с дореволюционной орфографией (содержащих буквы ѣ и т.д.)
улучшен поиск по большим многословным запросам.

Кроме того, Яндекс начал индексацию зарубежных сайтов, что привело к увеличению конкуренции по запросам, содержащим иностранные слова. Также были улучшены т.н. «колдунщики» Яндекса. Например, прогноз погоды можно теперь узнать прямо в поисковой выдаче.

Уже летом 2008 года был внесён ряд изменений в данный алгоритм: исправлены некоторые ошибки из первого релиза, а также добавлены новые факторы ранжирования сайтов (например, учёт уникальности контента).

Алгоритм «Находка»

В сентябре 2008 года появился алгоритм «Находка», вызвавший изменения в способе учёта факторов ранжирования.

Среди основных изменений:

улучшение ранжирования по запросам, содержащим минус-слова
разработка нового подхода к машинному обучению
расширение словарей Яндекса, особенно для слитного/раздельного написания запросов (теперь алгоритмы понимают, что “трубо провод” = “трубопровод”)
появление фильтров за «неожиданный» редирект пользователя на другой сайт (характерно для дорвеев)

Также было замечено, что по некоторым запросам в поисковой выдаче Яндекса стали появляться старые информационные сайты, в частности, Википедия. В связи с чем оптимизаторами сделаны выводы, что возраст домена и сайта играют роль в продвижении.

Алгоритм «Арзамас»

10 апреля 2009 года заработал поисковый алгоритм Яндекса под названием «Арзамас», или «Анадырь».

Можно сказать, что изменения, произошедшие с данного момента, оказали наиболее существенное влияние на характер выдачи, чем все изменения, происходившие ранее.

Нововведения, связанные с его появлением, серьёзным образом отразились на продвижении сайтов. Молодым сайтам стало ещё сложнее пробиваться на первые позиции и наращивать ссылочную массу.

Основные изменения:

выделено 19 географических регионов, выдача в которых могла отличаться по одним и тем же запросам
как следствие: сайту присваивается региональная принадлежность (или её отсутствие); определяется она по IP-адресу сервера, контенту сайта и по его описанию в Яндекс.Каталоге
дальнейшее улучшение обработки многословных запросов
при выводе подсказок об опечатках в запросе учитываются настройки языка браузера пользователя
появление фильтров, ухудшающих ранжирование страниц с агрессивными форматами рекламы: сначала popunder, а затем и clickunder (bodyclick)

Однако самым важным нововведением стал учёт региональности сайтов и геозависимости запросов.

Теперь запросы пользователя делятся на геозависимые и геонезависимые. Регион пользователя определяется по его IP-адресу и если для его запроса в индексе Яндекса имеются региональные сайты, то начинает действовать региональная формула ранжирования.

В связи с этим продвижение сайта по конкретному региону упростилось.

Алгоритм «Снежинск»

В ноябре 2009 года поисковая система Яндекс анонсировала свой новый алгоритм «Снежинск». Его главной особенностью является внедрение новой технологии машинного обучения, названной разработчиками «Матрикснет» (“MatrixNET”).

Характеристики данного алгоритма:

количество факторов ранжировании документа увеличено в несколько раз
ухудшено ранжирование страниц с особо длинными текстами, насыщенными ключевыми словами («тексты-портянки»)
появление т.н. фильтров АГС (АГС 17 и АГС 30)
увеличение количества региональных факторов, учитываемых при ранжировании
улучшена идентификация страницы-первоисточника контента; сайты, ворующие контент с других сайтов, ранжируются значительно хуже

С появлением технологии MatrixNET продвижение сайтов стало менее подконтрольным оптимизаторам. Теперь нельзя обойтись одной покупкой ссылок или нужной плотностью ключевых слов на странице.

Яндекс при помощи новой системы связал огромное количество факторов и показателей сайтов, что в итоге сделало ранжирование максимально релевантным оценкам асессоров.

Теперь асессоры «отдают» свои оценки относительно сайта системе MatrixNET, которая осуществляет периодическое самообучение.

Из-за того, что целью алгоритма является вывод в ТОП наиболее полезных для пользователя документов, Яндекс сделал поисковое продвижение процессом более творческим.

Алгоритм «Конаково»

Уже через месяц после «Снежинска» появился новый алгоритм «Конаково» (декабрь 2009), целью которого являлось усовершенствование предыдущего алгоритма.

А также было улучшено региональное ранжирование: своя формула ранжирования применяется теперь не только к 19 регионам, но ещё и к 1250 городам России.

Кроме того, появились новые операторы для поисковых запросов: *, / и другие. К примеру, поиск с учётом пропущенного в запросе слова выглядит так: “слово1 * слово3”.

Алгоритм «Обнинск»

В сентябре 2010 года у Яндекса появился новый алгоритм «Обнинск». Его особенности:

улучшено ранжирование по геонезависимым запросам пользователей из России
расширена формула ранжирования; её объём достигает теперь 280 Мб.
улучшено определение автора контента
повышено качество ответов на запросы, заданные латиницей и транслитом (произошло расширение словаря транслитерации)
снижено влияние искусственных ссылок (т.н. SEO-ссылок) на ранжирование

Для данного периода характерно усиление «борьбы» Яндекса с документами, продвигаемыми некачественными покупными ссылками.

Кроме того, улучшен интерфейс просмотра кэшированной копии веб-страницы – теперь можно узнать дату её последней индексации.

Алгоритм «Краснодар»

Этот алгоритм Яндекса вышел в свет в декабре 2010 года. Главным в этом алгоритме стало введение технологии «Спектр».

Отличительной чертой данной технологии стало т.н. «разбавление выдачи» по общим запросам (всего порядка 60 категорий запросов – города, товары и т.п.). 60 категорий было на момент релиза, было запланировано увеличить их количество

Если пользователь не достаточно конкретизировал свой запрос, то Яндекс постарается выводить ему сайты в соответствии с этими категориями.

Основные особенности «Краснодара»:

классификация поисковых запросов и выделение из них ключевых объектов (имена, названия, модели)
присваивание запросам категорий
улучшение ранжирования по геозависимым запросам

Алгоритм «Рейкьявик»

Появился в августе 2011 года. Данный алгоритм Яндекса ещё называют первым шагом в направлении персонализации поиска: т.е. каждому пользователю – свои результаты выдачи.

А точнее - произошла языковая персонализация поиска.

Если пользователю по англоязычным запросам нужны иностранные сайты – они и будут показаны. Если же алгоритм решит, что пользователь всё-таки ищет русскоязычный контент, то будут показаны соответствующие сайты.

Некоторые другие особенности:

улучшен математический колдунщик: теперь арифметические задачи можно решать прямо в поиске Яндекса; также и некоторые другие колдунщики
улучшен показ поисковых подсказок для новостных запросов: обновление подсказок происходит в течение часа.

Кроме того, в это время началось альфа-тестирование партнерской программы «Оригинальные тексты», с помощью которой владелец контента может сообщить Яндексу о своём авторстве на данный контент.

Алгоритм «Калининград»

В начале декабря 2012 года появился алгоритм «Калининград», который ввёл глобальную персонализацию поиска. Теперь результаты поиска подстраиваются под интересы пользователя.

Данные интересы Яндекс изучает по ранним запросам пользователя в поиске, а также по поведению пользователя на сайтах, статистика которых ему известна.

Информацию об интересах пользователей Яндекс пополняет раз в сутки и делит эти интересы на долговременные и кратковременные.

Таким образом, по одному и тому же запросу может быть сформирована совершенна разная выдача.

Например, если Яндекс решит, что к интересам одного пользователя можно отнести фильмы, а к интересам другого – путешествия, то по запросу «Мадагаскар» первому будет показана выдача относительно мультфильма “Мадагаскар”, а второму – относительно острова Мадагаскар.

Подобные изменения характерны и для поисковых подсказок – они тоже «подстраиваются» под интересы пользователя.

Некоторые особенности алгоритма:

также, как и в «Рейкъявике», учитываются предпочтения пользователя по языку
новые возможности поисковых подсказок:
- появились подсказки сиреневого цвета – это подсказки, соответствующие ранним запросам пользователя
- также выделено 400 000 групп пользователей по интересам для показа им однотипных подсказок
- показ «любимых» сайтов в подсказках
- подсказки меняются в соответствии с предыдущим запросом пользователя

Теперь все действия по раскрутке необходимо совершать комплексно: важны не только ссылки и ключевые слова, но и контент, и дизайн сайта, и его удобство для пользователя. И многое другое…

Алгоритм «Дублин»

Заявление о новом алгоритме появилось 30 мая 2013 года. В целом, «Дублин» - это модификация «Калининграда».

Если «Калининград» делил интересы на долговременные и кратковременные, то новый алгоритм, по словам Яндекса, “умеет реагировать и на сиюминутные интересы”.

Учёт сиюминутных интересов пользователя происходит буквально за несколько секунд.

Таким образом, если ранее было выявлено, что пользователю интересны фильмы, но вдруг у него возник интерес к географии или путешествиям, то по запросу «Мадагаскар» будет показана выдача относительно острова Мадагаскар, а не мультфильма с тем же названием.

Стоит сразу отметить, что досконально описать конкретный алгоритм поисковой системы под силу, наверное, только разработчикам этого алгоритма. По известным причинам все изменения внутри поисковых механизмов не должны выходить дальше отдела разработки.

Имея некоторое представление об эволюции данных алгоритмов, можно не только увидеть, какой интересный путь прошли поисковые технологии и поисковой маркетинг за такой промежуток времени, но и научиться предугадывать дальнейшие изменения, чтобы вовремя к ним подготовиться.

Некоторые алгоритмы Яндекса настолько изменили выдачу и повлияли на продвижение сайтов, что до сих пор вызывают определённые эмоции у оптимизаторов.

Алгоритм ранжирования сайтов в Яндексе непрерывно подвергается изменениям и дополнениям: добавляют новый функционал, обновляют ограничения, фильтры… Очень долгое время учет всех алгоритмов ранжирования вели только внутри компании и, когда его резко обновляли, пользователи негодовали и, откровенно говоря, мало что понимали.

Занимало не мало времени на исследования алгоритмов ранжирования Яндекса, поиск ответов на тему фильтров и как не попасть в «черный список». Сейчас все чуть проще, но не на столько, чтобы оставить без внимания разбор принципа работы Яндекса.

Алгоритмы Яндекса имеют уже довольно долгую историю создания и становления, еще с далекого 1997 года. С того времени Яндекс изменился и появлялись все новые алгоритмы и новые фильтры. Начнем свой «разбор полетов», пожалуй, с самых «свежих» алгоритмов.

Новый алгоритм Яндекса «Баден-Баден». 2017 год

Яндекс новый алгоритм определения текстового спама под названием «Баден-Баден».
Алгоритм создан для борьбы с «накруткой» релевантности путём написания бесполезных для пользователя и «переоптимизированных» текстов (с большим количеством вхождений ключей).

Как говорится в блоге Яндекса, алгоритм, определяющий текстовый спам, существенно изменен и улучшен. Сами авторы публикации утверждают, что данный алгоритм «является частью общего алгоритма ранжирования, результатом его работы может стать ухудшение позиций переоптимизированных страниц в результатах поиска». И что же это могло бы означать?

Во-первых, если его «переработали и улучшили», то, скорее всего, этот алгоритм создан для замены уже привычных фильтров «переспам» и «переоптимизация». А если он действительно «является частью общего алгоритма ранжирования», то и диагностировать наличие «штрафов», накладываемых данным алгоритмом, ясное дело, будет труднее.

Новый алгоритм Яндекса 2016 год. «Палех»

Алгоритм будет стараться сопоставить смыслы запроса с помощью нейросетей, а не просто сопоставлять ключевики, как это делалось обычно. Это делалось для того, чтобы обеспечить наилучшую выдачу по редчайшим запросам пользователя. Новый алгоритм основан на нейронных сетях и помогает Яндексу находить соответствие между поисковым запросом и заголовками страниц, даже если у них нет общих ключевых фраз. Чтобы понять, что фактически произошло, несколько цитат из официального блога компании Яндекс:

В нашем случае мы имеем дело не с картинками, а с текстами - это тексты поисковых запросов и заголовков веб-страниц, - но обучение проходит по той же схеме: на положительных и отрицательных примерах. Каждый пример - это пара «запрос - заголовок». Подобрать примеры можно с помощью накопленной поиском статистики. Обучаясь на поведении пользователей, нейросеть начинает «понимать» смысловое соответствие между запросом и заголовками страниц.

Семантический вектор применяется не только в поиске Яндекса, но и в других сервисах - например, в Картинках. Там он помогает находить в интернете изображения, которые наиболее точно соответствуют текстовому запросу.

Технология семантических векторов обладает огромным потенциалом. Например, переводить в такие векторы можно не только заголовки, но и полные тексты документов - это позволит ещё точнее сопоставлять запросы и веб-страницы.
Внедрение нового алгоритма Яндекс – это еще один значимый аргумент в пользу продвижения по низкочастотным запросам для тех, кто занимается развитием и продвижением сайтов. Перспективы развития нового алгоритма Яндекса лишь подтверждают верность выбранного направления, ведь в недалеком будущем речь пойдет об улучшенном распознавании не только заголовков, но и всего текстового документа в целом (!).

В Яндексе график частотного распределения представляют в виде птицы, у которой есть клюв, туловище и длинный хвост, характерный жар-птице

Клюв - самые высокочастотные запросы. Список таких запросов не очень большой, но их задают очень-очень часто.
Туловище -среднечастотные запросы.
Хвост - низкочастотные и микронизкочастотные запросы. «По отдельности они встречаются редко, но вместе составляют существенную часть поискового потока, и поэтому складываются в длинный хвост».

Такой хвост принадлежит птице, которая довольно часто фигурирует на палехской миниатюре. Именно поэтому алгоритм получил название «Палех».

Все алгоритмы Яндекса. (2007-2017 года)

2 июля 2007 год . «Версия 7». Новая формула ранжирования, повышение числа факторов, анонс состоялся только на searchengines.guru .
20 декабря 2007 год . 17 января 2008 год. «Версия 8» и «Восьмерка SP1». Авторитетные ресурсы получили значимый плюс в ранжировании, внедрение фильтрации «прогонов» для накрутки ссылочных факторов.
16 мая, 2 июля 2008 год . «Магадан» (Fast Rank для быстрого подбора претендентов, мягкость, расширение базы аббревиатур и синонимов, расширенные классификаторы документов), «Магадан 2.0» (уникальность контента, новые классификаторы запросов пользователей и документов).
11 сентября 2008 год . «Находка» (учёт стоп-слов в поисковом запросе, новый подход к машинному обучению, тезаурус).
10 апреля, 24 июня, 20 августа, 31 августа, 23 сентября, 28 сентября 2009 год.
«Арзамас / Анадырь» (учёт региона пользователя, снятие омонимии), «Арзамас 1.1» (новая региональная формула для ряда городов, кроме Москвы, Санкт-Петербурга и Екатеринбурга), «Арзамас 1.2» (новый классификатор геозависимости запросов), «Арзамас+16» (независимые формулы для 16 регионов России), «Арзамас 1.5» (новая общая формула для геонезависимых запросов), «Арзамас 1.5 SP1» (улучшенная региональная формула для геозависимых запросов).
17 ноября 2009 год . «Снежинск» (запуск технологии машинного обучения MatrixNet, кратный рост числа факторов ранжирования, 19 локальных формул для крупнейших регионов России, сильнейшие изменения выдачи).
22 декабря 2009 год. 10 марта 2010 год . «Конаково» (неофициальное название, но далее будет именно Обнинск, свои формулы для 1250 городов по всей России), «Конаково 1.1» («Снежинск 1.1») - обновление формулы для геонезависимых запросов.
13 сентября 2010 год . «Обнинск» (перенастройка формулы, повышение производительности, новые факторы и ранжирование для геонезависимых запросов, доля которых в потоке составляет более 70%).
15 декабря 2010 год . «Краснодар» (технология «Спектр» и повышение разнообразия выдачи, разложение запроса пользователя на интенты), далее: повышение локализации выдачи по геозависимым запросам, независимые формулы для 1250 городов России.
17 августа 2011 год . «Рейкьявик» (учёт языковых предпочтений пользователей, первый шаг персонализации выдачи).
12 декабря 2012 год . «Калининград» (существенная персонализация выдачи: подсказки, учёт долгосрочных интересов пользователя, повышение релевантности для «любимых» сайтов).
30 мая 2013 год . «Дублин» (дальнейшая персонализация выдачи: учёт сиюминутных интересов пользователей, подстройка результатов выдачи под пользователя прямо во время поисковой сессии).
12 марта 2014 год . «Началово»*, «Без ссылок» (отмена учета ссылок / ряда ссылочных факторов в ранжировании для групп коммерческих запросов в Московском регионе).
5 июня 2014 год . «Одесса»*, «Острова» (новый «островной» дизайн выдачи и сервисов, внедрение интерактивных ответов, в дальнейшем эксперимент был признан неуспешным и завершен).
1 апреля 2015 год . «Амстердам»*, «Объектный ответ» (дополнительная карточка с общей информацией о предмете запроса справа от результатов выдачи, Яндекс классифицировал и хранил в базе десятки миллионов различных объектов поиска).
15 мая 2015 год . «Минусинск» (понижение в ранжировании сайтов с избыточным числом и долей SEO-ссылок в ссылочном профиле, массовое снятие SEO-ссылок, дальнейшее возвращение учёта ссылочных факторов в ранжировании по всем запросам в Московском регионе).
14 сентября 2015 год (± 3 месяца). «Киров»*, «Многорукие Бандиты Яндекса» (рандомизированная добавка к численному значению релевантности ряда документов с оценкой «Rel+», с целью сбора дополнительной поведенческой информации в Московском регионе, в дальнейшем - рандомизация была внедрена и в регионах России).
2 февраля 2016 год . «Владивосток» (учёт адаптированности сайта к просмотру с переносных устройств, повышение в результатах мобильной выдачи адаптированных проектов).
* - неофициальные названия алгоритмов, города подобраны на усмотрение автора с целью соблюдение очередности.

И завершающими на данный момент (мы же развиваемся) алгоритмами являются вышеописанные алгоритмы с эпичными и неординарными названиями «Палех» и «Баден-Баден».

Все фильтры Яндекса и их виды.

В Яндексе множество фильтров, которые могут примениться как к сайту в целом, так и на отдельные его страницы в частности. К сожалению, не всегда понятно, какой именно из фильтров из их множества и за какие нарушения наложен на сайт – сейчас любое малейшее несоответствие при использовании стандартных методов продвижения может быть распознан как «переспам». Итог: пессимизация.

Все фильтры Яндекса (в зависимости от их появления) можно разделить на 3 вида:

— Предфильтры: дисконтируют значение каких-либо факторов еще до того, как рассчитана релевантность сайта. Действие предфильтров можно заметить не сразу – обычно оно проявляется в «залипании» сайта на каких-то местах (сайт дошел до 2 страницы и не двигается дальше, несмотря на наращивание ссылочной массы, например).
— Постфильтры: обнуляют значение того или иного фактора уже после того, как рассчитана релевантность сайта. Не заметить этот тип фильтров сложно – именно они проявляются в резком падении позиций и трафика с Яндекса. Практически все фильтры за накрутку внутренних факторов можно отнести к постфильтрам.
– Фильтрация перед выдачей: это когда релевантность сайта рассчитана, но по каким-то причинам в выдачу он не допускается.
— Бан : Редко, но до сих пор встречается полное исключение сайта из выдачи за грубые нарушения поисковой лицензии.

Судя по всему Яндекс довольно требователен к качеству сайтов и при каждом подходящем случае напоминает нам о своей официальной позиции – развивай свой сайт, ориентируйся на «живого» пользователя и если оценка сайта от Яндекса будет «на отлично» — твой сайт не оставят без внимания. Оптимизируйте сайт так, чтобы оптимизация не вредила, а, наоборот, помогала юзерам ориентироваться на вашем сайте.

Вчера Яндекс на своей презентации официально объявил о запуске нового алгоритма «Королёв».

Рассказываю как это происходило и что нового дал нам новый алгоритм Яндекса.

Вот самая трансляция данной презентации:

Я не буду мусолить весь этот пафос который был не презентации и скажу суть:

Алгоритм «Королёв» запустили не вчера, а эдак 2-6 месяцев назад . Я думаю всем понятно, чтобы вот взять и запустить за секунду новый алгоритм невозможно.

Т.е. новый алгоритм Яндекса действует давно, просто всё это время шло его тестирование и отладка.

2. Это вовсе не новый алгоритм. Вовсе нет. Это алгоритм Палех в котором просто сделали возможность сравнения не 150, а 2000 результатов.

Ну, а а конкретно о различии Королёва и Палеха нам официально всё разъяснил сотрудник Яндекса:

По сути ничего не поменялось. Был просто пафос Яндекса и больше ничего.

Если говорить честно, то никакого нового алгоритма нет. Просто нет и всё. Даже поиск по органике остался прежним.

Если был бы внедрён новый алгоритм, но мы бы увидели колебания по трафику. Но этих колебаний нет.

Да, впринципе и искать то нечего.

Вот так выглядит в настоящее время выдача Яндекса:

А что собственно вы ищите своим поиском?!

Сверху 4 позиции Директа + 5-я позиция Маркет, потом 4 позиции Директа снизу, справа Яндекс.Маркет + Яндекс.Баян.

Что то тут искать?

Какой к хуям алгоритм ранжирования сайтов? Что тут ранжировать?

Я даже нарисовал новый логотип Яндекса:

А Королёв тут причём? Вам до Королёва как до Луны. Подмазались под великого человека.

Я вообще не понимаю, что произошло. Было обычный пафос Яндекса и всё. Никакого глобального изменения в алгоритме ранжирования сайтов нет.

Теперь пройдёмся по самой презентации этого алгоритма.

За месяц до презентации Яндекс объявил, что вы можете подать заявку, чтобы вживую в планетарии посмотреть эту презентацию.

Я лично заполнял заявку. Да и много кто заполнял. И всем нам пришёл отказ.

Всё на самом деле оказалось проще:

Просто собрали своих сотрудников, родственников, знакомых, подруг и знакомых своих знакомых.

Зачем вообще мы подавали на что то заявки?! Ну теперь понятно кого вы набираете на работу в Яндекс.

Но по видимому набрали слишком много знакомых и многие из них тупо спали:

Ебала, я все ваши алгоритмы, я спать хочу….

Вот это человек пришёл на место Саши Садовского:

Для поискового маркетинга 2017 год был довольно насыщенным. Яндекс запустил новый поисковый алгоритм Баден-Баден, появились новые форматы страниц сайтов для ускоренной загрузки контента, возросла доля мобильного поиска. Как компании справились с этими вызовами и что еще придется учесть при оптимизации сайтов в следующем году, рассказали в диджитал-агентствах.

2017-2018

Для поискового маркетинга (нашего ключевого направления) самое яркое событие, пожалуй, запуск Баден-Бадена. Это новый алгоритм Яндекса,который наказывает сайты за некачественные переоптимизированные тексты.

Наша лаборатория поисковой аналитики создала облачный текстовый редактор«Тургенев», который оценивает тексты на угрозу «Баден-Бадена» и дает конкретные рекомендации по улучшению. Сервис доступен бесплатно для всех желающих на сайте «Ашманов и партнеры».

Из трендов стоит отметить рост доли мобильного поиска. C точки зрения факторов ранжирования и пользовательского опыта мобильный поиск отличаетсяот десктопного. Нам всем предстоит освоить новые форматы страниц (например, Турбо-страницы Яндекса и AMP от Google) и новые методы работы сорганическим поисковым трафиком, который по-прежнему стабильно демонстрирует высокий показатель ROI.

Из других рекламных форматов я бы отметил нативную и видеорекламу, которые стремительно набирают популярность на фоне снижения доверия пользователей к привычным баннерам и объявлениям. Думаю, в 2018 году спрос на эти форматы будет расти быстрее всего.

Анатолий Блонский, руководитель группы поисковой оптимизации и продвижения сайтов iProspect Russia

2017-2018

1. Акцент на аналитике SEO. Google анонсировал расширение периода хранения данных в Search Console. На текущий момент возможно получить аналитику за период свыше 12 месяцев только в бета-версии сервиса (вместо 3 месяцев, как было раньше). Планируется, что в 2018 году это возможность будет реализована уже не в бета-версии, а в основной.

2. Google и Яндекс будут активно развивать возможности голосового поиска. Сегодня наблюдается стремительный рост голосового и диалогового поиска. Это, несомненно, влечёт за собой увеличение спроса на новые типы ключевых слов и работу с новыми видами результатов поиска.

Google уже несколько лет активно использует и развивает возможности мобильного голосового поиска, который доступен на iOS- и Android-устройствах. В 2017 году Google добавил новые подсказки в топ результатов выдачи на мобильных устройствах, в которых предлагается совершить голосовой поиск по необходимому запросу.

Яндекс запустил Алису — первого в мире голосового помощника, который умеет импровизировать в разговоре, не ограничиваясь набором заранее заданных реплик. Пока сложно с уверенностью сказать, что насколько серьезно этот тренд изменит подход к SEO. В 2018 году маловероятно, что случится бум оптимизации в этом направлении, но количество голосовых поисков точно серьезно увеличится. Уже можно предположить, что Google первым начнет разделять в статистике запросы на вводимые с клавиатуры и голосовые.

3. Расширенная выдача релевантного контента при введении запросов в поисковых системах. Поисковые системы делают шаги к расширению различных форматов выдачи контента по поисковым запросам. Так, в 2017 г. Google объявил о запуске трех обновлений, связанных с расширенными ответами, панелями знаний и рекомендациями по похожим темам. Это реализовано в блоках с ответами (featured snippets), на панелях знаний и в топе поисковой выдачи. Теперь пользователи смогут видеть больше изображений и дополнительной информации по интересующим их темам.

Аналогично Яндекс при выведении результатов запросов предлагает пользователям ссылки на свои релевантные сервисы. На этот тренд важно обратить внимание при формировании контента сайтов.

4. AMP и аналогичные технологии приобретут еще большее распространение на рынке. В конце 2017 года Яндекс запустил свой аналог AMP (Accelerated Mobile Pages) от Google — технологию Турбо. Задача как АМP, так и Турбо-страниц — ускорение загрузки контента на мобильных устройствах и уменьшение потребления мобильных данных.

В 2018 году появится еще больше ресурсов, использующих обе технологии, а также кейсов по их внедрению и использованию. Интернет становится все более мобильным, а пользователи - более требовательными к скорости и удобству взаимодействия с контентом.

В 2017 году Google уже увеличил долю AMP-контента в мобильной выдаче, результаты чего наблюдаются уже не только в США, но и ряде других стран - Австралии, Великобритании, Франции, Испании, Японии и Сингапуре. Из предыдущего тренда органично вытекает следующий: в 2018 году Googlе активно займется запуском mobile-first индекса для сайтов. В настоящее время на новый тип индексации переведено лишь небольшое количество сайтов.

В 2017 году Яндексом был запущен алгоритм Баден-Баден, который находит сайты с сомнительными текстами, которые мало-полезны для посетителей сайта и никак не помогают им выбрать товар и совершить покупку. Такие сайты он занижает в поиске до тех пор, пока причина не будет устранена.

В связи с этим многим приходилось убирать почти все тексты с сайта, чтобы вывести его из под данного фильтра. Наш руководитель SEO-отдела Максим Акулов выступил с подробнейшим докладом о фильтре Баден-Баден на конференции в Казани.

В 2017 году Яндекс стал более дружелюбным к SEO-сообществу. Они стали развивать свой сервис Яндекс Вебмастер и теперь дают больше информации владельцу сайта (а в нашем случае SEO-специалисту) для аналитики и дают подсказки что на сайте не так, над чем нужно работать, какие страницы по их мнению являются мало-качественными.

Также был отмечен массовый переход многих сайтов на https:// в 2017 году из за того, что Google стал помечать сайты без https, как небезопасные. В связи с ужесточением законодательства в сфере хранения и обработки персональных данных поголовно все сайты стали размещать у себя политику обработки персональных данных.

Некоторые компании на этом неплохо успели заработать, организовав массовые рассылки всем, у кого не было этих данных на сайте. Соответственно, за определенную сумму они делали на сайте все необходимые изменения, чтобы соответствовать требованиям законодательства. Мы в СЕО-Импульс всем своим клиентам данную доработку делаем в виде подарка, также как и адаптивную версию сайта, а также переход на https.

Каждый год мы делаем прогнозы, в этот раз, как и в предыдущий, мы в СЕО-Импульс считаем, что трендами будут:

1. постоянное развитие функционала сайта. Если раньше нужно было копировать лучшие решения у конкурентов и внедрять себе, то сейчас многие сайты стали похожи друг на друга, лучшие решения уже скопированы и внедрены. Теперь приходится придумывать новый удобный для клиентов сайта функционал и постоянно думать о том, чтобы упростить клиенту подбор товара на сайте.

2. разносторонняя работа над бизнесом клиента в Интернете. На одном seo далеко не уедешь, его нужно дополнять другими смежными и сопутствующими работами. Мы к примеру уже сейчас предлагаем своим клиентам полный комплекс: seo, smm, работу с репутацией, контекстную рекламу и постоянные доработки сайта. В комплексе это уже даёт весомый результат.

3. грамотная работа над контентом. Это является трендом уже 2-3 года, но не теряет своей актуальности и по сей день. Лучший вариант для развития сайта в какой либо отрасли является работа над тем, чтобы сделать его экспертом. То есть SEO-компания должна выстроить грамотную контент-стратегию и регулярно публиковать на сайте интересные обзоры по теме, а также обучающие материалы.

4. позиции многих сайтов сейчас прыгают каждый день: и выдача у всех разная, и отслеживать нахождение сайта в ТОП-10 становится все сложнее и сложнее. Часто позиции прыгают без видимых причин и на следующее утро возвращаются на свои прежние места. В связи с этим идёт постепенный отказ seo-компаний от работы с оплатой за позиции. Мы к примеру единственные на данный момент, кто финансово отвечает по Договору и за позиции и за трафик, тем самым подстраховывая заказчика.

5. Всё больше клиентов к нам обращаются с просьбой увеличить продажи, хотят данные KPI зафиксировать в договоре. Это очередной тренд, с каждым годом таких Заказчиков всё больше и больше. Я думаю это связано с тем, что многие уже успели поработать с разными SEO-компаниями и по каким то причинам остались недовольны результатами. Мы идём навстречу таким Заказчикам и совместно продумываем KPI, но это делаем только в случае, если сайт уже грамотно сделан и мы успели поработать несколько месяцев и понять специфику бизнеса Заказчика.

Мы каждый год проводим исследование рынка seo-рекламы. До сих пор ни одна компания не готова работать ни за лиды, ни за % от продаж с первого месяца работы. Некоторые предлагают данную услугу, но с 5-6 месяца, и по нашим подсчетам данная работа всё равно выходит дороже для Заказчика, чем оплачивать позиции и трафик.

Новость, которую нельзя было просто так взять и перестать обсуждать - алгоритм Яндекса Баден-Баден. Он предполагает понижение позиций за переоптимизированные или бесполезные тексты на сайте. Те, кто попал под действие алгоритма, убрали такой контент вовсе или попытались снизить процент вхождений ключевых фраз. В сети уже есть подробные исследования и руководства, как выйти из-под санкций. К счастью, ни один из наших проектов не пострадал.

Чуть менее громкая тема - турбостраницы в поиске Яндекса. Теперь любой сайт, даже без мобильной версии или адаптивной верстки, сможет адекватно выглядеть и быстрее загружаться на мобильных устройствах - и это можно реализовать с минимальными затратами на разработку. Это важно, учитывая, что почти половина пользователей ищет что-либо с мобильных устройств, а не с десктопа. Трафик на турбостраницы будет учитываться как обычный поисковый, возможности для размещения рекламы тоже есть. Надо тестировать.

Еще один фактор в пользу мобильного поиска - анонс mobile-first Google. Теперь в первую очередь будет оцениваться релевантность мобильной версии страницы, а если ее нет - десктопной. Обещают, что алгоритм будет разворачиваться очень медленно, на себе его действие мы пока не ощутили.

Поисковые системы улучшают качество результатов поиска в 2 направлениях - ужесточают антиспам-фильтры и учатся оценивать качество текста через его смысл, а не просто учет количества слов и вхождений запросов. Как следствие, нас ждет еще больший упор на качественные тексты и то, что принято в SEO-сообществе называть LSI-текстами, полезность контента для пользователей. Прежде чем создавать контент, нужно будет анализировать, необходим ли он вообще на конкретной странице, если да, то в каком формате, какую задачу пользователя он должен решить.

Меньше трафика получат сайты с относительно долгой загрузкой страниц, без адаптивной верстки либо мобильной версии. Вырастет доля AMP и турбостраниц, в том числе в коммерческом сегменте.

Поисковые системы продолжат развивать свои сервисы для вебмастеров. Яндекс периодически выпускает обновления, Google планирует запуск новой версии Search Console в следующем году — будет больше возможностей для аналитики поисковой выдачи.

Последние годы все активнее развиваются инструменты для автоматизации процессов и работы с большими данными. На стыке SEO и машинного обучения, надеюсь, появится сервис для кластеризации, позволяющий группировать ключевые запросы не по топу, а по семантической близости слов.

2017-2018

С каждым годом digital-каналы все больше интегрируются, появляются сводные KPI и системы отчетности. SEO — это уже не отдельное направление, обособленное от остального инструментария интернет-маркетинга, как это было раньше. Сегодня seo — это часть комплексного онлайн-маркетинга. Такая синергия позволяет наиболее плодотворно и эффективно работать над задачами клиентов.

Мы можем миксовать направления в зависимости от бизнес-потребностей заказчика и выбирать оптимальные SEO-инструменты. Выбрать важный пул этих самых инструментов и не ошибиться - важнейшая задача специалистов по поисковому продвижению.Из основных трендов уходящего и наступающего годов — конечно, развитие мобайла. Количество мобильных пользователей уже превысило количество декстопных. А значит, стоит поторопиться с адаптацией тем, кто это по каким-то причинам еще не сделал, иначе высок риск остаться в числе аутсайдеров.

Помимо увеличения самих мобильных пользователей, увеличивается и количество поисковых запросов. Вероятно, эта тенденция станет переломной в ближайшем будущем для всего интернет-маркетинга. Поэтому стоит задуматься и над тем, как выстроить стратегию продвижения сайта с учетом этих реалий.

Стремительно развивается и CRM-маркетинг. Синхронизация CRM с digital-инструментами в целом, и seo в частности - это новый виток развития интернет-маркетинга, который будет продолжать прогрессировать. В отрыве от детализированной информации о целевой аудитории и ее поведенческих характеристиках продумать эффективную стратегию просто невозможно. Поэтому еще одной важной задачей становится накопление/расширение/детализация клиентских баз, их грамотное использование, интегрирование CRM с системами аналитики.

Развивается seo и как консалтинг. Я думаю, что приоритетом номер один для рынка поискового продвижения станет расширение команд по продвижению и деление специалистов на специализации. Это позволит глубже и тщательнее работать над задачами клиентов и повышать их результативность.

Я бы разделил события и тренды на краткосрочные и долгоиграющие. Среди краткосрочных событий, достаточно серьезно повлиявших на рынок, отмечу новые фильтры поисковой системы Яндекс, направленные на борьбу с некачественным контентом. Это здорово, что поисковая система борется за качество и понижает в выдаче документы и сайты, содержание которых бессмысленно для пользователей.

Также к краткосрочным событиям, которые переросли в большой тренд, отнесу преобразования в коммерческой выдаче Яндекса. Первое — это введение 4-го спецразмещения, которое достаточно существенно уменьшило CTR поисковой выдачи. Второе — история с тестированием дополнительного блока Директа, который интегрируется в середину поисковой выдачи. Данный тренд точно продолжится, и это лишний раз напоминает нам о том, что не стоит заниматься только одним видом интернет-рекламы, а рассматривать исключительно комплексный подход к добыче трафика.

Среди долгоиграющий трендов отмечу:

Борьба со спамом со стороны поисковых систем. Это вечный тренд, и я уверен, что в 2018 году мы увидим появление новых фильтров и развитие существующих.Более плотное применение машинного обучения и нейросетей во всех частях алгоритмов.

Мобилизация, появление новых колдунщиков в мобильном поиске для еще большего удобства пользователей. Развитие темы с микроразметкой для сайтов, их мобильных версий.

Развитие голосового поиска, электронных помощников, увеличение длины запросов. Очевидно, что Яндекс и Google смотрят в будущее, а молодое поколение, в особенности дети, достаточно активно используют этот функционал.

Продолжение перехода на модель комплексного интернет-маркетинга для крупных агентств, работа по моделям достижения трафика из поисковых систем, CPA и оптимизация рекламы по показателям ROI.