В данном обзоре рассмотрим как найти и навсегда удалить дубли страниц.

Как возникают дубликаты страниц

Основные причины появления дублей - несовершенство CMS сайта, практически все современные коммерческие и некоммерческие CMS генерируют дубли страниц. Другой причиной может быть низкий профессиональный уровень разработчика сайтов, который допустил появление дублей.

Какие бывают дубли страниц

1. Главная страница сайта, которая открывается с www и без www

пример www.site.ua и site.ua

site.ua/home.html и site.ua/

2. Динамическое содержание сайта с идентификаторами?, index.php, &view

site.ua/index.php?option=com_k2&Itemid=141&id=10&lang=ru&task=category&view=itemlist

site.ua/index.php?option=com_k2&Itemid=141&id=10&lang=ru&layout=category&task=category&view=itemlist

3. Со слешем в конце URL и без

4. Фильтры в интернет-магазине (пример )

site.ua//?Itemid=&product_book&

5. Странички печати

site.ua/cadok/?tmpl=component&print=1&layout=default&page=»

Какую опасность несут в себе дубли страниц

Представьте себе что вы читаете книгу где на страничках одинаковый текст, или очень похожий. Насколько полезна для вас такая информация? В таком же положении оказываются и поисковые машины, ища среди дубликатов вашего сайта то полезное содержимое которое необходимо пользователю.

Поисковые машины не любят такие сайты, следовательно ваш сайт не займет высокие позиции в поиске, и это несет для него прямую угрозу.

Как обнаружить дубликаты на сайте

1. С помощью команды site:site.ua можете проверить какие именно дубли попали в индекс поисковой машины.

2. Введите отрывки фраз с вашего сайте в поиск, таким образом обнаружите страницы на которых она присутствует

3. Инструменты для веб-мастеров Google, в разделе Вид в поиске → Оптимизация HTML, можете увидеть страницы, на которых есть повторяющееся метаописание или заголовки.

5 способов удалить дубликаты страниц

1. С помощью файла robots.txt

Disallow: /*?
Disallow: /index.php?*

Таким образом, дадим знать поисковой машине, что странички, которые содержат параметры?, index.php?, не должны индексироваться.

Есть одно «но»: файл robots - это только рекомендация для поисковых машин, а не правило, которому они абсолютно следуют. Если, например, на такую страничку поставлена ссылка то она попадет в индекс.

2. Файл.htaccess, позволяет решить проблему с дублями на уровне сервера.

Htaccess - это файл конфигурации сервера Apache, находится в корне сайта. Позволяет настраивать конфигурацию сервера для отдельно взятого сайта.

Склеить странички сайта 301 редиректом.

Redirect 301 /home.html http://site.ua/ (для статических страниц cайта)

RewriteCond %{QUERY_STRING} ^id=45454
RewriteRule ^index.php$ http://site.ua/news.html? (редирект для динамических страничек)

Использовать 410 редирект (полное удаление дубля)
Он сообщает что такой странички нет на сервере.

Redirect 410 /tag/video.html

Настроить домен с www и без www

Пример с www
Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^site\.ua
RewriteRule ^(.*)$ http://www.site.ua/$1

Без www
Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.site.ua$
RewriteRule ^(.*)$ http://site.ua/$1

Добавляем слеш в конце URL

RewriteCond %{REQUEST_URI} (.*/[^/.]+)($|\?) RewriteRule .* %1/

Для сайтов с большим количеством страниц будет довольно трудозатратно искать и склеивать дубли.

3. Инструменты для веб-мастеров

Функция Параметры URL позволяют запретить Google сканировать странички сайта с определенными параметрами

Или вручную удалить

Удаление страничек возможно только в случае если страничка:

Запрещена для индексации в файле robots.txt

Возвращает ответ сервера 404

Запрещена тегом noindex

4. Мета тег noindex - это самый действенный способ удаления дубликатов. Удаляет навсегда и бесповоротно.

По заявлению Google наличие тега noindex полностью исключает страничку из индекса.

Важно. Для того что бы робот смог удалить страничку, он должен ее проиндексировать, то есть она не должна быть закрыта от индексации в файле robots.txt.

Реализовать можно через регулярные выражения PHP, используя функцию preg_match() .

5. Атрибут rel=»canonical»

Атрибут rel=»canonical» дает возможность указать рекомендуемую (каноническую) страничку для индексации поисковыми машинами, таким образом дубликаты не попадают в индекс.

rel=»canonical» указывается двома способами

1. С помощью атрибута link в в HTTP-заголовке

Link: ; rel=»canonical»

2. В раздел добавить rel=»canonical» для неканонических версий страниц

В некоторые популярные CMS атрибут rel=»canonical» внедрен автоматически - например, Joomla! 3.0 (почитайте об ). У других CMS есть специальные дополнения.

Подведем итог. При разработке сайта учитывайте возможности появления дублей и заранее определяйте способы борьбы с ними. Создавайте правильную структуру сайта (подробнее .

Проверяйте периодически количество страниц в индексе, и используйте возможности панели Инструментов для веб-мастеров.

При написании использовались материалы

Зберегти

Зберегти

Произнося словосочетание «банковский работник», зачастую мы представляем себе человека-калькулятора, который с ледяной улыбкой может решить судьбу наших финансов. Илья Овеян, региональный управляющий банка «Экспресс-Волга» в Краснодаре, ломает сложившиеся стереотипы, транслируя свое отношение к людям. В этом номере Chief Time передает читателям мысли Ильи Овеяна, выделив из них самые интересные.

Созданный 17 лет назад в Саратове банк «Экспресс-Волга» на данный момент входит в топ-50 в рейтинге самых филиальных банков России. Политика банка, ориентированная на грамотные отношения с клиентами, позволила десяткам тысяч людей по всей стране доверить свои деньги банку «Экспресс-Волга». Система управления банка кардинально отличается от традиционной: определенные ценности и стандарты работы дают свободу действий сотрудникам, возможность проявить инициативу и почувствовать ответственность. Благодаря этой философии и культуре, у клиентов сложились отношения не с обезличенным брендом, а с конкретным специалистом, который играет такую же важную роль в жизни, как семейный врач или персональный тренер.

«Заместитель министра. Начало»

С самого детства я четко знал, кем я буду, поэтому четко следовал заданному мною направлению. Я человек, выросший в цифрах: бабушка и мама – бухгалтеры, папа – экономист. В четвертом классе все мои сверстники мечтали стать космонавтами, а потом «новыми русскими» – время тогда такое было. Когда же меня спросили, кем хочу стать я, то я совершенно осознанно ответил: «Заместителем министра финансов Российской Федерации». Вы спросите, почему заместителем? В то время мне, четверокласснику, ошибочно казалось, что заместитель имеет столько же полномочий, как руководитель, но несет меньше ответственности.

«Экспресс Саратов-Краснодар»

Почти два года назад я еще работал в банке «Экспресс-Волга» в Саратове. На очередном совете банка встал вопрос о перспективах развития «Экспресс-Волги» в Краснодаре. Для меня это прозвучало как вызов, и я загорелся желанием передать ценности и культуру банка жителям Краснодара. И вот, уже спустя две недели, я со своей семьей переехал сюда.

«Экспресс-Волга» в Краснодаре. Развитие»

Что я привнес в работу краснодарских офисов банка «Экспресс-Волга»? В первую очередь – философию и культуру банка, которую я сам впитал, работая в банке более шести лет. За неполные два года моего руководства банком в Краснодаре, мы, помимо уже существовавшего офиса, открыли еще восемь, расширили штат сотрудников с шестнадцати до ста человек. На сегодняшний день число наших клиентов измеряется в тысячах. Объемы бизнеса за прошлый год выросли по разным показателям не на проценты, а в разы! И мы планируем не снижать заданный темп, а увеличивать динамику. Мы постоянно развиваемся, предоставляя действительно качественные услуги тем, кто в них нуждается. На территории РФ банк «Экспресс-Волга» уже к апрелю этого года открывает около сорока офисов.

«Конкуренция»

В Саратове гораздо ниже конкуренция. В Саратове и Поволжье наш банк давно уже держит лидирующие позиции, опережая даже Сбербанк по некоторым показателям. Там всего около тридцати наименований банков, а в Краснодаре около ста! В финансовой сфере Краснодарского края конкуренция более развита и не дает расслабляться. Но мы отличаемся от всех именно тем, что «портим людей хорошим отношением». Скорость, удобство, простота и доверие – именно эти слова вы услышите от наших клиентов, спросив их мнение о банке «Экспресс-Волга».

«Особый взгляд»

Основная идея работы банка – быть первыми, занимая свою нишу и работая с тем рынком, который не интересен другим банкам, не забывая о развитии «стандартного» набора банковских услуг. Наша стратегия – учиться всему хорошему у конкурентов, но работать так, как умеем делать только мы: с добавлением сервиса, теплого отношения к людям и особого взгляда на свою жизнь и работу.

«Истина рядом»

Я не люблю слово «клиент». Мне ближе синоним «партнер». Слово «клиент» употребляется тогда, когда вы считаете, что ваш бизнес – это центр вселенной. Вот он Банк, а вокруг него – клиенты! Хотя совсем все наоборот: есть Человек, а вокруг него – банки, магазины, салоны..! Каждый из нас является центром вселенной. И это истина, а все остальное – стереотип. И мы это понимаем и относимся к своим партнерам с этой точки зрения.

«Доверие»

Россия на протяжении многих лет прошлого века находилась в информационном вакууме. Именно тогда и сформировалось такое отношение к деньгам. Многие люди, напуганные событиями девяностых, не доверяют банковской системе. Им кажется, что банк – это такая закрытая цитадель, в которую человек идет с ощущением, что его обманут, обдерут. Это мнение, сложившееся из-за годами сформированного недоверия к государству, которое отражается на доверии к банку. После кризиса 2008 года многие люди хотели забрать из нашего банка свои деньги, но мы дали обещание не подвести наших клиентов и выполнили данные нами обязательства. В результате мы выстроили долгосрочные отношения с клиентами и люди стали вкладывать дополнительные средства и рекомендовать нас знакомым. Помня кризисные времена, произошедшие в нашей стране, люди забывают, что, например, в США таких периодов за последние пятнадцать лет было около шестнадцати. Экономика и не должна стоять на месте, она должна двигаться вверх и вниз. Когда происходит финансовый кризис, создается дискомфорт, который является движущей силой, толкающей к определенным изменениям, прогрессу. Ведь в состоянии полного комфорта человек просто перестает творить.

«Правильный инструмент»

За свою двенадцатилетнюю карьеру в банке, я проходил множество специализированных курсов по управлению, дающих базовые знания. Но максимальный эффект дает непрерывное общение в процессе работы. Я всегда чему-то постоянно учусь, даже просто контактируя с людьми. Стараюсь читать правильную литературу, посещать тренинги, выносить из пройденного материала какой-то инструмент, применив который я получу положительный результат. Это направлено в первую очередь на то, чтобы помочь не только мне в управлении, а донести мой опыт людям, с которыми я работаю. Моя задача как руководителя – так научить работать своих сотрудников, чтобы через время они смогли создать свой собственный банк. Даже если я на несколько месяцев «исчезну» из Краснодара, то, вернувшись, я с удовольствием отмечу, что в мое отсутствие нет дисфункции рабочего процесса. Это и есть основная задача руководителя.

«Ощущение времени»

Я не оцениваю человека по его возрасту. Время и возраст – самое непостоянное и относительное понятие. Количество лет не имеет значения, все зависит от того, как вы сами ощущаете время. Можно остановиться в развитии лет в двадцать, или наоборот, уйти далеко вперед от своих сверстников. Главное, на каком «уровне» мудрости находится человек. Если бы я не знал точно год своего рождения, то не смог бы определить свой возраст. Разве это так важно? Как будто бы мы точно знаем, сколько нам отпущено и поэтому ведем отсчет.

«Самодисциплина»

Я ленивый. Но ленивый в правильном смысле этого слова: я ленюсь делать рутинную работу. Моя лень и заставляет меня оптимизировать какие-либо процессы. В результате этого возникают различные инновации, которые способствуют существенному ускорению работы. Мне бывает иногда тяжело себя организовать. Здесь очень помогают семинары, мотивирующие и настраивающие на рабочий лад. И я не могу требовать от сотрудников высоких показателей, если я сам не являюсь для них примером. Эта ответственность подстегивает, заставляет составлять ежедневные планы и выполнять их.

«Свобода. Легкость. Уверенность»

Слоган, «вытекающий» из ценностей банка и полностью отражающий мое настроение, ощущение жизни и философию бизнеса. Он двигает вперед в правильном направлении. Произнося эти слова, понимаешь, что в «Экспресс-Волге» работают люди с честным отношением к себе и к окружающему миру. В этом случае и возникает ощущение легкости, уверенности в завтрашнем дне и свободы в принятии решений.

«Ценностная компетенция»

Моя основная функция – создание и сохранение определенной культурной среды в коллективе. При приеме на работу оценивается опыт, а не количество записей в трудовой книжке. Я оцениваю потенциальных сотрудников с точки зрения ценностной компетенции. В это понятие входят ориентированность на клиента, обучаемость, умение работать в команде, любовь к людям, радость от созидания чего-либо для людей. Я со своей стороны должен гарантировать новому сотруднику и его коллегам, что они сработаются.

«И «Оскар» получает...»

Мы все соревнуемся друг с другом. Соревнования ежедневные. Мы постоянно видим успехи и неудачи своих коллег. У нас широко применимо звание «лучший». Это как своеобразная премия «Оскар» самым успешным сотрудникам. Эта денежная и карьерная мотивация является мощным двигателем как одного специалиста, так и всей команды в целом. Наказывает же себя сотрудник сам: если ты плохо работаешь – ты теряешь клиентов, уходят клиенты – уходят деньги. Я могу помочь сотруднику составить план, согласно которому он должен достичь той самой цифры задуманного им заработка.

«Home sweet home»

Мы не придерживаемся строгого дресс-кода. Мы просто следуем стандартам для того, чтобы наш клиент, придя в отделение нашего банка в любой точке страны, чувствовал себя как дома. Можно сравнить с Мак Доналдс. Во всем мире он одинаковый, родной, не важно, в Краснодаре ты или в Нью-Йорке. Именно такое ощущение мы хотим создать у наших клиентов по всей России.

«Личная жизнь»

У меня слишком много личной жизни и огромное количество свободного времени. Мне хватает времени на мою супругу и троих детей, дарующих мне вдохновение, а также уделять внимание девяти офисам. Как мне это удается? Я не разделяю рабочий день и личную жизнь, просто гармонично сочетаю все друг с другом.

«Деньги правят миром?»

Любой ответ на этот вопрос будет одновременно правильным и неправильным. Деньги важны. Мы вынуждены покупать и оплачивать. Можно прожить без денег долго и счастливо, если в этом и есть понимание своего личного счастья. Да, деньги в широком смысле правят современным миром. Но это сугубо личное мнение. Я не могу ответить за всех людей.

«Другая жизнь»

Если бы я не работал в банковской сфере, то организовал бы собственный бизнес. Может быть даже сельское хозяйство! Главное для меня – созидать. Прежде чем поступить на экономический факультет саратовского университета, я провел детство и юность в деревне. Поэтому не удивляйтесь, если через время вы застанете меня за разведением кроликов или выращиванием грибов.

Статейный прогон является одним из эффективных способов продвижения на данный момент. Сейчас эффект от прогонов по движкам Joomla K2 ниже чем он был раньше. Сейчас даже статьи со ссылками не сразу залетают в индекс, но всё равно это лучше чем прогоны по профилям и т.д. В данной статье я расскажу, как размещать статьи на таких движках, а также предоставлю вам шаблон для автоматизации этого процесса.

Как размещать статьи на Joomla K2? ​

Зачастую о такой дырке (возможность бесплатно оставлять индексирующиеся ссылки с чужого ресурса на свой) владельцы сайтов даже не подозревают. Да и регистрация/вход в видимых областях сайта зачастую отсутствуют.

Для того что нам зарегистрироваться, мы подставляем к сайту на движке JoomlaK2 /index.php?option=com_user&view=register.

При регистрации идут поля: логин, пароль, почта и произвольное описание. Вот как раз в произвольном описании мы и будем оставлять нашу статью (ограничения на количество символов в описании отсутствуют). О том, как должно выглядеть описание расскажу чуть позже, когда будем разбирать шаблон.

После того как мы нажали кнопку "Зарегистрироваться", следует подтвердить регистрацию. Как правило, ссылка подтверждения приходит на почту, так что используйте реальные адреса. По сути, статья уже размещена, но нам нужна ссылка на результат, так что идем дальше.

После подтверждения регистрации входим на сайт под своим именем, подставив к адресу сайта /index.php?option=com_user&view=login
Далее заходим на страницу профиля, подставив к сайту /index.php?option=com_user&view=user&task=edit

Открываем исходный код страницы и внизу ищем похожий участок кода:

Тут нам потребуется ID нашего аккаунта, вот он name="id" value="366".
Далее переходим по ссылке, подставив к сайту: /?option=com_k2&view=itemlist&task=user&id="Наш ID". И теперь можно увидеть наш результат.

Особенности при составлении шаблона ​

Я думаю, что любой пользователь сможет сделать простой шаблон по регистрации (если нет, а может кому лень, то шаблон ниже).
Так как Joomla – это движок и в нем есть возможность устанавливать разные WYSIWYG редакторы, то нам необходимо выключить JavaScripts, чтоб он не подгружался, и мы пользовались стандартным редактором.
Вкратце о тексте, анкоры должны быть в таком формате: http://сайт.ру/ ">анкор, http:// обязательно ! Так же поддерживаются HTML тэги, такие как , .
Теперь о шаблоне.

Входные параметры:
E-mail - думаю тут понятно.
Пароль - это тоже.
Использовать заголовки - в качестве заголовков используется текст обрамленный

.

Файлы:
domains.txt - наша база доменов.
results.txt - результат прогона, в формате: url login pass (разбелитель TAB).
titles.txt - ваши заголовки, каждый с новой строки (не забудьте то что файл должен быть в URF-8, иначе вместо русских символов у вас будут кракозябры).
errors.txt - файл с ошибками, в шаблоне обработаны основные из них.
Папка Texts - тут располагаются ваши статьи (1 файл = 1 статья).
В папке Texts есть папка Done - сюда перемещаются опубликованные статьи.

Выгоды ​

Основные выгоды 2:
- Собственно мы можем таким способом продвигать свои сайты.
- И, конечно же, предоставлять услуги по статейному прогону за вознаграждение.

Вместе с шаблоном в архиве уже присутствует 300 сайтов Joomla K2. НО , эти площадки проверить предстоит вам.
Проблем с поиском площадок тоже особо нет, нужно только немного смекалки.

1 Копируем файл с языковыми константами компонента K2

Сначала создадим файл с языковыми константами компонента K2 для нужного языка. Для этого скопируем файл с сервера из директории /language/en-GB/en-GB.com_k2.ini в директорию с нужным языком и переименуем его. Например, для русской локализации создадим на сервере файл: /language/ru-RU/ru-RU.com_k2.ini .

2 Установка языка по умолчанию на сайте Joomla

Теперь в панели управления зададим язык для сайта - русский: Менеджер языков Языковые пакеты сайта По умолчанию и ставим галочку напротив русского языка.

3 Правка файла ru-RU.com_k2.ini в блокноте

Далее можно поступить так: скачать с сервера файл ru-RU.com_k2.ini , открыть его в блокноте и изменить значения языковых констант в файле, т.е. перевести их с английского на русский язык. Затем сохраняем отредактированный файл и закачиваем его обратно на сервер, заменив исходный файл "ru-RU.com_k2.ini".

4 Переопределение языковых констант в панели управления Joomla

Можно поступить по-другому и переопределить нужные фразы прямо из админки Joomla. Для этого тут же, в менеджере языков, переходим в раздел Переопределение констант (1). Выбираем язык и область действия (сайт или панель управления), для чего выбираем в фильтре Russian - Сайт (2). А затем, чтобы создать новое переопределение языковой константы, нажимаем кнопку Создать (3).

5 Создание нового переопределения языковой константы в Joomla

Откроется окно переопределения языковой константы. В поле Найти введите на английском языке называние константы или фразы, которую хотите перевести. Выберите в выпадающем списке Значение (чтобы найти слово или фразу в текстах констант) или Константа (искать в названии констант) (1). Нажмите кнопку Найти , появится список найденных констант. Найдите в нём интересующую константу (2).

Для компонента K2 константы обычно имеют в названии префикс К2_ .

Выберете эту константу из списка, и её значение появится в левом поле (3). Переводим её значение в поле Текст и сохраняем.

Переопределённая константа появилась в списке. Аналогичные действия необходимо повторить для всех языковых констант, текст для которых должен быть локализован.

Метод переопределения языковых констант также применим и к обычным статьям Joomla, а не только к статьям, созданным с помощью компонента K2.

Я проснулся в своей комнате. И эта реальность показалась мне гораздо меньшей реальностью, чем та, где я только что был. Я помнил всё до мельчайших подробностей. И это ощущение настолько переполняло меня, что я вскочил и побежал в спальню родителей, чтобы рассказать. Я мчался по коридору и, распахнув с грохотом дверь в родительскую спальню, завопил – «Я только что был среди cиних звёзд!».

В ту же секунду всполошенно проснулась мама, зажёгся ночник и глухо заворчал ньюф Дэни, который всегда спал на коврике рядом с кроватью родителей. Проснулся отец, а я с разбега прыгнул на родительскую кровать и, захлёбываясь и жестикулируя, стал рассказывать. Мама потрогала мне лоб, решив, что у меня жар, потом стала гладить по голове и успокаивать, говоря, что мне просто приснился страшный сон. Я очень обиделся. «Это не сон!» – закричал я – «Это чудо, как красиво!» Мамины глаза наполнились слезами и она беспомощно посмотрела на отца. А я всё пытался что-то говорить. И вдруг услышал отцовский голос – «Скажи – Рыба!» Я так опешил, что замолчал. И послушно произнёс – «Рыба». «Так» – сказал отец. – «Теперь скажи – рама». «Рама» – повторил я. «Арбуз, роман, река» – требовал отец. Я повторял, не понимая, что он от меня хочет. И вдруг каким-то внутренним слухом я услышал, что произношу букву, которая мне никогда не давалась. Букву «Р». Она вылетала из меня раскатистая и чистая. Я очень удивился.

Здесь я сделаю маленькое отступление, чтобы объяснить, почему это было удивительно.
Я до этого проглатывал букву «Р». Её вообще не существовало. Я говорил – «ы-ыба, а-абуз» и так далее. Со мной безуспешно занимался профессор-логопед, но «р» так и не появлялась. Причём то, как я говорил, очень нравилось всем маминым подругам, а когда, наконец, и бабушка сказала, что у мальчика очень аристократическое произношение, то меня оставили в покое. И вдруг это «Р» появилось, да ещё какое!

Я удивлённо прислушивался к себе и тут почувствовал, что у меня саднит колено. Я задрал пижамную штанину и увидел на коленке круглое красное пятно. Я вспомнил, что ударился о светящийся шар в своём путешествии. Вот же оно – доказательство! Сейчас мне поверят! Я опять пытался что-то объяснить, тыкая на свою коленку, но этим всполошил маму ещё больше. Она заплакала, сказала, что я где-то поранился и забыл об этом и стала искать зелёнку. Я подчинился, смотрел, как коленка становится зелёной, ужасно щипало, а я не плакал. Надо сказать, что ещё вчера я бы заревел. А тут у меня даже не защипало в носу. После этой экзекуции отец взял меня на руки и понёс в детскую, рядом, причитая, шла мама и дула на мою коленку, а завершал процессию наш ньюф Дени. Меня уложили в постель, со всех сторон подоткнули одеяло и я сделал вид, что засыпаю. Мама и папа поцеловали меня и тихонько пошли к двери.

«Дени – за мной» - сказал отец. Но Дэни не двигался. «Дэнс!» – повторил папа властно. Дэни не стронулся с места. А ведь он всегда слушался моего отца беспрекословно. Тогда отец подошёл, чтобы увести его. И Дэни, наш добряк Дэни обнажил клыки и сказал – «РРР-А!!!». Я засмеялся – «Оставь его, папа – он всё равно никуда не пойдёт». У отца округлились глаза, но он, взяв за руку маму, вышел из моей детской и тихо закрыл дверь. А я, обхватив Дэнса за могучую шею, шёпотом рассказал ему всё. Дэни смотрел мне прямо в глаза и всё понимал. И верил каждому моему слову! После этого я удовлетворённо плюхнулся на подушку и крепко заснул.

© Copyright: Волкъ Ангелъ, 2010