Побег из Страны кривых зеркал
Автор: Константин Лихачев 16
Июн
А листья ластятся к стволам,
А тротуары - словно зеркало,
И я плыву по зеркалам,
В которых отражаться некому.
В. Егоров
Каждый, кто занимается раскруткой сайта рано или поздно сталкивается с проблемой неправильной склейки зеркал сайта поисковыми системами. Например, активно продвигается www.avtobeginner.ru, а пользователи начинают ставить ссылки на avtobeginner.ru. Через некоторое время по этим ссылкам идут поисковые роботы, и у сайта появляется зеркало. И хотя с точки зрения владельца сайта и его посетителей эти два сайта по сути являются одним и тем же, по мнению поисковой системы это два разных ресурса.
Но рано или поздно для повышения качество поисковой выдачи и избежания дублирования контента поисковик склеит эти два зеркала.
И настоящая трагедия для оптимизатора, когда поисковик считает неосновное зеркало сайта основным. В этом случае сайт начинает стремительно терять позиции в поисковой выдаче, ведь сайт avtobeginner.ru практически никак не раскручивался.
Для исправления подобной ситуации используется несколько приемов.
Во-первых, стоит обратить свои взоры в сторону Яндекса. Как ни как крупнейшая поисковая система Рунета. У Яндекса для таких случаев имеется специальная директива Hosts, которую необходимо прописать в файле robots.txt
Но стоит помнить, что это собственная «придумка» Яндекса, поэтому правильнее будет написать вот так:
User-agent: Yandex
Host: www.avtobeginner.ru
При этом, если в файле robots.txt у Вас имеются записи Disallow, то их нужно повторить и для Яндекса. Например:
User-agent: *
Disallow: /news/
Disallow: /work/
User-agent: Yandex
Host: www.avtobeginner.ru
Disallow: /news/
Disallow: /work/
Во-вторых, можно воспользоваться модулем mod_rewrite, который отвечает за URL-преобразования. Для этого необходимо создать в корне вашего сайта файл .htaccess и написать в нем следующие строки:
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} ^avtobeginner\.ru$
RewriteRule ^(.*)$ http://www.avtobeginner.ru/$1 [R=301,L]
Давайте разберем по порядку.
RewriteEngine On
Этим самым мы задействуем механизм преобразования URL-адресов.
RewriteBase /
Данная директива устанавливает базовый URL для преобразований в контексте каталога. В нашем случае это корень сайта.
RewriteCond %{HTTP_HOST} ^avtobeginner\.ru$
Задаем условие, при котором произойдет преобразование. При этом используем специальную серверную переменную HTTP_HOST и сравниваем ее со строкой avtobeginner.ru. Точка “заслеширована”, так она является специальным символом, а в нашем случае нужна именно точка. Символ ^ означает начало строки, а $, соответственно конец.
RewriteRule ^(.*)$ http://www.avtobeginner.ru/$1 [R=301,L]
Эта директива задает правила преобразования адресов. Сначала указываем условие преобразования ^(.*)$. О символах ^ и $ вы уже знаете. Символ . означает любой символ, а * - любое число символов (в том числе и ноль). Строка http://www.avtobeginner.ru/$1 - это то, во что мы преобразовываем наш адрес.Указание R=301 (redirect) заставляет сервер запускать внешний редирект с кодом 301 (документ перемещен). Если прямо не указать тип редиректа, то будет использован 302-й редирект (документ временно перемещен), что не совсем подходит в нашем случаем. Ну и, наконец, флаг L (last) означает, что если URL обработан данным правилом, то дальнейшая его обработка не требуется.
В резутате у нас получается указание серверу:
«Преобразуй все URL-адреса вида http://avtobeginner.ru/любое_количество_любых_символов
в http://www.avtobeginner.ru/любое_количество_любых_символов и запусти внешний редирект с кодом 301».
В результате описанных выше действий зеркала сайта должны корректно склеится во всех популярных поисковых системах. А если по каким-то причинам этого не произошло, то стоит попробовать связатся со службой техподдержки поисковика и, вежливо описав проблему, попросить их ее исправить.
В рубриках: Статьи Теги: оптимизация