А листья ластятся к стволам,
А тротуары - словно зеркало,
И я плыву по зеркалам,
В которых отражаться некому.
В. Егоров

Каждый, кто занимается раскруткой сайта рано или поздно сталкивается с проблемой неправильной склейки зеркал сайта поисковыми системами. Например, активно продвигается www.avtobeginner.ru, а пользователи начинают ставить ссылки на avtobeginner.ru. Через некоторое время по этим ссылкам идут поисковые роботы, и у сайта появляется зеркало. И хотя с точки зрения владельца сайта и его посетителей эти два сайта по сути являются одним и тем же, по мнению поисковой системы это два разных ресурса.

Но рано или поздно для повышения качество поисковой выдачи и избежания дублирования контента поисковик склеит эти два зеркала.

И настоящая трагедия для оптимизатора, когда поисковик считает неосновное зеркало сайта основным. В этом случае сайт начинает стремительно терять позиции в поисковой выдаче, ведь сайт avtobeginner.ru практически никак не раскручивался.

Для исправления подобной ситуации используется несколько приемов.

Во-первых, стоит обратить свои взоры в сторону Яндекса. Как ни как крупнейшая поисковая система Рунета. У Яндекса для таких случаев имеется специальная директива Hosts, которую необходимо прописать в файле robots.txt

Но стоит помнить, что это собственная «придумка» Яндекса, поэтому правильнее будет написать вот так:

User-agent: Yandex
Host: www.avtobeginner.ru

При этом, если в файле robots.txt у Вас имеются записи Disallow, то их нужно повторить и для Яндекса. Например:

User-agent: *
Disallow: /news/
Disallow: /work/

User-agent: Yandex
Host: www.avtobeginner.ru
Disallow: /news/
Disallow: /work/

Во-вторых, можно воспользоваться модулем mod_rewrite, который отвечает за URL-преобразования. Для этого необходимо создать в корне вашего сайта файл .htaccess и написать в нем следующие строки:

RewriteEngine On

RewriteBase   /

RewriteCond   %{HTTP_HOST}  ^avtobeginner\.ru$
RewriteRule   ^(.*)$        http://www.avtobeginner.ru/$1  [R=301,L]

Давайте разберем по порядку.

1. RewriteEngine On
   Этим самым мы задействуем механизм преобразования URL-адресов.
2. RewriteBase   /
   Данная директива устанавливает базовый URL для преобразований в контексте каталога. В нашем случае это корень сайта.
3. RewriteCond   %{HTTP_HOST}     ^avtobeginner\.ru$
   Задаем условие, при котором произойдет преобразование. При этом используем специальную серверную переменную HTTP_HOST и сравниваем ее со строкой avtobeginner.ru. Точка “заслеширована”, так она является специальным символом, а в нашем случае нужна именно точка. Символ ^ означает начало строки, а $, соответственно конец.
4. RewriteRule   ^(.*)$     http://www.avtobeginner.ru/$1  [R=301,L]
   Эта директива задает правила преобразования адресов. Сначала указываем условие преобразования ^(.*)$. О символах ^ и $ вы уже знаете. Символ . означает любой символ, а * - любое число символов (в том числе и ноль). Строка http://www.avtobeginner.ru/$1 - это то, во что мы преобразовываем наш адрес.Указание R=301 (redirect) заставляет сервер запускать внешний редирект с кодом 301 (документ перемещен). Если прямо не указать тип редиректа, то будет использован 302-й редирект (документ временно перемещен), что не совсем подходит в нашем случаем. Ну и, наконец, флаг L (last) означает, что если URL обработан данным правилом, то дальнейшая его обработка не требуется.

В резутате у нас получается указание серверу:
«Преобразуй все URL-адреса вида http://avtobeginner.ru/любое_количество_любых_символов
в http://www.avtobeginner.ru/любое_количество_любых_символов и запусти внешний редирект с кодом 301».

В результате описанных выше действий зеркала сайта должны корректно склеится во всех популярных поисковых системах. А если по каким-то причинам этого не произошло, то стоит попробовать связатся со службой техподдержки поисковика и, вежливо описав проблему, попросить их ее исправить.