Зеркальщик

Зеркальщик – поисковый робот, задачей которого является поиск зеркал сайтов и их склейка, для очистки поисковой выдачи от дублирующегося контента. Например, зеркальщиком Яндекс является поисковый робот Yandex/1.01.001.

Зеркало сайта – точная копия какого-либо Интернет ресурса, расположенная по другому адресу (домену). Таких копий может быть довольно много. Они создаются для распределения нагрузки на ресурсы с высокой посещаемостью, аккумулирования тИЦ и PR, защиты информации при сбоях серверов.

Работа зеркальщика

Апдейт зеркальщика происходит в режиме один раз в 2 – 12 недель. Обнаруживая зеркала, поисковый робот выбирает один сайт в качестве основного. Остальные исключаются из индексации. Для того, чтобы зеркальщик Яндекс определил в качестве основного нужный сайт можно использовать специальную директиву.

Директива Host

Сообщить поисковой системе, какое зеркало является главным, можно в любой момент, в том числе и еще во время создания сайта. Для этого в файле robots.txt необходимо прописать директиву Host следующим образом:

User-agent: Yandex

Host: www.site.ru 

Зеркальщик обязательно учтет эту команду при принятии своего решения о назначении основного сайта. Затем он склеит зеркала. Причем тИЦ зеркал перейдет на главный сайт.

Редирект 301

Для Google и других поисковых систем, чтобы сообщить об основном сайте и его зеркалах, достаточно настроить 301-й редирект. В этом случае поисковые роботы и посетители при нажатии на ссылку, ведущую на зеркало сайта, будут перенаправляться на соответствующую страницу основного ресурса.

Создается редирект 301 следующим образом. В корневом каталоге всех зеркал, в файлах .htaccess с помощью модуля mod_rewrite прописываются следующие правила:

RewriteEngine On

RewriteBase /

RewriteCond %{HTTP_HOST} !^new-domain.com [NC]

RewriteRule (.*) http://new-domain.com/SKYSEO [R=301,L] 

При этом, сколько зеркал имеет основной домен — совершенно неважно. Все обращения к зеркалам будут перенаправляться на основной сайт.

Используя другие вариации модуля mod_rewrite можно, например, организовать переадресацию при выборе канонического доменного имени (с www или без www), сохранить всю структуру внутренних ссылок сайта при его переезде на другой домен.