Часто бывает, что одно и то же содержание страницы можно найти на разных URL-адресах. Например, у вас есть интернет магазин компьютерной техники с наиболее популярным ноутбуком ASUS K50. На страницу описания данного продукта могут вести более одной страницы, если у вас используется идентификатор сеанса или другие параметры. Пример:
Исходя из сказанного понятно, что надо контролировать вид своих URL в результатах поиска. Необходимо в первую очередь создать канонический (предпочитаемый) URL-адрес страницы. Делать это возможно разными способами представленными ниже. Если же вы это не сделаете, поисковые системы сами выберут наиболее подходящий канонический URL.
Выбор основного домена укажет поисковым системам какой URL вы предпочитаете использовать на вашем сайте (с www или без). То есть, указав, к примеру, домен http://excalibur.com.ua как основной, поисковые системы будут обрабатывать ссылки на http://www.excalibur.com.ua в том же порядке что и на основной домен.
Выберите нужные страницы с подобными продуктами и разместите URL-адреса канонических (предпочитаемых) страниц в файле robots.txt. Это сообщит поисковикам, какие страницы стоит индексировать, а которые стоит просто опустить.
Но это действие все же не дает гарантий, что именно эти адреса будут проиндексированы поисковиками. Однако этот способ является лучшим, чтобы сообщить о предпочитаемой странице.
К примеру, если вам необходимо указать адрес
http://www.excalibur.com.ua/notebook/asus/asus-k50.html как канонический URL. Сделать это можно добавив элемент <link> с аттрибутом rel=”canonical” а разделе <head> неканонических страниц. Пример:
Тег
добавте на страницы:
Подробнее о создании канонических ссылок написанов статье http://wiki.whatwg.org/wiki/RelExtensions
Обработка параметров, позволит указать параметры, которые нужно игнорировать при индексировании страниц. Само собой, это позволяет снизить количество одинаковых страниц и упростит, таким образом, саму процедуру сканирования сайта. К примеру, указав игнорирующий параметр sessionid, поисковик будет считать, что страницы
http://www.excalibur.com.ua/notebook/asus/asus-k50.html
http://www.excalibur.com.ua/notebook/asus/asus-k50.htm?sid=125452
одинаковы.