URL структура вашего сайта

Для улучшения правильности сканирования вашего сайта поисковыми роботами, а также для общего улучшения структуры сайта необходимо использовать описательные директории и страницы. Дружественна структура URL выгодно смотреться в ссылках на ваш сайт.
К примеру, ссылка вида

http://excalibur.com.ua/folder2/new/2154585/123x

будет неудобна в использовании. Так как пользователю вспомнить или набрать по памяти этот адрес практически невозможно. Кроме того пользователь, исходя из непонятных частей ссылки, может отбросить их, в результате чего получится битая ссылка.

Много пользователей могут давать ссылку на ваш сайт, воспользовавшись структурой URL как ключевым текстом. Релевантные слова в URL позволяют получить больше информации о странице, нежели бессистемные параметры или символы. К примеру, здесь:

http://excalibur.com.ua/programming/php/

содержание страницы объясняется архитектурой самой ссылки. Следует отметить, что Google автоматически распознает транслит в URL. Google успешно сканирует любые структуры URL на сайтах, но если уделить немного времени для создания простой и понятной структуры, это позитивно повлияет на сайт, как со стороны поисковых систем, так и пользователей.

Немногие вебмастера практикуют преобразование динамической страницы в статическую. Google позитивно относиться к подобной практике, но надо учесть то, что эта процедура достаточно сложная, она может быть сделана не правильно, что может привести к осложнениям при сканировании сайта.

При составлении URL используйте знаки пунктуации. URL адрес

http://excalibur.com.ua/ internet-marketing.html

значительно удобнее, чем

http://excalibur.com.ua/.ua/internetmarketing.html.

Сами же поисковые системы рекомендуют использовать в URL адресах дефисы (-), а не символ подчёркивания (_).

Причины неполного сканирования сайта. (как следствие сложных URL)

Добавочная фильтрация группы элементов.Много сайтов по-разному представляют один и тот же набор элементов или результат поиска, с помощью которых можно фильтровать по тех или иных критериях (цвет, размер и т.д.). Когда же фильтры сочетаются (например, дорогой белый ноутбук), тогда стремительно увеличивается количество URL (просмотров данных). Не является обязательным создание списка множества ноутбуков, мало отличающихся друг от друга, так как боту-поисковику нужно совсем небольшое количество списков, с помощью которых он сможет попасть на страницу каждого ноутбука. Пример:

Дорогой ноутбук:
http://excalibur.com.ua/search-results-notebooks.jsp? Ne=123&N=456

Дорогой белый ноутбук :
http://excalibur.com.ua/search-results-notebooks.jsp? Ne=123&N=456+415263

Дорогой белый ноутбук ASUS:
http://excalibur.com.ua/search-results-notebooks.jsp? Ne=123&N=456+415263+74859

Документы, созданы динамично. Это может привести к некоторым изменениям в результате добавления счетчиков, объявлений или меток времени.

Проблематичные параметры в URL адресах. Как пример можно привести идентификаторы сеансов, которые могут быть причиной повторений, что в свою очередь приводит к резкому увлечению URL-адресов.

Упорядочение параметров. Характерно для Интернет магазином ,которые по-разному сортируют одни и те же элементы. И как результат - большое количество URL-адресов.
Пример:

http://excalibur.com.ua/search-resultssearch_tupe=search_audio&search_querty=tpb&search_sort=relevance&search_category=77

Проблемы календаря. Динамически генерируемый календарь может стать причиной создания ссылок на даты без каких либо ограничений по началу или окончанию периода. Пример:

http://excalibur.com.ua/kalendar.php?d=15&m=7&y=2012

http://excalibur.com.ua/kalendar/cgi?2009&month=jan

Неработающие относительные ссылки. Они часто являются источником появления бесконечных пространств. Нередко эта ситуация вызывается повторяющимися элементами пути. Пример:

http://excalibur.com.ua/index.shtml/komentarii/categoriya/shkola/586910/html/interview/categoriya/zdorovye/202556/html/categoriya/biznes/020100/html/categoriya/travel/021230/html/FAQ.htm

Решение высше указаных проблем

• блокировка доступа поискового бота к проблемным URL-адресам при помощи файла robots.txt. В основном блокируют динамические адреса (страницы поиска, календари и т.п.);
• редко или совсем не использовать идентификаторы сеансов. Вместо них можно пользоваться cookie;
• удаление ненужных параметров для укорочения URL-адреса;
• при наличии бесконечного календаря стоит добавить атрибут nofollow в ссылки на будущие страницы, что динамически создаются календарем;
• убрать неработающие относительные ссылки.

Кроме того надо избегать большого количества вложенных директорий. Пример:

…/dir1/dir2/dir3/dir4/dir5/page.html

Также на один документ нужна только одна ссылка. В случае обнаружения разных ссылок на один документ установите 301-переадресацию на основной URL.