Метатеги, как способ блокирования доступу к сайту
При наличии на сайте страниц, не желаемых к индексированию, даже если на них есть внешние ссылки с других сайтов, рекомендуется использовать метатег noindex. Этот метатег говорит для поискового робота, что помещать данную страницу в индексе нельзя.
Собственно сам метатег noindex описан детально на странице
http://www.robotstxt.org/meta.html.
Как же интегрируется метатег на страницу? Надо в разделе <head> страницы, которую вы планируете закрыть от индексации, поместить метатег:
<meta name="robots" content="noindex" >
Если же вы желаете запретить только конкретной поисковой системе (например, Google) индексировать страницу, метатег измениться следующим образом:
<meta name="googlebot" content="noindex" >
Этот метатег, как уже говорилось выше, полностью исключает страницу из поискового индекса. Что касается других поисковых систем, то они могут интерпретировать данные тега по другому, и страница все же отобразиться в результатах их поиска.
Если вы внесли тег noindex на страницу а она отображается в поиске, дождитесь следующего сканирования. Если у вас нет доступа к корневому каталогу сайта, метатег noindex хорошее решение блокирования сканирования составляющих сайта.
