Для чего нужен файл robots.txt

Задача файла robots.txt очень проста - запретить для роботов поисковиков сканировать ваш сайт, или некоторые его части. Работает это следующим образом, перед тем как сканировать тот или иной сайт, роботы ищут именно этот файл, в котором есть указания, как именно владелец сайта указал прерогативы сканирования содержания сайта, или сайта целиком.

Большинство поисковых систем в обязательном порядке обращаются к файлу robots.txt и выполняют директивы файла. Но все же есть роботы, которые интерпретируют команды совсем по-другому. Также файл может использоваться в злоумышленных целях, поэтому рекомендовано конфиденциальную информацию закрывать паролем.

Если на сайте нет никакого содержание, которое вы бы желали закрыть от сканирования и индексации, то файл robots.txt на сайте не обязателен.

Для использование файла необходимо иметь доступ к корневому каталогу вашего домена (в случае если доступа нету, рекомендовано обратится к поставщику хостинга)

Также при отсутствии доступа к корневому каталогу, есть возможность ограничивать доступ используя метатег robots.

Подробнее о файле robots.txt написано в статье Правильно создаем и эффективно используем robots.txt