а эти вопросы я постараюсь ответить в этой статье.
Файл robots.txt размещается в корневой папке сайта и предназначен для создания правил индексации для поискового робота. Я хотел бы рассмотреть основные правила составление файла robots.txt, и особенное внимание уделить необходимости создания такого файла.
Наверное, уже не для кого не секрет, что поисковые системы крайне негативно относятся к дублированному контенту и копипасту или большой исходящей ссылочной массе с одной страницы.
Для примера приведу ситуацию, которая случается на блогах, причем, даже на самых популярных это дублирование контента через тэги и категории.
В первом случае в полном объеме в остальных в сокращенном.
За такое некоторые поисковики могут наложить санкции относительно сайта, поэтому в моем случае я запретил к индексации тэги и категории:
Disallow: /tag/
Disallow: /category/
Робот который заходит к нам на сайт сначала проверяет файл robots.txt на наличие запретов к индексации разделов или страниц сайта, только потом начинают индексацию разрешенного контента. Имя файла не должно содержать заглавных букв, а записи должны быть разделены одной или несколькими пустыми строками. В файле robots.txt комментарии обозначаются знаком # и заканчиваются окончанием строки.