Да, есть и такой файл. Его назначение – закрывать от индексации поисковыми системами определенные файлы и каталоги сайта. А так как сама индексация сайта и его страниц поисковыми системами вещь весьма темная и неоднозначная, то и о важности наличия файла robots.txt в сайтах споры идут непрерывно. В том числе и о том, нужен ли файл robots.txt для WordPress блогов. Причем, впрочем как всегда, мнения высказываются диаметрально
противоположные.
Одни говорят, что файл robots.txt просто необходим, так как поисковый робот, обращаясь к сайту, в первую очередь запрашивает именно это файл. И если его не найдет, то просто не будет индексировать страницы сайта. Поэтому если Вы создаете свой сайт с расчетом на индексацию его поисковыми системами, то делайте вывод сами.
Однако есть и мнение, что файл robots.txt на индексацию страниц сайта поисковыми системами никакого влияния не оказывает. И приводят примеры сайтов без файла robots.txt, которые прекрасно индексируются и входят в топ выдачи как Яндекса так и Гугла. При этом замечая, что нужно больше обращать внимания на оптимизацию сайта под поисковые системы, правильно подбирать ключевые слова и больше внимания уделять содержанию сайта. Совет, в общем-то,
правильный. Но что мешает сделать файл robots.txt и поставить его на сайт или блог, тем самым решив вопрос - нужен он или нет?
Если Вас интересует, эта тема - зайдите на страницу: