Сео, разработка, раскрутка и последующее продвижение сайтов
Что такое Robots.txt?
Он представляет собой текстовый файл, который располагается в корневом
каталоге Вашего ресурса и содержит в себе различные инструкции для
поисковых машин. С его помощью можно производить следующие действия:
запрещать или разрешать индексацию конкретных разделов или страниц
сайта, указывать основное зеркало ресурса и отображать путь к такому
файлу как sitemap.