В сети находится немало материалов по настройке файла Robots.txt. Пугает то, что большинство этих материалов перепечатывают друз за другом одни и те же ошибки и некорректности.
Напрашивается вывод - мало кто из людей, публикующих стати о настройке этого файла на своем блоге пытался разобраться в теме, скорее всего они просто взяли готовый файл у одного из своих предшественников и напечатали его у себя в качестве примера.
Правильный файл robots не должен содержать ничего лишнего и, в то же время, должен выступать полноценным проводником для поисковых систем.
Задача этого элемента оптимизации четко показать поисковикам папки и документы сайта, которые должны попасть в индекс, а также обозначить разделы сайта, которые должны остаться лишь для служебного пользования (в выдачу их помещать не нужно).
Для каждой системы управления контентом существует свой типовой файл. Это объясняется тем, что все они имеют разную структуру и служебные документы с разными именами.
В своей статье я подробно написал, как сделать правильный файл и привел готовый код, подходящий к файлу robots.txt для Wordpress - http://biznessystem.ru/2015/05/delaem-pravilnyj-fajl-robots-txt-dlya-wordpress/
Это интересно
0
|
|||
Последние откомментированные темы:
-
Лучшие приложения Android для опытных блогеров
(2)
20250123145011info@z*****.ru , 25.10.2021