Robots.txt - обязательный элемент сайта

В сети находится немало материалов по настройке файла Robots.txt. Пугает то, что большинство этих материалов перепечатывают друз за другом одни и те же ошибки и некорректности.

Напрашивается вывод - мало кто из людей, публикующих стати о настройке этого файла на своем блоге пытался разобраться в теме, скорее всего они просто взяли готовый файл у одного из своих предшественников и напечатали его у себя в качестве примера.

Правильный файл robots не должен содержать ничего лишнего и, в то же время, должен выступать полноценным проводником для поисковых систем.

Задача этого элемента оптимизации четко показать поисковикам папки и документы сайта, которые должны попасть в индекс, а также обозначить разделы сайта, которые должны остаться лишь для служебного пользования (в выдачу их помещать не нужно).

Для каждой системы управления контентом существует свой типовой файл. Это объясняется тем, что все они имеют разную структуру и служебные документы с разными именами.

В своей статье я подробно написал, как сделать правильный файл и привел готовый код, подходящий к файлу robots.txt для Wordpress - http://biznessystem.ru/2015/05/delaem-pravilnyj-fajl-robots-txt-dlya-wordpress/

		Это интересно +1	Как всё будет выглядеть в блоге: Robots.txt - обязательный элемент сайта В сети находится немало материалов по настройке файла Robots Скопируйте код для блога: <div style="border:1px solid #E8E8E8;margin:10px auto;padding:10px 15px;"> <a href="https://subscribe.ru/" style="display:block;"><img src="https://subscribe.ru/img/logokanal.png" style="margin:0;border: 0;" alt=""/></a> <a href="https://subscribe.ru/group/malenkie-hitrosti-interneta-i-kompa-dlya-prostyih-polzovatelej-dlya-prostyih/8566390/" style="border-color:#E8E8E8;border-style:solid;border-width:1px 0;color:#555555;display:block;font-family:trebuchet MS;font-size:1.2em; font-weight:bold;margin:5px 0;padding:5px 0;text-decoration:none;"> Robots.txt - обязательный элемент сайта </a> <div class="insert-intro" style="font-family:trebuchet MS;">В сети находится немало материалов по настройке файла Robots </div> </div> Robots.txt - обязательный элемент сайта <div style="border:1px solid #E8E8E8;margin:10px auto;padding:10px 15px;"> <a href="https://subscribe.ru/" style="display:block;"><img src="https://subscribe.ru/img/logokanal.png" style="margin:0;border: 0;" alt=""/></a> <a href="https://subscribe.ru/group/malenkie-hitrosti-interneta-i-kompa-dlya-prostyih-polzovatelej-dlya-prostyih/8566390/" style="border-color:#E8E8E8;border-style:solid;border-width:1px 0;color:#555555;display:block;font-family:trebuchet MS;font-size:1.2em; font-weight:bold;margin:5px 0;padding:5px 0;text-decoration:none;">Robots.txt - обязательный элемент сайта</a> <div style="font-family:trebuchet MS;">В сети находится немало материалов по настройке файла Robots </div> </div>

akmid81

27.05.2015

В избранное Пожаловаться Просмотров: 543

Комментарии ⁰

Маленькие хитрости интернета и компа для простых пользователей 7523

Важные темы:

Активные участники:

Последние откомментированные темы:

Robots.txt - обязательный элемент сайта

Комментарии временно отключены

Открытая группа
21622 участника