Здравствуйте, друзья!
Продолжая серию статей, о сео оптимизации блога, нельзя не остановиться, на одной важной теме – настройке текстового файла robots txt, содержащего директивы индексирования блога для поисковиков.
Прежде всего, хочу напомнить новичкам, что пока сайт молодой, и на нём ещё нет достаточного количества статей, рекомендуется закрыть его полностью, от индексаций роботами поисковых систем.
Закрыть сайт очень просто, достаточно поставить одну галочку. В административной части блога, в левом меню, выбираете «настройки», и в выпадающем списке – «чтение», на открывшейся странице, найдите строчку «Видимость для поисковых систем», поставьте галочку.
Это нужно сделать, чтобы поисковики не беспокоили блог, пока он не наполнен статьями. Когда на блоге (сайте) будет достаточно контента для поисковиков, вы галочку снимите.
Роботы посетят ваш сайт, а о том, какой контент разрешено просматривать, а какой нельзя – покажет им файл robots txt.
Файл robots txt – директива для поисковиков
Файл robots txt – это инструкция, показывающая роботам, какие разделы блога разрешается читать, а какие нельзя.
Файл robots txt легко найти в корне блога. В моём случае папка – public_html, думаю, у вас так же.
Возможно ли просмотреть, что содержит ваш файл robots txt? Сделать это не сложно, можете вбить в поисковую строку ссылку на блог, затем дописать через слеш (/) robots txt. То есть, это выглядит так – http://ваш домен/robots.txt (http://ingenerhvostov.ru/ robots.txt)
Таким методом, вы можете увидеть файл robots txt на каждом блоге, узнать, что веб мастер запрещает для индексации, а что нет. Таким образом, можете скопировать любой файл robots txt.
Как разобраться, что в нём написано, расшифровать смысл выражений в файле robots txt?
Это интересно
0
|
|||
Последние откомментированные темы:
-
Установка CMS Wordpress на хостинг
(4)
gogoha
,
24.07.2016
-
Редактируем готовый шаблон подписной страницы
(2)
Lord Expert
,
12.10.2014
-
Поведенческие факторы сайта-такого вы еще не читали
(2)
vsepro100
,
22.08.2013
-
Как создать категорию в Joomla
(1)
Тетя Маша
,
22.08.2013
-
Если вы лох — купите мой курс
(3)
Тетя Маша
,
18.08.2013
20250409165658