Отправляет email-рассылки с помощью сервиса Sendsay

Maximum для Туриста.

  Все выпуски  

Maximum для Туриста. Пробная запись


а эти вопросы я постараюсь ответить в этой статье.
Файл robots.txt размещается в корневой папке сайта и предназначен для создания правил индексации для поискового робота. Я хотел бы рассмотреть основные правила составление файла robots.txt, и особенное внимание уделить необходимости создания такого файла.

RobotsНаверное, уже не для кого не секрет, что поисковые системы крайне негативно относятся к дублированному контенту и копипасту или большой исходящей ссылочной массе с одной страницы.

Для примера приведу ситуацию, которая случается на блогах, причем, даже на самых популярных это дублирование контента через тэги и категории.

Простой пример на моем блоге статьюСамостоятельная оптимизация сайта.можно встретить, как минимум трижды:
http://ashifin.net/stati/prodvizhenie-sajta/samostoyatelnaya-optimizaciya-sajta.html

http://ashifin.net/tag/category/stati/prodvizhenie-sajta

http://ashifin.net/category/stati/prodvizhenie-sajta

В первом случае в полном объеме в остальных в сокращенном.

За такое некоторые поисковики могут наложить санкции относительно сайта, поэтому в моем случае я запретил к индексации тэги и категории:

Disallow: /tag/
Disallow: /category/

Робот который заходит к нам на сайт сначала проверяет файл robots.txt на наличие запретов к индексации разделов или страниц сайта, только потом начинают индексацию разрешенного контента. Имя файла не должно содержать заглавных букв, а записи должны быть разделены одной или несколькими пустыми строками. В файле robots.txt комментарии обозначаются знаком # и заканчиваются окончанием строки.

Читать далее. Блог о туризме http://kervansaraymarmaris.com


В избранное