Отправляет email-рассылки с помощью сервиса Sendsay

Бесплатные уроки по созданию сайта с нуля

Рассылка закрыта

При закрытии подписчики были переданы в рассылку "Популярный сайт своими руками" на которую и рекомендуем вам подписаться.

Вы можете найти рассылки сходной тематики в Каталоге рассылок.

←   Май 2011   →
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
Автор
Кузнецкий Сергей

Статистика

286 подписчиков
0 за неделю
←   Все выпуски   →

Бесплатные уроки по созданию сайта с нуля. Файл robots.txt или внутренняя оптимизация сайта


Robots.txt - это текстовый файл, который содержит инструкции для поисковых роботов. Находится он в корневой папке. Перед обращением к страницам вашего блога поисковые роботы сначала ищут файл robots.txt, который запрещает им доступ к указанным вами разделам вашего ресурса.

Ограничение определенных разделов своего сайта для индексации поисковыми роботами не означает, что вы прячете что-то запрещенное, нет. Просто на любом сайте часть информации не несет никакой ценности для поисковиков и посетителей, поэтому нет смысла, чтобы ее индексировали роботы.

Примеры такой информации - страницы логина, регистрации, RSS лент у каждого поста и т.д.

Кроме этого, файл robots.txt служит для того, чтобы указывать правильное зеркало вашего домена (с www или без), а также можно указывать адрес карты сайта.

По умолчанию в Wordpress нет файла robots.txt. Самый простой способ это исправить - создать в обычном блокноте (или лучше в Notepad++) текстовый файл, поместить в него нужный код, сохранить с названием robots.txt и загрузить на хостинг в корневую папку вашего блога.

ВНИМАНИЕ

Напоминаю, что все уроки, которые выложены здесь и новые, которые еще будут выкладываться вы можете скачать БЕСПЛАТНО перейдя по ссылке www.sitesmaking.ru

Ваши вопросы, пожелания можете задавать мне на e-mail: garneta@mail.ru


Вы можете посмотреть содержимое файла robots.txt на любом сайте , если после его адреса напишете robots.txt, вот так (приведу пример этого файла на своем блоге):

http://sitesmaking.ru/robots.txt

User-agent: *  
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: sitesmaking.ru

Sitemap: http://sitesmaking.ru/sitemap.xml



Идеального файла robots.txt не существует. Я пробовал различные варианты, и в итоге пришел к такому содержимому этого файла. Время от времени я дополняю и редактирую этот файл.

Также с помощью этого файла можно рекомендовать роботам поисковиков соблюдать определенный временной интервал между скачиванием документов с сервера. Например, на моей практике бывали случаи, когда робот Yahoo (называется Slurp) при индексации сайта оказывал повышенную нагрузку на хостинг, поэтому приходилось задавать ему паузу. Делается этот вот так:

User-agent: Slurp
Crawl-delay: 20


Данный код сообщает поисковому роботу Slurp при индексации делать паузу в 20 секунд. Обычно делают 5 или 10 секунд, но этот робот меня тогда очень сильно разозлил , так как и с паузой в 10 секунд он сильно грузил хостинг. Впрочем, я уже пару лет не встречал подобных случаев.

Для роботов Яндекса и Google делать задержку не советую, так как это может привести к проблемам с индексацией вашего сайта.

Важный момент - между директивами User-agent и Disallow не должно быть пустых строк, так как это будет означать конец правил для поискового робота.

Звездочка * в файле robots.txt означает последовательность любых символов.

Директива host поддерживается только Яндексом. При этом она сообщает поисковому роботу Яндекса о том, какое из двух зеркал сайта главное - с www или без.

Плагины Wordpress для создания robots.txt

Сам я предпочитаю простые и эффективные решения. Я считаю, что для создания файла robots.txt не нужны плагины, ведь все, что нужно, это создать текстовый файлик с нужным кодом и загрузить его в корень блога. По возможности лучше обходиться без плагинов, так как избыточное их количество создает повышенную нагрузку на хостинг и негативно сказывается на скорости работы вашего блога.

Итак, вот плагины.

PC Robots.txt

Этот плагин позволяет редактировать содержимое файла robots.txt прямо в панели управления вашего блога.

iRobots.txt SEO

Еще один плагин для работы с файлом robots.txt со схожим функционалом.

Другие плагины Wordpress для robots.txt можно найти прямо в админке вашего блога, если зайти в пункт Плагины - Добавить новый и ввести в поле поиска запрос «robots.txt».

Дополнительные материалы по robots.txt

По файлу robots.txt есть полезный сайт http://robotstxt.org.ru, на котором можно найти всю необходимую информацию.

Вы также можете почитать раздел о robots.txt в Яндекс Помощи для вебмастеров и воспользоваться анализатором robots.txt от Яндекса.

Кроме этого, можно посмотреть информацию об этом файле в разделе помощи для вебмастеров от Google - Блокировка и удаление страниц с помощью файла robots.txt.

ВНИМАНИЕ

Напоминаю, что все уроки, которые выложены здесь и новые, которые еще будут выкладываться вы можете скачать БЕСПЛАТНО перейдя по ссылке www.sitesmaking.ru

Ваши вопросы, пожелания можете задавать мне на e-mail: garneta@mail.ru
В избранное