- Почему так важно управлять индексацией сайта
- Как можно запретить индексацию отдельных частей сайта
- Robots.txt — директива user-agent и боты поисковых систем
- Примеры использования директив Disallow и Allow
- Директивы Sitemap и Host (для Яндекса)
- Проверка robots.txt в Яндексе и Гугле, примеры ошибок
- Мета-тег Robots — помогает закрыть дубли контента
- Как создать правильный роботс.тхт?
Robotx.txt позволяет создавать запреты на индексацию сайта в Яндексе и Гугле ненужных файлов и текстов. Как создать правильный robots.txt для Joomla и WordPress
Почему так важно управлять индексацией сайта
Надо очень четко понимать, что при использовании CMS (движка) не все содержимое сайта должно быть доступно роботам поисковых систем. Почему?
Ну, хотя бы потому, что, потратив время на индексацию файлов движка вашего сайта (а их может быть тысячи), робот поисковика до основного контента сможет добраться только спустя много времени. Дело в том, что он не будет сидеть на вашем ресурсе до тех пор, пока его полностью не занесет в индекс. Есть лимиты на число страниц и исчерпав их он уйдет на другой сайт. Адьес.
Если не прописать определенные правила поведения в роботсе для этих ботов, то в индекс поисковиков попадет множество страниц, не имеющих отношения к значимому содержимому ресурса, а также может произойти многократное дублирование контента (по разным ссылкам будет доступен один и тот же, либо сильно пересекающийся контент), что поисковики не любят.
Хорошим решением будет запрет всего лишнего в robots.txt (все буквы в названии должны быть в нижнем регистре — без заглавных букв). С его помощью мы сможем влиять на процесс индексации сайта Яндексом и Google. Представляет он из себя обычный текстовый файл, который вы сможете создать и в дальнейшем редактировать в любом текстовом редакторе (например, Notepad++).
Это интересно
0
|
|||
Последние откомментированные темы:
-
Изменение ссылок
(1)
casham
,
01.02.2012
-
Плагин Special Text Boxes
(2)
Ирина
,
27.12.2011
-
Как закрыть ссылки от индексации быстро и красиво. Плагины WP-NoRef и WP No External Links.
(2)
-
Вышел WordPress 3.3 русская версия
(1)
casham
,
16.12.2011
-
Что нового в WordPress 3.3
(1)
casham
,
16.12.2011
-
10 сервисов для создания интересных продуктов на основе ваших фото из Instagram
(1)
Mike Kovalev
,
14.12.2011
20250424064120megr***@m*****.ru , 18.12.2011