Отправляет email-рассылки с помощью сервиса Sendsay

Раскрутка и оптимизация сайта

Рассылка закрыта

При закрытии подписчики были переданы в рассылку "Заработок в Интернет: cоздание, продвижение и монетизация сайта/блога" на которую и рекомендуем вам подписаться.

Вы можете найти рассылки сходной тематики в Каталоге рассылок.

←   Март 2007   →
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
Автор
free_content

Статистика

11 подписчиков
0 за неделю
←   Все выпуски   →

Раскрутка и оптимизация сайта Управление работой поисковых роботов


Управление работой поисковых роботов

Управлять работой поисковых роботов можно с помощью двух способов:
1) с помощью файла robots.txt,
2) с помощью мета тега "robots".
Далее мы рассмотрим оба этих способа:

1) ROBOTS.TXT ФАЙЛ

Файл robots.txt предназначен для управления поисковыми роботами. На сайте может сущестовать только один robots.txt файл. Как правило, он должен находиться в корневой директории сайта, например: www.kokoc.com/robots.txt. Название файла должно быть написано маленькими буквами.

В файле robots.txt содержится перечень инструкций, с помощью которых пользователь может в некоторой степени управлять действиями поисковых роботов.

Например, ваш сайт еще находится в тестовой стадии и вы бы не хотели, чтобы он в таком виде был проиндексирован роботами или в каких-то директориях существует закрытая для широкой публики информация. Для этого в этот файл надо поместить следующую запись:

User-agent: *
Disallow: /

Для того, чтобы исключить ваш веб-сайт от индексирования только определенной поисковой системой, например AltaVista, вам надо сначала узнать имя поискового робота, который использует AltaVista (она использует поисковый робот под названием "Scooter") и подставить его в строчку "User-agent:". В данном случае запись будет выглядеть следующим образом:

User-agent: scooter
Disallow: /

Более полный перечень названий роботов разных поисковых систем вы можете найти ЗДЕСЬ (правда на английском языке).

Часто названия роботов отображают названия поисковых систем, например поисковый робот Ramblera носит название "StackRambler".

Вы также можете исключить от индексирования роботами определенную директорию вашего сайта. Например, вам надо исключить из индексирования директорию "/personal/secrets/" и директорию "/cgi-bin/" для всх роботов. Для этого вам надо добавить следующую строчку:

User-agent: *
Disallow: /personal/secrets/
Disallow: /cgi-bin/

2) МЕТА ТЕГ "ROBOTS"

В отличие от предыдущего способа, данный способ управляет поведением роботов для данной, конкретной странички. Управление роботами достигается с помощью двух команд: "noindex" - не индексировать страничку и "nofollow" - не следовать по ссылкам с данной странички. Например:

< meta name="robots" content="noindex,follow"> - этот тэг инструктирует роботов не индексировать данную страничку, однако следовать по ссылкам с данной странички.

< meta name="robots" content="index,nofollow"> - роботы проиндексируют данную страничку, но никуда дальше с этой странички по ссылкам не пойдут.

< meta name="robots" content="index,follow"> - данный тэг ставить нет смысла, так как роботы и так по умолчанию индексируют все страницы и следуют по ссылкам с данной страницы.

  

 

 

 

 

 

 

В избранное