Отправляет email-рассылки с помощью сервиса Sendsay

Как раскрутить сайт

  Все выпуски  

Как раскрутить сайт Файл robots.txt


Ведущий рассылки Андрей Луда – предприниматель, личный тренер, специалист в области современного развития человека и организаций.

 

«Если я видел дальше других, то только потому, что стоял на плечах гигантов». Исаак Ньютон

 

Если у вас есть проблема в жизни, и вам нужна помощь, пишите по адресу rasvopros@mail.ru с пометкой «проблема» в теме письма.

 

Здравствуйте, друзья.

 

Твитер http://twitter.com/andrey_luda

Фейсбук http://www.facebook.com/andrej.luda

Вконтакте http://vk.com/andrey_luda

 

 

Продолжаем изучать книгу Игоря Ашманова и Андрея Иванова «Оптимизация и продвижение сайтов в поисковых системах»

 

7.2. Управление индексацией сайта

 

Файл robots.txt

 

Файл robots. txt предназначен для хранения инструкций по индексированию сайта поисковыми роботами. Этот файл располагается в корневой директории сайта и запрашивается каждый раз при обращении робота к сайту.

Суть записей в этом файле проста - указываем, кому и что запрещено индексировать на сайте. Инструкций для разрешения индексации в файле robots.txt не предусмотрено, поэтому отсутствие этого файла на сайте означает, что будут индексироваться все встречаемые роботом страницы. Вот простейший при мер содержимого файла robots.txt:

user-agent: StackRambler

Disallow: /cgi-bin/

Эти две строки означают, что поисковому роботу «Рамблера» запрещено индексировать любые файлы в директории cgi -bin. Так как эти инструкции предназначены только для робота «Рамблера», следовательно, остальные поисковики будут индексировать все, в том числе и директорию cgi-bin.

Как видно из этого примера, с помощью файла robots.txt можно запретить индексацию целой группы страниц, а не только одной. В конце главы вы найдете дополнительные ссылки на подробные рекомендации по использованию файла robots.txt.

 

 

Продолжение в следующем выпуске…

 

 

Твитер http://twitter.com/andrey_luda

Фейсбук http://www.facebook.com/andrej.luda

Вконтакте http://vk.com/andrey_luda

 

Поучать может каждый, но стоит ли доверять этим поучениям.

 

Если у вас есть проблема в жизни, и вам нужна помощь, пишите по адресу rasvopros@mail.ru с пометкой «проблема» в теме письма.

 

Все представленные материалы носят ИСКЛЮЧИТЕЛЬНО ознакомительный (образовательный) характер. Некоторые материалы взяты из открытых источников в сети или были присланы подписчиками. Если Вы посчитали, что Ваши авторские права были нарушены - сообщите, и мы вместе постараемся придти к обоюдоприемлемому решению. Обладатели авторских прав на материалы, опубликованные в рассылке, выступающие против их дальнейшего размещения и распространения могут обратиться с просьбой об их удалении.

 

Copyright Андрей Луда, 2006-2018 г.г. Автор оставляет за собой право отвечать не на все полученные письма и опубликовывать полностью или частично, полученные письма без предварительного согласования. В случае, если Вы желаете свое письмо оставить конфиденциальным, письменно сообщите об этом.

Заранее благодарю Вас.


В избранное