Продолжаем изучать книгу Игоря Ашманова и Андрея Иванова
«Оптимизация и продвижение сайтов в поисковых системах»
7.2. Управление индексацией сайта
Файл robots.txt
Файл robots. txt
предназначен для хранения инструкций по индексированию сайта поисковыми
роботами. Этот файл располагается в корневой директории сайта и запрашивается
каждый раз при обращении робота к сайту.
Суть записей в этом
файле проста - указываем, кому и что запрещено индексировать на сайте.
Инструкций для разрешения индексации в файле robots.txt не предусмотрено, поэтому
отсутствие этого файла на сайте означает, что будут индексироваться все встречаемые
роботом страницы. Вот простейший при мер содержимого файла robots.txt:
user-agent: StackRambler
Disallow: /cgi-bin/
Эти две строки
означают, что поисковому роботу «Рамблера» запрещено индексировать любые файлы
в директории cgi -bin.
Так как эти инструкции предназначены только для робота «Рамблера»,
следовательно, остальные поисковики будут индексировать все, в том числе и директорию
cgi-bin.
Как видно из этого
примера, с помощью файла robots.txt можно запретить индексацию целой группы
страниц, а не только одной. В конце главы вы найдете дополнительные ссылки на
подробные рекомендации по использованию файла robots.txt.
Поучать может каждый, но стоит ли доверять этим поучениям.
Если у вас есть проблема в жизни, и вам нужна помощь, пишите
по адресу rasvopros@mail.ru с пометкой «проблема» в теме
письма.
Все представленные материалы носят ИСКЛЮЧИТЕЛЬНО
ознакомительный (образовательный) характер. Некоторые материалы взяты из
открытых источников в сети или были присланы подписчиками. Если Вы посчитали,
что Ваши авторские права были нарушены - сообщите, и мы вместе постараемся
придти к обоюдоприемлемому решению. Обладатели авторских прав на материалы,
опубликованные в рассылке, выступающие против их дальнейшего размещения и
распространения могут обратиться с просьбой об их удалении.
Copyright Андрей Луда, 2006-2018 г.г. Автор оставляет за
собой право отвечать не на все полученные письма и опубликовывать полностью или
частично, полученные письма без предварительного согласования. В случае, если
Вы желаете свое письмо оставить конфиденциальным, письменно сообщите об этом.