Продолжаем изучать книгу Игоря Ашманова и Андрея Иванова
«Оптимизация и продвижение сайтов в поисковых системах»
7.2. Управление индексацией сайта
Дата изменения документа
Выше мы уже говорили
об НТТР-заголовках. А сейчас остановимся подробнее на одном из них.
В стандарте
протокола НТТР существует специальный запрос с заголовком if-modifted-since. Если поисковый робот делает такой запрос к
серверу, на котором находится ваш сайт, это означает, что он обращается к
серверу с просьбой выдать страницу только в том случае, если она изменялась
после заданной даты.
Если на странице не
было никаких изменений за указанный срок, то сервер посылает ответ 304 Not Modifted
(документ не изменялся) и саму страницу не выдает. Робот тогда вправе оставить
в индексе старую копию документа и сможет уделить больше внимания новым
документам и документам с изменениями. В случае статических адресов страниц веб-сервер
может сам правильно обработать такие запросы. Когда же страницы динамически
формируются серверными скриптами, сервер не может самостоятельно определить,
вносились в документ изменения или нет. В этом случае нужно программировать
скрипты сервера так, чтобы запросы обрабатывались программно для каждой
формируемой страницы.
Корректная обработка
запросов с датами изменений документов актуальна для сайтов с большим
количеством страниц и позволяет направлять роботы на новые и обновленные документы.
Тем не менее этим методом следует пользоваться с осторожностью, поскольку
алгоритмы работы разных поисковых систем могут существенно отличаться, и, перефразируя
известное изречение, можно сказать:
Поучать может каждый, но стоит ли доверять этим поучениям.
Если у вас есть проблема в жизни, и вам нужна помощь, пишите
по адресу rasvopros@mail.ru с пометкой «проблема» в теме
письма.
Все представленные материалы носят ИСКЛЮЧИТЕЛЬНО
ознакомительный (образовательный) характер. Некоторые материалы взяты из
открытых источников в сети или были присланы подписчиками. Если Вы посчитали,
что Ваши авторские права были нарушены - сообщите, и мы вместе постараемся
придти к обоюдоприемлемому решению. Обладатели авторских прав на материалы,
опубликованные в рассылке, выступающие против их дальнейшего размещения и
распространения могут обратиться с просьбой об их удалении.
Copyright Андрей Луда, 2006-2018 г.г. Автор оставляет за
собой право отвечать не на все полученные письма и опубликовывать полностью или
частично, полученные письма без предварительного согласования. В случае, если
Вы желаете свое письмо оставить конфиденциальным, письменно сообщите об этом.
