Файл robots txt, это текстовый файл, который содержит инструкции для поисковых роботов, данный файл говорит роботам, какие папки с блога индексировать, а какие нет. Несмотря на то, что файл robots txt очень маленький (1-2 Кбайта), от него зависит, будут страницы блога или блог целиком индексироваться или нет.
Блоги, которые сделаны на движке WordPress, по умолчанию файла robots txt не имеют, многие новички просто об этом не знают. В результате поисковые системы индексируют все папки сайта, включая и конфиденциальную информацию, все дубли и т.д. Блог без файла robots txt никогда не сможет занять топовые позиции. Если файл robots txt будет составлен неправильно, то ситуация может быть еще хуже – блога просто не будет в поиске.
На самом деле создать файл robots txt не так уж и сложно, но надо понимать его суть. Существует четыре способа создания robots – с помощью онлайн генераторов, с помощью плагинов для WordPress, создать вручную в обычном блокноте и использовать роботс с чужого сайта, адаптировав его под себя.
Вступите в группу, и вы сможете просматривать изображения в полном размере
Это интересно
0
|
|||
Последние откомментированные темы: