Отправляет email-рассылки с помощью сервиса Sendsay
  Все выпуски  

Как составить правильный robots.txt


Посетить блог Pervushin.com Здравствуйте

ПроДвижение сайтов

Получайте RSS: ПроДвижение сайтов
Наша сеть: PostPR.ru

Как составить правильный robots.txt

image

Совсем недавно я заглянул в Яндекс.Вебмастер и ужаснулся. Вообще в этой панели я редкий гость, в этот раз просто понадобилось добавить карту сайта, если быть точным несколько различных карт, которые мы обозрели ранее.

Так вот, как вы знаете, на главной панели вебмастера имеется сразу несколько показателей и график числа страниц исключенных роботом. Вот мне в глаза этот график и бросился – на нем был изображен резкий скачок синей кривой, которая отвечает за исключение страниц намеренно запрещенных к индексации. Мне стало интересно, что же такого я там назапрещал (есть такое слово?:)).

Просмотрев все страницы с запрещенными к индексации URL я увидел среди них вполне нормальные посты, которые действительно были исключены из индекса благодаря имеющемуся у меня robots.txt.

Дальше больше. Решив за одно просмотреть проиндексированные URL, по мимо нормальных страниц я заметил всякую хрень, наподобие такой: /404-not-found-wordpress.html/feed или вот такой /404-not-found-wordpress.html/404-pravitelstvo. А затем я зашел в вебмастер Google… Это пипец какой-то, но там примерно тоже самое.

В общем понял я одно – нельзя полагаться на 100% на выложенные в сети примеры robots.txt для wordpress, как сделал это я. Каждый robots.txt необходимо настраивать под конкретный сайт. Этим и займемся.

Как я составил правильный robots.txt для wordpress

» Дальше... http://pervushin.com/correct-pravilnyi-robots-txt-wordpress.html

Рекомендую:

PostPR.ru - социальная сеть для блоггеров, вебмастеров, seo оптимизаторов, фрилансеров с возможностью публикации анонсов + различные сервисы. (Подробнее)

GoGetLinks - качественные сайты, вечные ссылки, приличные цены. Продвигай и зарабатывай. (Подробнее)

Profit-Partner - невероятно выгодный партнер при работе с Яндекс.Директ.

Rookee - лучшая система автоматического продвижения.

Miralinks - лучшая биржа размещения статей на качественных сайтах. (Подробнее)

Блогун - дешево и сердито. Большой выбор сайтов для размещения ссылок. Большое количество рекламодателей.

Sape - без комментариев.

Twite - активная реклама в Twitter, лайки (like) в Facebook, покупка фоловеров. Монетизация твиттера. (Подробнее)

Advego - уникальный и дешевый контент. Прекрасно подходит при продвижении статьями или работе с GoGetLinks. (Подробнее)

Allpositions - мониторинг и анализ позиций сайта в поисковых системах. Анализ позиций конкурентов. Подробная статистика.

Reg - регистратор доменных имен. Качественный и дешевый хостинг. Магазин доменов. Премиум домены. (Подробнее)

FastVPS - недорогой, но очень шустрый хостинг. Для читателей pervushin.com предоставляются скидки. (Подробнее)
 

Разделы блога:

Новости
Новости блога
Про создание сайтов
Продвижение сайтов
PR, реклама, маркетинг
Конкурсы и акции
Интервью
Заработок в интернет
Wordpress
Терминология/a>
Полезности

Развивая мысль
Эксклюзив для подписчиков

Метки:


Инструменты для владельца сайта:

Счетчик тИЦ и PR
Информер поисковых АПдейтов
Мой E-mail | ICQ: 480722465
Читать RSS Присоединяйся ко мне в Twitter Присоединяйся ко мне в FriendFeed Присоединяйся ко мне в Google Присоединяйся ко мне в Facebook Присоединяйся ко мне в Livejournal
Копирование, цитирование или другое использование материалов с блога Pervushin.com разрешено только при указании прямой, доступной для поисковиков, ссылки на этот блог и уведомлении о использовании материалов по электронной почте:
Copyright (C) 2010 Pervushin.com

В избранное