Совсем недавно я заглянул в Яндекс.Вебмастер и ужаснулся. Вообще в этой панели я редкий гость, в этот раз просто понадобилось добавить карту сайта, если быть точным несколько различных карт, которые мы обозрели ранее.
Так вот, как вы знаете, на главной панели вебмастера имеется сразу несколько показателей и график числа страниц исключенных роботом. Вот мне в глаза этот график и
бросился – на нем был изображен резкий скачок синей кривой, которая отвечает за исключение страниц намеренно запрещенных к индексации. Мне стало интересно, что же такого я там назапрещал (есть такое слово?:)).
Просмотрев все страницы с запрещенными к индексации URL я увидел среди них вполне нормальные посты, которые действительно были исключены из индекса благодаря имеющемуся у меня robots.txt.
Дальше больше. Решив за одно просмотреть проиндексированные URL, по мимо
нормальных страниц я заметил всякую хрень, наподобие такой: /404-not-found-wordpress.html/feed или вот такой /404-not-found-wordpress.html/404-pravitelstvo. А затем я зашел в вебмастер Google… Это пипец какой-то, но там примерно тоже самое.
В общем понял я одно – нельзя полагаться на 100% на выложенные в сети примеры robots.txt для wordpress, как сделал это я. Каждый robots.txt необходимо настраивать под конкретный сайт. Этим
и займемся.
PostPR.ru - социальная сеть для блоггеров, вебмастеров, seo оптимизаторов, фрилансеров с возможностью публикации анонсов + различные сервисы. (Подробнее)
Копирование, цитирование или другое использование материалов с блога Pervushin.com разрешено только при указании прямой, доступной для поисковиков, ссылки на этот блог и уведомлении о использовании материалов по электронной почте: Copyright (C) 2010 Pervushin.com