Отправляет email-рассылки с помощью сервиса Sendsay
  Все выпуски  

Как грохнуть ненужные урлы


 Расскажу-ка сегодня об одной чертовски полезной штуке, которую узнал на работе. Господ крутых сеошников прошу идти лесом, так как никаких Америк я открывать не собираюсь и вообще, постю в своем блоге в формате "что вижу, о том и пишу".

Дык вот... Мне наш начальник отдела рассказал о том, как грохать ненужные урлы из индекса. Например, ошибку 404 и прочий мусор, который мешает жить многим начинающим вебмастерам.

киллер

Дело это простое, как очищенный апельсин! Расскажу о нем по порядку на примере Яндекс. Кстати, чтобы проделывать такую операцию с нужными вам сайтами, достаточно иметь только почтовый аккаунт Яндекс.

  • Определяем количество проиндексированных страниц нашего сайта. Это можно сделать с помощью различных плагинов, прожек и программулин. Или же попросту ввести в поисковой строчке Яндекс site:наш сайт.ru.
  • Ищем ненужные ссылки и собираем урлы в какой-нибудь текстоый файлик. Если нужно удалить только ошибки 404, идем в вебмастер Яндекс и собираем неправильные странички.
  • Открываем наш файл robots.txt. Теперь вставляем собранные ненужные урлы (достаточно окончаний со слэшем) после строчки "Disallow:". Получиться примерно такой списочек (на примере реального robots.txt):
  • User-Agent: *
    Disallow: /admin.php
    Disallow: /artickes/
    Disallow: /product/narugkamos.html
    Disallow: /product/conceptstyle.html

  • Таперича можно приступит к конечной фазе операции: уничтожению зловредных урлов. Для этого мы возвращаемся в панель нашего Вебмастера и кликаем по строчке "Удалить URL".
интерфейс вебмастер яндекс

Интерфейс вебмастер яндекс

После этого ждем следующего апа Яши и радуемся! Яндекс быстро, не хуже курьерской службы :) ) почистит и и уберет весь ненужный мусор. Теперь в поисковике не будут болтаться ненужные нам странички и отпугивать от драгоценных пользователей всякими "Ошибками 404" :) .

Тоже самое можно сделать и в вебмастере Google, правда, только со своим сайтом!


В избранное