Расскажу-ка сегодня об одной чертовски полезной штуке, которую узнал
на работе. Господ крутых сеошников прошу идти лесом, так как никаких
Америк я открывать не собираюсь и вообще, постю в своем блоге в формате
"что вижу, о том и пишу".
Дык вот... Мне наш начальник отдела рассказал о том, как грохать ненужные урлы из индекса. Например, ошибку 404 и прочий мусор, который мешает жить многим начинающим вебмастерам.
Дело это простое, как очищенный апельсин! Расскажу о нем по порядку
на примере Яндекс. Кстати, чтобы проделывать такую операцию с нужными
вам сайтами, достаточно иметь только почтовый аккаунт Яндекс.
Определяем количество проиндексированных страниц нашего сайта. Это
можно сделать с помощью различных плагинов, прожек и программулин. Или
же попросту ввести в поисковой строчке Яндекс site:наш сайт.ru.
Ищем ненужные ссылки и собираем урлы в какой-нибудь текстоый файлик. Если нужно удалить только ошибки 404, идем в вебмастер Яндекс и собираем неправильные странички.
Открываем наш файл robots.txt. Теперь вставляем собранные ненужные урлы (достаточно
окончаний со слэшем) после строчки "Disallow:". Получиться примерно такой списочек (на примере реального robots.txt):
Таперича можно приступит к конечной фазе операции: уничтожению
зловредных урлов. Для этого мы возвращаемся в панель нашего Вебмастера и
кликаем по строчке "Удалить URL".
Интерфейс вебмастер яндекс
После этого ждем следующего апа Яши и радуемся! Яндекс быстро, не хуже курьерской службы
) почистит и и уберет весь ненужный мусор. Теперь в поисковике не будут
болтаться ненужные нам странички и отпугивать от драгоценных
пользователей всякими "Ошибками 404" .
Тоже самое можно сделать и в вебмастере Google, правда, только со своим сайтом!