Robots.txt не касается конкретно того, какие страницы индексируются в поисковых системах Robots.txt не является надежным способом контроля того, какие страницы индексируют поисковые системы. Если ваша основная цель состоит в том, чтобы не допустить включения определенных страниц в результаты поиска, правильный подход - использовать тег meta noindex или другой аналогичный прямой метод. Это потому, что ваш Robots.txt прямо не говорит поисковым системам не индексировать контент - он просто говорит им не сканировать его. Хотя Google не будет сканировать отмеченные области внутри вашего сайта, Google сам заявляет, что, если внешний сайт ссылается на страницу, которую вы исключаете из файла Robots.txt, Google все равно может проиндексировать эту страницу. Джон Мюллер, аналитик Google для веб-мастеров, также подтвердил, что, если на страницу ссылаются ссылки, даже если она заблокирована файлом robots.txt, она все равно может быть проиндексирована. Вот что он хотел сказать в видеовстрече для веб-мастеров: Здесь следует иметь в виду одну вещь: если эти страницы заблокированы файлом robots.txt, то теоретически может случиться так, что кто-то случайным образом сделает ссылку на одну из этих страниц. И если они это сделают, то может случиться так, что мы проиндексируем этот URL без какого-либо контента, потому что он заблокирован robots.txt. Поэтому мы не будем знать, что вы не хотите, чтобы эти страницы были фактически проиндексированы. Принимая во внимание, что если они не заблокированы файлом robots.txt, вы можете разместить мета-тег noindex на этих страницах. И если кто-то ссылается на них, и мы случайно просматриваем эту ссылку и думаем, что здесь может быть что-то полезное, мы бы знали, что эти страницы не нужно индексировать, и мы можем просто пропустить их из индексации полностью. Поэтому, если у вас есть что-то на этих страницах, которые вы не хотите индексировать, не запрещайте их, используйте вместо этого noindex.
Это интересно
0
|
|||
Последние откомментированные темы:
-
Лучшие Формы Обратной Связи для WordPress
(1)
Ваши советы
,
22.11.2019
20250205151354