Приветствую вас, уважаемые одногруппники!
Когда-нибудь слышали термин robots.txt и задавались вопросом, как он применяется к вашему сайту? Большинство веб-сайтов имеют файл robots.txt, но это не означает, что большинство веб-мастеров понимают его. В этом посте я надеюсь изменить это, предложив глубокое погружение в файл WordPress robots.txt, а также узнав, как он может контролировать и ограничивать доступ к вашему сайту.
Прежде чем мы сможем поговорить о файле robots.txt в WordPress, важно определить, что такое «robot» в этом случае. Роботы — это любой тип «бота», который посещает веб-сайты в интернете. Наиболее распространенный пример — поисковые роботы. Эти боты «ползают» по сети, чтобы помочь таким поисковым системам, как Яндекс и Google, и ранжировать миллиарды страниц в интернете.
Итак, боты, в общем, полезны для интернета … или, по крайней мере, необходимы. Но это не обязательно означает, что вы или другие веб-мастера хотите, чтобы боты бегали без ограничений. Желание контролировать взаимодействие веб-роботов с веб-сайтами привело к созданию стандарта исключения роботов в середине 1990-х годов. Robots.txt является практической реализацией этого стандарта — он позволяет вам контролировать, как участвующие боты взаимодействуют с вашим сайтом. Вы можете полностью блокировать ботов, ограничить их доступ к определенным областям вашего сайта и многое другое.
Это интересно
0
|
|||
Последние откомментированные темы:
-
20 красивых маленьких хитростей, как справиться с угрями, победить секущиеся кончики, сбросить вес и ...
(1)
Leonil
,
10.12.2021
-
Что такое промокод ?
(1)
Adika
,
13.09.2017
-
Выбор диеты и как правильно выбрать диету
(2)
Юрий47
,
27.05.2016
-
Чем полоскать горло при ангине
(1)
-
Настойка на каштанах для суставов
(1)
lozhes7
,
06.01.2016
-
Что курение делает с легкими?
(1)
Светлана Сидорова
,
18.08.2015
-
Раскрытие третьего глаза
(2)
Vladimir365
,
29.03.2015
20241228045201bber@s*****.ca , 28.01.2016