Дублирование контента является очень распространенной проблемой среди веб-мастеров, а поисковые роботы к дублям полным и частичным вообще относятся крайне негативно.
Проверка индексации сайта в поисковых системах очень важна, ведь именно так можно понять, сколько страниц с вашего сайта находятся в поисковиках и добавить те, которые еще не индексе.