XML Sitemap Extractor

Если разработчики сайта следуют стандартам веб-индустрии, то на их ресурсе обязательно есть файл под названием sitemap.xml. С его помощью поисковики могут извлечь информацию обо всех страницах сайта для навигации по ним.