Если разработчики сайта следуют стандартам веб-индустрии, то на их ресурсе обязательно есть файл под названием sitemap.xml. С его помощью поисковики могут извлечь информацию обо всех страницах сайта для навигации по ним.
Но и нам с вами этот файл может быть полезен, поэтому я расскажу о нескольких утилитах для скачивания Sitemap.
SERPShaker Sitemap Scraper
Простой сервис для извлечения всех ссылок из карты сайта. Сервис бесплатный и без каких-либо ограничений.
XML Sitemap Extractor
Тоже максимально простой сайт, но в этот раз можно извлекать адреса, защищённые логином и паролем. Конечно, если вы знаете данные для авторизации.
SEOWL XML Sitemap Extractor
Простой сервис для извлечения ссылок с возможностью экспорта данных в CSV-файл.