Если разработчики сайта следуют стандартам веб-индустрии, то на их ресурсе обязательно есть файл под названием sitemap.xml. С его помощью поисковики могут извлечь информацию обо всех страницах сайта для навигации по ним.

Но и нам с вами этот файл может быть полезен, поэтому я расскажу о нескольких утилитах для скачивания Sitemap.

SERPShaker Sitemap Scraper

Простой сервис для извлечения всех ссылок из карты сайта. Сервис бесплатный и без каких-либо ограничений.

Перейти на сайт

XML Sitemap Extractor

Тоже максимально простой сайт, но в этот раз можно извлекать адреса, защищённые логином и паролем. Конечно, если вы знаете данные для авторизации.

Перейти на сайт

SEOWL XML Sitemap Extractor

Простой сервис для извлечения ссылок с возможностью экспорта данных в CSV-файл.

Перейти на сайт

CtyproRefills: преимущества сервиса, порядок покупки карт PSN и других через криптовалюту
Как сбросить параметры адаптивной яркости на Android