Wayback Machine — популярный сервис, который старается сохранить удалённые и старые данные в сети. Возможно, вы думали, что хотите использовать его для бэкапа каких-то собственных ресурсов. И такой вариант тоже есть.
Для этого вам понадобится сервис ArchiveBox, который можно установить на своём сервере и автоматически архивировать сайты, RSS-ленты, сообщения в социальных сетях, мультимедиа, исходный код и многое другое. А архив хранить в HTML, PDF, PNG, TXT, JSON, WARC, MP4 и SQLite.
Несмотря на то что на сайте есть кнопка скачивания приложения под популярные ОС, простой установкой не обойтись. Как минимум нужно установить серверную или десктопную версию и Docker, чтобы она действительно запустилась. И только потом в мобильных версиях указать адрес вашего инстанса.
Мне с установкой помог Cursor, но скажу честно, что для продвинутой настройки ArchiveBox понадобится погрузиться в тему самостоятельно или поработать с Cursor не одну сессию.
Если с установкой вы справились, то при первом переходе на сайт вас попросят создать вашу учётную запись.
Но после этого вас ждёт большое полотно текста, которое показывает ваши настройки ArchiveBox. Их можно поменять, но я даже не стал разбираться, и оставил всё по умолчанию.
Мой инстанс ArchiveBox, несмотря на такой наглый подход, запустился без каких-либо проблем, и я смог им пользоваться.
Чтобы создать новый Crawler (сборщик), нужно на верхней панели нажать кнопку Add и добавить списком или по одному все необходимые ресурсы. Опять же можно его запустить с настройками по умолчанию или покопаться в паре десятков параметров для настройки сборщика именно так, как это требуется под вашу задачу.
Вы можете добавлять теги, персону, глубину погружения при сборе данных, включить или выключить различные плагины (обход капчи, антибаннер и многое другое), указать, как обрабатывать медиа, и прочие данные.
После настройки остаётся только запустить сборщик, и, в зависимости от количества данных, через какое-то время вы получите локальную копию указанных ресурсов.
