Делаем оффлайн копию сайта при помощи wget



Не многие знают про существование консольной программы wget для загрузки файлов по сети, версия которой есть практически в каждом дистрибутиве, а также есть версия wget и для windows, например здесь.

Поставив эту программку на компьютер, можно загружать любые файлы, например при помощи следующей команды :

$ wget http://downloads.sourceforge.net/gnuwin32/wget-1.11.4-1-setup.exe

Второй параметр - ссылка на файл, который загружаем.

Однако даже те, кто знают про консольную утилиту wget, не знают про существование дополнительных опций, которые могут позволить делать оффлайн копии сайтов, ну, например, мы хотим сделать оффлайн версию части сайта HtmlBook.Ru, выполняем

$ wget \
--recursive \
--no-clobber \
--page-requisites \
--html-extension \
--convert-links \
--restrict-file-names=windows \
--domains htmlbook.ru \
--no-parent \
http://www.htmlbook.ru/html/

Ну и объяснение каждого из использованных ключей в этой команде :

• –-recursive: скачать страницы рекурсивно, а не одну


• -–domains website.org: не следовать ссылкам вне htmlbook.ru.


• -–no-parent: запретить следование по родительским ссылкам, следовать только в html/


• -–page-requisites: получить все элементы страницы (картинки, CSS and so on). - они могут хранится необязательно на сайте


• –-html-extension: сохранить файлы с расширением .html.


• –-convert-links: конвертировать ссылки в «локальные»


• -–restrict-file-names=windows: модифицировать имена файлов чтобы работали в windows-е.


• -–no-clobber: не перезаписывать существующие файлы (в случаях когда предыдущая загрузка была прервана).

Как сделать оффлайн копию блога на ЛиРУ?

Это конечно хорошо, но вот мой живой пример для скачивания блога с ЛиРу :

wget -r http://www.liveinternet.ru/users/qosys/ --no-parent --page-requisites --random-wait --html-extension

Таким образом, там где запускался wget, создастся папочка с html файлами вашего блога на ЛиРу. Конечно, не забудьте заменить адрес блога на свой перед выполнением команды.