Загрузка сайта утилитой wget

Однажды мне пришлось задаться вопросом, как можно в Линуксе загрузить сайт чтобы работать с его локальной копией. Сайт был на простом html-е, что облегчало задачу - достаточно было загрузить сами страницы и контент. Никаких баз.
Но - как можно осуществить задуманное?

На помощь пришла утилита wget, присутствующая практически в любой Unix like OS, в том числе и в моей версии Линукса - Fedora 14.

Команда выглядела вот так:

wget -w 8 -r -k -l 10 -R pdf,wmv -Q100m -L http://www.sample.com/index.htm -o sample.log

Ключи:

-w - время в секундах между запросами к сайту. Опция "m" позволяет указать время в минутах. Необходимо для того, чтобы хостер не забанил ваш IP по причине многочисленных запросов к сайту.

-r - рекурсивная загрузка сайта.


-k - Для того, чтобы во всех скачанных страницах ссылки преобразовывались в относительные для локального просмотра.

-l 10 - Скачать страницу с глубиной следования 10.

-R pdf,wmv - Не загружать файлы указанных типов.


-Q100m - Квота на загрузкуфайлов. Нужно учесть, что если загружается один файл, он загрузится независимо от указанной квоты!


-L - Загружать только относительные ссылки.


-o logfile - Файл лога загрузки.


Основные источники информации:

• man wget;
• тут;
• и тут;
• и отличный перевод man wget на OpenNet.