пятница, 3 июня 2011 г.
среда, 1 июня 2011 г.
Загрузка сайта утилитой wget
Однажды мне пришлось задаться вопросом, как можно в Линуксе загрузить сайт чтобы работать с его локальной копией. Сайт был на простом html-е, что облегчало задачу - достаточно было загрузить сами страницы и контент. Никаких баз.
Но - как можно осуществить задуманное?
На помощь пришла утилита wget, присутствующая практически в любой Unix like OS, в том числе и в моей версии Линукса - Fedora 14.
Команда выглядела вот так:
wget -w 8 -r -k -l 10 -R pdf,wmv -Q100m -L http://www.sample.com/index.htm -o sample.log
Ключи:
-w - время в секундах между запросами к сайту. Опция "m" позволяет указать время в минутах. Необходимо для того, чтобы хостер не забанил ваш IP по причине многочисленных запросов к сайту.
-r - рекурсивная загрузка сайта.
-k - Для того, чтобы во всех скачанных страницах ссылки преобразовывались в относительные для локального просмотра.
-R pdf,wmv - Не загружать файлы указанных типов.
-Q100m - Квота на загрузкуфайлов. Нужно учесть, что если загружается один файл, он загрузится независимо от указанной квоты!
-L - Загружать только относительные ссылки.
-o logfile - Файл лога загрузки.
Основные источники информации:
Но - как можно осуществить задуманное?
На помощь пришла утилита wget, присутствующая практически в любой Unix like OS, в том числе и в моей версии Линукса - Fedora 14.
Команда выглядела вот так:
Ключи:
-w - время в секундах между запросами к сайту. Опция "m" позволяет указать время в минутах. Необходимо для того, чтобы хостер не забанил ваш IP по причине многочисленных запросов к сайту.
-r - рекурсивная загрузка сайта.
-k - Для того, чтобы во всех скачанных страницах ссылки преобразовывались в относительные для локального просмотра.
-l 10 - Скачать страницу с глубиной следования 10.
-R pdf,wmv - Не загружать файлы указанных типов.
-Q100m - Квота на загрузкуфайлов. Нужно учесть, что если загружается один файл, он загрузится независимо от указанной квоты!
-L - Загружать только относительные ссылки.
-o logfile - Файл лога загрузки.
Основные источники информации:
Подписаться на:
Сообщения (Atom)