Утилита wget
wget - консольная программа для загрузки файлов по сети. Wget как WWW робот.
Скачать wget для Windows. Ключи утилиты wget:
- -r рекурсивно обойти каталоги и подкаталоги на удалённом сервере с глубиной заданной параметром -l
- -l максимальная глубина рекурсии
- -c, –continue продолжить загрузку ранее частично загруженного файла
- -P определить месторасположение копируемых файлов, по умолчанию всё будет сохраняться в рабочей директории wget
- -O, –output-document=FILE записать документ в файл/переименовать скачиваемый файл.
- –inet4-only используйте если явно хотите задать протокол IPv4, вместо IPv6
Сохранение удаленной страницы на сервер с сжатием
wget http://www.site.com/page15.html -O - | gzip > /path/to/local/file/`date +%d.%m.%y.%R`.html.gz
wget скачать файл с переименованием
Скачивание файла Lite_PHP_BrowsCapINI и сохранение его под именем lite_php_browscap.ini в заданной директории
wget -c http://browscap.org/stream?q=Lite_PHP_BrowsCapINI -O /usr/share/lite_php_browscap.ini
wget cкачать лендинг пейдж рекурсивно
Скачать любой лендинг пейдж, сайт на Wordpress и прочих платформах CMS, вместе со стилями CSS, изображениями, скриптами, шрифтами, текстовым контентом. Команда для консоли Windows cmd. Позволяет скачивать HTTPS сайты, Для примера, скачаем лендинг со сравнением хостингов https://wow2.top/land-compare-best-web-hosting-services/
wget --page-requisites -r -l 10 --no-check-certificate https://wow2.top/land-compare-best-web-hosting-services/
Вариант 2 (не тестировал):
wget —no-parent -nd -k -p -H -E -K —restrict-file-names=windows https://wow2.top/land-compare-best-web-hosting-services/
Читайте также: 8 способов копирования любого сайта целиком.
- Рекурсивно скачать сайт https://dieg.info:
wget -r -l4 -k https://dieg.info/ -P $HOME/temp -c
Загрузка всех URL, указанных в файле (вариант для Windows)
$ wget -i FILE
Мне понадобилось скачивать много картинок с вебсайтов, зная их URL. Делюсь тем как я это делаю под Windows 10.
- Распаковать в директорию wget, в моем случае chdir /D d:\wget
- В диалоговом окне "Выполнить" (Windows+R), набираем cmd, жмем выполнить
- В cmd переходим в нужную директорию, при помощи команды
chdir /D d:\wget
- создаем текстовый файл downloads.txt, каждая строка в которой это отедльный url
d:\wget>wget -i downloads.txt
