Утилита wget

wget - консольная программа для загрузки файлов по сети. Wget как WWW робот.

wput -полная противоположность программы wget. Программа может загружать файлы на FTP-серверы с помощью простого интерфейса командной строки, похожего на интерфейс wget.
cURL альтернатива wget.

Ключи утилиты wget:

  • -r рекурсивно обойти каталоги и подкаталоги на удалённом сервере с глубиной заданной параметром -l
  • -l максимальная глубина рекурсии
  • -k, –convert-links делать ссылки локальными в загруженном Использование HTML 5 или Основы работы с CSS
  • -c, –continue продолжить загрузку ранее частично загруженного файла
  • -P определить месторасположение копируемых файлов, по умолчанию всё будет сохраняться в рабочей директории wget
  • -O, –output-document=FILE записать документ в файл/переименовать скачиваемый файл.
  • Рекурсивно скачать сайт www.mm6world.ru:
    wget -r -l4 -k http://www.mm6world.ru -P $HOME/temp -c

Сохранение удаленной страницы на сервер с сжатием

wget http://www.site.com/page15.html -O - | gzip > /path/to/local/file/`date +%d.%m.%y.%R`.html.gz
</file bash>
===== wget скачать файл с переименованием =====
 
Скачивание файла Lite_PHP_BrowsCapINI и сохранение его под именем lite_php_browscap.ini в заданной директории<file bash>
wget -c http://browscap.org/stream?q=Lite_PHP_BrowsCapINI -O /usr/share/lite_php_browscap.ini

wget cкачать лендинг

Скачать любой лендинг пейдж, сайт на Wordpress и прочих платформах CMS, вместе со стилями CSS, изображениями, скриптами, шрифтами, текстовым контентом. Команда для консоли Windows cmd. Позволяет скачивать HTTPS сайты: 

wget --page-requisites -r -l 10 --no-check-certificate сайт.ru

Вариант 2 (не тестировал): 

wget —no-parent -nd -k -p -H -E -K —restrict-file-names=windows http://сайт

Загрузка всех URL, указанных в файле (вариант для Windows)

$ wget -i FILE

Мне понадобилось скачивать много картинок с вебсайтов, зная их URL. Делюсь тем как я это делаю под Windows 10.

  1. Скачать wget для Windows
  2. Распаковать в директорию wget, в моем случае chdir /D d:\wget
  3. В диалоговом окне "Выполнить" (Windows+R), набираем cmd, жмем выполнить
  4. В cmd переходим в нужную директорию, при помощи команды
    chdir /D d:\wget
  5. создаем текстовый файл downloads.txt, каждая строка в которой это отедльный url
d:\wget>wget -i downloads.txt