Утилита wget

wget - консольная программа для загрузки файлов по сети. Wget как WWW робот.

Скачать wget для Windows. Ключи утилиты wget:

• -r рекурсивно обойти каталоги и подкаталоги на удалённом сервере с глубиной заданной параметром -l
• -l максимальная глубина рекурсии
• -k, –convert-links делать ссылки локальными в загруженном HTML или CSS
• -c, –continue продолжить загрузку ранее частично загруженного файла
• -P определить месторасположение копируемых файлов, по умолчанию всё будет сохраняться в рабочей директории wget
• -O, –output-document=FILE записать документ в файл/переименовать скачиваемый файл.
• -o logfile (–output-file=logfile) Записывать все сообщения в logfile. Иначе они будут направлены в stderr.
• –inet4-only используйте если явно хотите задать протокол IPv4, вместо IPv6

wget http://www.site.com/page15.html -O - | gzip > /path/to/local/file/`date +%d.%m.%y.%R`.html.gz

Скачивание файла Lite_PHP_BrowsCapINI и сохранение его под именем lite_php_browscap.ini в заданной директории

wget -c http://browscap.org/stream?q=Lite_PHP_BrowsCapINI -O /usr/share/lite_php_browscap.ini

Команда пригодится для переноса сайтов:

wget -mc --ftp-user='USER' --ftp-password='PASSWD' -o ./perenos.log ftp:// --restrict-file-names=nocontrol &

Скачать любой лендинг пейдж, сайт на Wordpress и прочих платформах CMS, вместе со стилями CSS, изображениями, скриптами, шрифтами, текстовым контентом. Команда для консоли Windows cmd. Позволяет скачивать HTTPS сайты, Для примера, скачаем лендинг со сравнением хостингов https://wow2.top/land-compare-best-web-hosting-services/

wget --page-requisites -r -l 10 --no-check-certificate https://wow2.top/land-compare-best-web-hosting-services/

Вариант 2 (не тестировал):

wget —no-parent -nd -k -p -H -E -K —restrict-file-names=windows https://wow2.top/land-compare-best-web-hosting-services/

Читайте также: 8 способов копирования любого сайта целиком.

• Рекурсивно скачать сайт https://dieg.info:

  wget -r -l4 -k https://dieg.info/ -P $HOME/temp -c

$ wget -i FILE

Мне понадобилось скачивать много картинок с вебсайтов, зная их URL. Делюсь тем как я это делаю под Windows 10.

1. Скачать wget для Windows
2. Распаковать в директорию wget, в моем случае chdir /D d:\wget
3. В диалоговом окне "Выполнить" (Windows+R), набираем cmd, жмем выполнить
4. В cmd переходим в нужную директорию, при помощи команды

   chdir /D d:\wget

5. создаем текстовый файл downloads.txt, каждая строка в которой это отедльный url

d:\wget>wget -i downloads.txt

Очень часто нужно перенести архив, который находится на Google Drive (Гугл Диске), на наш сервер через wget. Доступ к архиву должен быть открыт для всех, тогда команда сработает. Пример, у нас есть ссылка:

https://drive.google.com/file/d/1aFdgdfcKOhcRuXc345EAQouhN8pgewQ6q_G/view?usp=sharing

где 1aFdgdfcKOhcRuXc345EAQouhN8pgewQ6q_G - это наш ID файла.

Команда для скачивания архива c Google Drive:

# wget --load-cookies /tmp/cookies.txt "https://docs.google.com/uc?export=download&confirm=$(wget --quiet --save-cookies /tmp/cookies.txt --keep-session-cookies --no-check-certificate 'https://docs.google.com/uc?export=download&id=OUR_ID' -O- | sed -rn 's/.*confirm=([0-9A-Za-z_]+).*/\1\n/p')&id=OUR_ID" -O filename.mov && rm -rf /tmp/cookies.txt

где

• OUR_ID - наш ID, который берем из URL
• filename.mov - название файла

Для нашего примера команда будет выглядеть так:

# wget --load-cookies /tmp/cookies.txt "https://docs.google.com/uc?export=download&confirm=$(wget --quiet --save-cookies /tmp/cookies.txt --keep-session-cookies --no-check-certificate 'https://docs.google.com/uc?export=download&id=1aFdgdfcKOhcRuXc345EAQouhN8pgewQ6q_G' -O- | sed -rn 's/.*confirm=([0-9A-Za-z_]+).*/\1\n/p')&id=1aFdgdfcKOhcRuXc345EAQouhN8pgewQ6q_G" -O filename.mov && rm -rf /tmp/cookies.txt