wget - консольная программа для загрузки файлов по сети. Wget как WWW робот.

Ключи утилиты wget:

• -r рекурсивно обойти каталоги и подкаталоги на удалённом сервере с глубиной заданной параметром -l
• -l максимальная глубина рекурсии
• -k, –convert-links делать ссылки локальными в загруженном HTML 5 или CSS
• -c, –continue продолжить загрузку ранее частично загруженного файла
• -P определить месторасположение копируемых файлов, по умолчанию всё будет сохраняться в рабочей директории wget
• -O, –output-document=FILE записать документ в файл/переименовать скачиваемый файл.

• Пример. Рекурсивно скачать сайт www.mm6world.ru:

  wget -r -l4 -k http://www.mm6world.ru -P $HOME/temp -c

• Сохранение удаленной страницы на сервер с сжатием

  wget http://www.site.com/page15.html -O - | gzip > /path/to/local/file/`date +%d.%m.%y.%R`.html.gz

• Скачивание файла Lite_PHP_BrowsCapINI и сохранение его под именем lite_php_browscap.ini в заданной директории

  wget -c http://browscap.org/stream?q=Lite_PHP_BrowsCapINI -O /usr/share/lite_php_browscap.ini