チップス

wget を使ってファイルを取得する


wgetwget は、ファイルをWebサーバやFTPサーバからダウンロードするコマンドです。

GNU Wget からソースをダウンロード解凍して ./configure; make; make install で簡単にコンパイル、インストールする事ができます。

wget -help | more で使い方がわかります。

レジューム機能にも対応しているので、途中からダウンロードを再開できたり、再帰的にディレクトリを探り、複数のファイルをダウンロードする事が出来ます。

 
* Basic認証でユーザー、パスワードが必要な場合は
$ wget --http-user=ユーザー --hhtp-passwd=パスワード http://hogehoge.com

* ftpサーバの hogeディレクトリ以下を全て取得する
$ wget -r ftp://ftp.hogehoge.com/hoge/

* jpg画像のみを入手する
$ wget -A .jpg http://hogehoge.com/

* ダウンロード途中で止まった場合 -c をつけて再実効する
$ wget -c http://hogehoge.com

* 転送速度を制限する
$ wget --limit-rate=2k http:/hogehoge.com

* --spider オプションをつけるとファイルをダウンロードせず、ファイルの存在有無を確認できます。 -nv オプションは --no-verbose:基本情報とエラー情報以外の出力を抑制します。
$ wget --silent -nv http://hogehoge.com

参考になったURLです
wgetでリンク切れリストを取得する

* 画像のリンク切れを調べる
$ wget -r -l 5 -p -nv -nd --spider [URL] > [ファイル名] 2>&1

   チップス