チップス
wget を使ってファイルを取得する
wget は、ファイルをWebサーバやFTPサーバからダウンロードするコマンドです。
GNU Wget からソースをダウンロード解凍して ./configure; make; make install で簡単にコンパイル、インストールする事ができます。
wget -help | more で使い方がわかります。
レジューム機能にも対応しているので、途中からダウンロードを再開できたり、再帰的にディレクトリを探り、複数のファイルをダウンロードする事が出来ます。
* Basic認証でユーザー、パスワードが必要な場合は
$ wget --http-user=ユーザー --hhtp-passwd=パスワード http://hogehoge.com
* ftpサーバの hogeディレクトリ以下を全て取得する
$ wget -r ftp://ftp.hogehoge.com/hoge/
* jpg画像のみを入手する
$ wget -A .jpg http://hogehoge.com/
* ダウンロード途中で止まった場合 -c をつけて再実効する
$ wget -c http://hogehoge.com
* 転送速度を制限する
$ wget --limit-rate=2k http:/hogehoge.com
* --spider オプションをつけるとファイルをダウンロードせず、ファイルの存在有無を確認できます。 -nv オプションは --no-verbose:基本情報とエラー情報以外の出力を抑制します。
$ wget --silent -nv http://hogehoge.com
参考になったURLです
wgetでリンク切れリストを取得する
* 画像のリンク切れを調べる
$ wget -r -l 5 -p -nv -nd --spider [URL] > [ファイル名] 2>&1