IT虾米网

shell脚本下载网页图片详解

flyfish 2019年05月07日 程序员 238 0

和大家分享一个shell脚本写的图片抓取器。
使用方法:
img_downloader.sh。
使用时在shell下输入:
./img_downloader.sh www.baidu.com -d images
该shell脚本就会把百度首页上的图片下载下来。

代码:

#!/bin/bash 
if [ $# -ne 3 ]; 
then 
 echo "Usage: $0 URL -d DIRECTORY" 
 exit -1 
fi 
for i in {1..4} 
do 
 case $1 in 
 -d) shift; directory=$1; shift;; 
    *) url=${url:-$1};shift; 
esac 
done 
mkdir -p $directory 
baseurl=$(echo $url | egrep -o "https?://[a-z.]+") 
echo "$baseurl" 
curl -s $url | egrep -o "<img src=[^>]*>" | 
sed 's/<img src=\"\([^"]*\).*/\1/g' > /tmp/$$.list 
sed -i "s|^/|$baseurl/|" /tmp/$$.list 
cd $directory; 
while read filename 
do 
 curl -s -O "$filename" --silent 
done < /tmp/$$.list

 

发布评论

分享到:

IT虾米网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!

shell 截取字符串实例教程详解
你是第一个吃螃蟹的人
发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。