Shell脚本实现批量下载资源并保留原始路径

示例资源列表
如url.txt：

代码如下:

http://su.bdimg.com/static/superplus/img/logo_white_ee663702.png
http://su.bdimg.com/static/superplus/img/logo_white_ee663703.png
http://su.bdimg.com/static/superplus/img/logo_white_ee663701.png
http://su.bdimg.com/static/superplus/img/logo_white_ee663704.png
http://su.bdimg.com/static/superplus/img/logo_white_ee663705.png
http://su.bdimg.com/static/superplus/img/logo_white_ee663706.png

我们需要下载这些图片，并保存在各自的文件夹下。

脚本如下

如download.sh

代码如下:

#!/bin/bash
# desc: download resource
# author: 十年后的卢哥哥

mydir=`pwd`

while read line
do
{
    if [ -n "$line" ]
    then
        cd $mydir
        url=$(echo "$line" | tr -d '\r')
        picdir=$(echo $url | sed -r 's/http:\/\///g')
        picname=$(echo ${picdir##*/})
        picpath=$(echo ${picdir%/*})
        mkdir -p $picpath
        cd $picpath
        wget -O $picname `echo $url`
    fi
}
done < $1
exit 0

这里有几点要注意：

1、为了去掉文本文件中行末的换行符，要进行删除：

代码如下:

tr -d '\r'

2、取资源名：

代码如下:

${picdir##*/}

3、取资源路径：

代码如下:

${picdir%/*}

运行

代码如下:

sh download.sh url.txt

赞 (0)

相关推荐

  • Shell脚本实现批量下载资源并保留原始路径

    示例资源列表 如url.txt: 复制代码 代码如下: http://su.bdimg.com/static/superplus/img/logo_white_ee663702.png http://su.bdimg.com/static/superplus/img/logo_white_ee663703.png http://su.bdimg.com/static/superplus/img/logo_white_ee663701.png http://su.bdimg.com/static/

  • Shell脚本实现批量生成nagios配置文件

    如果管理的站点和服务器较多的情况下,每次修改配置文件都相当痛苦.因而想到了用shell脚本来批量生成配置文件和配置数据.下面这个脚本是为了批量生成nagios监控配置文件的一个shell脚本程序.其原理是事先定义一个shell脚本模板,然后每个需要监控的站点复制一份模板替换掉模板文件里面的变量. 1.准备模板文件webcheck.template more webcheck.template ###################WEBURL define start##############

  • linux下采用shell脚本实现批量为指定文件夹下图片添加水印的方法

    要实现linux下采用shell脚本批量为指定文件夹下图片添加水印,首先需要安装imagemagick: CentOS上安装: yum install ImageMagick -y Debian上安装: apt-get install ImageMagick -y 脚本: #!/bin/bash for each in /要处理的图片目录/*{.jpg,.gif} s=`du -k $each | awk '{print $1}'` if [ $s -gt 10 ]; then #convert

  • Shell脚本实现批量下载网络图片代码分享

    Shell脚本实现批量下载网络图片代码分享

    最近为了做好一个天气预报的项目,需要从Yahoo下载一些天气图标,但是由于图标比较多,有80多张.图标是存储在Yahoo Image网站上的. 迅雷不支持https的下载,虽然可以在浏览器下载,但是在浏览器下载太慢,于是写了一个批量下载图片资源的Shell脚本,完美的解决了这个问题. Yahoo天气图标的地址规则如下:https://s.yimg.com/zz/combo?a/i/us/nws/weather/gr/ + 图标名称 比如: 我使用了2种方法,解决了下载的难题,虽然好久没有写She

  • Shell脚本实现批量替换文件内容

    今天同事发现内部服务器的硬盘空间不够了,上面有很多备份,我又不能删除,重新找了个320g的硬盘挂载了上,想以后shell脚本下的备份都转移到新硬盘上,给老硬盘腾出空间来,原备份路径是/data/onlinesqlbak/,新备份路径是/disk2/onlinesqlbak/,我find了下备份shell脚本,这一找吓死个人,最少都有10-20个备份shell要改,谁叫我是懒人想一下搞定完,好了来看我的解决办法吧. 系统:centos 5.x 1.先确认有那些脚本要改 复制代码 代码如下: fin

  • shell脚本实现批量采集爱站关键词库

    shell脚本实现批量采集爱站关键词库

    shell批量采集爱站关键词库,心血来潮写着玩的,还不完善,先放出来,后期慢慢更新,功能虽然简单,同类工具也很多现成的,但毕竟是自己写出来的工具,感觉还是很不一样滴! 复制代码 代码如下: for i in $(seq 1 50);do curl -s http://baidurank.aizhan.com/baidu/jiameng.com/$i/position/|grep -a 'class="zhishu"'|sed 's/<a target="_blank&q

  • shell脚本实现批量测试局域网主机是否在线

    由于局域网内主机多,VLAN也多,为时常能知道在线主机的数量,编写脚本以查验在线主机. 效果是:主机在线显示绿色,主机离线显示红色结果. 用法:./ping IP段    例如:./ping 192.168.0 复制代码 代码如下: #!/bin/bash NETWORK=$1 for HOST in $(seq 1 254) do         ping -c 1 -w 1 $NETWORK.$HOST &>/dev/null && result=0 || result=

  • Shell脚本实现批量添加用户

    复制代码 代码如下: useradd.sh #!/bin/bash for name in tom joy john mark james do  useradd $name     echo "redhat" | passwd --stdin $name done 好了,执行结束后会自动新建用户tom.joy.john .mark.james,并且密码都设置为"redhat". 该shell主要用到了useradd添加用户.echo.passwd修改密码.stdi

  • Shell脚本批量修改文件后缀名代码分享

    早上本想将一些照片上传到相册中,但是由于所有照片的扩展名都是JPG而不是小写的jpg,因此造成了"格式不正确"而不能上传照片.此刻就产生了这样一个问题:使用shell脚本如何批量将所有文件的扩展名JPG都改成小写的jpg? 既然要批量替换文件名,那么肯定得用一个for循环依次遍历指定目录下的每个文件.对于每个文件,假如该文件的名称为name.oldext,那么我们必须原始文件名中挖出name,再将它与新的文件扩展名newext拼接形成新的文件名name.newext.依照这样的思路,就

  • shell脚本中使用iconv实现批量文件转码的代码分享

    在开发中,我们经常需要对N多文件编码进行更改,iconv只能对单文件的进行更改,怎么办呢?我们写一个shell脚本来解决这个问题. 例子一:使用shell脚本实现批量转码的操作. #!/bin/sh # convertCodeFilePath=$1 fromCode=$2 toCode=$3 for i in {1..1} do [ -f $convertCodeFilePath ] if [ $? -eq 0 ] then iconv -f $fromCode -t $toCode -c -o

随机推荐