如何解决 shell 脚本重复执行的问题

目录
  • 简介
  • 实例1
  • 实例2
  • 总结

简介

flock 是文件锁命令,它可以保证Linux系统上进程之间安全的访问临界资源,在shell脚本中,可以用来控制逻辑的互斥性

实例1

现有脚本 a.sh, 内容如下

#!/bin/bash

echo "[`date +'%Y-%m-%d %H:%M:%S'`] begin pid:$$..."

sleep 10

echo "[`date +'%Y-%m-%d %H:%M:%S'`] end pid:$$..."

在终端(记为终端1)中执行 flock -xn ./f.lock -c ./a.sh 命令,结果如下

[tt@ecs-centos-7 lock_test]$ flock -xn ./f.lock -c ./a.sh
[2020-12-10 10:10:45] begin pid:5359...
[2020-12-10 10:10:55] end pid:5359...

在上述命令执行期间,打开另一个终端(记为终端2),执行同样的命令,结果如下

[tt@ecs-centos-7 lock_test]$ flock -xn ./f.lock -c ./a.sh
[tt@ecs-centos-7 lock_test]$ 

上面的命令 flock -xn ./f.lock -c ./a.sh 中

  • -x 选项是排他锁,有时候也称为写锁,这是默认选项
  • -n 选项是非阻塞,如果无法获取锁,立即返回失败,而不是一直等待锁的释放
  • -c 选项后面是待执行的命令

终端1 中执行 flock -xn ./f.lock -c ./a.sh 命令,对 f.lock 文件加锁,同时执行 ./a.sh 命令,执行过程会持续10秒左右( sleep 10 语句 )

由于终端2 中 flock -xn ./f.lock -c ./a.sh 命令是在 终端1 命令执行期间执行的,此时终端1 还未释放 f.lock文件锁,再加上 -n选项是非阻塞的,所以终端2 不会阻塞等待 f.lock 文件锁,而是立即返回

终端2 如果执行 flock -x ./f.lock -c ./a.sh 命令,会一直阻塞等待,直到 终端1 释放 f.lock 文件锁,它才会获取到 f.lock 文件锁并开始执 ./a.sh 命令

实例2

实例1 中每次都需要执行 flock -xn 文件锁 -c ./a.sh 命令,而且每个不能重复执行的脚本都要分配一个文件锁,还得保证不同的脚本得使用不同名字的文件锁

有没有办法做到只要执行 ./a.sh 命令就可以实现 实例1 中的功能呢?

答案:有的

我们把 a.sh 稍微修改下,修改之后的内容如下

#!/bin/bash

echo "[`date +'%Y-%m-%d %H:%M:%S'`] 1111 pid:$$...MY_LOCK:${MY_LOCK}"

[ "${MY_LOCK}" != "$0" ] && exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@"

echo "[`date +'%Y-%m-%d %H:%M:%S'`] begin pid:$$...MY_LOCK:${MY_LOCK}"

sleep 10
echo "[`date +'%Y-%m-%d %H:%M:%S'`] end pid:$$..."

终端1 执行 ./a.sh 命令,输出如下

[tt@ecs-centos-7 lock_test]$ ./a.sh
[2020-12-10 14:11:35] 1111 pid:5944...MY_LOCK:
[2020-12-10 14:11:35] 1111 pid:5946...MY_LOCK:./a.sh
[2020-12-10 14:11:35] begin pid:5946...MY_LOCK:./a.sh
[2020-12-10 14:11:45] end pid:5946...

在终端1 命令执行期间,终端2 执行 ./a.sh 命令,输出如下

[tt@ecs-centos-7 lock_test]$ ./a.sh
[2020-12-10 14:11:44] 1111 pid:5976...MY_LOCK:
[2020-12-10 14:11:44]

新的 a.sh 脚本相比原来新增了第 4、6 两行

第 4 行是日志打印

第 6 行说明

$0 是脚本名字,这里的值是 ./a.sh

$@ 是传入 a.sh 脚本的所有参数

exec 会在当前进程执行它后面紧接着的命令,当前脚本进程原来还未执行完的命令不会执行了

[ "${MY_LOCK}" != "$0" ] 是判断 MY_LOCK 环境变量是否和脚本名字( a.sh )
相同

如果不同,就执行 env MY_LOCK="$0" 命令 和 flock -xn "$0" "$0" "$@" 命令

env MY_LOCK="$0" 设置环境变量 MY_LOCK 的值为脚本名字

flock -xn "$0" "$0" "$@" 其实就是 flock -xn ./a.sh ./a.sh,它使用当前脚本名字作为文件锁

实例2 中,执行 ./a.sh 命令之后,当运行到第 6 行时,MY_LOCK 变量是空值,所以 [ "${MY_LOCK}" != "$0" ] 的结果为 true

exec 命令会忽略掉后面未执行的命令,也即在当前shell进程中 第 6 行之后的命令都不会执行了

紧接着, exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@" 命令, 把 MY_LOCK 变量的值设置为当前脚本名字 ./a.sh ,同时执行 flock -xn "$0" "$0" "$@" 命令,此命令会在一个新的子shell中执行 ./a.sh ,所以脚本后续的输出中打印的进程ID和开始时不一样

同时,由于在 flock -xn "$0" "$0" "$@" 之前执行过 env MY_LOCK="$0",MY_LOCK 变量的值被设置为了 ./a.sh, 所以 flock -xn "$0" "$0" "$@" 命令重新执行 ./a.sh 命令时,
脚本第 6 行的 [ "${MY_LOCK}" != "$0" ] 的结果为 false, 第 6 行 exec 后面的命令不会执行,脚本接着从第 7 行一直执行到最后, 结果输出 8 和 12 行的日志也说明脚本执行完了

总结

实例1 和 实例2 提供了两种解决 脚本重复执行的 方式,主要都是利用 flock 命令设置文件锁来实现的,实例2 的方式更简单,只需要在脚本开头加上 [ "${MY_LOCK}" != "$0" ] && exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@" 语句,调用脚本的命令保持不变

更多关于 flock 命令的选项及用法可以通过 man flock 自行查看

以上就是如何解决 shell 脚本重复执行的问题的详细内容,更多关于shell 脚本重复执行的问题的资料请关注我们其它相关文章!

(0)

相关推荐

  • Shell脚本避免重复执行的方法

    很多用cron定时执行的shell脚本可能会由于各种原因执行很久,会有必要在运行的时候先检查一下自身是否还在运行.本文提供的linux shell脚本用以检查以命令sh ...来执行的shell脚本.要对其他东西进行唯一性检查,可以稍微修改一下源代码. 复制代码 代码如下: # 检查通过sh命令执行的shell脚本是不是还在执行当中,避免重复执行. # 把这段代码放在需要保证唯一性的程序头部即可 # 注意,如果直接把此脚本放到cron里面执行的话,必须再grep -v " -c sh "

  • 防止shell脚本重复执行的代码

    例如,要求脚本只能顺序访问某个资源,例如磁盘文件等,就可以参考下面的实现. 复制代码 代码如下: #!/bin/bash## file locking using bash.# ver 0.1.6## author : malundao ( malundao@sina.com )# date   : 2011-08-31   # ref    : http://unix.derkeiler.com/Newsgroups/comp.unix.shell/2005-09/0472.html## no

  • 如何解决 shell 脚本重复执行的问题

    目录 简介 实例1 实例2 总结 简介 flock 是文件锁命令,它可以保证Linux系统上进程之间安全的访问临界资源,在shell脚本中,可以用来控制逻辑的互斥性 实例1 现有脚本 a.sh, 内容如下 #!/bin/bash echo "[`date +'%Y-%m-%d %H:%M:%S'`] begin pid:$$..." sleep 10 echo "[`date +'%Y-%m-%d %H:%M:%S'`] end pid:$$..." 在终端(记为终

  • Linux下使用shell脚本自动执行脚本文件

    以下实例本人在Centos6.5 64位操作系统中使用 一.定时复制文件 a.在/usr/local/wfjb_web_back目录下创建 tomcatBack.sh文件 文件内容: #将tomcat中的应用wfjb_web 复制到 /usr/local/wfjb_web_back/tomcat_back/目录下 并按照日期作为文件名称 cp -af /usr/local/apache-tomcat-7.0.73/webapps/wfjb_web /usr/local/wfjb_web_back

  • shell脚本中执行时提示“没有那个文件或目录”的解决办法

    出现bad interpreter:No such file or directory的原因,是文件格式的问题.这个文件是在Windows下编写的.换行的方式与Unix不一样,但是在vim下面如果不Set一下又完全看不出来. 问题分析:1.将windows 下编写好的SHELL文件,传到linux下执行,提示出错.2.出错信息:bad interpreter: 没有那个文件或目录. 问题原因:因为操作系统是windows,在windows下编辑的脚本,所以有可能有不可见字符.脚本文件是DOS格式

  • Linux crontab定时执行Shell脚本需要执行特定的命令时解决思路

    由于一些不可抗拒的原因,项目部署后需要定时检测项目是否正常运行,否则将执行重启命令. 在具体实施过程中发现,定时器执行无误,但是重启命令无法正常启动.多方查找发现Shell脚本中的Java命令需要引入环境变量方可正常执行.因此做了一下修改,脚本如下(仅供参考): 1.crontab执行配置 * * * * * cd /项目目录 && ./auto_start.sh >> /log/auto.out 2.Shell脚本 #!/bin/bash #导入环境变量 export LAN

  • shell脚本实现监控shell脚本的执行流程及变量的值

    很多时候,我们都会写shell程序来完成一些不用重复造轮子的时刻,但是,又因为shell语句中也会有函数,也会有变量,在运行后到底执行了哪些相关的操作,就需要对具体执行过程中的变量等可变的因素的监控,那么我们下面就写个小小的shell例子,来完成这个对执行过程中条件语句中的变量的变化的监控和整个程序的执行流程的观察. shell程序代码: 复制代码 代码如下: #!/bin/bash function setlogfile {     if ! [ -z "$1" ]; then   

  • shell脚本中执行python脚本并接收其返回值的例子

    1.在shell脚本执行python脚本时,需要通过python脚本的返回值来判断后面程序要执行的命令 例:有两个py程序  hello.py 复制代码 代码如下: def main():     print "Hello" if __name__=='__main__':     main() world.py def main():     print "Hello" if __name__=='__main__':     main() shell 脚本 te

  • Shell脚本中执行sql语句操作mysql的5种方法

    对于自动化运维,诸如备份恢复之类的,DBA经常需要将SQL语句封装到shell脚本.本文描述了在Linux环境下mysql数据库中,shell脚本下调用sql语句的几种方法,供大家参考.对于脚本输出的结果美化,需要进一步完善和调整.以下为具体的示例及其方法. 1.将SQL语句直接嵌入到shell脚本文件中 复制代码 代码如下: --演示环境  [root@SZDB ~]# more /etc/issue  CentOS release 5.9 (Final)  Kernel \r on an \

  • shell脚本4种执行方式

    Linux中shell脚本的执行通常有4种方式,分别为工作目录执行,绝对路径执行,sh执行,shell环境执行. 首先,看下我们的脚本内容 [tan@tan scripts]$ ll total 4 -rw-rw-r--. 1 tan tan 68 May 8 23:18 test.sh [tan@tan scripts]$ cat test.sh #!/usr/bin/bash /usr/bin/python <<-EOF print "Hello Shell" EOF

  • Shell脚本的超详细讲解(推荐!)

    目录 一.Shell脚本基础概念 1.1 什么是shell? 1.2 什么是shell脚本 1.3 shell脚本的意义 二.创建一个简单的Shell脚本 2.1 创建一个shell脚本文件 2.2 运行一个Shell脚本 2.2.1 脚本文件无执行权限 2.2.2 脚本文件有执行权限 三.基本语法 3.1 变量 3.1.1 变量类型 3.1.2 变量操作 3.1.3 字符串变量 3.1.4 数组 3.1.5 变量传参 3.2 运算符 3.2.1 算数运算符 3.2.2 关系运算符 3.2.3

随机推荐