Java应用多机器部署解决大量定时任务问题

今天来说一个Java多机部署下定时任务的处理方案。

需求: 有两台服务器同时部署了同一套代码, 代码中写有spring自带的定时任务,但是每次执行定时任务时只需要一台机器去执行。

当拿到这个需求时我脑子中立马出现了两个简单的解决方案:

  • 利用ip进行判断, 两台机器ip肯定不一样, 指定某一台机器的ip运行。
  • 只在一台机器上部署定时任务的代码。

最后两个方案又都被自己否决了。 第一条,如果指定ip的机器出现了问题怎么办? 例如说宕机了, 那么该制定ip的机器上的定时任务是不是就无法运行了?如果以后该服务器迁移导致ip变化怎么办?

第二条, 同上, 还有就是要维护两套代码很不方便。

因为上面两个假设都不成立, 只能另找他法。 于是便想到利用mysql去解决, 之前了解过一点mysql的锁机制, 知道如果有同时的两个任务去写数据库中同一条记录, 只有一条会成功, 这是利用了mysql的排他锁。

下面就开始代码演示, 这里主要想给大家的是一个思路的提示, 代码还是很简单的。

首先需要单独创建一张表

CREATE TABLE `t_schedule_cluster` (
 `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '@cname:主键',
 `execute` int(1) NOT NULL COMMENT '@cname:执行状态',
 `version` int(11) NOT NULL COMMENT '@cname:版本号\r\n      ',
 `task_name` varchar(128) NOT NULL COMMENT '@cname:任务名称\r\n      ',
 `execute_ip` varchar(32) DEFAULT NULL COMMENT '@cname:执行ip\r\n      ',
 `update_time` datetime DEFAULT NULL COMMENT '@cname:修改时间\r\n      ',
 PRIMARY KEY (`id`),
 KEY `Index_series_id` (`execute`)
) ENGINE=InnoDB AUTO_INCREMENT=8 DEFAULT CHARSET=utf8 COMMENT='@cname:多机定时任务调度';

看一下建成后的表结构, 注释写的已经很清楚了, 初始化时需要添加一些定时任务的名称(task_name), 这个要和你代码中保持一致, 后面会提到:

代码

首先看下我代码中用到的spring定时任务:

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xmlns:task="http://www.springframework.org/schema/task"
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.2.xsd
  http://www.springframework.org/schema/task http://www.springframework.org/schema/task/spring-task-3.2.xsd"
    default-lazy-init="true">
  <description>使用Spring的 Scheduled的定时任务配置</description>
  <!--支持annotation的方式-->
  <task:annotation-driven />
  <task:scheduler id="springScheduler" pool-size="10"/>
  <task:scheduled-tasks scheduler="springScheduler">
    <!-- 测试使用, 项目启动后每隔一分钟执行一次 -->
    <task:scheduled ref="listCarAction" method="listCar" cron="0 0/1 0 * * ?"/>
    <task:scheduled ref="listCarAction" method="listCar" cron="0 0/1 0 * * ?"/>
  </task:scheduled-tasks>
</beans>

相信大家都是用过这种定时任务的设置方法, 因为它是spring自带的, 所以使用起来很方便, 这里我指定了两个定时任务来模拟两台机器的情况, 两个定时任务都是项目启动后每隔一分钟执行一次。

然后看看这个listCar中的代码:

//定时任务的名称, 这个和数据库中的task_name是保持一致的, 保证要执行该定时任务。
public static final String LIST_CAR_TASK = "listCarTask";
private ScheduleClusterTask scheduleClusterTask;
//这个时间是根据spring-scheduler.xml中配置的定时刷新时间, 比如说我们以后要设置这个定时任务时4小时刷新一次
public static final long maxExpireTime = 4 * 3600;

public void listCar() {
    if (scheduleClusterTask.isValidMachine(maxExpireTime, CommonConstants.ScheduleTaskName.LIST_CAR_TASK)) {
      //执行具体的task方法,
      doTask();
      //将execute状态更新为0
      scheduleClusterTask.end(LIST_CAR_TASK);
    }
  }

最后看下最核心的代码:ScheduleClusterTask.java

/**
 * 多机定时任务工具类
 * Created by WangMeng on 2017/4/12.
 */
@Service
public class ScheduleClusterTask {

  private ScheduleClusterEntityService scheduleClusterEntityService;

  /**
   * 这里因为两台机器都有同样的定时任务, 会同时执行这个方法,只有一台机器可以执行成功,返回true。
   * @param maxExpireTime 最大的检查时间。
   * @param taskName 任务名称。
   * @return
   */
  public boolean isValidMachine(long maxExpireTime, String taskName) {
    boolean isValid = false;
    try {
      //通过taskName去数据库中查找到该条记录, 如果大家使用的是mybatis这里需要改一下, 就是一个简单的查询操作
      ScheduleClusterEntity carIndexEntity = scheduleClusterEntityService.findOne(ScheduleClusterEntity.Fields.taskName.eq(taskName));
      int execute = carIndexEntity.getExecute();
      String ip = InetAddress.getLocalHost().getHostAddress();
      long currentTimeMillis = System.currentTimeMillis();
      long time = carIndexEntity.getUpdateTime().getTime();
      if (execute == 0 && time + maxExpireTime - 1000 < currentTimeMillis) {
        isValid = checkMachine(taskName, carIndexEntity, ip);
      } else if (time + maxExpireTime - 1000 < currentTimeMillis){
        //这里要判断下, 如果上一次执行出现异常导致execute没有更新为0, 那么这里要判断上一次更新时间的间隔。
        isValid = checkMachine(taskName, carIndexEntity, ip);
      }
    } catch (UnknownHostException e) {
      e.printStackTrace();
    }
    return isValid;
  }

  /**
   * end方法主要是将excute(是否正在执行的标志位,0:没有执行, 1:正在执行)更新为0
   * @param taskName
   * @return
   */
  public boolean end (String taskName) {
    ScheduleClusterEntity carIndexEntity = scheduleClusterEntityService.findOne(ScheduleClusterEntity.Fields.taskName.eq(taskName));
    //将execute状态更新为0
    return scheduleClusterEntityService.end(carIndexEntity);
  }

  private boolean checkMachine(String taskName, ScheduleClusterEntity carIndexRefresh, String ip) {
    return scheduleClusterEntityService.start(taskName, carIndexRefresh.getVersion(), ip);
  }

  @Autowired
  public void setScheduleClusterEntityService(ScheduleClusterEntityService scheduleClusterEntityService) {
    this.scheduleClusterEntityService = scheduleClusterEntityService;
  }
}

这里还有start方法, 看看怎样的操作:

@Repository
public class DefaultScheduleClusterEntityDao extends AbstractDao<ScheduleClusterEntity> implements ScheduleClusterEntityDao {
  @Override
  public boolean start(String taskName, int version, String ip) {
    String sql = "update t_schedule_cluster set execute = 1, " +
        "version = ?, execute_ip = ?, update_time = ?" +
        " where task_name = ? and version = ?";
    Sql s = new Sql(sql);
    s.addParam(version + 1);
    s.addParam(ip);
    s.addParam(SqlTimeUtils.nowTimestamp());
    s.addParam(taskName);
    s.addParam(version);
    return 1 == executeUpdate(s);
  }
}

核心的代码到了这里就没有了, 代码确实是非常非常的简单, 有兴趣的话大家可以在本地测试一下就可以。

当然还有更多很好地解决方案, 我这里秉承的是最简单的处理方式。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • java实现多线程之定时器任务

    在Java中Timer是java.util包中的一个工具类,提供了定时器的功能.我们可以创建一个Timer对象,然后调用其schedule方法在某个特定的时间去执行一个特定的任务.并且你可以让其以特定频率一直执行某个任务,这个任务是用TimerTask来描述的,我们只需要将要进行的操作写在TimerTask类的run方法中即可.先附上两个小例子一遍让读者了解什么是定时器.接着再分析其中的一些源码实现. 第一个小例子: package com.zkn.newlearn.thread; import

  • Java定时任务:利用java Timer类实现定时执行任务的功能

    一.概述 在java中实现定时执行任务的功能,主要用到两个类,Timer和TimerTask类.其中Timer是用来在一个后台线程按指定的计划来执行指定的任务. TimerTask一个抽象类,它的子类代表一个可以被Timer计划的任务,具体要执行的代码写在TimerTask需要被实现的run方法中. 二.先看一个最简单的例子 我们通过代码来说明 import java.text.SimpleDateFormat; import java.util.Date; import java.util.T

  • Quartz实现JAVA定时任务的动态配置的方法

    先说点无关本文的问题,这段时间特别的不爽,可能有些同学也遇到过.其实也可以说是小事一桩,但感觉也是不容忽视的.我刚毕业时的公司,每个人每次提交代码都有着严格的规范,像table和space的缩进都有严格的要求,可以说你不遵守开发规范就相当于线上bug问题,还是比较严重的.现在发现外面的公司真的是没那么重视这个不重要却又特别重要的问题啊,啊啊啊啊啊啊!!! 什么是动态配置定时任务? 回归正题,说下这次主题,动态配置.没接触过定时任务的同学可以先看下此篇:JAVA定时任务实现的几种方式 定时任务实现

  • java定时任务Timer和TimerTask使用详解

    timer和timertask是jdk自带的定时任务实现,无需导入第三方jar包来完成 1.指定多久之后执行此任务,注意:只会执行一次 public class TimerTest { Timer timer; public TimerTest(int time){ timer = new Timer(); timer.schedule(new timerTaskTest(),time*1000);//timer.schedule(执行的方法,延迟多久执行(ms)) } public stati

  • Java定时任务的三种实现方法

    译者注:个人觉得用定时任务来跑垃圾回收不是很好的例子,从译者接触到的项目来看,比较常见的是用定时任务来进行非实时计算,清除临时数据.文件等.在本文里,我会给大家介绍3种不同的实现方法:1.普通thread实现2.TimerTask实现3.ScheduledExecutorService实现 一.普通thread 这是最常见的,创建一个thread,然后让它在while循环里一直运行着,通过sleep方法来达到定时任务的效果.这样可以快速简单的实现,代码如下: 复制代码 代码如下: public

  • 最流行的java后台框架spring quartz定时任务

    配置quartz 在spring中需要三个jar包: quartz-1.8.5.jar.commons-collections-3.2.1.jar.commons-logging-1.1.jar 首先要配置我们的spring.xml xmlns 多加下面的内容. xmlns:task="http://www.springframework.org/schema/task" 然后xsi:schemaLocation多加下面的内容. http://www.springframework.o

  • 在Java Web项目中添加定时任务的方法

    在Java Web程序中加入定时任务,这里介绍两种方式:1.使用监听器注入:2.使用Spring注解@Scheduled注入. 推荐使用第二种形式. 一.使用监听器注入 ①:创建监听器类: import javax.servlet.ServletContextEvent; import javax.servlet.ServletContextListener; public class TimerDataTaskListener implements ServletContextListener

  • Java应用多机器部署解决大量定时任务问题

    今天来说一个Java多机部署下定时任务的处理方案. 需求: 有两台服务器同时部署了同一套代码, 代码中写有spring自带的定时任务,但是每次执行定时任务时只需要一台机器去执行. 当拿到这个需求时我脑子中立马出现了两个简单的解决方案: 利用ip进行判断, 两台机器ip肯定不一样, 指定某一台机器的ip运行. 只在一台机器上部署定时任务的代码. 最后两个方案又都被自己否决了. 第一条,如果指定ip的机器出现了问题怎么办? 例如说宕机了, 那么该制定ip的机器上的定时任务是不是就无法运行了?如果以后

  • SpringBoot使用SchedulingConfigurer实现多个定时任务多机器部署问题(推荐)

    目录 一.使用SchedulingConfigurer实现多个定时任务 二.定时任务多机器部署解决方案 三.基于redis实现的代码示例 3.1.基于redis实现的概述 3.2.基于redis实现的代码 3.2.1.代码目录结构 3.2.2.引入依赖包 3.2.3.配置文件新增redis连接配置 3.2.4.自定义redis锁注解类 3.2.5.自定义redis切面类(即aop类) 3.2.6.自定义redis命令操作类 3.2.7.在定时任务一中添加自定义注解 3.2.8.在定时任务二中添加

  • Eclipse下编写java程序突然不会自动生成R.java文件和包的解决办法

    下面给大家介绍几种比较常见的解决办法,具体内容如下: 1.有时候eclipse不自动编译,把project clean一下,让R.java重新生成 2.选择菜单 Project >> Clean ,前提是勾选上 Bulid Automatically(自动构建部署) , 点Clean后会重新构建项目,因为一般情况下,R.java文件在这个时候会重新更新生成一边,如果工程有错,就不会自动生成. 3.选择工程,右键 Android Tools >> Fix Project Proper

  • Java应用服务器之tomcat部署的详细教程

    一.相关术语简介 首先我们来了解下tomcat是什么,tomcat是apache软件基金会中的一个项目,由apache.Sun 和其他一些公司及个人共同开发而成.主要作用是提供servlet和jsp类库:tomcat是一个免费开源的web服务器,它和nginx.httpd服务不同的是,它不擅长处理HTML代码,更多的是处理JSP程序:有点类似fpm服务专门处理php程序: jdk:java开发工具箱(Java Development Kit),主要提供java开发相关工具包,库文件以及jre和j

  • java.net.MalformedURLException异常的解决方法

    java.net.MalformedURLException at java.net.URL.<init>(URL.java:619) at java.net.URL.<init>(URL.java:482) at java.net.URL.<init>(URL.java:431) 代码中URL url = new URL(someUrl);这一行出现java.net.MalformedURLException异常 解决方法是,对someUrl中的参数名和参数值都URL

  • java 出现Zipexception 异常的解决办法

    java 出现Zipexception 异常的解决办法 1 异常描述 在从 SVN 检出项目并配置完成后,启动 Tomcat 服务器,报出如下错误: 2 异常原因 通过观察上图中被标记出来的异常信息,咱们可以知道 Java.util.zip.ZipException: error in opening zip file 此异常,为:打开zip文件异常. 实际上,咱们观察错误信息的上面一行,即警告部分的时候,就可以发现引起这个异常发现的原因很可能就是位于 Tomcat 安装文件目录中lib文件夹下

  • Java java.lang.ExceptionInInitializerError 错误如何解决

     Java java.lang.ExceptionInInitializerError 错误如何解决 引起 Java.lang.ExceptionInInitializerError 错误的原因是:在类的初始化时,出错.也就是说,在加载类时,执行static的属性.方法块时,出错了. 比如 public class AA { private static AA aa = new AA(); private AA(){//构造方法 init(); } public void init(){ ...

  • java基于双向环形链表解决丢手帕问题的方法示例

    本文实例讲述了java基于双向环形链表解决丢手帕问题的方法.分享给大家供大家参考,具体如下: 问题:设编号为1.2--n的几个小孩围坐一圈,约定编号为k(1=<k<=n)的小孩从1开始报数,数到m的那个出列,他的下一位又从1开始报数,数到m的那个人又出列,直到所有人出列为止,由此产生一个出队编号的序列. 我们现在用一个双向环形链表来解这一问题.先来看看下面这幅图: 圆圈代表一个结点,红色的指针指向下一个元素,紫色的指针指向上一个元素.first指针指向第一个元素,表明第一个元素的位置,curs

  • java网络爬虫连接超时解决实例代码

    本文研究的主要是java网络爬虫连接超时的问题,具体如下. 在网络爬虫中,经常会遇到如下报错.即连接超时.针对此问题,一般解决思路为:将连接时间.请求时间设置长一下.如果出现连接超时的情况,则在重新请求[设置重新请求次数]. Exception in thread "main" java.net.ConnectException: Connection timed out: connect 下面的代码便是使用httpclient解决连接超时的样例程序.直接上程序. package da

  • php解决crontab定时任务不能写入文件问题的方法分析

    本文实例讲述了php解决crontab定时任务不能写入文件问题的方法.分享给大家供大家参考,具体如下: 今天使用crontab写的定时任务没有执行,很纳闷. crontab.php <?php error_reporting(0); $time = date("Y-m-d h:i:s",time()); file_put_contents($dir."/crontab.txt","[$time]\n",FILE_APPEND); cront

随机推荐