用golang实现一个定时器任务队列实例

很有幸得到公司信任,采用新的语言进行一些底层服务的开发,在实现功能的同时,也获得了一些感悟,因此在这记录一下,方便自己查看也可以共享给大家。

golang中定时器

golang中提供了2种定时器timer和ticker(如果JS很熟悉的话应该会很了解),分别是一次性定时器和重复任务定时器。

一般用法:

func main() {
 input := make(chan interface{})
 //producer - produce the messages
 go func() {
  for i := 0; i < 5; i++ {
   input <- i
  }
  input <- "hello, world"
 }()

 t1 := time.NewTimer(time.Second * 5)
 t2 := time.NewTimer(time.Second * 10)

 for {
  select {
  //consumer - consume the messages
  case msg := <-input:
   fmt.Println(msg)

  case <-t1.C:
   println("5s timer")
   t1.Reset(time.Second * 5)

  case <-t2.C:
   println("10s timer")
   t2.Reset(time.Second * 10)
  }
 }
}

源码观察

这个C是啥,我们去源码看看,以timer为例:

type Timer struct {
 C <-chan Time
 r runtimeTimer
}

原来是一个channel,其实有GO基础的都知道,GO的运算符当出现的->或者<-的时候,必然是有一端是指channel。按照上面的例子来看,就是阻塞在一个for循环内,等待到了定时器的C从channel出来,当获取到值的时候,进行想要的操作。

设计我们的定时任务队列

我的需求

当时我的需求是这样,我需要接收到客户端的请求并产生一个定时任务,会在固定时间执行,可能是一次,也可能是多次,也可能到指定时间自动停止,可能当任务终止的时候,我还要能停止掉。

具体我画了个流程图,差不多如下,画图水平有限,请见谅。

定义结构

type OnceCron struct {
 tasks []*Task   //任务的列队
 add chan *Task  //当遭遇到新任务的时候
 remove chan string  //当遭遇到删除任务的时候
 stop chan struct{}  //当遇到停止信号的时候
 Logger *log.Logger  //日志
}
type Job interface {
 Run()     //执行接口
}
type Task struct {
  Job  Job   //要执行的任务
 Uuid string   //任务标识,删除时用
 RunTime int64   //执行时间
 Spacing int64   //间隔时间
 EndTime int64   //结束时间
 Number int    //总共要次数
}

队列实现

首先,我们要获得一个队列任务

func NewCron() *OnceCron 常规操作,为了节省篇幅,我就不写出来,具体可以看源码,贴在了底部。

然后,开始定时器队列的运行,一般,都会命名为Start。那么就有一个问题,我们刚开始启动程序的时候,这个时候是没有任务队列,那岂不是for{ select{}}在等待个毛毛球?所以,我们需要在Start的时候添加一个默认的任务, 我是这么做的,添加了一个一小时执行一次的重复队列,防止队列退出。

func (one *OnceCron) Start() {
 //初始化的時候加入一個一年的長定時器,間隔1小時執行一次
 task := getTaskWithFuncSpacing(3600, time.Now().Add(time.Hour*24*365).Unix() , func() {
 log.Println("It's a Hour timer!")
 }) //为了代码格式markdown 里面有个括号我改成全角了
 one.tasks = append(one.tasks, task)
 go one.run() //协成执行 防止主进程被阻塞
}

执行部分应该是重点的,我的理解是,分成三部:

  1. 首先获得一个最先执行的任务
  2. 然后产生一个定时器,用于执行任务
  3. 进行阻塞判断,获取我们要进行的操作
func (one *OnceCron) run() {

 for {
    //第一步 获取任务
 now := time.Now() //获取到当前时间
 task, key := one.GetTask() //获取最近的一个任务的执行时间
 i64 := task.RunTime - now.Unix() //任务执行和当前时间的差

 var d time.Duration
 if i64 < 0 { //如果任务时间已过期,将执行时间改成现在并且利马执行
 one.tasks[key].RunTime = now.Unix()
 one.doAndReset(key)
      continue
 } else { //否则,获取距离执行开始的间隔时间
 d = time.Unix(task.RunTime, 0).Sub(now)
 }
    //第二步 产生定时器
 timer := time.NewTimer(d) 

 //第三步 捕获定时器或者其他事件
 for {
 select {
      //当定时器到了执行时间时,执行当前任务并关闭定时器
 case <-timer.C:
 one.doAndReset(key)
 if task != nil {
  go task.Job.Run()
  timer.Stop()
 }

 //当外部添加了任务时,关闭当前定时器
 case <-one.add:
 timer.Stop()
 //当外部要删除一个任务时,删除ID为uuidstr的任务
 case uuidstr := <-one.remove:
 one.removeTask(uuidstr)
 timer.Stop()
 //当遇到要关闭整个定时器任务时
 case <-one.stop:
 timer.Stop()
 return
 }

 break
 }
 }
}

后记

这个文章纯粹为笔记分析类的文章,旨在分析我碰到一个需求是如何通过分析过程来产生我们需要的代码的。

源码地址:timing 一个任务队列

应用地址:一个应用于谷歌消息推送的转发中间件

参考源码:GOLANG实现crontab功能

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • Go语言中定时器cron的基本使用教程

    cron是什么 cron的意思就是:计划任务,说白了就是定时任务.我和系统约个时间,你在几点几分几秒或者每隔几分钟跑一个任务(job),就那么简单. 前言 cron 是 robfig 开发的一个定时作业库,robfig 总是想的比别人早,给了我们这些 Gopher 不少急需的东西,想当年 revel 的出现也是这样的.看看 cron 的使用,还是一如既往的简洁明了,发现 Go 的世界里,有些产品还是有鲜明的个人特质的,那就是所谓的个人魅力吧?! 总之 robfig 开发的产品都是有一定超前性,比

  • golang time包下定时器的实现方法

    golang time包 和python一样,golang时间处理还是比较方便的,以下介绍了golang 时间日期,相关包 "time"的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍. 时间戳 当前时间戳 fmt.Println(time.Now().Unix()) # 1389058332 str格式化时间 当前格式化时间 fmt.Println(time.Now().Format("2006-01-02 15:04:05")) // 这

  • Golang中定时器的陷阱详解

    前言 在业务中,我们经常需要基于定时任务来触发来实现各种功能.比如TTL会话管理.锁.定时任务(闹钟)或更复杂的状态切换等等.百纳网主要给大家介绍了关于Golang定时器陷阱的相关内容,所谓陷阱,就是它不是你认为的那样,这种认知误差可能让你的软件留下隐藏Bug.刚好Timer就有3个陷阱,我们会讲 1)Reset的陷阱和 2)通道的陷阱, 3)Stop的陷阱与Reset的陷阱类似,自己探索吧. 下面话不多说了,来一起看看详细的介绍吧 Reset的陷阱在哪 Timer.Reset()函数的返回值是

  • Go语言实现定时器的方法

    本文实例讲述了Go语言实现定时器的方法.分享给大家供大家参考.具体实现方法如下: 复制代码 代码如下: package main import (  "fmt"  "time" ) func testTimer1() {  go func() {   fmt.Println("test timer1")  }() } func testTimer2() {  go func() {   fmt.Println("test timer2&

  • golang中定时器cpu使用率高的现象详析

    前言: 废话少说,上线一个用golang写的高频的任务派发系统,上线跑着很稳定,但有个缺点就是当没有任务的时候,cpu的消耗也在几个百分点. 平均值在3%左右的cpu使用率.你没有任务的时候,cpu还跑到3%,这个说不过去呀.通过查看进程pidstat捕获得知,system系统的cpu消耗也不少. sys的cpu占用率高一般是由于大量的syscall系统调用引起的-. 下面的截图是用strace统计出来的系统调用-. 我们发现  futex 和 pselect6 的syscall非常的多-. 

  • 用golang实现一个定时器任务队列实例

    很有幸得到公司信任,采用新的语言进行一些底层服务的开发,在实现功能的同时,也获得了一些感悟,因此在这记录一下,方便自己查看也可以共享给大家. golang中定时器 golang中提供了2种定时器timer和ticker(如果JS很熟悉的话应该会很了解),分别是一次性定时器和重复任务定时器. 一般用法: func main() { input := make(chan interface{}) //producer - produce the messages go func() { for i

  • python 定时器,轮询定时器的实例

    python 定时器默认定时器只执行一次,第一个参数单位S,几秒后执行 import threading def fun_timer(): print('Hello Timer!') timer = threading.Timer(1, fun_timer) timer.start() 改成以下可以执行多次 建立loop_timer.py from threading import _Timer class LoopTimer(_Timer): """Call a funct

  • angular2组件中定时刷新并清除定时器的实例讲解

    实例如下: import { Component,OnInit,ChangeDetectionStrategy,ChangeDetectorRef,OnDestroy} from "@angular/core"; @Component({ changeDetection:ChangeDetectionStrategy.OnPush }) export class xxxComponent{ private timer; constructor(private ref : ChangeD

  • Golang单元测试与覆盖率的实例讲解

    1 概述 C/C++和Java(以及大多数的主流编程语言)都有自己成熟的单元测试框架,前者如Check,后者如JUnit,但这些编程框架本质上仍是第三方产品,为了执行单元测试,我们不得不从头开始搭建测试工程,并且需要依赖于第三方工具才能生成单元测试的覆盖率. 相比之下,Go语言官方则提供了语言级的单元测试支持,即testing包,而且仅通过go工具本身就可以方便地生成覆盖率数据,也就是说,单元测试是Go语言的自带属性,除了好好设计自己的单元测试用例外,开发者不需要操心工程搭建的任何细节.没错,G

  • PyQt5中QTimer定时器的实例代码

    如果要在应用程序中周期性地进行某项操作,比如周期性地检测主机的CPU值,则需要用到QTimer定时器,QTimer类提供了重复的和单次的定时器.要使用定时器,需要先创建一个QTimer实例,将其timeout信号连接到相应的槽,并调用start().然后定时器会以恒定的间隔发出timeout信号,当窗口控件收到timeout信号后,它就会停止这个定时器. 一.QTimer类中的常用方法 方法 描述 start(milliseconds) 启动或重新启动定时器,时间间隔为毫秒.如果定时器已经运行,

  • Golang 中反射的应用实例详解

    目录 引言 Golang类型设计原则 Golang 中为什么要使用反射/什么场景可以(应该)使用反射 举例场景: 反射的基本用法 反射的性能分析与优缺点 测试反射结构体初始化 测试结构体字段读取/赋值 测试结构体方法调用 优缺点 反射在 okr 中的简单应用 结论 引言 首先来一段简单的代码逻辑热身,下面的代码大家觉得应该会打印什么呢? type OKR struct { id int content string } func getOkrDetail(ctx context.Context,

  • Golang工作池的使用实例讲解

    目录 一.概念 二.实例 1.简单示例 2.读入数据 一.概念 我们可以将工作池理解为线程池.线程池的创建和销毁非常消耗资源,所以专门写一个pool,每次用过的线程池再放回pool中而不是销毁.不过在Go语言中不会使用系统的线程,而是使用goroutine.gorotine的创建和销毁比系统线程的消耗要小的多,而且goroutine没有标号.所以goroutine的pool就不再时线程池,而是work pool(工作池). 虽然goroutine的系统消耗较小,但也不能随意在编码时使用go fu

  • Access使用宏控制程序--1.5.一个宏的实例——检验口令

    5.一个宏的实例--检验口令 在这个实例中将创建一个将包含条件的宏组,用来实现对口令的检验,如果口令正确,就先关闭这个身份核对窗口,再打开另一个窗体:如果口令不正确,将出现信息框要求重新输入口令. 建立一个窗体,添加文本框,命名为"管理员口令",用来接收用户输入的口令.再建立一个确定按钮和一个取消按钮. 为按钮建立一个宏组,宏的设计视图如上图. "条件"栏内的省略号(-),表示条件为真时可以连续第执行这些操作. 这是窗体运行的效果. 当输入的口令不正确时,单击确定按

  • Linux使用一个定时器实现设置任意数量定时器功能

    为什么需要这个功能,因为大多数计算机软件时钟系统通常只能有一个时钟触发一次中断.当运行多个任务时,我们会想要多个定时器 的时钟跟踪并发这样可以生成正确的时间重叠,操作系统这样做. 本例子是为了实现使用Linux下的一个定时器,实现任一数量的定时器功能. 首先我们需要一些数据类型用来描述时钟数据结构 #include <stdio.h> #include<time.h> #define TRUE 1 #define FALSE 0 #define MAX_TIMERS ... 最大时

  • Java定时器问题实例解析

    定时器问题 定时器属于基本的基础组件,不管是用户空间的程序开发,还是内核空间的程序开发,很多时候都需要有定时器作为基础组件的支持.一个定时器的实现需要具备以下四种基本行为:添加定时器.取消定时器.定时器检查.到期执行. 请设计一个定时器并实现以下三种基本行为,函数原型已给出,可使用任意编程语言设计数据结构及实现,并尽可能高效地支持大量定时器: // 添加定时器:经过特定时间间隔后执行目标操作 // 输入 1:Interval 定时器时间,单位ms // 输入 2:ExpiryAction 目标操

随机推荐