golang中定时器cpu使用率高的现象详析

前言:

废话少说，上线一个用golang写的高频的任务派发系统，上线跑着很稳定，但有个缺点就是当没有任务的时候，cpu的消耗也在几个百分点。 平均值在3%左右的cpu使用率。你没有任务的时候，cpu还跑到3%，这个说不过去呀。通过查看进程pidstat捕获得知，system系统的cpu消耗也不少。

sys的cpu占用率高一般是由于大量的syscall系统调用引起的….

下面的截图是用strace统计出来的系统调用…. 我们发现  futex 和 pselect6 的syscall非常的多….  futex 是锁的调用，pselect6可以理解为select的加强版，除了我们不关心的信号掩码外，他是支持纳秒级别的定时器。

那我们知道，在golang里很多的锁操作，比如sync.Mutex 已经被抽象成 标志位及waitQueue，加runtime调度的模式。这也是所有协程框架会做的事情，抽象锁的操作，避免陷入内核上下文切换，使用协程内置的调度器，golang是通过runtime来做使这些Goroutine排队的唤醒和拿锁。  我们用户层除了cgo之外，是不容易调用futex syscall….

有人说了，channel是有锁的，对的，channel的底层数据结构是有锁对象的，但是他的锁操作正如我上面说的那样，已经被抽象成atomic cas了, 不可能这么多futex的。

下面是火焰图的表现.

那我们先放弃futex的追查，先来排查下 pselect6为毛这么多？ 整个系统里看起来会用到超时逻辑的只有select了。  为了避免channel读写长时间阻塞，我们通常都会加一个定时器，比如使用 time.After, time.NewTicker, time.NewTimer ….

测试定时器与futex及pselect6的关系

既然确定是 定时器的问题，那么我们来做测试下各种的组合，把协程数和定时器时间的精度提高来看。

下面是 300个协程，sleep 100ms 的cpu占用比.

下面是 800个协程，sleep 100ms的cpu占用比 .

下面是800个协程，sleep加长到1s 之后的cpu表现.

通过测试来看，只要把定时器的时间精度放到1秒，cpu占用率还是降低了不少….   所以说，有用 …

那么回到问题，前面说的 futex 怎么一回事？  跟定时器是否有联系？   答案是有联系的 .  定时器精度小的时候，futex锁操作次数相对应的变高。  反之，定时器提升到大几秒，futex边的更少了…

那么问题又来了，定时器为什么会产生锁？ 定时器不外乎就那几个方法，小顶堆呀，红黑树呀…. golang使用堆来构建全局定时器，既然是堆，那么肯定就要有锁，开了几百个协程，如果有N个P，那么几百个协程会分派在不同的P上。 协程需要跑在线程上，那么这么多的线程去操作heap堆，自然就会有更多的锁冲突，锁操作了。

先前的cpu占用率高的代码样例:

# xiaorui.cc
 var ticker = time.NewTicker(100 * time.Millisecond)
 defer ticker.Stop()
 var counter = 0
 for {
  select {
  case <-serverDone:
   return
  case <-ticker.C:
   counter += 1
  }
 }
}

如何解决上面说的问题?

要么就不要用定时器

如果非要使用，可以把时间精度放大，或者 自定义定时器，比如开发一个时间轮，时间轮的刻度可以配置成一毫秒，这样可以收敛很多的定时任务。 时间轮也是各大公司推荐的方案。

可以参考下面时间轮的实现…

END

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我们的支持。

赞 (0)

相关推荐

  • 用golang实现一个定时器任务队列实例

    用golang实现一个定时器任务队列实例

    很有幸得到公司信任,采用新的语言进行一些底层服务的开发,在实现功能的同时,也获得了一些感悟,因此在这记录一下,方便自己查看也可以共享给大家. golang中定时器 golang中提供了2种定时器timer和ticker(如果JS很熟悉的话应该会很了解),分别是一次性定时器和重复任务定时器. 一般用法: func main() { input := make(chan interface{}) //producer - produce the messages go func() { for i

  • Golang中定时器的陷阱详解

    前言 在业务中,我们经常需要基于定时任务来触发来实现各种功能.比如TTL会话管理.锁.定时任务(闹钟)或更复杂的状态切换等等.百纳网主要给大家介绍了关于Golang定时器陷阱的相关内容,所谓陷阱,就是它不是你认为的那样,这种认知误差可能让你的软件留下隐藏Bug.刚好Timer就有3个陷阱,我们会讲 1)Reset的陷阱和 2)通道的陷阱, 3)Stop的陷阱与Reset的陷阱类似,自己探索吧. 下面话不多说了,来一起看看详细的介绍吧 Reset的陷阱在哪 Timer.Reset()函数的返回值是

  • golang time包下定时器的实现方法

    golang time包下定时器的实现方法

    golang time包 和python一样,golang时间处理还是比较方便的,以下介绍了golang 时间日期,相关包 "time"的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍. 时间戳 当前时间戳 fmt.Println(time.Now().Unix()) # 1389058332 str格式化时间 当前格式化时间 fmt.Println(time.Now().Format("2006-01-02 15:04:05")) // 这

  • Go语言实现定时器的方法

    本文实例讲述了Go语言实现定时器的方法.分享给大家供大家参考.具体实现方法如下: 复制代码 代码如下: package main import (  "fmt"  "time" ) func testTimer1() {  go func() {   fmt.Println("test timer1")  }() } func testTimer2() {  go func() {   fmt.Println("test timer2&

  • Go语言中定时器cron的基本使用教程

    cron是什么 cron的意思就是:计划任务,说白了就是定时任务.我和系统约个时间,你在几点几分几秒或者每隔几分钟跑一个任务(job),就那么简单. 前言 cron 是 robfig 开发的一个定时作业库,robfig 总是想的比别人早,给了我们这些 Gopher 不少急需的东西,想当年 revel 的出现也是这样的.看看 cron 的使用,还是一如既往的简洁明了,发现 Go 的世界里,有些产品还是有鲜明的个人特质的,那就是所谓的个人魅力吧?! 总之 robfig 开发的产品都是有一定超前性,比

  • golang中定时器cpu使用率高的现象详析

    golang中定时器cpu使用率高的现象详析

    前言: 废话少说,上线一个用golang写的高频的任务派发系统,上线跑着很稳定,但有个缺点就是当没有任务的时候,cpu的消耗也在几个百分点. 平均值在3%左右的cpu使用率.你没有任务的时候,cpu还跑到3%,这个说不过去呀.通过查看进程pidstat捕获得知,system系统的cpu消耗也不少. sys的cpu占用率高一般是由于大量的syscall系统调用引起的-. 下面的截图是用strace统计出来的系统调用-. 我们发现  futex 和 pselect6 的syscall非常的多-. 

  • 在NET Core 中获取 CPU 使用率

    以下文章来源于微信公众号DotNetCore实战  在 .NET Framework 中,很多人会用 PerformanceCounter 类做这件事情, 如下代码:     public class Program     {         public static void Main(string[] args)         {             while (true)             {                 var cpuUsage = GetCpuUs

  • golang 一次性定时器Timer用法及实现原理详解

    目录 前言 Timer timer结构体 创建定时器 停止定时器 重置定时器 实现原理 数据结构 runtimeTimer 创建Timer 停止Timer 重置Timer 前言 定时器在Go语言应用中使用非常广泛,Go语言的标准库里提供两种类型的计时器,一种是一次性的定时器Timer,另外一种是周期性的定时器Ticker.本文主要来看一下Timer的用法和实现原理,需要的朋友可以参考以下内容,希望对大家有帮助. Timer Timer是一种单一事件的定时器,即经过指定的时间后触发一个事件,因为T

  • Golang中的Slice与数组及区别详解

    在golang中有数组和Slice两种数据结构,Slice是基于数组的实现,是长度动态不固定的数据结构,本质上是一个对数组字序列的引用,提供了对数组的轻量级访问.那么我们今天就给大家详细介绍下Golang中的Slice与数组, 1.Golang中的数组 数组是一种具有固定长度的基本数据结构,在golang中与C语言一样数组一旦创建了它的长度就不允许改变,数组的空余位置用0填补,不允许数组越界. 数组的一些基本操作:      1.创建数组: func main() { var arr1 = [.

  • Golang中结构体映射mapstructure库深入详解

    目录 mapstructure库 字段标签 内嵌结构 未映射字段 Metadata 弱类型输入 逆向转换 解码器 示例 在数据传递时,需要先编解码:常用的方式是JSON编解码(参见<golang之JSON处理>).但有时却需要读取部分字段后,才能知道具体类型,此时就可借助mapstructure库了. mapstructure库 mapstructure可方便地实现map[string]interface{}与struct间的转换:使用前,需要先导入库: go get github.com/m

  • golang中make和new的区别示例详解

    前言 本文主要给大家介绍了关于golang中make和new区别的相关内容,分享出来供大家参考学习,话不多说了,来一起看看详细的介绍: new 和 make 都可以用来分配空间,初始化类型,但是它们确有不同. new(T) 返回的是 T 的指针 new(T) 为一个 T 类型新值分配空间并将此空间初始化为 T 的零值,返回的是新值的地址,也就是 T 类型的指针 *T,该指针指向 T 的新分配的零值. p1 := new(int) fmt.Printf("p1 --> %#v \n &quo

  • golang中为什么Response.Body需要被关闭详解

    前言 本文主要介绍了关于golang中Response.Body需要被关闭的相关内容,文中通过示例代码介绍的非常详细,对各位学习或者使用golang具有一定参考学习价值,下面话不多说了,来一起看看详细的介绍吧 Body io.ReadCloser The http Client and Transport guarantee that Body is always non-nil, even on responses without a body or responses with a zero

  • Golang中Set类型的实现方法示例详解

    前言 本篇主要给大家讲述了如何利用Go语言的语法特性实现Set类型的数据结构,分享出来供大家参考学习,话不多说了,来一起看看详细的介绍吧. 需求 对于Set类型的数据结构,其实本质上跟List没什么多大的区别.无非是Set不能含有重复的Item的特性,Set有初始化.Add.Clear.Remove.Contains等操作.接下来看具体的实现方式分析吧. 实现 仍然按照已有的编程经验来联想如何实现基本Set功能,在Java中很容易知道HashSet的底层实现是HashMap,核心的就是用一个常量

  • Javascript中click与blur事件的顺序详析

    Javascript中click与blur事件的顺序详析

    一.现象 最近在开发中碰到了一个需求,具体需求如下图. 这是一个很常见的需求,input框负责在点击回车和失焦的时候确认输入.button负责清除输入,input绑定代码为: input.addEventListener('blur',function(){ console.log('input blur'); }); input.addEventListener('keyup',function(){ console.log('input keyup'); }); "X"绑定的代码为

随机推荐