Golang 探索对Goroutine的控制方法(详解)

前言

在golang中,只需要在函数调用前加上关键字go即可创建一个并发任务单元,而这个新建的任务会被放入队列中,等待调度器安排。相比系统的MB级别线程栈,goroutine的自定义栈只有2KB,这使得我们能够轻易创建上万个并发任务,如此对性能提升不少。但随之而来的有以下几个问题:

如何等待所有goroutine的退出

如何限制创建goroutine的数量(信号量实现)

怎么让goroutine主动退出

探索——如何从外部杀死goroutine

本文记录了笔者就以上几个问题进行探究的过程,文中给出了大部分问题的解决方案,同时也抛出了未解决的问题,期待与各位交流:p

准备

开始之前先定义一个常量const N=100以及一个HeavyWork函数,假定该函数具有极其冗长、复杂度高、难以解耦的特性

func HeavyWork(id int) {
 rand.Seed(int64(id))
 interval := time.Duration(rand.Intn(3)+1) * time.Second
 time.Sleep(interval)
 fmt.Printf("HeavyWork %-3d cost %v\n", id, interval)
}

以上定义的内容将在之后的代码中直接使用以缩减篇幅,大部分完整代码可在 Github: explore-goroutine 中找到

如何等待所有goroutine的退出

"Do not communicate by sharing memory; instead, share memory by communicating"——GO的一大设计哲学《Share Memory By Communicating》

翻译成中文就是,用通信来共享内存数据,而不要通过共享内存数据来进行通信。

Go中的goroutines和channel提供了一种优雅而独特的结构化并发软件的方法,我们可以利用通道(channel)的特性,来实现当前等待goroutine的操作。但是channel并不是当前这个场景的最佳方案,用它来实现的方式是稍显笨拙的,需要知道确定个数的goroutine,同时稍不注意就极易产生死锁,代码如下:

// "talk is cheap, show me the code."
func main() {
 waitChan := make(chan int, 1)
 for i := 0; i < N; i++ {
  go func(n int) {
   HeavyWork(n)
   waitChan <- 1
  }(i)
 }
 cnt := 0
 for range waitChan {
  cnt++
  if cnt == N {
   break
  }
 }
 close(waitChan)
 fmt.Println("finished")
}

上述代码使用了一个缓存大小为1的通道(channel),创建N个goroutine用于运行HeavyWork,每个任务完成后向waitChan写入一个数据,在收到N个完成信号后退出。

但事实上比较优雅的方式是使用go标准库sync,其中提供了专门的解决方案sync.WaitGroup用于等待一个goroutines集合的结束

// "talk is cheap, show me the code."
func main() {
 wg := sync.WaitGroup{}
 for i := 0; i < N; i++ {
  wg.Add(1)
  go func(n int) {
   defer wg.Done()
   HeavyWork(n)
  }(i)
 }
 wg.Wait()
 fmt.Println("finished")
}

关于sync.WaitGroup的具体使用请参照官方文档[GoDoc] sync.WaitGroup,这里不再赘述

如何限制goroutine的创建数量(信号量实现)

信号量(Semaphore),有时被称为信号灯,是在多线程环境下使用的一种设施,是可以用来保证两个或多个关键代码段不被并发调用。

其中V操作会增加信号量的数值即释放资源,而P操作会减少它即占用资源

那么非常容易想到的就是利用channel(通道)缓存有限的特性,它允许我们可以自实现一个简单的数量控制,就如同使用信号量一般,在这基础再加上前面提到的sync.WaitGroup,我们可以打出一套组合拳,提供可阻塞的信号量PV操作,能够实现固定创建goroutine数量并且支持等待当前goroutine的退出。结构体定义如下:

type Semaphore struct {
 Threads chan int
 Wg  sync.WaitGroup
}

而P操作只需在channel中加入一个元素同时调用WaitGroup.Add即可,这一操作完成对资源的申请

func (sem *Semaphore) P() {
 sem.Threads <- 1
 sem.Wg.Add(1)
}

相反则是V操作,进行资源的释放

func (sem *Semaphore) V() {
 sem.Wg.Done()
 <-sem.Threads
}

Wait则阻塞等待直到当前所有资源都归还,直接调用WaitGroup的方法即可

func (sem *Semaphore) Wait() {
 sem.Wg.Wait()
}

完整代码可以在 Github: semaphore中查看

利用上面的信号量就可以做到,在一个时刻的goroutines数量不会超过信号量值的大小,而某个goroutine退出后将返还占用的信号量,而正在等待的goroutine就可以立即申请,下图形象地展现了运行时的状态

怎么让goroutine主动退出

对于goroutine的主动退出,比较友好的做法就是循环监听一个channel,通过类似信号的方式来告知goroutine的”该退出了“,然后goroutine自己主动退出,这种做法在网上十分常见,也是Golang官方推荐的做法,思想也很简单。

func main() {
 ok, quit := make(chan int, 1), make(chan int, 1)
 go func() {
  i := 0
  for {
   select {
   case <-quit:
    ok <- 1
    return
   default:
    HeavyWork(i)
    i++
   }
  }
 }()
 time.Sleep(5 * time.Second)
 quit <- 1
 <-ok
}

运行结果如下图

探索——如何从外部杀死goroutine

上面讲了一些关于goroutines和channel的简单使用,接下来终于写到本文的重点了。笔者并没有解决如何从外部杀死一个goroutine,但记录了尝试“杀死”中的可行或不可行方法,希望对各位有所帮助。

因为近期在开发中遇到这样一个问题,当一个函数是极其冗长、复杂度高、难以解耦的顺序结构代码时(例如某个极其复杂无循环结构的加密算法),而且由于数据量巨大,需要反复调用该函数,由于每运行一次,程序都会消耗大量的时间、空间,那么当一个任务已经被用户抛弃时,如何才能抛弃仍在做着无用功的goroutine?

为了达到“杀死goroutine”的目的,笔者做了很多尝试,如

select结构(条件实现)

panic退出机制(失败)

获取pid杀死(失败)

ptrace单步调试(失败)

...(失败)

利用select语句实现

关于“如何杀死goroutine”,网上有一部分答案就是利用select实现的,但是这种方式实现的代码并不适用于服务类的程序,但是对于一般非服务类程序的确能够实现杀死goroutine的效果,代码如下:

func main() {
 wrapper := func() chan int {
  c := make(chan int)
  go func() {
   HeavyWork(0)
   c <- 1
  }()
  return c
 }
 select {
 case <-wrapper():
 case <-time.After(1 * time.Second):
  fmt.Println("time limit exceed")
 }
 // time.Sleep(3 * time.Second)
}

但是一旦主函数没有立即退出,而是作为某种服务而继续运行时,这里删除了main函数的最后一行注释time.Sleep(3 * time.Second),延迟三秒后退出。可以看见尽管已经超时并输出"time limit exceed"之后,HeavyWork在main函数没退出前依旧在运行。效果如下

所以使用select-timeout的方式比较适合实时退出类型的程序,能够实现一定程度上的并发控制,

小结

就目前而言,还没有完美的方案来解决控制goroutine的问题,事实上Go似乎并不允许和推荐人们直接控制goroutine,所以暂时还无法做到从外部直接控制goroutine的生命周期,所以比较推荐的做法还是只能通过goroutine主动退出的方法,循环监听channel,在发出退出信号后最多只消耗一轮资源后就退出,但这就要求该代码具有循环结构否则就很难使用。有更好解决方案的朋友,请务必告诉我!

以上这篇Golang 探索对Goroutine的控制方法(详解)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们。

(0)

相关推荐

  • Golang 探索对Goroutine的控制方法(详解)

    前言 在golang中,只需要在函数调用前加上关键字go即可创建一个并发任务单元,而这个新建的任务会被放入队列中,等待调度器安排.相比系统的MB级别线程栈,goroutine的自定义栈只有2KB,这使得我们能够轻易创建上万个并发任务,如此对性能提升不少.但随之而来的有以下几个问题: 如何等待所有goroutine的退出 如何限制创建goroutine的数量(信号量实现) 怎么让goroutine主动退出 探索--如何从外部杀死goroutine 本文记录了笔者就以上几个问题进行探究的过程,文中给

  • Golang 标准库 tips之waitgroup详解

    WaitGroup 用于线程同步,很多场景下为了提高并发需要开多个协程执行,但是又需要等待多个协程的结果都返回的情况下才进行后续逻辑处理,这种情况下可以通过 WaitGroup 提供的方法阻塞主线程的执行,直到所有的 goroutine 执行完成. 本文目录结构: WaitGroup 不能被值拷贝 Add 需要在 Wait 之前调用 使用 channel 实现 WaitGroup 的功能 Add 和 Done 数量问题 WaitGroup 和 channel 控制并发数 WaitGroup 和

  • GoLang channel关闭状态相关操作详解

    关于 channel 的使用,有几点不方便的地方: 1.在不改变 channel 自身状态的情况下,无法获知一个 channel 是否关闭. 2.关闭一个 closed channel 会导致 panic.所以,如果关闭 channel 的一方在不知道 channel 是否处于关闭状态时就去贸然关闭 channel 是很危险的事情. 3.向一个 closed channel 发送数据会导致 panic.所以,如果向 channel 发送数据的一方不知道 channel 是否处于关闭状态时就去贸然

  • Python探索之URL Dispatcher实例详解

    URL dispatcher简单点理解就是根据URL,将请求分发到相应的方法中去处理,它是对URL和View的一个映射,它的实现其实也很简单,就是一个正则匹配的过程,事先定义好正则表达式和该正则表达式对应的view方法,如果请求的URL符合这个正则表达式,那么就分发这个请求到这个view方法中. 有了这个base,我们先抛出几个问题,提前思考一下: 这个映射定义在哪里?当映射很多时,如果有效的组织? URL中的参数怎么获取,怎么传给view方法? 如何在view或者是template中反解出UR

  • Java探索之Feign入门使用详解

    一,简介 Feign使得 Java HTTP 客户端编写更方便.Feign 灵感来源于Retrofit.JAXRS-2.0和WebSocket.Feign最初是为了降低统一绑定Denominator到HTTP API的复杂度,不区分是否支持Restful.Feign旨在通过最少的资源和代码来实现和HTTP API的连接.通过可定制的解码器和错误处理,可以编写任意的HTTP API. Maven依赖: <!-- https://mvnrepository.com/artifact/com.netf

  • python golang中grpc 使用示例代码详解

    python 1.使用前准备,安装这三个库 pip install grpcio pip install protobuf pip install grpcio_tools 2.建立一个proto文件hello.proto // [python quickstart](https://grpc.io/docs/quickstart/python.html#run-a-grpc-application) // python -m grpc_tools.protoc --python_out=. -

  • 基于gin的golang web开发:路由示例详解

    Gin是一个用Golang编写的HTTP网络框架.它的特点是类似于Martini的API,性能更好.在golang web开发领域是一个非常热门的web框架. 启动一个Gin web服务器 使用下面的命令安装Gin go get -u github.com/gin-gonic/gin 在代码里添加依赖 import "github.com/gin-gonic/gin" 快速启动一个Gin服务器的代码如下 package main import "github.com/gin-

  • golang类型转换组件Cast的使用详解

    开源地址 https://github.com/spf13/cast Cast是什么? Cast是一个库,以一致和简单的方式在不同的go类型之间转换. Cast提供了简单的函数,可以轻松地将数字转换为字符串,将接口转换为bool类型等等.当一个明显的转换是可能的时,Cast会智能地执行这一操作.它不会试图猜测你的意思,例如,你只能将一个字符串转换为int的字符串表示形式,例如"8".Cast是为Hugo开发的,Hugo是一个使用YAML.TOML或JSON作为元数据的网站引擎. 为什么

  • Golang泛型与反射的应用详解

    目录 1. 泛型 1.1 定义 1.2 例子 1.3 自定义泛型类型 1.4 泛型与switch结合使用 1.5 泛型实战 2. 反射 2.1 定义 2.2 方法 2.3 反射读取 2.4 反射操作 2.5 判断 1. 泛型 1.1 定义 泛型生命周期只在编译期,旨在为程序员生成代码,减少重复代码的编写 在比较两个数的大小时,没有泛型的时候,仅仅只是传入类型不一样,我们就要再写一份一模一样的函数,如果有了泛型就可以减少这类代码 1.2 例子 // SumInts 将map的值相加,如果需要添加的

  • Golang实现Biginteger大数计算实例详解

    正文 Golang中的big.Int库支持大数计算,基于这个库封装了一层Bitinteger,支持字符串类型的大数,加减乘除等计算. 其他计算可以参考基于big.Int来实现. package BigIntege import ( "fmt" "math/big" ) const DecBase = 10 // BigInteger wrapper for big.Int type BigInteger struct { Value *big.Int } func

随机推荐