浅谈GO中的Channel以及死锁的造成

目录
  • 写在前面
  • 引子
  • 问题抛出
  • 问题解释
  • 继续深入
  • 写在后面

写在前面

这篇文章的诞生要感谢MIT 6.284课程。在其中一节课中,谈到了多线程的协同的一些问题,其中就涉及到了channel这个概念,并由一段代码引发思考并逐渐深入得到了这篇文章。

引子

课程中有一段代码如下:

其大致含义是:代码背景是在进行多线程网络爬虫页面url,master线程启动后,从channel通道中读取当前页面的所有url即urls,接着再对这个urls中的每一个url进行爬虫读取新页面中的urls(即执行go worker(u, ch ,fetcher)),每启动一个worker线程便开始向channel中写入该url指向页面中所有包含的urls,以供master线程读取。

问题抛出

那么问题来了,为什么第一层for循环不会range完ch之后便直接结束循环,还需要利用局部变量n来根据特定情况跳出循环?

问题解释

课程上的解释是,这个range会一直阻塞,但并未提出解释。其实,这里很容易分析,因为当前的channel是一个无缓冲通道。所谓无缓冲通道,简单的讲就是两个线程对channel进行操作,一个读,一个写,永远都只能是写一个,读一个按照这样的顺序进行。更详细一些的话,读的那个线程会一直阻塞,直到写的线程向channel中写入一个数据。反之亦然,写的线程在完成一次写操作之后,也会一直阻塞直到另外一个线程完成对该channel的读取操作。上述情况只有一种例外状况,那就是该channel通道被某个线程close掉了:close(channel)。

而这里的range其实不太等同于对数组的range,这里的range实质上为对channel通道的读取。所以,在并未有认为close通道的前提下,该for循环会一直阻塞,不会退出,于是需要设定一个局部状态量n让其退出循环,保证程序的正常运行。当然我们也可以通过close其channel来实现,不过我认为close的时机可能不是非常容易把握。

继续深入

完成上述思考之后,对channel进行了较为的深入的分析,当然分析是以具体的实验展开的。给出下述实验代码:

func main() {
    test()
}

func test()  {
	ch := make(chan int,4)

	go func() {
		ch <- 1
		ch <- 2
		ch <- 3
		ch <- 4
	}()

	//go func() {
	for a := range ch {
		fmt.Print(a)
	}
	//}()

	fmt.Print("test is over")
}

执行结果直接报错,显示:fatal error: all goroutines are asleep - deadlock!
即:出现死锁。
为什么会出现这种情况?
首先我们来分析一下这段代码的目的:利用channel通道,实现数据的传递,一个线程向channel通道中写入数据,另外一个读取。为什么会出现死锁呢?

首先我们分析一下当前程序有多少个线程在执行,main函数是主线程,调用test函数之后,主线程进入了test函数中继续运行。而在test函数中,采用闭包函数或者说匿名函数的方法新开了一个线程,即goroutine去向已经生成的无缓冲通道中发送数据。发送的过程并非是主线程的任务,所以主线程在执行完go func之后马上跳过继续执行下面的for循环,也就是要将channel中的数据读取出来。

for a := range ch {
		fmt.Print(a)
	}

这时,问题来了。现在两个线程,主线程读,另外一个写。在另外一个线程完成最后一个写之后,主线程开始阻塞等待新的写操作,而主线程一旦阻塞整个test函数也无法结束,所以导致了死锁的产生,主线程一直被阻塞。

明白了上述原因之后,解决方法便很简单了,将从channel中读数据的任务交给另外一个线程,而非主线程,主线程直接调用完test函数之后马上结束,其他两个线程的死活都不会影响到程序本身的运行,即主线程的运行。如下:

func main() {
    test()
}

func test()  {
	ch := make(chan int,4)

	go func() {
		ch <- 1
		ch <- 2
		ch <- 3
		ch <- 4
	}()

	go func() {
	for a := range ch {
		fmt.Print(a)
	}
	}()

	fmt.Print("test is over")
}

当然这种方法是偷懒的,这样的操作有可能导致内存溢出等情况发生,所以最好还是让发送数据的线程在发送完之后将channel关闭,如下所示:

func main() {
    test()
    time.Sleep(time.Second)
}

func test()  {
	ch := make(chan int,4)

	go func() {
		ch <- 1
		ch <- 2
		ch <- 3
		ch <- 4
		close(ch)
	}()

	go func() {
	for a := range ch {
		fmt.Print(a)
	}
	}()

	fmt.Print("test is over")
}

输出为:

test is over1234

注意,这里为了保证能够输出1234,需要将主线程休眠1s,确保主线程在退出之前,负责读取的线程能够完成读取工作。

写在后面

Go语言对多线程天然的集成性,让其在处理并发的一些事务时十分方便,但是还是需要注意一些死锁的生成。

到此这篇关于浅谈GO中的Channel以及死锁的造成的文章就介绍到这了,更多相关GO中Channel及死锁内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • golang 中 channel 的详细使用、使用注意事项及死锁问题解析

    目录 什么是channel管道 channel的基本使用 定义和声明 操作channel的3种方式 单向channel 带缓冲和不带缓冲的channel 不带缓冲区channel 带缓冲区channel 判断channel是否关闭 rangeandclose for读取channel select使用 channel的一些使用场景 1.作为goroutine的数据传输管道 2.同步的channel 3.异步的channel 4.channel超时处理 使用channel的注意事项及死锁分析 未初

  • 浅谈GO中的Channel以及死锁的造成

    目录 写在前面 引子 问题抛出 问题解释 继续深入 写在后面 写在前面 这篇文章的诞生要感谢MIT 6.284课程.在其中一节课中,谈到了多线程的协同的一些问题,其中就涉及到了channel这个概念,并由一段代码引发思考并逐渐深入得到了这篇文章. 引子 课程中有一段代码如下: 其大致含义是:代码背景是在进行多线程网络爬虫页面url,master线程启动后,从channel通道中读取当前页面的所有url即urls,接着再对这个urls中的每一个url进行爬虫读取新页面中的urls(即执行go wo

  • 浅谈Laravel中使用Slack进行异常通知

    概述 通常,我们可以依靠用户反馈.经常查看程序日志来发现程序存在的问题.但这要么不可靠要么不及时,所以下面我们介绍一种比较有效的做法--使用 Slack 通知程序跑出的异常信息. Slack 是一款即时通信软件,类似于 QQ,它提供开放的 API,可以调用它向自己团队中指定的个人或者频道(Channel)发送消息,因此用它来进行异常通知是再合适不过的. 安装 maknz/slack-laravel 包 具体的安装方法请参考 Github 上的 [readme](https://github.co

  • 浅谈Java中IO和NIO的本质和区别

    IO的本质 IO的作用就是从外部系统读取数据到java程序中,或者把java程序中输出的数据写回到外部系统.这里的外部系统可能是磁盘,网络流等等. 因为对所有的外部数据的处理都是由操作系统内核来实现的,对于java应用程序来说,只是调用操作系统中相应的接口方法,从而和外部数据进行交互. 所有IO的本质就是对Buffer的处理,我们把数据放入Buffer供系统写入外部数据,或者从系统Buffer中读取从外部系统中读取的数据.如下图所示: 用户空间也就是我们自己的java程序有一个Buffer,系统

  • 浅谈java安全编码指南之死锁dead lock

    不同的加锁顺序 我们来看一个不同加锁顺序的例子: public class DiffLockOrder { private int amount; public DiffLockOrder(int amount){ this.amount=amount; } public void transfer(DiffLockOrder target,int transferAmount){ synchronized (this){ synchronized (target){ if(amount< tr

  • 浅谈Mysql insert on duplicate key 死锁问题定位与解决

    目录 前言 死锁定位 insert on duplicate key的锁 问题解决 前言 最近在监测线上日志时发现我们一个Mysql业务db时常出现 dead lock,频次不高但却一直出现,定位后发现是在并发场景下的 insert on duplicate key update sql 出现的死锁.经过分析发现这种sql确实比较容易造成死锁,不太适用于我们目前的业务场景,于是更换后解决问题. 这篇文章就从分析死锁展开,到最终如何解决这样的问题 分享相应的思路. 死锁定位 我们目前生产环境使用M

  • 浅谈Angular中ngModel的$render

    在我开始着手ngModel的领域时候,有一个问题很令我纠结,那就是$render()到底是做什么的呢?查了很多资料都只是简单的描述一下,这就令我很纠结了,终于在一个阳光明媚的晚上,我终于解决了这个大问题 那么这个$render方法到底是干什么的呢?他的用处就是在$viewValue改变的时候可以重新绑定model数据,但是我们要注意一点($viewValue和DOM节点的value是不同的),我觉得他们的区别有点类似setTimeout和$timeout的区别,但是又不太一样.ps:其实mode

  • 浅谈Java中Unicode的编码和实现

    Unicode的编码和实现 大概来说,Unicode编码系统可分为编码方式和实现方式两个层次. 编码方式 字符是抽象的最小文本单位.它没有固定的形状(可能是一个字形),而且没有值."A"是一个字符,"€"也是一个字符.字符集是字符的集合.编码字符集是一个字符集,它为每一个字符分配一个唯一数字. Unicode 最初设计是作为一种固定宽度的 16 位字符编码.也就是每个字符占用2个字节.这样理论上一共最多可以表示216(即65536)个字符.上述16位统一码字符构成基

  • 浅谈python中copy和deepcopy中的区别

    在下是个编程爱好者,最近将魔爪伸向了Python编程.....遇到copy和deepcopy感到很困惑,现在针对这两个方法进行区分,一种是浅复制(copy),一种是深度复制(deepcopy). 首先说一下deepcopy,所谓的深度复制,在这里我理解的是完全复制然后变成一个新的对象,复制的对象和被复制的对象没有任何关系,彼此之间无论怎么改变都相互不影响. 然后说一下copy,在这里我分为两类来说,一种是字典数据类型的copy函数,一种是copy包的copy函数. 一.字典数据类型的copy函数

  • 浅谈python中列表、字符串、字典的常用操作

    列表操作如此下: a = ["haha","xixi","baba"] 增:a.append[gg] a.insert[1,gg] 在下标为1的地方,新增 gg 删:a.remove(haha) 删除列表中从左往右,第一个匹配到的 haha del a.[0] 删除下标为0 对应的值 a.pop(0) 括号里不写内容,默认删除最后一个,写了,就删除对应下标的内容 改:a.[0] = "gg" 查:a[0] a.index(&q

  • 浅谈PHP中的数据传输CURL

    确认是否安装了CURL扩展 Linux下命令: [root@fengniu020 ~]# php -i | grep -i curl Additional .ini files parsed => /etc/php.d/curl.ini, curl cURL support => enabled cURL Information => 7.19.7 curl操作步骤解析: CURL实例 1.一个简单的curl,抓取百度首页 2.下载一个网页并把内容中的"百度"替换为&

随机推荐