示例剖析golang中的CSP并发模型

目录
  • 1. 相关概念: 
  • 2. CSP (通信顺序进程) 
  • 3. channel:同步&传递消息
  • 4. goroutine:实际并发执行的实体
  • 5. golang调度器

1. 相关概念: 

用户态:当一个进程在执行用户自己的代码时处于用户运行态(用户态)

内核态:当一个进程因为系统调用陷入内核代码中执行时处于内核运行态(内核态),引入内核态防止用户态的程序随意的操作内核地址空间,具有一定的安全保护作用。这种保护模式是通过内存页表操作等机制,保证进程间的地址空间不会相互冲突,一个进程的操作不会修改另一个进程地址空间中的数据。

用户态与内核态之间的切换:当在系统中执行一个程序时,大部分时间都是运行在用户态下的,在其需要操作系统帮助完成一些用户态自己没有特权和能力完成的操作时就会切换到内核态。有以下三种方式:

(1)系统调用(中断)用户态进程主动要求切换到内核态的一种方式。

(2)异常cpu运行时如果发生一些没有预知的异常,会触发当前进程切换到处理此异常的内核相关进程中。 

(3)外围设备的中断用户态进程主动要求切换到内核态的一种方式。

协程:又称微线程,纤程。英文名Coroutine。Coroutine是一种运行在用户态的用户线程,类似于 greenthread。协程与线程都相互独立,且有自己的上下文,不同之处在于,协程的切换由其自身控制,而线程的切换收到系统调度。

2. CSP (通信顺序进程) 

CSP模型用来描述两个独立的并发实体通过共享的通讯channel管道进行通信的并发模型。

golang借用了CSP模型的一些概念如:实体 process,通道 channel,为之实现并发进行了理论支持,实际上并没有完全实现CSP模型的所有理论。process是在go语言上的表现就是goroutine,是实际上并发执行的实体,每个实体之间是通过channel通讯来实现数据共享。

3. channel:同步&传递消息

channel是被单独创建并且可以在进程之间传递,它的通信模式类似于boss-worker模式,一个实体通过将消息发送到channel中,然后又监听这个channel的实体处理,两个实体之间是匿名的,实现原理上其实是一个阻塞的消息队列。

具体可以分为:有/无缓存channel,只读channel,只写channel,双向channel

写操作:chan <- value

读操作:<- chan

// Create channel
// Unbuffered channel
umbuffer_chan := make(chan int)
// Buffered channel
// Buffer Size = 3
buffer_chan := make(chan int,3)
// Read-Only channel
read_channel := make(&lt;-chan int)
// Receive-Only channel
receive_channel := make(chan&lt;- int)

生产者-消费者Sample:

package main
import (
   "fmt"
   "time"
)
// 生产者
func Producer (queue chan&lt;- int){
        for i:= 0; i &lt; 10; i++ {
                queue &lt;- i
        }
}
// 消费者
func Consumer( queue &lt;-chan int){
        for i :=0; i &lt; 10; i++{
                v := &lt;- queue
                fmt.Println("receive:", v)
        }
}
func main(){
        queue := make(chan int, 1)
        go Producer(queue)
        go Consumer(queue)
        time.Sleep(1e9) //让Producer与Consumer完成
}

4. goroutine:实际并发执行的实体

在函数或者方法前面加上关键字go,就创建了并发运行的goroutine,eg:

go func (){
}
func Test(){
}
// ...
go Test()

实例代码:

package main  // 代码包声明语句。
import (
   "fmt" //系统包用来输出的
   "math/rand"
   "runtime"
   "sync"
   "time"
)
func main() {
   // 分配一个逻辑处理器给调度器使用
   runtime.GOMAXPROCS(1)
   // WaitGroup是一个计数信号量,用来记录和维护运行的goroutine,如果当前的wg&gt;0,对应的exit方法就会阻塞
   var wg sync.WaitGroup
   // 计数加2表示要等待两个goroutine
   wg.Add(2)
   fmt.Printf("Start Goroutines \n", )
   // 声明匿名函数,创建goroutine
   go func(){
      // 关键字defer会修改函数调用时机,在函数退出时调用Done来通知main函数工作已经完成
      defer wg.Done()
      for count:=0; count&lt;3; count++ {
         for char :='a'; char&lt;'a'+26 ; char++ {
            fmt.Printf("%c ", char)
         }
      }
   }()
   // 声明匿名函数,创建goroutine
   go func() {
      // 函数退出时调用Done来通知main函数工作已经完成
      defer wg.Done()
      for count:=0; count&lt;3; count++ {
         for char :='A'; char&lt;'A'+26 ; char++ {
            fmt.Printf("%c ", char)
         }
      }
   }()
   fmt.Println("Waiting to finish!\n", )
   // 等待结束
   wg.Wait()
   fmt.Println("\nTerminate program! \n", )
}

5. golang调度器

OS在物理处理器上调度线程来运行,而golang在逻辑处理器上调度goroutine来运行。每个逻辑处理器都分别绑定到单个操作系统线程。

如果创建一个goroutine并准备运行,这个goroutine就会被放到调度器的全局运行队列中。之后,调度器就会将队列中的goroutine分配给一个逻辑处理器,并放到这个逻辑处理器对应的本地运行队列中。本地运行队列中的goroutine会一直等待,知道自己被分配到相应的逻辑处理器上运行。

eg:

其中:

M:Machine,一个M直接关联了一个内核线程。

P:Processor,代表了M所需要的上下文环境,也就是处理用户级代码逻辑的处理器。

G:Goroutine,本质上是一种轻量级的线程--协程。

MPG模型,三者关系的宏观图为:

Processor的作用:

当内核线程阻塞的时候,由于上下文的存在,我们能够直接放开其他线程,继续去执行未阻塞的线程,例子如下:

如果当前,G0由于I/O,系统调用进行了阻塞,这个时候M0就可以放开其他的线程:

M0和G0进行系统调用,等待返回值,上下文P以及routine队列交由M1进行执行。当M0执行系统调用结束后,M0会尝试去steal("偷")一个上下文,如果不成功,M0就把它的G0放到一个全局的运行队列中,然后将自己放到线程池或者转入休眠状态。

Global runqueue是各个上下文P在运行完自己的本地的goroutine runqueue后用来拉取新的goroutine的地方(steal working算法)。此外,P也会周期性的检查Global runqueue上的goroutine,来防止全局上的goroutine因为得不到执行而饿死。

以上就是示例剖析golang中的CSP并发模型的详细内容,更多关于golang CSP并发模型的资料请关注我们其它相关文章!

(0)

相关推荐

  • Go语言CSP并发模型goroutine channel底层实现原理

    目录 Go的CSP并发模型(goroutine + channel) 1.goroutine goroutine的优点: 2.channel 无缓存channel 有缓存channel 3.Go并发模型的底层实现原理 4.一个CSP例子 参考Go的CSP并发模型实现:M, P, G Go语言是为并发而生的语言,Go语言是为数不多的在语言层面实现并发的语言. 并发(concurrency):多个任务在同一段时间内运行. 并行(parallellism):多个任务在同一时刻运行. Go的CSP并发模

  • Golang CSP并发机制及使用模型

    目录 CSP并发模型 Golang CSP Channel Goroutine Goroutine 调度器 总结 今天介绍一下 go语言的并发机制以及它所使用的CSP并发模型 CSP并发模型 CSP模型是上个世纪七十年代提出的,用于描述两个独立的并发实体通过共享的通讯 channel(管道)进行通信的并发模型. CSP中channel是第一类对象,它不关注发送消息的实体,而关注与发送消息时使用的channel. Golang CSP Golang 就是借用CSP模型的一些概念为之实现并发进行理论

  • Go语言CSP并发模型实现MPG

    目录 Golang调度机制 并发(concurrency)和并行(parallellism) Go的CSP并发模型 Go并发模型的实现原理 用户级线程模型 内核级线程模型 两级线程模型 Go线程实现模型MPG 抛弃P(Processor) 均衡的分配工作 Golang调度机制 最近抽空研究.整理了一下Golang调度机制,学习了其他大牛的文章.把自己的理解写下来.如有错误,请指正!!! golang的goroutine机制有点像线程池: 一.go 内部有三个对象: P对象(processor)

  • C#代替go采用的CSP并发模型实现

    目录 CSP(Communicating sequential processes) 在Go中的CSP 协程(提升并发的利器) 线程 线程的开销 回归协程 协程的目的 C#中的协程 C#中的CSP Go协程与.NET协程的区别? 写在最后 说起Golang(后面统称为Go),就想到他的高并发特性,在深入一些就是 Goroutine.在大家被它优雅的语法和简洁的代码实现的高并发程序所折服时,其实C#/.NET也可以很容易的做到.今天我们来参照Go,来用C#实现它所采用的的CSP并发模型. CSP(

  • 分析Go语言中CSP并发模型与Goroutine的基本使用

    目录 一.并发实现模型 1.1.多进程 1.2.多线程 1.3.协程 二.共享内存与CSP 三.Goroutine 一.并发实现模型 1.1.多进程 在之前的文章当中我们曾经介绍过,进程是操作系统资源分配的最小单元.所以多进程是在操作系统层面的并发模型,因为所有的进程都是有操作系统的内核管理的.所以每个进程之间是独立的,每一个进程都会有自己单独的内存空间以及上下文信息,一个进程挂了不会影响其他进程的运行.这个也是多进程最大的优点,但是它的缺点也很明显. 最大的缺点就是开销很大,创建.销毁进程的开

  • 示例剖析golang中的CSP并发模型

    目录 1. 相关概念: 2. CSP (通信顺序进程) 3. channel:同步&传递消息 4. goroutine:实际并发执行的实体 5. golang调度器 1. 相关概念: 用户态:当一个进程在执行用户自己的代码时处于用户运行态(用户态) 内核态:当一个进程因为系统调用陷入内核代码中执行时处于内核运行态(内核态),引入内核态防止用户态的程序随意的操作内核地址空间,具有一定的安全保护作用.这种保护模式是通过内存页表操作等机制,保证进程间的地址空间不会相互冲突,一个进程的操作不会修改另一个

  • 深度剖析Golang中的数组,字符串和切片

    目录 1. 数组 1.1 定义数组 1.2 访问数组 1.3 修改数组 1.4 数组长度 1.5 遍历数组 1.6 多维数组 2. 切片 2.1 定义切片 2.2 访问切片元素 2.3 修改切片元素 2.4 切片长度和容量 2.5 向切片中添加元素 2.6 切片的切片 2.7 切片排序 3. 字符串 3.1 访问字符串中的字符 3.2 字符串切片 3.3 字符串操作 3.4 关于字符串的常见问题 4. 总结 1. 数组 数组是 Golang 中的一种基本数据类型,用于存储固定数量的同类型元素.在

  • golang中sync.Map并发创建、读取问题实战记录

    背景: 我们有一个用go做的项目,其中用到了zmq4进行通信,一个简单的rpc过程,早期远端是使用一个map去做ip和具体socket的映射. 问题 大概是这样 struct SocketMap { sync.Mutex sockets map[string]*zmq4.Socket } 然后调用的时候的代码大概就是这样的: func (pushList *SocketMap) push(ip string, data []byte) { pushList.Lock() defer pushLi

  • CSP communicating sequential processes并发模型

    目录 前言 GO并发模型的实现原理 内核级线程模型 两级线程模型 Go线程实现模型MPG Goroutine 小结 优点: 缺点: 前言 https://www.jb51.net/article/228730.htm 请记住下面这句话: DO NOT COMMUNICATE BY SHARING MEMORY; INSTEAD, SHARE MEMORY BY COMMUNICATING. “不要以共享内存的方式来通信,相反,要通过通信来共享内存.” 普通的线程并发模型,就是像Java.C++.

  • 详解Golang 中的并发限制与超时控制

    前言 上回在 用 Go 写一个轻量级的 ssh 批量操作工具里提及过,我们做 Golang 并发的时候要对并发进行限制,对 goroutine 的执行要有超时控制.那会没有细说,这里展开讨论一下. 以下示例代码全部可以直接在 The Go Playground上运行测试: 并发 我们先来跑一个简单的并发看看 package main import ( "fmt" "time" ) func run(task_id, sleeptime int, ch chan st

随机推荐